Установка Ollama #

Дополнительно можно ознакомиться с инструкцией для Linux в поисках полезных команд.

• Скачиваем: Ollama для macOS⁠
• Или через Homebrew:

  brew install ollama
  
  # Проверяем установку
  # ollama --version
  

Установка Gemma 4 E4B #

# Закачиваем модель (около 10 ГБ)
ollama pull gemma4:e4b

# Запускаем
ollama run gemma4:e4b

# Проверяем список работающих моделей
ollama ps

# Проверка API
curl http://localhost:11434/api/tags

Open WebUI #

Тулза для чата с установленными моделями в UI. Можно, конечно, общаться с LLM и через терминальный интерфейс ollama, но это – такоэээ.

Установить можно несколько версий:

• docker-версию (как в инструкции к Linux)

  # Создаём volume для данных WebUI
  docker volume create open-webui
  # Скачиваем и запускаем в контейнере
  docker run -d \
    --name open-webui \
    --restart unless-stopped \
    -p 3000:8080 \
    -v open-webui:/app/backend/data \
    ghcr.io/open-webui/open-webui:main
  

• Десктопную версию – Python версию

На macOS Docker автоматически знает адрес host.docker.internal.

Поэтому в Open WebUI достаточно указать: http://host.docker.internal:11434 (хотя, если ollama развёрнута на самом хосте, то она сама должна определиться в WebUI)

Никаких --add-host=host.docker.internal:host-gateway не нужно – в отличии от Linux