Gemma 4 26B‑A4B на macOS: как собрать быстрый локальный кодинг‑агент
На Mac‑е с M1 Max можно запустить Gemma 4 26B‑A4B через llama.cpp, ускорив генерацию до 72 токен/сек с MTP‑драфтом и добавить поддержку изображений. В статье описаны шаги, настройки и сравнение с MLX.
Что случилось
На Mac‑е с чипом M1 Max автор собрал локальный кодинг‑агент на базе Gemma 4 26B‑A4B. Используя llama.cpp с Metal‑ускорением и MTP‑драфтом, он добился скорости 72 токен/сек, а также добавил поддержку изображений через мультимодальный проектор.
Как это работает
Что такое MTP‑драфт?
MTP (Multi‑Token Prediction) позволяет предварительно генерировать несколько токенов, а затем «корректировать» их при окончательной выдаче. В статье используется модель‑драфт Q8 0‑MTP, загружаемая через параметр --model-draft.
Почему llama.cpp быстрее, чем MLX?
Автор сравнил llama.cpp (Metal + Accelerate) и MLX‑LM. При тех же весах и настройках llama.cpp выдаёт 72 токен/сек, MLX – 45–44 токен/сек. Это связано с более глубокой оптимизацией llama.cpp для macOS, несмотря на его кроссплатформенность.
Как добавить поддержку изображений?
Для работы с картинками требуется мультимодальный проектор mmproj‑BF16.gguf. После его загрузки через --mmproj скорость генерации не падает: 72 токен/сек как без, так и с проектором.
Что изменится для разработчиков
- Быстрая локальная модель: 72 токен/сек вместо 58 токен/сек без MTP.
- OpenAI‑совместимый эндпоинт:
http://127.0.0.1:8080/v1, можно подключать любые инструменты, использующие API OpenAI. - Поддержка изображений: можно отправлять скриншоты в Pi и получать описания.
- Низкая стоимость: все операции выполняются локально, без облачных расходов.
Что это значит для бизнеса
Для владельцев сайтов и сервисов, где важна быстрая генерация кода, такой локальный агент позволяет сократить время отклика и избавиться от внешних API‑ключей. Возможность обрабатывать изображения открывает новые сценарии, например, автоматический анализ UI‑элементов.