Qwen 3.6 27B — оптимальный локальный ИИ для разработки

Qwen 3.6 27B — это первая локальная модель, которая действительно подходит для общего применения: она генерирует код, пишет стихи и отвечает на запросы, при этом работает на обычных ноутбуках и видеокартах RTX. Автор статьи показал, что 27 B‑модель даёт приемлемую скорость и качество без облачной подписки.

Как работает Qwen 3.6 27B?

Модель доступна в виде 8‑битной квантизации GGUF (unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0). Запуск происходит через open‑source‑инструмент llama.cpp: достаточно одной команды llama-server или llama-cli с параметрами -ngl 999, -fa on и контекстом до 64 k токенов. При этом используется «draft‑MTP» — быстрый предсказатель последующих токенов, который ускоряет генерацию.

Что показывает производительность?

Тесты на MacBook Max M5 (128 ГБ) дают:

• 30 токенов/сек (Qwen 3.6 27B 8‑bit MLX)
• 32 токенов/сек (llama.cpp + MTP)
• 33 токенов/сек (DeepSeek‑V4‑Flash, агрессивная 2‑4‑бит квантизация) Для сравнения 35‑B‑A3B достигает 85–105 токенов/сек, но требует в три раза больше ОЗУ (≈ 44 ГБ). На RTX 5090 при квантизации Q6_K/Q4_0 модель стабильно выдаёт 50 токен/сек при контексте 123 k, используя около 30 ГБ видеопамяти.

Как использовать модель в реальных задачах?

Автор представил несколько сценариев:

• генерация восьмистрочного стихотворения о танце Zouk и квантовой физике;
• создание полностью рабочей игры Minesweeper на Node.js через один запрос в OpenCode;
• генерация готовой landing‑страницы за несколько минут, где модель сама подставила текст и изображения.

Как настроить запуск?

Установка и запуск

1. Скачайте квантизированную модель с Hugging Face (unsloth);
2. Запустите llama-server с параметрами, указанными в статье.

Что это значит для бизнеса

Qwen 3.6 27B позволяет запускать генеративный ИИ‑код на обычном ноутбуке без ежемесячных расходов на облако: разработчики могут писать скрипты, генерировать UI‑компоненты и тестировать идеи в реальном времени, экономя до $100 в месяц на API‑тарифах. На RTX 5090 компания может обслуживать несколько запросов одновременно, не превышая 30 ГБ видеопамяти, что делает локальное решение конкурентоспособным даже для небольших студий.