GLM‑5.2 от Z.ai теперь можно запускать локально через Unsloth

GLM‑5.2 от Z.ai, одна из крупнейших открытых моделей (744 млрд параметров, 40 млрд активных, контекст 1 М токенов), теперь доступна для локального запуска через Unsloth Dynamic GGUFs. Модель сравнима по качеству с Claude 4.8 Opus, GPT‑5.5 и Gemini 3.1 Pro, а динамические 1‑ и 2‑битные квантования позволяют сократить её размер до 86 % и 84 % от оригинала, сохранив при этом 76,2 % и 82 % top‑1 точности соответственно.

Как работает динамическая квантовка?

Unsloth предлагает несколько вариантов квантования GGUF‑файлов. 2‑битный UD‑IQ2_M занимает 239 ГБ на диске и помещается в 256 ГБ унифицированной памяти Mac, а также в 1 × 24 ГБ GPU + 256 ГБ RAM при отключённом MoE. 1‑битный вариант требует 223 ГБ RAM, а 8‑битный — уже 810 ГБ. Для надёжной работы рекомендуется, чтобы суммарный объём RAM + VRAM превышал размер квантованного файла с запасом.

Какие режимы мышления поддерживает модель?

GLM‑5.2 имеет три режима: non‑thinking, high thinking и max thinking. По умолчанию включён режим thinking; для сложных задач рекомендуется max. В Unsloth Studio переключать режимы можно через UI, задав параметры temperature = 1.0, top_p = 0.95 (high) или top_p = 1.0 (max). Отключить мышление можно флагом --chat-template-kwargs '{"enable_thinking":false}'.

Как установить и запустить модель в Unsloth Studio?

1. Установить Unsloth: curl -fsSL https://unsloth.ai/install.sh | sh (Linux/macOS) или irm https://unsloth.ai/install.ps1 | iex (Windows).
2. Запустить студию: unsloth studio -H 0.0.0.0 -p 8888 и открыть http://127.0.0.1:8888 в браузере.
3. На вкладке Chat найти GLM‑5.2, выбрать нужный квант (рекомендован UD‑IQ2_M) и скачать.
4. Студия автоматически распределит веса между RAM и GPU, поддерживает мульти‑GPU.

Как запустить модель через llama.cpp?

1. Склонировать репозиторий: git clone https://github.com/ggml-org/llama.cpp.
2. Скомпилировать с поддержкой CUDA, если есть GPU: cmake -B build -DGGML_CUDA=ON .. && cmake --build build --target llama-cli.
3. Установить переменную кэша: export LLAMA_CACHE="unsloth/GLM-5.2-GGUF".
4. Запустить: ./llama.cpp/llama-cli -m unsloth/GLM-5.2-GGUF/UD-IQ2_M/GLM-5.2-UD-IQ2_M-00001-of-00006.gguf --temp 1.0 --top-p 0.95.
5. Для 1‑битной версии замените путь на UD-IQ1_S.

Что изменилось в оценке качества квантовок?

KL‑дивергенция (KLD) у динамических 1‑битных и 2‑битных квантовок составляет около 99,9 %, что считается хорошим. 4‑битные и 5‑битные варианты (UD‑Q4_K_XL, UD‑Q5_K_XL) почти не теряют точности и подходят для задач с сильным распределением данных. При этом 1‑битный вариант оказывается лишь ~24 % менее способным, чем полная 1,5 ТБ модель.

Что это значит для бизнеса?

Компания может разместить GLM‑5.2 на сервере с 256 ГБ памяти (2‑битный квант) и обслуживать запросы, эквивалентные GPT‑5.5, без необходимости аренды облачных GPU. Это снижает затраты на инференс почти вдвое, позволяя запускать продвинутые задачи кодинга, аналитики и агентных сценариев локально.