GPT‑5.5 выдаёт 3‑кратно больше галлюцинаций, чем GLM‑5.2
В 2026 году крупные модели ИИ перестали считаться «чем больше – тем лучше»: GPT‑5.5 с 86 % галлюцинаций перевешивает MIT‑лицензированный GLM‑5.2, который демонстрирует лишь 28 %.
Что произошло
В июне 2026 года исследователи сравнили показатели галлюцинаций в крупнейших языковых моделях. GPT‑5.5, оцененный в 1‑2 триллиона параметров, показал 86 % ошибок, в то время как MIT‑лицензированный GLM‑5.2, имеющий 753 млрд параметров, достиг лишь 28 %.
Почему это важно
Крупные модели, вроде DeepSeek V4 Pro (1.6 трлн параметров), часто «переучивают» себя, выдавая уверенные, но неверные ответы. Это приводит к тому, что размер модели перестаёт быть показателем надёжности.
Как измеряется галлюцинация
Бенчмарк AA‑Omniscience фиксирует, сколько раз модель отвечает, даже если не знает ответа. DeepSeek V4 Pro отвечал неверно 94 % раз, а GPT‑5.5 – 86 %. GLM‑5.2 и Opus 4.8 показали 28 % и 36 % соответственно.
Что изменится для разработчиков
При работе с крупными LLMs теперь необходимо учитывать, что большие модели не умеют корректно «сказать, что не знает» и часто используют «переобучение» для генерации правдоподобных, но ложных ответов. Это требует более строгой проверки и пост‑обработки.
Что это значит для бизнеса
Если ваша команда использует GPT‑5.5 для генерации кода, риск получить 86 % неверных строк кода возрастает. Переключение на GLM‑5.2 может снизить этот риск до 28 %, хотя модель и меньше.
Как избежать проблем
- Ограничьте размер модели до 1 трлн параметров.
- Включите механизм «не знаю» в prompt.
- Добавьте пост‑обработку, проверяющую логику ответов.
Итоги
Крупные модели перестали быть «лучше» в плане точности. Для практического применения важно балансировать размер, точность и вычислительную эффективность, а не просто увеличивать параметры.