Почему большие окна контекста в LLM‑моделях — лишь маркетинговый трюк
Автор показывает, что реальная полезная часть контекстного окна ограничена ~100 000 токенов, а рекламируемые 200 k‑2 M токенов не работают в практике, особенно в код‑агентах.
Большие контекстные окна, рекламируемые поставщиками LLM, не дают ожидаемой производительности. По наблюдениям автора, модель остаётся «острой» лишь в первых ~100 000 токенов, после чего внимание начинает «падать», и модель забывает детали, озвученные несколько минут назад.
Где заканчивается «смарт‑зона»?
Исследования RULER и Chroma подтверждают, что эффективный контекст составляет лишь небольшую часть от заявленного размера. При заполнении окна производительность ухудшается постепенно, а не резко. Поэтому заявленные 200 k, 1 M и даже 2 M токенов часто оказываются недоступными в реальном использовании.
Как это проявляется в код‑агентах?
Код‑агенты быстро расходуют токены: чтение файлов, отладка, запуск тестов могут довести сессию до 100 k токенов до обеда. После этого агент уже работает в «дмб‑зоне», где ответы становятся менее точными и забываются ранее данные.
Что делают современные решения?
Инструменты вроде Claude Code вводят авто‑компакцию: при длительной сессии они автоматически суммируют историю и начинают новую. Это помогает, но суммирование происходит уже после того, как модель деградировала, а полученный рефрейм может быть неполным.
Как избежать «дмб‑зоны»?
Автор советует открывать новую сессию и передавать ей собственный спецификатор — документ, в котором он сам выбирает, что важно. Такой «breadcrumb‑подход» позволяет передать только сигналы высокого уровня, а не полные, уже «размятые» истории.
Какие практики помогают сохранять «смарт‑зону»?
Проекты obra/superpowers и mattpocock/skills структурируют работу агентов вокруг небольших именованных артефактов: PRD, планы, навыки, под‑агенты. Каждый артефакт хранит часть информации вне живой сессии, позволяя следующей сессии начать с чистого листа.
Что это значит для бизнеса
При планировании автоматизации с LLM следует считать контекстный бюджет ограниченным: храните только ключевые данные в сессии, а всё остальное фиксируйте в внешних документах. Это снижает риск деградации модели и экономит до 30 % токенов в типичном код‑ревью, где средний объём запросов достигает 120 k токенов.