Почему Kimi K3 РАЗРУШАЕТ другие модели Топ 1М токенов

Kimi K3 выделяется среди других моделей с контекстом в 1 миллион токенов тем, что поддерживает стабильное качество рассуждений даже при почти полностью заполненном контексте. В то время как модели вроде Claude 5.6 Sonnet и Fable 5 заметно теряют качество, когда заполняется половина их контекста, K3 остаётся точной при 90 % и даже 99 % заполнения. Разница заключается в новой архитектуре под названием Kimi Delta Attention, которая может изменить подход к выводу при чрезвычайно длинном контексте.

Проблема стандартного внимания

Большинство моделей с контекстом в 1 миллион токенов используют стандартное трансформерное внимание, которое становится экспоненциально дорогим по мере роста контекста. Модель должна многократно обращаться обратно ко всем предыдущим токенам, создавая вычислительный узкий место, что увеличивает как затраты, так и задержку. Именно поэтому многие модели начинают испытывать трудности, когда их контекстное окно заполняется более чем наполовину.

Как работает внимание Kimi Delta

Внимание Kimi Delta использует принципиально иной подход. Вместо того чтобы платить полную стоимость внимания по постоянно растущему окну контекста, KDA поддерживает состояние фиксированного размера для каждого запроса. Это работает аналогично механизму памяти с быстрыми весами, позволяя модели сохранять компактную, постоянно обновляемую рабочую память о том, что действительно важно. В результате получается система, способная обрабатывать огромный контекст без традиционного ухудшения производительности.

Преимущество в производительности и стоимости

Архитектурная отдача значительна. K3 обеспечивает до 6 раз более быструю и дешевую обработку при 1 миллионе токенов, при цене, которая остаётся значительно более стабильной по мере увеличения контекста. Несмотря на то что Kimi повысила цены по сравнению с версией 2.7, пользователи плана для программирования отмечают, что ограничения по использованию остаются относительно одинаковыми для идентичных задач. Это делает более реалистичными долгосрочные агенты, анализ полного кода, корпоративный анализ документов и постоянные AI-воркфлоу.

Последствия для инфраструктуры и оборудования

Выпуск K3 сразу же вызвал обсуждения инфраструктуры. Закк Мюллер уже изучал варианты развертывания с использованием четырех узлов H100 через объединенный Ethernet. Huawei объявила о своем 950 Super Pod, добавив еще одно измерение к обсуждению масштабирования ИИ в Китае в условиях аппаратных ограничений. Здесь имеет значение KDA, потому что более умная архитектура снижает нагрузку на вычисления при выводе длинного контекста, что становится критичным, когда доступ к передовому оборудованию ограничен.

Преимущество Написания Ядер

Одна из самых недооцененных возможностей K3 — это его способность к написанию ядер и оптимизации производительности. Один из сотрудников Kimi поделился примерами тестов ядер, которые подтверждают то, что замечает сообщество: K3 отлично справляется с оптимизацией GPU-ядер, что требует анализа доступа к памяти, поведения аппаратуры и мельчайших деталей реализации, которые создают огромную разницу в производительности в масштабе. Для лабораторий AI улучшенные ядра означают снижение затрат на вывод, более быстрое обучение и возможность развертывания архитектур, которые иначе были бы слишком дорогими для использования. Комментарии сообщества предполагают, что K3 даже помогал в разработке самого kernelbench.com.

Ограничения и на что обратить внимание

Заявления о KDA требуют проверки в более крупных производственных развертываниях. Качество длинного контекста касается не только стоимости, и архитектурные преимущества на бумаге не всегда переносятся в реальное производство. Экосистема инференса также развивается быстро: vLLM обрабатывает примерно 2000 коммитов в месяц, поддерживая при этом производственное качество. Недавно Red Hat AI показала работу Inkling на узле DGX B200 с использованием vLLM, что указывает на то, что стек обслуживания развивается так же быстро, как и сами модели. Если KDA будет стабильно показывать результаты для миллионов пользователей, это может стать одной из самых значимых идей на уровне архитектуры в этом цикле выпуска.