Inkling на самом деле не так хорош.. (американская версия GLM 5.2)
Шесть коммитов не спасли настройки по умолчанию
- Inkling по-прежнему выдавал ошибочные результаты после шести коммитов на тестах кода Рона; настройка по умолчанию не готова к надежной работе.
- Его основной размер — 975 миллиардов общих параметров и 41 миллиард активных параметров — не привел к лучшим результатам, чем у меньших альтернатив в этом тесте.
- Helm’s Deep, Hogwarts, Jabberwock, низкополигональный мир и Office Life все потерпели неудачу разными способами, которые полезны для диагностики.
- Тест был однократным рабочим процессом с субагентом. Прямое кодирование, изменение температуры, ролевые промпты и дообучение не тестировались.
- Причина, по которой стоит продолжать следить, заключается в открытом весе, что означает возможность адаптации весов модели: Inkling можно дообучить и сочетать с более сильным супервизором.
Inkling сегодня не подходит для кодирования с настройками по умолчанию. Шесть коммитов без рабочего результата — это не мелкая проблема полировки; это сбой надежности. Открытые веса предотвращают превращение этого в полную неудачу, но это потенциал, а не доказательство. Если вам нужно завершить работу сейчас, используйте модель, которая уже справляется с вашей задачей. Если вы оцениваете Inkling, рассматривайте его как проект настройки и поставьте второго агента на место рецензента. (исходное видео RMEcJXp80XM, 00:17)
Смотрите тест
- : шесть коммитов, продолжающиеся сбои и разочаровывающий первый вердикт.
- : всего 975B параметров, 41B активных и сравнение с GLM 5.2.
- : от заполнителя до тёмной, по-прежнему повреждённой сцены.
- : более дешевая модель выполняет ту же задачу с первой попытки, несмотря на инвертированное движение.
- : GLM 5.2 выступает в роли судьи, а затем отправляет свои отзывы в общий рабочий пространство Inkling через tmux.
- : Hogwarts, Jabberwock, low-poly world и Office Life выявляют различные виды сбоев.
- : бесплатная тестовая площадка, кредиты API и пользовательский провайдер, совместимый с OpenAI, в OpenCode.
Рон своими словами
«Суть в том, что у нас есть шесть коммитов, и это всё ещё не работает.» — Рон, исходное видео RMEcJXp80XM, 00:30
«Пока что, в настройке по умолчанию, это не хорошо.» — Рон, исходное видео RMEcJXp80XM, 01:35
«Он просто хочет выполнить работу как можно быстрее. Усилия на уровне минимальной зарплаты.» — Рон, исходное видео RMEcJXp80XM, 04:10
«Модели с открытым весом, безусловно, имеют неограниченный потенциал, но пока что настройка по умолчанию не впечатляет, но, по крайней мере, есть возможность тонкой настройки.» — Рон, исходное видео RMEcJXp80XM, 08:13
Где провалился тест шести коммитов
Это не было одним расплывчатым суждением «это ощущается плохо». Каждое задание выявляло конкретный сбой, который имеет значение, когда вы решаете, может ли модель работать в цикле кодирования.
| Тест | Наблюдаемый результат | Почему это важно |
|---|---|---|
| Хельмова Падь | Первый запуск был адресом-заполнителем, второй был почти полностью тёмным, а шестой коммит по-прежнему был сломан. | Повторная итерация не восстановила основной результат. |
| Хогвартс | Шестой коммит оставался сломанным. | Проблема не ограничивалась одной подсказкой. |
| Джаббервок | Превращение стихотворения в игру было ошеломляющим и непроигрываемым. | Сгенерированная сцена не является успешной игрой, если игрок не может ее использовать. |
| Низкополигональный мир | Он отображался как 3D-рисунок, но движение не работало. | Визуальное завершение скрывало отсутствие системы взаимодействия. |
| Офисная жизнь | Рабочие скапливались на ресепшене; собрания телепортировали их в несвязанные комнаты; обед повторял ту же логику движения. | Казалось, что модель имитировала движение, а не реализовывала правила симуляции. |
Эти наблюдения исходят из обзора шестого коммита Рона по набору, а не из утверждения о каждой возможной конфигурации Inkling. (исходное видео RMEcJXp80XM, 05:28)
Сравнение с GPT Luna полезно, потому что оно отделяет уровень завершенности от сложности. Движение Luna было обращено, поэтому её результат не был чистым. Тем не менее, она создала полную сцену с первой попытки, в то время как Inkling не завершил задачу после шести коммитов. Для оператора результат с изъянами, который существует, можно исправить; цикл, который никогда не даёт пригодный артефакт, сложнее вызывать доверие. (источник видео RMEcJXp80XM, 03:49)
Большая модель, слабый результат по умолчанию
Inkling — это смесь экспертов (MoE) модель: она имеет большой пул параметров, но активирует только часть этого пула для каждого токена. Рон сообщает о 975 млрд. общих и 41 млрд. активных параметров. Его сравнительным примером является GLM 5.2, у которого 753 млрд. общих и 40 млрд. активных, что дает GLM более высокое соотношение активных к общим параметрам, несмотря на более крупное число у Inkling. Inkling была обучена с нуля на заявленных 45 триллионах токенов в текстах, изображениях, аудио и видео, с архитектурой MoE, которая в основном следует DeepSeek V3. (источник видео RMEcJXp80XM, 01:44)
Общее количество параметров не спасает слабый результат задачи. Характеристики говорят вам, что может быть возможно. Ваш бенчмарк показывает, способен ли текущий модель, конфигурация и оснащение выполнить вашу задачу.
Границу теста, которую вы должны сохранить
Рон использовал одноразовые подсказки, которые делегировали выполнение подагентам. Он не проверял работу Inkling при написании всего кода напрямую и не завершил этап дообучения. Прямое выполнение могло бы вести себя иначе, но это также заняло бы больше времени и потребляло больше кредитов. Рон пополнил баланс на 10 долларов, и на этом этапе тестов у него оставалось около 6 долларов. (исходное видео RMEcJXp80XM, 06:39)
Эта граница имеет значение. Честный вывод — «стандартный Inkling не справился с этим тестом», а не «Inkling никогда не сможет программировать». Если тестировать снова, изменяйте одну переменную за раз:
- Запустите ту же подсказку, но пусть Inkling пишет код напрямую, вместо того чтобы делегировать.
- Сохраняйте идентичные проверки принятия, чтобы сравнение оставалось измеримым.
- Регулируйте роль и температуру только после записи стандартного результата.
- Дообучите на узкой задаче, затем повторно запустите тот же бенчмарк.
- Используйте отдельного агента-ревьюера, чтобы выявлять дефекты и заставлять делать еще одну итерацию.
Это непроверенные направления, которые предлагает Рон, а не подтвержденные улучшения. (исходное видео RMEcJXp80XM, 06:56)
Надзор по-прежнему является интересным направлением
Наиболее переиспользуемый рабочий процесс в видео не является функцией Inkling. GLM проверял работу Inkling и выступал в роли судьи (). Рон держал GLM и Inkling в одной рабочей области и использовал tmux, инструмент для поддержания нескольких терминальных сессий активными, чтобы передавать обратную связь в сессию Inkling без необходимости самому копировать длинный ревью-подсказку.).
Это дает вам четкое разделение труда: более дешевый или экспериментальный вариант создает, более мощная модель проверяет соответствие явным требованиям; создатель получает конкретные ошибки и пробует снова. Это имеет смысл только если в цикле есть условие остановки. В этом тесте шесть неудачных коммитов были достаточным доказательством, чтобы прекратить тратить кредиты на стандартную настройку.
Стоит ли попробовать Inkling?
- Если вам сейчас нужен надежный код, пропустите стандартную настройку. Этот тест не подтвердил производственную надежность.
- Для бесплатного первого взгляда видео показывает площадку на сайте лаборатории. (исходное видео RMEcJXp80XM, 07:28)
- Чтобы попробовать это в IDE, Рон использовал OpenCode с пользовательским провайдером, совместимым с OpenAI, разместил API-ключ в конфигурации своего shell и проверил модель через
/models. Транскрипт не раскрывает полный базовый URL или конфигурацию, поэтому этот помощник не придумывает вставляемый фрагмент. (исходное видео RMEcJXp80XM, 07:40) - Настройка и измерение являются достоверным случаем использования. Точно настраивайте, сохраняйте эталонные показатели и сравнивайте результаты до и после.
Примечание о свежести
Это видео было опубликовано 16 июля 2026 года, а этот помощник был проверен на соответствие источнику 17 июля 2026 года. Предоставленный пакет источников не содержит завершенного последующего дообучение или результатов более позднего эталона. Рассматривайте сбой с настройками по умолчанию как наблюдаемый результат, а предложенный потенциал настройки — как непроверенный. Рон сказал, что последующее видео покроет дообучение, если видео наберет 500 лайков; этот помощник не предполагает, что последующее событие произошло. (исходное видео RMEcJXp80XM, 08:35)