Бенчмарки AI-агентов наконец становятся реальными
Вознаграждайте долговременную работу, а не один удачный запуск
- Бенчмарк автоматизации Zapier охватывает 657 задач на 40 смоделированных SaaS-приложениях и оценивает как задачи, так и защитные меры, такие как политика компании. (видео источник QBtsPdN7Efc, 01:16; видео источник QBtsPdN7Efc, 01:23)
- Рон сообщает, что Fable 5 лидирует с 48,6%, всего на 0,1 процентного пункта выше, чем Opus 4.8, в то время как Gemini 3.5 Flash выделяется своим сочетанием целей, нарушений ограничений и эффективности затрат. (источник видео QBtsPdN7Efc, 01:38; источник видео QBtsPdN7Efc, 02:13)
- Зафиксированный результат в открытом весе гораздо слабее: GLM 5.2 Max является самой высокой моделью с открытым доступом с 27,8%. Рассматривайте это как устаревший результат, а не как окончательное суждение о моделях с открытым доступом. (источник видео QBtsPdN7Efc, 02:22; источник видео QBtsPdN7Efc, 02:30)
- Один скалярный показатель, одно число, которое объединяет все возможности, недостаточно. Оценивайте производительность по сферам и указывайте стоимость за задачу. (источник видео QBtsPdN7Efc, 02:44; источник видео QBtsPdN7Efc, 03:43)
- Память является частью инфраструктуры агента: в видео описываются ATMA, Recontext и блоковый поиск как попытки во время выполнения вывести устаревшие факты, использование доказательств и работу с длинным контекстом. (исходное видео QBtsPdN7Efc, 04:11; исходное видео QBtsPdN7Efc, 05:10; исходное видео QBtsPdN7Efc, 05:28)
Прогресс не является разрешением доверять агенту. Таблица лидеров становится полезной только тогда, когда она отражает суть работы: выполнить задачу, соблюдать правила бизнеса, удерживаться в рамках бюджета и сохранять правильный контекст со временем. Закрытые модели в этой записи лидируют в открытом поле, однако Рон говорит, что даже победитель примерно в половине случаев пропускает базовые защитные меры. Это территория прототипов, а не неуправляемого производства. Используйте эти показатели для выявления способов отказа, затем проверьте те же ограничения в своем собственном рабочем процессе. (видео-источник QBtsPdN7Efc, 02:00; видео-источник QBtsPdN7Efc, 06:20; видео-источник QBtsPdN7Efc, 06:34)
Смотрите отчет
- : Рон разделяет выполнение одной задачи и соблюдение правил бизнеса, контроль расходов API и координацию проектов. (видео-источник QBtsPdN7Efc, 00:10)
- : Представлена таблица лидеров Zapier от Artificial Analysis. (исходное видео QBtsPdN7Efc, 01:00)
- : ведущие показатели закрытых моделей остаются ниже 50%. (исходное видео QBtsPdN7Efc, 01:36)
- : шесть индексов возможностей делят производительность по разным видам работы. (исходное видео QBtsPdN7Efc, 02:44)
- : Рон утверждает, что результаты эталона должны учитывать расход на задачу. (исходное видео QBtsPdN7Efc, 03:43)
- : устаревшие и актуальные данные могут сталкиваться в постоянных помощниках. (исходное видео QBtsPdN7Efc, 04:11)
- : поведение в долгосрочном контексте рассматривается как задача вывода и извлечения. (исходное видео QBtsPdN7Efc, 05:10)
- : реалистичные ограничения, оценка с учетом затрат и разработанная память объединяются. (исходное видео QBtsPdN7Efc, 05:57)
Рон своими словами
«Даже лучший агент в мире, Fable 5, в половине случаев не проходит базовые защитные ограничения.» — Рон, исходное видео QBtsPdN7Efc, 02:08
«Вы больше не можете сравнивать агентов вслепую, теперь нужно знать скорость расхода для каждого рабочего процесса» — Рон, исходное видео QBtsPdN7Efc, 03:58
«Мы не ждём следующего прогона предварительного обучения, чтобы исправить память агента.» — Рон, исходное видео QBtsPdN7Efc, 05:41
«И если вы не оптимизируете стоимость за задачу и использование памяти во время инференса, вы на самом деле не создаёте агента. Вы всё ещё делаете что-то вроде прототипа или демонстрации, верно?» — Рон, исходное видео QBtsPdN7Efc, 06:32
Ограничения меняют рейтинг
Важным дизайнерским решением является разделение между цели и ограничители. Агент может выполнить запрошенное действие, при этом нарушив правило, которое делало это действие безопасным для бизнеса. Рон сравнивает это с оценкой сотрудника: завершил ли человек работу и следовал ли он корпоративной политике при этом? (исходное видео QBtsPdN7Efc, 01:23; исходное видео QBtsPdN7Efc, 01:28)
Сообщается, что лидеры рейтинга близки друг к другу в верхней части: Fable 5 набирает 48,6%, Opus 4.8 — 48,5%, Gemini 3.5 Flash — 42,6%, а GBD 5.5x high — 42,1%. Суть Рона не в том, что модель с 48,6% готова. Он говорит, что ожидаемый стандарт должен быть около 70% или 80%, в то время как все лидеры ещё нарушают бизнес-правила. (источник видео QBtsPdN7Efc, 01:38; источник видео QBtsPdN7Efc, 01:49; источник видео QBtsPdN7Efc, 02:00; источник видео QBtsPdN7Efc, 02:05)
Gemini 3.5 Flash является аутсайдером с учётом затрат в чтении Рона, потому что выглядит сильной по показателям нарушения правил и эффективности расходов. Транскрипт не предоставляет цену за задачу, поэтому этот сопроводитель её не придумывает. (источник видео QBtsPdN7Efc, 02:13)
Разрыв между открытыми весами также является снимком с узким значением. Рон сообщает, что GLM 5.2 Max составляет 27,8% как наивысшую оценку среди перечисленных открытых моделей, и говорит, что открытая экосистема не близка к закрытому фронтиру в этих задачах от начала до конца, связанных с политикой. Это поддерживает осторожность при работе с этой нагрузкой на момент записи; это не доказывает, что каждая открытая модель плоха в каждой задаче. (источник видео QBtsPdN7Efc, 02:22; источник видео QBtsPdN7Efc, 06:25)
Читайте бенчмарк агента как оператор
Рон идентифицирует проблемы; таблица превращает их в операционный тест. Это не официальная методика оценки от Artificial Analysis или Zapier.
| Доказательства для фиксации | Вопрос перед развертыванием | Почему это меняет решение |
|---|---|---|
| Объективный результат и Результат контрольного ограничения | Агент завершил работу, не нарушив правила? | Только завершение скрывает нарушения бизнес-правил. (исходное видео QBtsPdN7Efc, 01:23) |
| Специализированный по домену балл | Соответствует ли балл работе в области финансов, юриспруденции, здравоохранения, стратегии и операций, инженерии или экономики? | Рон сообщает, что рейтинг меняется в зависимости от домена. (исходное видео QBtsPdN7Efc, 02:51; исходное видео QBtsPdN7Efc, 03:16) |
| Стоимость за выполненную задачу | Что реально затратил успешный прогон? | Соотношение цена-эффективность высокое, и узкая специализация может делать дорогую модель оправданной только в конкретных контекстах. (исходное видео QBtsPdN7Efc, 03:26; исходное видео QBtsPdN7Efc, 03:58) |
| Поведение с постоянной памятью | Может ли агент различать устаревшие факты и актуальные после месяцев использования? | Рон описывает «призрачную память» как одновременное извлечение противоречивых старых и текущих фактов. (источник видео QBtsPdN7Efc, 04:13; источник видео QBtsPdN7Efc, 04:19) |
| Ваши собственные сбои ограждений | Какие политики не срабатывают в рабочем процессе, который вы действительно используете? | Рон просит пользователей производства сообщать о срабатывании ограждений; эталон является отправной точкой для этого локального теста. (источник видео QBtsPdN7Efc, 06:42) |
Решение о маршрутизации следует из этих столбцов. Не выбирайте общего победителя и не отправляйте его на каждую задачу. Сначала определите домен и необходимые политики; затем сравните стоимость выполненной задачи и поведение памяти. Мы выводим этот рабочий процесс из стоимости, домена, ограждений и структуры памяти по Рону; видео его не измеряет.
Память не является побочной проблемой
Рон связывает качество эталона с тем, что происходит после того, как агент работает в течение нескольких месяцев. Призрачная память — это название видео для устаревших и текущих фактов, которые извлекаются вместе без надежного их разделения моделью. Рон сообщает, что добавление ATMA в graphidi улучшило точность разрешения конфликтов на 0,24 пункта по абсолютной шкале на эталоне LTP. Рабочий пакет не содержит независимого воспроизведения этого результата. (исходное видео QBtsPdN7Efc, 04:13; исходное видео QBtsPdN7Efc, 04:28; исходное видео QBtsPdN7Efc, 04:44)
Другие два примера работают во время вывода, а не требуют нового запуска предобучения. Recontext описывается как инструмент для работы с длинным контекстом без обучения, который заменяет внутренние доказательства модели перед генерацией ответа и улучшает использование доказательств на восьми наборах данных по 128K. Block search описывается как продвижение миллион-токенового поиска в контексте. (исходное видео QBtsPdN7Efc, 05:10; исходное видео QBtsPdN7Efc, 05:24; исходное видео QBtsPdN7Efc, 05:28)
Основной долговременный вывод имеет архитектурный характер: оценка должна охватывать модель вместе с поиском, обработкой контекста, стоимостью и соблюдением политики. Лучшие показатели базовой модели не снимают эти системные обязанности. (исходное видео QBtsPdN7Efc, 05:36; исходное видео QBtsPdN7Efc, 05:57)
Примечание о свежести
Неизменяемый рабочий пакет фиксирует это видео как опубликованное 7 июля 2026 года; данный сопроводительный материал был проверен по его полной расшифровке и всем 345 сегментам с отметками времени 18 июля 2026 года. Никакие внешние таблицы лидеров, статьи, репозитории, страницы с ценами или документация по продукту не были добавлены. Таким образом, названия моделей, точные баллы, шесть индексов, результат ATMA, результат Recontext и возможности блочного поиска выше являются датированной записью видео, а не подтверждением их текущего состояния. Перед принятием решения о производстве или покупке проверьте актуальные первичные материалы.