Текущее сравнение
Четыре модели, один набор брифов.
Сравните Claude Opus 5.5, GPT-6 Astra, GPT-6 Sol и DeepSeek V4.1 Flash, используя опубликованные факты API и проверяемые визуальные прогонки с одинаковым запросом. Количество прогонов — это охват доказательств, а не оценки качества.
| Модель | Контекст | Ввод / вывод | Опубликованные визуальные прогонки | Источник |
|---|---|---|---|---|
| Claude Opus 5.5Anthropic | 1М | $4 / $20USD за 1 млн токенов · Claude API Standard | 10Просмотреть артефакты → | Факты API ↗ |
| GPT-6 AstraOpenAI | 1.05М | $10 / $50USD за 1 млн токенов · OpenAI API Standard (≤272 тыс. входных токенов) | 20Просмотреть артефакты → | Факты API ↗ |
| GPT-6 SolOpenAI | 1.05М | $2 / $10USD за 1 млн токенов · OpenAI API Standard (≤272 тыс. входных токенов) | 10Просмотреть артефакты → | Факты API ↗ |
| DeepSeek V4.1 FlashDeepSeek | 1М | $0.3 / $1.2USD за 1 млн токенов · DeepSeek API пиковая ставка | 16Просмотреть артефакты → | Факты API ↗ |
Цены DeepSeek выше и используют пиковую ставку; внепиковые ставки вдвое меньше. Цены OpenAI показаны для подсказок до 272K входных токенов. Anthropic сообщает Opus 5.5 против Astra по именованным оценкам; Sol и DeepSeek не имеют совместимого опубликованного результата в той таблице. Откройте сравнение четырех моделей Starfall Arena →
Сравните результаты бенчмарков.
Выберите две модели и тип нагрузки, чтобы увидеть, куда каждая ведет.
Результаты, опубликованные поставщиком · проверено
Прочитайте исходную таблицу OpenAI6 выбранных бенчмарков · GPT-6 Astra против Claude Fable 5.1 · пп = процентные пункты
Terminal-Bench 4.0
Программирование · Чем выше, тем лучшеTerminal-Bench Science 0.1
Наука · Чем выше, тем лучшеAutomationBench
Автоматизация · Чем выше, тем лучшеПоследний экзамен человечества (с инструментами)
Рассуждение · Чем выше, тем лучшеИндекс интеллекта искусственного анализа v4.1.1
Рассуждение · Чем выше, тем лучше · индексные пунктыFrontierMath Уровень 4 (v2)
Рассуждение · Чем выше, тем лучшеDeepSWE v1.1
Программирование · Чем выше, тем лучшеFrontierCode 1.1 Расширенный (оценка)
Программирование · Чем выше, тем лучшеFrontierCode 1.1 Основной (оценка)
Программирование · Чем выше, тем лучшеGPQA Diamond
Наука · Чем выше, тем лучшеARC-AGI-2
Рассуждение · Чем выше, тем лучшеARC-AGI-1
Рассуждение · Чем выше, тем лучшеПоследний экзамен агентов
Использование компьютера · Чем выше, тем лучшеOSWorld 2.0 · офлайн, v2026.08.08
Использование компьютера · Чем выше, тем лучшеScreenSpot-Pro (без инструментов)
Использование компьютера · Чем выше, тем лучшеBenchCAD (с инструментами)
Профессиональная работа · Чем выше, тем лучшеBrowseComp
Исследование · Чем выше, тем лучшеString Quartets OpenScore (1 − OMR-NED)
Профессиональная работа · Чем выше, тем лучшеЗадачи по дизайну (для внутреннего использования в OpenAI)
Профессиональная работа · Чем выше, тем лучшеЗадачи по работе с данными (для внутреннего использования в OpenAI)
Наука · Чем выше, тем лучшеМиграция базы данных (внутреннее OpenAI)
Программирование · Чем выше, тем лучшеИндекс агента по искусственному анализу кода v1.4
Программирование · Чем выше, тем лучше · индексные пунктыGeneBench Pro
Наука · Чем выше, тем лучшеMedChemBench (для внутреннего использования в OpenAI)
Наука · Чем выше, тем лучшеLifeSciBench
Наука · Чем выше, тем лучшеHealthBench Professional (с корректировкой длины)
Наука · Чем выше, тем лучшеExploitBench
Кибербезопасность · Чем выше, тем лучшеExploitGym
Кибербезопасность · Чем выше, тем лучшеExploitBench (июнь–август 2026)
Кибербезопасность · Чем выше, тем лучшеSRE-Bench (одна попытка)
Кибербезопасность · Чем выше, тем лучшеSEC-Bench Pro
Кибербезопасность · Чем выше, тем лучшеБезопасность использования компьютера (внутреннее OpenAI)
Согласованность · Чем ниже, тем лучшеБезопасность работы с компьютером с AutoReview
Согласованность · Чем ниже, тем лучшеОбходные методы (для внутреннего использования в OpenAI)
Согласованность · Чем ниже, тем лучшеЛовушка ExploitGym
Согласованность · Чем ниже, тем лучшеНевозможный ExploitGym
Соответствие · Чем выше, тем лучшеГаллюцинации (для внутреннего использования в OpenAI)
Согласованность · Чем ниже, тем лучшеMRCR v2 · 8 игл · 256K–512K
Длительный контекст · Чем выше, тем лучшеMRCR v2 · 8 игл · 512K–1M
Длительный контекст · Чем выше, тем лучшеARC-AGI-3
Рассуждение · Чем выше, тем лучшеВсе 40 бенчмарков · 3 модели Просмотреть исходный снимок
| Бенчмарк | Astra | Fable 5.1 | Gemini 3.8 Flash |
|---|---|---|---|
| Terminal-Bench 4.0 | 57.9% | 55.8% | 19.1% |
| Terminal-Bench Science 0.1 * | 64.6% | 52.6% | — |
| AutomationBench | 41.4% | 31.4% | — |
| Последний экзамен человечества (с инструментами) | 57.2% | 65.0% | — |
| Индекс ИИ для искусственного анализа v4.1.1 * | 61.2 | 65.7 | 58.7 |
| FrontierMath Уровень 4 (v2) | 97.6% | 87.8% | — |
| DeepSWE v1.1 | 74.1% | 67.4% | 73.8% |
| FrontierCode 1.1 Extended (оценка) * | 64.5% | 63.6% | 56.3% |
| FrontierCode 1.1 Основной (оценка) * | 53.3% | 50.9% | 43.6% |
| GPQA Diamond | 96.0% | 93.7% | 95.3% |
| ARC-AGI-2 | 95.0% | 90.0% | — |
| ARC-AGI-1 | 98.5% | 97.5% | — |
| Последний экзамен агентов | 59.3% | — | — |
| OSWorld 2.0 · офлайн, v2026.08.08 * | 72.6% | — | — |
| ScreenSpot-Pro (без инструментов) * | 92.7% | — | — |
| BenchCAD (с инструментами) * | 95.9% | 84.3% | — |
| BrowseComp | 91.5% | — | — |
| String Quartets OpenScore (1 − OMR-NED) | 0.84 | — | — |
| Задачи по дизайну (для внутреннего использования в OpenAI) | 50.0% | — | — |
| Задачи по работе с данными (для внутреннего использования в OpenAI) | 40.9% | — | — |
| Миграция базы данных (внутреннее OpenAI) | 63.9% | 57.8% | — |
| Индекс агента по искусственному анализу кода v1.4 | 67.0 | — | 61.2 |
| GeneBench Pro | 37.1% | — | — |
| MedChemBench (для внутреннего использования в OpenAI) | 49.3% | — | — |
| LifeSciBench | 60.3% | — | — |
| HealthBench Professional (с корректировкой по длине) * | 63.4% | 58.1% | 52.1% |
| ExploitBench * | 100.0% | — | — |
| ExploitGym * | 42.4% | — | — |
| ExploitBench (июнь–август 2026) * | 39.0% | — | — |
| SRE-Bench (одна попытка) * | 88.0% | — | — |
| SEC-Bench Pro | 85.4% | — | — |
| Безопасность использования компьютера (внутреннее от OpenAI) ↓ * | 2.4% | 9.5% | — |
| Безопасность использования компьютера с AutoReview ↓ | 1.8% | — | — |
| Обход ограничений (внутреннее от OpenAI) ↓ | 0.0% | — | — |
| Ловушка ExploitGym ↓ | 0.0% | — | — |
| Невозможный ExploitGym | 100.0% | — | — |
| Галлюцинации (внутреннее от OpenAI) ↓ | 4.2% | — | — |
| MRCR v2 · 8 игл · 256K–512K | 100.0% | — | — |
| MRCR v2 · 8 игл · 512K–1M | 96.3% | — | — |
| ARC-AGI-3 * | 99.9% | — | — |
Баллы Astra и визуальные тестыБаллы Fable 5.1 и визуальные тестыСравнить стоимость API
Источники и методология
Максимальный зарегистрированный результат для любых усилий; исследовательские/API окружения. Общая таблица не гарантирует идентичные конструкции, бюджеты или меры защиты.
Разрывы — это различия в сообщаемых результатах, а не статистическая значимость. Процентные полосы используют шкалу 0–100; полосы индекса используют шкалу отображения 0–100.
Отчёт о модели Anthropic- Terminal-Bench Science 0.1
- Anthropic сообщает стандартную ошибку около 3,5–4,5 баллов для каждой модели; небольшие разрывы могут быть шумом.
- Индекс интеллекта искусственного анализа v4.1.1
- Независимый индекс, воспроизведённый в таблице запуска OpenAI; отдельно от более старых наблюдений v4.1 в cost explorer.
- FrontierCode 1.1 Расширенный (оценка)
- Astra использует дополнительное руководство для разработчиков о том, как держать код и тесты в пределах области применения (сноска источника 8).
- FrontierCode 1.1 Основной (оценка)
- Astra использует дополнительное руководство для разработчиков о том, как держать код и тесты в пределах области применения (сноска источника 8).
- OSWorld 2.0 · офлайн, v2026.08.08
- Частичный результат на офлайн-подмножестве. Модифицированные задачи и оценка Anthropic несовместимы; значение Fable 5.1 здесь не предоставлено.
- ScreenSpot-Pro (без инструментов)
- Источник обозначает 87,3 Mythos как Fable 5 ( сноска 17). Оно исключено из столбца Fable здесь, потому что меры защиты модели отличаются.
- BenchCAD (с инструментами)
- Результаты Claude используют три модификации оценки. Оценки показаны для контекста; прямой разницы не рассчитывается.
- HealthBench Professional (с корректировкой длины)
- Повторная оценка OpenAI с использованием GPT-5.4 для градации. Fable 5.1 использует Opus 5 в качестве резервного варианта при отказе; не является отдельным результатом Fable.
- ExploitBench
- Astra и Sol оценены без производственных мер безопасности.
- ExploitGym
- Колонки Fable источника — Mythos 5.1 (30.4) и Mythos 5 (28.4), здесь исключены. Astra/Sol не имеют шестичасового ограничения и производственных мер безопасности. Не сравнение производственных моделей.
- ExploitBench (июнь–август 2026)
- Внутренний набор OpenAI, без производственных мер безопасности. Sol 5.5 ограничен 300 ходами; источник также сообщает 11.5 с меньшими ограничениями.
- SRE-Bench (одна попытка)
- Оценка киберспособностей без производственных мер безопасности.
- Безопасность использования компьютера (внутреннее OpenAI)
- Меньше — лучше. Исследовательский комплект без подтверждений в производстве; меры безопасности и инструменты поставщика по-прежнему различаются.
- ARC-AGI-3
- Ответы OpenAI с двумя изменёнными настройками; см. исходную сноску 1.
Снимок запуска в сентябре выше и более ранние независимые измерения ниже сохраняют свои собственные источники и версии.
Независимое сравнение
Ранее независимые оценки по 1 модели.
Этот сохранённый снимок Индекса искусственного анализа v4.1 объединяет девять оценок по программированию, агентной работе, науке, знаниям, физике и рассуждению в долгом контексте. Чем выше, тем лучше. Цифры Astra и Fable 5.1 версии v4.1.1 приведены выше; они не смешаны с этим старым индексом.
- Kimi K3Рассуждение57Источник AA ↗
Важна конфигурация. Этот более ранний индекс сохраняет настройки усилий и источник, опубликованные для каждой модели.
Калькулятор стоимости
Оцените ваши расходы на токены.
Установите общее количество входных и выходных токенов для рабочей нагрузки. Эта оценка использует отображаемые тарифы API для короткого контекста, включая активные акции, для всех запросов.
Opus 5.5 стоит $4 за вход / $20 за выход; Astra и Fable 5.1 — $10 / $50; Sol — $2 / $10. Для запросов Astra и Sol выше 272 тыс. входных токенов применяются их повышенные тарифы для всего запроса. Запросы Grok 4.7 с 200 тыс. или более входных токенов стоят $4 / $12. DeepSeek использует пиковые тарифы здесь; внепиковые тарифы — половина. Чтение и запись кэша, инструменты, региональные надбавки и режим Fast не включены.
| Модель | Индекс AA | Вход / 1М | Выход / 1М | Скорость | Ваша задача |
|---|---|---|---|---|---|
| Kimi K3Moonshot AI · Рассуждение | 57Индекс v4.1 | $3.00 | $15.00 | 32.0tokens/sec | Данные AA ↗Цена ↗ |
| Claude Opus 5.5Anthropic · Стандартный API · цены проверены 2026-09-23 | —См. v4.1.1 выше | $4.00 | $20.00 | Не измерялосьОценка скорости отсутствует | Цена ↗ |
| GPT-6 AstraOpenAI · Стандартный API · цены проверены 08.09.2026 | —См. v4.1.1 выше | $10.00 | $50.00 | Не измерялосьОценка скорости отсутствует | Цена ↗ |
| GPT-6 SolOpenAI · Стандартный API · цены проверены 23.09.2026 | —См. v4.1.1 выше | $2.00 | $10.00 | Не измерялосьОценка скорости отсутствует | Цена ↗ |
| DeepSeek V4.1 FlashDeepSeek · Стандартный API · цены проверены 21.09.2026 | —См. v4.1.1 выше | $0.30 | $1.20 | Не измерялосьОценка скорости отсутствует | Цена ↗ |
| Claude Fable 5.1Anthropic · Стандартный API · цены проверены 08.09.2026 | —См. v4.1.1 выше | $10.00 | $50.00 | Не измерялосьОценка скорости отсутствует | Цена ↗ |
| Grok 4.7SpaceXAI · Стандартный API · цены проверены 22.09.2026 | —См. v4.1.1 выше | $2.00 | $6.00 | Не измерялосьОценка скорости отсутствует | Цена ↗ |
Включено: Входные данные без кэша и сгенерированный вывод по тарифам API для короткого контекста. Базовая проверка полного каталога была проведена 08.09.2026; для новых добавлений сохраняется собственная дата проверки в каталоге.
Не включено: Доплаты за длинный контекст, запись в кэш, вызовы инструментов, хранение, скидки за пакет и наценки провайдера. Длинная подсказка может стоить дороже этой оценки; проверьте источник цен по ссылке.
Смешанный ориентир: Рассчитано на основе текущего каталога с использованием соотношения кэш-хит/ввод/вывод 7:2:1. Самая низкая цена в этом наборе — Kimi K3 по $2,31 за 1 млн смешанных токенов.
Методология
Ограничения этого сравнения
Результаты Индекса Искусственного Анализа получены с помощью одного независимого хаба. Точная конфигурация модели сохраняется для каждого результата.
Сценарии стоимости токенов умножают опубликованные цены на входные и выходные данные на введенную вами нагрузку. Они не включают инструменты, хранение, запись в кэш и скидки провайдера.
Отметка общей таблицы означает, что источник опубликовал сравниваемые модели в одной таблице. Отметка того же теста означает, что имя бенчмарка совпадает, но источник или конфигурация различаются.
Отсутствие данных не является низким результатом. Модели без совместимого публичного результата остаются без ранжирования до публикации воспроизводимого результата.
Наши визуальные прогоны Mantis представляют собой отдельный слой доказательств с тем же запросом. Используйте сравнение на живом прогоне, чтобы напрямую оценить качество сборки.