Claude Opus НА САМОМ ДЕЛЕ НЕПРИГОДЕН
Opus 4.6 набрал 40% по тесту, который сам Claude разработал, в то время как GPT 5.4 достиг 63% по тому же тесту.
Настройка теста
Boxmining построил мини-бенчмарк по четырем категориям: следование инструкциям, противоположное поведение, ложное завершение и разрушительные действия. Он использовал Opus для разработки тестовых запросов — взятых со Stack Overflow и типичных жалоб разработчиков — так что рубрика должна была бы благоприятствовать Claude. Полный репозиторий появится на GitHub после доработки; раздел с ложным завершением, признается, плохо спроектирован и будет переделан.
Цифры
Опус 4.6: 40%. GPT 5.4: 63% на том же наборе тестов, и Boxmining оценивает, что реальный потолок GPT ближе к 80%, как только будет исправлен тест на ложное выполнение. Во время прогона Opus метки Sonnet и Opus перепутались — модель спутала собственные названия. Один явный шаблон ошибки: в режиме планирования Opus выполнял работу первой фазы, затем посреди прогона замечал, что на самом деле выполнил работу второй и третьей фаз, игнорируя собственный написанный план.
Почему стало хуже
Теория Boxmining: Anthropic готовит следующую модель, Mephisto, и ограничивает вычислительные ресурсы. Они увеличили лимиты скорости для пользователей плана, чтобы остановить негативную реакцию сообщества, но им всё ещё нужен был бюджет GPU, поэтому они тихо сократили вычислительный бюджет Opus и изменили квантование. Сокращение было слишком большим — результат теперь «почти на уровне старого Sonnet».
Сигнал сообщества
Старший инженер AMD публично заявил, что больше не может доверять Opus для сложных инженерных задач. Другие сообщают, что файлы Skills полностью игнорируются, агенты зацикливаются, а также наблюдается такое же разрушительное поведение по удалению файлов, которое Boxmining видел у своего собственного агента Hermes. Лимиты загрузки чатов снизились до 100 сообщений на поток.
Чем он занимается сейчас
Переносит всю работу на GPT 5.4, отменяет свою подписку на Claude x20 и изучает Kilo Code, чтобы избежать привязки к конкретному поставщику. Он прямо говорит, что это не фанатский поступок — он использовал Opus как вход в мир ИИ и по-прежнему хочет, чтобы Anthropic исправила проблему.