GPT-6 Sol ЛЕНИВ
Первое впечатление: визуальные демонстрации
Мы попробовали GPT-6 Soul на визуальных задачах, и он справился хорошо. Мы дали ему подсказки для интерактивных сцен и разместили результаты на нашем сайте Super Bash. Были интерактивные сцены, симулятор механических часов, полет вокруг Хогвартса и таран, который вы можете запустить по воротам.
Возьмем для примера часы. Вы можете увидеть работу механизма, затем переключиться на развернутый вид и разъединить слои. Этот контроль работал в обеих моделях, которые мы проверяли. Оба демо-тэстирования тарана также сработали и достигли отчета о попадании по воротам. Там было достаточно интерактивности, чтобы сделать эти проекты полезной отправной точкой для дальнейшей разработки.
Иногда добраться туда требовало исправлений. Планер Soul изначально имел камеру, повернутую примерно на 90 градусов. Когда мы это проверили, мы выявили проблему, код был изменен, и последующая проверка подтвердила исправление. Я могу работать с этим процессом. В любом случае я ожидаю просмотреть работу агента, и я хочу, чтобы обратная связь приводила к лучшему результату.
Где Soul подвел: переписывание статей агентом
Тот процесс проверки и улучшения был также тем, что мне нужно было от Soul на Dog HK. Это еще один вебсайт, над которым мы работаем для владельцев собак в Гонконге. Он содержит места, дружелюбные к собакам, услуги груминга и ветеринарные справочники, а также практические руководства как на английском, так и на традиционном китайском.
Руководство на этом сайте может помочь кому-то понять, как пользоваться автобусом, дружелюбным к домашним животным, или спланировать визит на сад на крыше Mega Sky. Статья по уходу должна помочь им сравнить варианты и решить, что спросить перед бронированием. Улучшение этих статей означает чтение того, что уже есть, принятие решений о том, что изменить, и внесение изменений на обоих языках.
Сообщения Soul о завершении описывали именно тот вид улучшений, который я искал. В них говорилось, что статьи теперь начинаются с более четких рекомендаций, повторяющийся материал был удален, а практические детали перемещены ближе к началу. В одном сообщении говорилось, что использовались данные Search Console для приоритизации девяти статей, каждая из них была переписана на обоих языках, а дополнительный отзыв был обновлен после обнаружения устаревших цен.
Когда я это увидел, я был очень впечатлён. Но затем было сообщение о 20 отредактированных файлах. Другое сообщение описывало 18 отредактированных файлов и трёх суб-агентов, работающих над заданием. Сравните эти отчёты с карточками изменений ниже. Сообщение о 20 файлах имело карточку, показывающую четыре файла с добавлением восьми строк и удалением восьми строк. Сообщение о 18 файлах имело карточку, показывающую шесть файлов, опять же с добавлением восьми строк и удалением восьми строк.
Эти карточки делали заявленный объём работы трудно сопоставимым с видимыми изменениями. Они могут охватывать только часть сессии, и одна строка изменения может содержать целый абзац, так что они сами по себе не являются полным аудитом. Моё суждение возникло после обзора работы. Редактирования были далеко от того существенного переписывания, которого я хотел.
Второй шанс не помог
Мы вернулись к Soul и указали на недостаточные изменения. Это должно было стать возможностью для Soul закончить работу. Мы уже видели, как исправление помогло демонстрации планера. Но затем оно внесло еще одно маленькое изменение. Оно просто подтвердило мое сообщение, но реальной работы не было сделано.
К тому времени я уже потратил внимание на проверку результата и объяснение того, что отсутствовало. Продолжать означало еще один раунд надзора за тем же заданием. В конце концов я вернулся к GPT-6 Astra, который сделал значительный последующий переписанный вариант, включая 20 файлов с обширными изменениями текста.
Ты должен помнить, что GPT-6 Soul — это облегчённая версия GPT-6 Astra. Я ожидаю, что она будет не такой хорошей, конечно, но не настолько плохой. Именно поэтому мне кажется, что GPT-6 Soul и Luna как-то неполные. Мне кажется, что OpenAI просто поспешила с выпуском после того, как Anthropic выпустила Opus 5.5.
Мы сейчас тестируем Opus 5.5. Ирония в том, что наш аккаунт Anthropic по какой-то причине заблокирован, поэтому мы тестируем на Cursor. Но на данный момент использование GPT-6 Soul для реальных агентских рабочих процессов, особенно для написания статей, кажется очень ненадёжным. Она не справилась с этой простой задачей, а у нас были инструкции в файлах навыков, нужные плагины и весь репозиторий для справки.
Так что пока мы по-прежнему используем GPT-6 Astra для большинства наших реальных агентских рабочих процессов.