Сравните модели ИИ на задаче, которую вы действительно выполняете

Последняя проверка и обновление: 8 сентября 2026 года. Редакция и проверка источников; упражнения ниже являются авторской практикой, а не отчетными тестами.

Вам не нужен постоянный рейтинг каждой модели. Вам нужно знать, сможет ли та, которую вы используете, выполнить вашу работу без создания дополнительного задания на редактирование.

В этом уроке сравните две модели по краткому обновлению. Вы получите небольшой лист с доказательствами и обоснование вашего выбора. Используйте доступ, который у вас уже есть; покупка второй подписки не входит в задание.

Начните с задания, которое вы можете оценить

Если вы раньше не пользовались помощником, выполните 15-минутное первое упражнение сначала. Оно показывает, как заметить вымышленные детали в правдоподобном ответе.

Используйте эти фиктивные заметки для обеих моделей:

Понедельник: Провели интервью с 4 клиентами. 3 не смогли найти кнопку экспорта.
Вторник: Переместили кнопку экспорта в прототипе. Никто еще не тестировал.
Среда: Сэм предложил организовать последующее тестирование. Дата не согласована.

Дайте обеим моделям одно и то же краткое задание в новых разговорах:

Напишите обновление для коллеги, который пропустил эту неделю.
Используйте только приведенные ниже заметки. Сохраняйте текст менее 120 слов.
Включите то, что мы узнали, что изменилось и что осталось нетестированным.
Не придумывайте срок, цитату клиента или успешное тестирование.
Завершите одним предложенным действием, обозначенным как предложение.

[Вставьте здесь три строки заметок.]

Запишите дату, точные названия моделей, отображаемые в интерфейсе, и любые изменения настроек. Если у двух приложений разные инструменты или скрытые настройки по умолчанию, назовите это сравнением этих конфигураций. Вы не изолировали модель отдельно.

Оцените ответ до того, как прочитаете его объяснение.

Сначала выполните проверки перед сравнением результатов. В противном случае привлекательная формулировка может убедить вас принять ошибку.

Проверить	Условие прохождения
Числа	Четыре интервью и три отчета остаются точными.
Доказательство	В ответе говорится, что новая позиция не проверялась.
Неопределенность	Не придумывает дату или подтвержденное обязательство от Сэма.
Полезность	Предложенное следующее действие вытекает из заметок.
Формат	Обновление остается менее 120 слов.

Ответ должен пройти все пять проверок для этого задания. Не усредняйте сфабрикованный результат, потому что текст звучит хорошо.

Для каждого сбоя дайте одно точное исправление и зафиксируйте время, которое вы потратили. Сохраните оригинальный и исправленный варианты ответов. Инструмент, который создает более красивый первый вариант, может все равно оставить вам больше работы.

Ведите сравнительную таблицу

Скопируйте эту таблицу в свои заметки. Пустые ячейки предназначены для ваших наблюдений; это не публикуемые результаты бенчмарков.

Наблюдение	Настройка A	Настройка B
Модель, версия, приложение, дата
Проверки, пройденные с первой попытки, из 5
Необходимые исправления
Время ожидания ответов
Время, затраченное на проверку и исправление
Наблюдаемая стоимость API или указание использования подписки
Принят окончательный ответ?

Если приложение не показывает стоимость за задачу, напишите «недоступно». Цена подписки не является измеренной стоимостью за ответ, а процент использования не является количеством токенов.

Теперь повторите сравнение с двумя другими небольшими наборами заметок, факты которых вы можете проверить. Три примера могут выявить повторяющуюся ошибку, но их слишком мало, чтобы установить общую вероятность успеха. Сведите вывод к узкому: какая настройка показала себя лучше на этих обновлениях?

Что может показать список уровней

Список уровней — это рейтинг редактора по определённым критериям. Перед использованием посмотрите на задачу, версию модели, доступ к инструментам, настройки, дату теста и доказательства, лежащие в основе позиции. Результат кодирования автоматически не предсказывает хорошее исследование или аккуратную работу с таблицами.

Использовать наши эталонные показатели модели чтобы найти кандидатов и изучить примеры. Затем протестируйте кандидата на той работе, которая вам важна. Руководства по семейству моделей в этой теме служат справочными материалами, а не обязательными условиями для этого упражнения.

Примите решение, которое можно будет пересмотреть

Напишите короткую заметку о принятом решении:

Для кратких обновлений из предоставленных заметок я буду использовать [настройку].
В трёх моих примерах потребовалось [наблюдаемые исправления].
Я выбрал это из-за [качества, времени на обзор или наблюдаемых затрат].
Я повторно протестирую, если модель изменится или начнет пропускать [конкретную проверку].

Если ни одна из установок не проходит, сначала проверьте, достаточно ли у вас источников и инструкций. Обновление не может предоставить недостающую дату теста. Если обе проходят, выбирайте, исходя из времени, доступа и стоимости, которые вы действительно наблюдали.

Вы закончите, когда кто-то другой сможет прочитать ваш лист и понять выбор. Продолжайте с размещенными против моделей с открытым весом если вам также нужно решить, где должна работать модель.