Perplexity WANDR изменил исследовательскую игру.. (Больше никакой ерунды AI)
Оценивайте систему исследований, а не один ответ
- WANDR оценивает исследовательских агентов на основе живого интернета и проверяет, поддерживают ли цитируемые источники сделанные на их основе утверждения.
- Рон сообщает о 500 обезличенных задачах в производственном стиле и 170 000 записях с подтвержденными источниками по различным уровням сложности.
- Качество исследований зависит от полного стека: модель, инструменты, система, стратегия поиска, контекст, маршрутизация, циклы и окончательная проверка.
- Хороший маршрутизатор модели должен быть стабильным при перефразировании, а не просто дешевым и точным для одного выражения.
- Автоматизированные оценки должны выявлять закономерности в масштабах, однако эксперты в области по-прежнему решают, является ли ответ полезным, правильно ли он приоритизирован и основан ли на правильной интерпретации.
Это более полезное направление, чем еще один статический лидерборд. В настоящих исследованиях нет единого постоянного ключа ответов: страницы меняются, источники исчезают, и два хорошо обоснованных ответа могут прийти к одному и тому же выводу, опираясь на разные доказательства. Важный шаг WANDR — заново получать данные, на которые ссылался агент, и проверять поддержку утверждений. Это все равно не делает агента автоматически надежным. Это дает разработчикам лучший инструмент для поиска мест, где нарушается доверие, и повод оценивать весь исследовательский процесс, а не только хвалить базовую модель.
Смотрите отчет
- : Рон начинает с правильного значения по умолчанию, важные ответы всё ещё требуют скепсиса.
- : вводятся производственные задачи бенчмарка и оценка поддержки источников.
- : производительность агента разбивается на обвязку, инструменты, подсказки, поиск, маршрутизацию, циклы и проверку.
- : эквивалентные подсказки не должны непредсказуемо прыгать между экспертами.
- : масштабируемая проверка следов и человеческое суждение решают разные части проблемы качества.
- : последовательные задачи выявляют технический долг, который упускает тест с одним тикетом.
Рон своими словами
«Могу ли я доверять этому ответу? Конечно, нет. К нему нужно относиться с долей скепсиса.» — Рон, исходное видео N2RttyY5HdM, 00:03
«То, что делает Wander, это повторно получает источники, на которые ссылается агент, и проверяет, действительно ли его утверждения подтверждаются исходными доказательствами.» — Рон, исходное видео N2RttyY5HdM, 01:54
«Автоматизированные оценки полезны, но не заменяют экспертизу в конкретной области.» — Рон, исходное видео N2RttyY5HdM, 05:34
«Вопрос не только в том, закрыл ли он тикет, но и больше в том, что он оставил после себя.» — Рон, исходное видео N2RttyY5HdM, 08:01
Почему старые исследовательские бенчмарки выходят из строя
Почему фиксированный ключ ответов не работает на актуальных исследованиях
Статические ссылки хорошо работают, когда у проблемы есть один стабильный ответ. Веб-исследования более хаотичны: страницы меняются, цитируемый материал исчезает, и правильное заключение может быть поддержано доказательствами, отличными от оригинальной ссылки ориентира.Ответ WANDR, как описано в видео, заключается в повторном получении цитируемых агентом источников и оценке того, поддерживают ли фактические данные его утверждения.).
Рон сообщает, что эталон содержит 500 заданий, созданных на основе деперсонализированных производственных исследовательских работ, и 170 000 записей с источниками по уровням сложности (). Он также описывает те же следы производственного типа как возможную среду для обучения с подкреплением: обучение и оценка могут напоминать работу, которую люди фактически пытаются автоматизировать, а не синтетические упражнения, выбранные потому, что их легко оценить ().
Видео говорит, что Рон клонировал репозиторий и попросил Гермеcа настроить конвейер. На момент записи эта настройка требовала ключа API OpenAI и ключа API Perplexity (). Этот компаньон не предоставляет команды настройки, потому что они не встречаются в расшифровке.
Оцените полный стек агентов
Как только агент начинает исследовать прямой доступ к вебу, его результат зависит не только от базовой модели. Рон перечисляет стойку, инструменты, подсказку, стратегию поиска, логику выбора модели, цикл и финальную проверку как части системы (). Это меняет полезный вопрос с «Какая модель набрала наибольшее количество баллов?» на «Какая полная конфигурация обеспечивает поддерживаемые ответы при приемлемой стоимости?»
Видео ссылается на исследование, которое сократило стоимость агента-системы на 89%, при этом совпадая на 100% с лучшей статической конфигурацией. Рон подчеркивает, что выигрыш достигнут за счет полной конфигурации системы, а не просто отправки простых запросов дешевой модели и сложных запросов дорогой (). Эти цифры приведены из видео и здесь не воспроизводятся независимо.
Роутер должен выживать при парафразировании
Рон отмечает предупреждение из связанной работы Google DeepMind: точность и стоимость не полностью описывают мульти-модельный роутер. Роутер должен делать значимые различия между своими экспертами и оставаться стабильным, когда тот же запрос перефразирован). Если эквивалентные запросы попадают на совершенно разные модели, правило маршрутизации может реагировать на шум в формулировках, а не на реальное различие задач.
Эта нестабильность имеет значение на практике. Решение о маршрутизации, которое меняется при безвредной перефразировке, трудно оптимизировать, воспроизвести и отлаживать (). Практическая оценка маршрутизатора, следовательно, должна включать группы эквивалентных подсказок и проверять как их результаты, так и выбранных экспертов.
Аудит исследовательских результатов, который вы можете использовать
Проблемы оценки в видео предлагают следующий аудит. Это не официальная система оценки WANDR.
| Проверить | Вопрос для уточнения | Сигнал о сбое |
|---|---|---|
| Покрытие утверждений | Имеет ли каждое важное фактическое утверждение источник? | Несанкционированные числа, даты, сравнения или рекомендации |
| Подразумеваемое | Подтверждает ли цитируемый отрывок заявленное утверждение? | Авторитетный источник, который обсуждает тему, но не утверждение |
| Свежесть | Достаточно ли недавно был получен источник для данного вопроса? | Утверждения о текущем состоянии, основанные на устаревших или отсутствующих страницах |
| Качество источника | Является ли источник первичным и соответствующим заявленному утверждению? | Приведен сводный материал вместо исходных данных или документации |
| Стабильность маршрутизатора | Соответствуют ли перефразировки мнениям разумных, последовательных экспертов? | Эквивалентные задачи направляются непредсказуемо |
| Польза для человека | Корректно ли ответ приоритетизирован для принятия решения? | Соответствующий рубрике вывод, который скрывает значимое заключение |
Проводите автоматические проверки по множеству трассировок, чтобы найти повторяющиеся пробелы, затем предоставляйте экспертам по предметной области сомнительные утверждения и источники, а не только агрегированный балл. Это соответствует предложенному Роном разделению труда: агенты оценки выявляют паттерны; эксперты решают, что является хорошей работой ().
Долговременное качество — это отдельный эталон
Та же проблема возникает в программировании. Бенчмарк на один тикет мало говорит о десятой модификации в том же репозитории. Рон использует MiniSWE-Agent, чтобы показать, что инфраструктура бенчмарка и упаковка задач влияют на то, что означает оценка модели (). Затем он указывает на SlopCode-Bench, который ищет накопившееся дублирование, хрупкие абстракции, ненужные зависимости и работу, которая усложняет следующую передачу дела (). Вопрос оператора заключается не просто в том, закончил ли агент работу. Важно, в каком состоянии осталась система.
Примечание о свежести
Видео было опубликовано 15 июля 2026 года, а этот сопроводительный материал был проверен по источникам 17 июля 2026 года. В нём сообщается о размерах WANDR, его поведении, требованиях к доступу и связанных исследованиях точно так, как это описано в транскрипте. В неизменяемый рабочий пакет не была включена внешняя проверка актуальности, поэтому эта статья не делает этого. не утверждают, что настройка репозитория, требования к API-ключу, данные для бенчмарка или заявленные результаты остаются без изменений. Проверьте эти элементы в соответствии с текущими официальными материалами проекта перед запуском или цитированием бенчмарка.
Продолжать обучение
- Урок: Что такое рейтинг моделей ИИ? , как читать доказательства модели, не принимая одну оценку за окончательное решение.
- Урок: решения Frontier против open-weight , оценка системы развертывания вокруг возможностей модели.
- Урок: Программирование с Claude Code , процедуры верификации и передачи для кодирующих агентов.
- .