Почему все так возбуждены из-за ИИ-модели, которая делает МЕНЬШЕ? (Jev)
Jev делает меньше, чтобы ваше приложение могло делать больше
Твит о Jev набрал более 31 миллиона просмотров для модели, которая не может писать ответы, не может писать код и не может объяснить своё мышление. Это кажется странным, пока вы не взглянете на то, что на самом деле нужно большинству приложений: решение, а не абзац.
Возьмите сообщение от клиента, например: «Вы сняли деньги дважды. Пожалуйста, исправьте это». Прежде чем кто-либо ответит, ваше программное обеспечение должно его перенаправить. В биллинг, продажи или техническую поддержку? Jev читает сообщение, проверяет его относительно предоставленных вами опций и возвращает ответ, который ваш код может использовать. Другая часть вашего приложения пишет ответ. Jev никогда не контактирует с клиентом.
Чем на самом деле занимается Jev
Typesafe AI объявила о Jev 15 сентября. Его соучредитель и генеральный директор, Дио Алмейда, помогал разрабатывать InstructGPT в OpenAI. Typesafe называет Jev моделью «системы один», заимствуя идею быстрого, интуитивного мышления. Можно представить её как сортировочный стол. Поступают сообщения, кто-то их читает, и каждое попадает в правильный лоток. Спам-фильтры делают это уже много лет, так что идея не нова. Прелесть в том, что можно описать, чего вы хотите, простым языком, дать Jev соответствующую информацию и использовать его ответы в вашем коде.
С сообщением от клиента вы можете включить данные учетной записи и вашу политику возврата. Typesafe называет это «информацией» или состоянием. Затем вы задаете свои вопросы. Для отдела используется поле выбора с вариантами, такими как выставление счетов, продажи и техническая поддержка. Для определения уровня раздражения используется шкала с уровнями, такими как спокойно, раздражен и очень злой. Вы также можете спросить, сообщает ли сообщение о дублированном списании, с помощью поля да/нет, которое возвращает вероятность. Несколько вопросов могут использовать одну и ту же информацию в одном запросе.
Ни один из этих вопросов не просит Джева взаимодействовать с клиентом. Каждый из них даёт ему конкретное решение, которое нужно принять. Typesafe утверждает, что Джев оценивает вопросы параллельно, а не пишет один токен за раз. Компания сообщает о времени отклика от 70 до 500 миллисекунд. Это данные компании Typesafe; ваша нагрузка и соединение изменят то, что вы увидите.
Цена, точность и оговорка о нулевых галлюцинациях
Обычные языковые модели уже могут классифицировать текст, и многие поддерживают структурированные выходные данные. Jev должен заслужить своё место, выполняя ту же работу с достаточной точностью при более низкой цене или меньшей задержке. Указанная прямая стоимость составляет 4,2 цента за миллион входных токенов, при этом выходные токены не оплачиваются. Если каждый запрос использует тысячу входных токенов, тысяча запросов будет стоить около 4 центов. Общая стоимость вашего приложения будет выше, так как у вас всё ещё есть другие сервисы, повторные попытки и, возможно, языковая модель, формирующая ответ. Даже так, эта цена делает частые проверки легко осуществимыми.
Typesafe рекламирует «нулевые галлюцинации». Не воспринимайте это как «никогда не ошибается». Ответы Жева ограничены структурой, которую вы задаёте. Дайте ему три отдела, и он не сможет придумать четвёртый, но он всё равно может выбрать отдел продаж, когда сообщение относится к бухгалтерии. Это всё равно что аккуратно положить конверт не в ту ячейку. Вы также должны предоставить правильные варианты. Если нужного ответа для клиента нет, идеально отформатированный ответ этого не исправит.
Typesafe обучает Jev возвращать вероятности, которые отражают неопределённость. Если модель присваивает ответу вероятность 80%, хорошая калибровка означает, что она оказывается правильной примерно в 80% случаев при множестве сопоставимых предсказаний. Это не гарантирует правильность любого отдельного ответа. Поля выбора и оценки также возвращают значение уверенности на основе того, насколько распределены вероятности. Не рассматривайте это число как процент точности. Вы можете использовать эти сигналы, чтобы решать, когда действовать, собирать дополнительную информацию или передавать дело человеку, но вам нужно протестировать, где должны находиться эти границы для вашего собственного приложения.
Стоит ли вам это использовать?
Jev принимает только текст. Он не может читать скриншоты, слушать аудио или смотреть видео. Другому программному обеспечению нужно сначала преобразовать эти данные. Если вы хотите попробовать его, у Typesafe есть браузерная песочница для аккаунтов с доступом, а Jev указан на AI-шлюзе Vercel. Проверяйте актуальный доступ и цены при регистрации.
Начните с примеров, где вы знаете ответ. Сравните «Я хочу вернуть деньги» с «Я не хочу возвращать деньги», затем добавляйте неясные запросы и отсутствующие детали. Отслеживайте ошибки и время ответа. Typesafe опубликовала оценки рабочих процессов, но эталонные ответы получены от других моделей ИИ. Согласие с другой моделью не доказывает, что ответ верен. Мы не проводили независимого тестирования Jev для этого видео.
Выберите одно повторяющееся решение в приложении и сравните Jev с тем, что сейчас это обрабатывает. Если оно экономит время или деньги при допустимом количестве ошибок, это хорошая причина использовать его. Для примера с жалобой клиента это означает быстро доставить сообщение в отдел биллинга, проверить начисление и получить полезный ответ. Jev может помочь на этом этапе маршрутизации, с которым многие LLM до сих пор испытывают трудности. Остальная часть вашего приложения всё равно должна работать.