Nvidia только что РЕВОЛЮЦИОНИЗИРОВАЛА ИИ, но никто об этом не говорит...
Четыре исследовательские идеи, четыре разных теста
- Сообщается, что двухбашенная конфигурация Nvidia разделяет чтение подсказки и генерацию токенов: замороженная башня контекста читает подсказку, в то время как обученная диффузионная башня параллельно пишет и уточняет блоки. (исходное видео gDTyMXzo6Wg, 01:09; исходное видео gDTyMXzo6Wg, 01:18)
- Основной результат, показанный в видео, — генерация в 2,4 раза быстрее при сохранении 98,7% исходного качества. Рассматривайте оба числа как результат исследования, а не как независимо воспроизведённый бенчмарк. (исходное видео gDTyMXzo6Wg, 01:43)
- Более широкий стек также имеет значение: Рон рассказывает о WebGPU-инференции на стороне браузера, открытых ядрах внимания, возможном порте Triton на процессоры Apple и мировых моделях, которые адаптируются в цикле планирования-действия-наблюдения. (исходное видео gDTyMXzo6Wg, 02:12; исходное видео gDTyMXzo6Wg, 02:54; исходное видео gDTyMXzo6Wg, 03:16; исходное видео gDTyMXzo6Wg, 03:50)
- Движение оператора заключается в том, чтобы проверить завершенные результаты, задержку и поведение при сбоях на вашей собственной нагрузке. Видео не подтверждает современную доступность или готовность к производству.
Результат с двумя башнями — это тот, который стоит ставить на испытательный стенд. Авто-регрессионная генерация пишет один токен за другим; описанная здесь архитектура сохраняет контекст фиксированным и добавляет диффузионную генерацию башня, которая пишет токен-блоки параллельно, а затем уточняет их. Это серьёзная попытка решить узкое место, а не просто ещё одно повышение в тесте производительности. Но не стройте стек инференции вокруг одного заявленного результата 2,4×. Воспроизведите скорость, сравните качество вывода и проверьте, дают ли режимы того же контрольного показателя чистую базовую линию. (исходное видео gDTyMXzo6Wg, 01:52) Мнение Рона ясно: из всех историй в этом обзоре параллельная генерация самая впечатляющая. (исходное видео gDTyMXzo6Wg, 05:20; исходное видео gDTyMXzo6Wg, 06:22)
Смотрите отчет
- : почему генерация слева направо является ограничением, связывающим весь обзор. (исходное видео gDTyMXzo6Wg, 00:00)
- : Рон представляет архитектуру и заявленный прирост скорости. (исходное видео gDTyMXzo6Wg, 00:49)
- : одна сторона читает подсказку; другая пишет блоки параллельно. (исходное видео gDTyMXzo6Wg, 01:18)
- : видео демонстрирует работу Gemma WebGPU на M4 Max. (исходное видео gDTyMXzo6Wg, 02:12)
- : MiniMax разреженное внимание и предложенный путь Triton-on-Mac. (исходное видео gDTyMXzo6Wg, 02:54)
- : Рон переходит от скорости вывода к архитектуре модели мира. (исходное видео gDTyMXzo6Wg, 03:33)
- : симулированные прокрутки, изученные награды и предупреждение Рона о манипулировании моделью награды. (исходное видео gDTyMXzo6Wg, 04:30)
- : более быстрая генерация, вывод, ядра и адаптивные архитектуры формируют заключительную тезисную часть. (исходное видео gDTyMXzo6Wg, 05:15)
Рон своими словами
«Башня контекста заморожена. То есть вы не переобучаете всю модель с нуля.» — Рон, исходное видео gDTyMXzo6Wg, 01:36
«Скорость не имеет значения, если вы застряли за облачным API.» — Рон, исходное видео gDTyMXzo6Wg, 02:04
«Возможность разделять модели, чтобы они могли писать параллельно, — это большой прорыв.» — Рон, исходное видео gDTyMXzo6Wg, 05:22
«У меня есть ощущение, что это можно снова геймифицировать, потому что это с обученной моделью вознаграждений.» — Рон, исходное видео gDTyMXzo6Wg, 05:08
Декодирование с двумя башнями, вывод в браузере, открытые ядра и модели мира
Это обзор исследований, поэтому полезное различие заключается в том, что сообщает Рон, что он интерпретирует и что еще требует реального теста.
| Слой стека | Утверждение, сделанное в видео | Чтение оператором |
|---|---|---|
| Генерация | Модель на 30B разделена на замороженную башню контекста и обученную диффузионную башню; сообщаемый результат — генерация в 2,4 раза быстрее при сохранении 98,7% качества. (видео источник gDTyMXzo6Wg, 01:09; видео источник gDTyMXzo6Wg, 01:43) | Сравните один и тот же набор подсказок в диффузионном и стандартном авто-регрессионном режимах. Измерьте фактическое время и оцените результаты вслепую. |
| Вывод в браузере | Рон сообщает 255 токенов в секунду для демонстрации Gemma WebGPU на Apple M4 Max, полностью в браузере. (видео источник gDTyMXzo6Wg, 02:19) | Рассматривайте это число как специфичное для устройства и демонстрации до тех пор, пока оно не будет воспроизведено на вашем оборудовании и рабочей нагрузке. |
| Открытые ядра | В видео говорится, что библиотека ядров Hugging Face поставляется с MiniMax разреженным вниманием с ускорением предварительной загрузки более чем в 14× и вторым ускорением почти в 8× на GPU H800. Вторая метрика транскрибирована как «coding», поэтому её точное значение здесь не установлено. (исходное видео gDTyMXzo6Wg, 02:54; исходное видео gDTyMXzo6Wg, 03:03) | Проверьте метрику с исходного источника и поддерживаемое оборудование перед использованием любой из этих цифр в планировании ёмкости. |
| Локальная работа с ядрами | Рон говорит, что сообщество пыталось запустить OpenAI Triton нативно на Apple silicon; он условно описывает выгоду для разработчиков: «если это удастся». (исходное видео gDTyMXzo6Wg, 03:16) | Не рассматривайте порт как доступный, основываясь только на этом видео. Перед изменением рабочего процесса проверьте текущую поддержку. |
| Адаптивные модели мира | Адаптивная модель мира во время тестирования планирует, действует, наблюдает, обновляет свою модель мира и перестраивает планы, что, как сообщается, улучшает планирование всего за один градиентный шаг за цикл. (исходное видео gDTyMXzo6Wg, 03:50; исходное видео gDTyMXzo6Wg, 04:08) | Практический вопрос заключается в том, улучшает ли адаптация успех выполнения задачи без нестабильного поведения или неприемлемых расходов вычислений. |
| Обучение в воображении | Агенты действуют внутри смоделированного мира, оценивают действия с помощью обученной модели наград, а затем действуют в реальном мире. (исходное видео gDTyMXzo6Wg, 04:41) | Вознаграждение за игру — это явный риск, который поднимает Рон; тестируйте задачу на наличие лазеек, прежде чем доверять симулированному успеху. (источник видео gDTyMXzo6Wg, 05:08) |
Как оценивать каждое утверждение
- Выберите стабильный набор подсказок. Включите короткие ответы, длинный текст, структурированный вывод и как минимум одну задачу, где легко заметны ошибки фактов или форматирования.
- Держите сравнение постоянным. Используйте один и тот же контрольный чекпоинт и сравнивайте режимы диффузии и стандартные авто-регрессионные режимы, которые, по словам Рона, поддерживаются. (источник видео gDTyMXzo6Wg, 01:52)
- Измеряйте выполненную работу. Фиксируйте время до первого полезного результата, общее время выполнения, неудачные генерации и выводы человеческой проверки, а не только количество токенов в секунду. Видео не сообщает результаты этого теста.
- Разделяйте оборудование и архитектуру. Номер браузера привязан к M4 Max, в то время как показатели sparse-attention привязаны к GPU H800 в видео. (исходное видео gDTyMXzo6Wg, 02:19; исходное видео gDTyMXzo6Wg, 03:07)
- Сохраняйте путь отката. Если параллельная генерация изменяет качество вывода или надежность вызова инструментов, стандартный режим является отправной точкой для возврата. Видео сообщает о нескольких режимах, но не демонстрирует их поведение в производстве. (исходное видео gDTyMXzo6Wg, 01:52)
Примечание о свежести
Видео было опубликовано 2 июля 2026 года, а этот сопроводительный материал был проверен по источникам 18 июля 2026 года. Видео описывает быстрый обзор исследований и на момент съемки указывает, что некоторые демонстрации или пакеты были доступны, в то время как работа над Triton для Apple-силикона ещё не была выпущена. (исходное видео gDTyMXzo6Wg, 02:36; исходное видео gDTyMXzo6Wg, 03:16) На этой странице не установлено независимо текущее состояние контрольной точки, репозитория, поддержки оборудования, ценообразования или более поздних результатов тестирования. Проверьте их перед принятием производственного решения; приведённые выше цифры остаются устаревшими данными из исходного видео.