Jalapeño от OpenAI: чип, который положит конец ажиотажу вокруг GPU?
Чип Jalapeño от OpenAI, созданный вместе с Broadcom, достиг стадии tape-out за 9 месяцев — и ведущие лаборатории теперь рассматривают кастомный кремний для инференса как базовое требование.
Что такое Jalapeño на самом деле
Первый кастомный AI-чип OpenAI, с кодовым названием Jalapeño, был создан в партнерстве с Broadcom и предназначен для инференса LLM, а не для обучения. Грег Брокман выделял performance per watt как ключевой показатель — на передовом уровне мощность является узким местом, и лучшая производительность на ватт означает больше токенов за доллар и меньше агентов, ожидающих выделения GPU. Явно упомянутые сценарии использования: ChatGPT, Codex, API-трафик и будущие агентские продукты.
Цифры (вычисленные путем обратного анализа сообществом, неофициальные)
Оценки обратного инжиниринга ставят Jalapeño рядом с кристаллом reticle примерно 260 GB of HBM3E, 7.1–7.4 TB/s пропускная способность, и около 10 PFLOPS in FP4. Цикл от проектирования до выпуска на конвейер был 9 months, необычайно быстрым для высокопроизводительного ASIC, и, как сообщается, собственные модели OpenAI ускорили этот процесс — ИИ проектирует кремний, который запускает ИИ. Чип выглядит похожим на TPU по разборкам сообщества.
Мгновенные изменения по всему стеку
Крис Латтнер объявил, что Qualcomm приобретает Modular, при этом открытие Mojo остаётся в графике. Nvidia продвинулась NeMo Automodel, обещая 3.4–3.7× более высокую пропускную способность обучения на моделях MoE через параллелизм экспертов, DeepEP и ядра Transformer Engine. SkyPilot запустил унифицированные конечные точки вывода данных по кластерам. Modular утверждает, что открытые стеки вывода могут превосходить проприетарных провайдеров по задержкам.
Предостережение локальной оптимизации
Джон Дурбин сообщил 30–50% реальные преимущества декодирования в реальном мире от пользовательских моделей deep flash draft и speculator. Мощные, но достаточно дорогие, чтобы полное локальное выполнение агентов было 5–10 years вне.
Где это оставляет вас
Гонка ИИ смещается от лучшей модели к лучшей фабрике. Anthropic, Alibaba, MiniMax и другие будут вынуждены отвечать. Если вы создаете агентов, решите сейчас, где будет выполняться вывод через два года — ответ скоро будет выглядеть совсем иначе.
Упомянутые разделы
- OpenAI, Broadcom, Jalapeño
- Крис Латтнер, Qualcomm, Modular, Mojo
- Nvidia, NeMo Automodel, DeepEP, SkyPilot
- Джон Дёрбин, deep flash, draft, speculator