Чип Jalapeño от OpenAI установил новые рекорды скорости и эффективности инференса
Согласно тесту Semianalysis InferenceX, процессор Jalapeño обеспечивает больше токенов на пользователя и большую пропускную способность на киловатт, чем современные ведущие ИИ‑чипы.
OpenAI представил чип Jalapeño как специализированный ускоритель, предназначенный для обработки больших объёмов инференсных нагрузок с минимальной задержкой.
Для оценки его возможностей чип был протестирован в бенчмарке Semianalysis InferenceX, который измеряет количество генерируемых токенов на пользователя и пропускную способность на киловатт потребляемой мощности.
Результаты показали, что Jalapeño превосходит текущие передовые ИИ‑процессоры по обоим показателям, выдавая больше токенов на пользователя и большую пропускную способность на киловатт.
Это приводит к снижению эксплуатационных расходов дата‑центров и позволяет запускать более требовательные ИИ‑сервисы без пропорционального роста энергопотребления.
Для стран таких как Узбекистан и более широкого Ближнего Востока, где доступ к доступной высокопроизводительной ИИ‑инфраструктуре ещё развивается, чипы типа Jalapeño могут способствовать ускоренному внедрению передовых ИИ‑приложений.
