AI

Искусственный интеллект тратит на запросы на разных языках в 180 раз больше энергии

Ученые выяснили, что обработка запросов ИИ на национальных языках требует до 180 раз больше энергии, чем на английском из-за токенизации.

·2 мин. чтения
Искусственный интеллект тратит на запросы на разных языках в 180 раз больше энергии

Ученые из Мичиганского университета провели масштабное исследование и доказали, что обработка запросов искусственным интеллектом на разных языках требует существенно различающихся энергозатрат. В зависимости от выбранного языка и языковой модели этот показатель может превышать англоязычные запросы в 1,4–180 раз.

  • Исследование охватило 122 языка и модели Qwen 3, Gemma 3 и Llama 3.1.
  • Основная причина энергоразницы заключается в работе токенизаторов, обученных на латинице.
  • Суммарные затраты на одинаковый набор запросов различаются от 17,6 кДж для английского до 3147 кДж для пушту.
  • Около 5,2 млрд человек используют языки, требующие как минимум вдвое больше энергии для обработки ИИ.

Причины языкового неравенства в энергопотреблении

Главным фактором увеличения энергозатрат стало количество токенизируемых фрагментов текста. Токенизаторы современных нейросетей оптимизированы преимущественно под латинский алфавит, поэтому другие системы письменности разбиваются на гораздо большее число мелких частей. Это приводит к повышенным требованиям к оперативной памяти и снижению эффективности графических процессоров NVIDIA L40S и RTX 6000 Pro Blackwell.

Кроме того, для языков с меньшим объемом обучающих данных модели часто генерируют более длинные ответы — иногда в 20–25 раз превышающие английские аналоги по числу выходных токенов. Максимальная разница в энергопотреблении на один токен достигала 8,3 раза, а общие затраты энергии на редкие языки возрастали многократно.

Читайте такжеMeta Muse AI получил функцию spaces для создания кастомных приложений

Связь с точностью и влияние на пользователей

В ходе тестов специалисты обнаружили прямую связь между энергозатратами и точностью ответов нейросетей. Языки, требующие больше вычислительных ресурсов, показали худшие результаты в тестах на понимание текста Belebele, математических задачах GSM8K и пользовательских запросах LM-Arena.

Подобная дискриминация затронет около 5,2 миллиарда человек, говорящих на языках, обработка которых обходится вдвое дороже английского. Поскольку коммерческие ИИ-сервисы тарифицируют услуги по количеству токенов, использование родных языков может стать финансово невыгодным для значительной части населения мира.

Возможные пути решения проблемы

Авторы исследования предлагают несколько вариантов устранения дисбаланса, включая создание специализированных моделей для конкретных языков и расширение обучающих корпусов. Также перспективным подходом может стать предварительный перевод запросов на английский язык перед отправкой в универсальную систему, если качество перевода остается достаточно высоким.

Источник: 3DNews:

Похожие статьи