#Quantization

Ключевые понятия ИИ: KV кэш, веса, квантование и логика LLM

Разбираем главные термины мира искусственного интеллекта: что такое веса моделей, квантование, параметры, контекстное окно и как работает инференс LLM.