Mahalliy sun'iy intellekt elektr energiyasi qancha sarflaydi
XDA muallifi shaxsiy kompyuterda lokal LLM ishlatish oylik 20 dollarlik obunalarga qaraganda ancha arzon tushishini hisoblab chiqdi.
Ko'pchilik foydalanuvchilar maxfiylik va moliyaviy tejamkorlik uchun o'z modellarini o'rnatishni afzal ko'radigan bo'ldi. Biroq, tanqidchilar ko'pincha tejalgan pullar elektr energiyasi uchun to'lovga ketishini ta'kidlashadi.
- Sinov uchun RTX 4070 Ti Super va Ryzen 5 7600X ga ega kompyuterda Qwen3.6-35B-A3B modeli tanlandi.
- O'lchashlar llama-bench, HWiNFO va nvidia-smi yordamida amalga oshirildi.
- Generatsiya vaqtida protsessor va videochiqishning eng yuqori quvvati 251.9 Vt ni tashkil etdi.
- Hisob-kitoblar shuni ko'rsatdiki, xarajatlar ChatGPT yoki Claude kabi 20 dollarlik obunalardan ancha past.
Sinov jarayoni va texnik xususiyatlar
Muallif 16.5 GB hajmdagi UD-IQ4_XS kvantlashdagi Qwen3.6-35B-A3B modelidan foydalandi. Model RTX 4070 Ti Super kartasining 16 GB xotirasiga to'liq sig'magani sababli, ba'zi qismlari Ryzen 5 7600X protsessoriga yuklandi. Bu CPU va GPU quvvatini birgalikda o'lchash imkonini berdi.
llama-bench yordamida promptni o'qish va tokenlar generatsiyasi vaqti tekshirildi. HWiNFO va nvidia-smi orqali har yarim sekundda quvvat sarfi yozib olindi. Natijada quvvat o'qish paytida 237.5 Vt, generatsiya vaqtida esa 251.9 Vt gacha chiqdi.
Shuningdek o‘qingGPT-6 Astra neyrotarmoq vaznlarini o'qish va yozishni o'rgandiXarajatlarni taqqoslash va obuna narxi
AQSh Energetika ma'muriyatining 2026-yilgi 18.2 sent/kVt-soat prognoziga asoslanib, eng yomon stsenariy bo'yicha hisob-kitob qilindi. 20 dollarga taxminan 110 kVt-soat energiya sotib olish mumkin.
Hisoblangan 251.9 Vt quvvatda kompyuter oyiga 436 soat davomida tinimsiz token generatsiya qilishi kerak bo'ladi. Qo'shimcha 100 Vt ni hisobga olganda ham, bitta obuna narxiga yetish uchun kompyuter kuniga 10 soatdan ortiq ishlayotgan bo'lishi talab etiladi.
Lokal modellar haqidagi noto'g'ri tushunchalar
Ko'pchilik GPU doimiy ravishda o'zining maksimal quvvatida ishlaydi deb o'ylaydi. Biroq amalda token generatsiyasi xotiraga ko'proq tayanadi.
Masalan, RTX 4070 Ti Super generatsiya paytida o'zining 285 Vt limitidan atigi 144 Vt iste'mol qildi. Bu shuni ko'rsatadiki, lokal modellar elektr energiyasini haddan tashqari ko'p sarflamaydi.
Manba: XDA
