GDPx: SemiAnalysis agentlik burchmarki va sun'iy intellektning cheklovlari

SemiAnalysis kompaniyasi 2-noyabr kuni sun'iy intellektning agentlik qobiliyatlarini baholovchi yangi GDPx burchmarkini e'lon qildi. Maks Kan, Endryu Megalaa va Dilan Patel tomonidan yaratilgan ushbu tizim biznes pul to'lashga tayyor bo'lgan murakkab kasbiy vazifalarni bajarishda modellar imkoniyatlarini sinovdan o'tkazadi.

• Test qamroviga chip dizayni, kiberxavfsizlik, huquq va moliya kabi 11 ta murakkab soha kiritilgan.
• Claude Opus 5.5 modeli eng yaxshi umumiy natijani qayd etib, mutlaq yetakchiga aylandi.
• Har bir vazifa uchun modellarga sakkiz soatgacha vaqt va o'zining maxsus muhitlari berildi.
• Xavfsizlik klassifikatorlarining o'ta ehtiyotkorligi modellarning ballarini pasaytirishi aniqlandi.

Sinov qamrovi va sohalar taqsimoti

GDPx burchmarki chip va apparat ta'minoti dizayni, kiberxavfsizlik, biologiya, moliya, huquq, kvant treydingi, materialshunoslik, dasturiy ta'minotni ishlab chiqish hamda sun'iy intellektni o'zi yaxshilashi kabi 11 yo'nalishni o'z ichiga oladi. Sohalar kelgusi yillarda sun'iy intellekt eng ko'p ta'sir ko'rsatadigan yo'nalishlardan kelib chiqib tanlangan. Har bir vazifani bajarish uchun modellarga sakkiz soatgacha vaqt berildi va ular Claude Code, Codex kabi o'z qobig'ida ishladi.

Avvalgi testlardan farqli o'laroq, mualliflar interaktiv bo'lmagan yondashuvlarni tanqid qilib, haqiqiy ish muhitiga yaqin sharoit yaratdilar. Modellar o'zlarining kuchli tomonlariga ko'ra vazifalarni taqsimlab oldi va ko'plab yo'nalishlarda muvaffaqiyat qozondi, biroq huquq va moliya sohalari hozircha hech bir modelga bo'ysunmadi.

Sanoat yetakchilari va eng og'ir sinovlar

Claude Opus 5.5 modeli umumiy yetakchi bo'lib, kvant treydingi va apparat dizaynida g'alaba qozondi. OpenAI kompaniyasining GPT-6 Astra modeli o'zini o'zi yaxshilashda, Google Gemini 4 Carbon biologiya va dasturlashda, Meta vakili esa kiberxavfsizlikda yetakchilik qildi. Shunga qaramay, moliya va huquqiy vazifalarda 20 dan ortiq urinishlarning birortasi ham muvaffaqiyatli yakunlanmadi.

Sinov ko'rsatkichlari vazifalarning o'ta murakkabligini fosh qildi. Masalan, huquqiy shartnomalarni tahrirlashda Opus 5.5 o'rtacha 44% baho oldi, moliyaviy tahlil vazifalari esa birorta model tomonidan bajarilmadi. Qizig'i shundaki, xavfsizlik filtrlari biologiya va kiberxavfsizlik vazifalarida asossiz ishlab, modellarning umumiy natijalarini yomonlashtirdi.

Dasturlashdagi xatolar va biznes uchun ahamiyati

Dasturiy ta'minotni ishlab chiqishdagi xatolarni tahlil qilish shuni ko'rsatdiki, modellarning 76% xatolari asosiy vazifadan tashqaridagi talablarga bog'liq: mavjud kodni buzib qo'yish, integratsiyani hisobga olmaslik va chekka holatlarni e'tiborsiz qoldirish shular jumlasidandir. Modellar asl talab bajarilganini tekshirishdan ko'ra, o'z kodi uchun test yozishga moyil.

O'zbekistonlik dasturchilar va IT-biznes vakillari uchun bu sun'iy intellekt agentlariga ko'r-ko'rona tayanib bo'lmasligini anglatadi. Hozirgi avtonom agentlar kompleks loyihalarda qatnashish uchun qo'shimcha integratsion nazorat va sinov bosqichlarini talab qiladi.