Google va OpenAI sun'iy intellektni o'qitishdan himoya qiluvchi robots.txt standartini joriy qilmoqda

Google, OpenAI, Anthropic va Microsoft kompaniyalari veb-sayt egalariga o'z kontentini generativ sun'iy intellektni o'qitish uchun yig'ilishidan himoya qilish imkonini beruvchi yangi umumiy robots.txt direktivasini qo'llab-quvvatlashga qaror qilishdi. Ushbu tashabbus internet standartlari tashkiloti IETF ko'rib chiqayotgan taklifga asoslanadi.

Yangi qoida nashriyotlar va veb-ustalarga o'z resurslarini har bir provayder uchun alohida sozlamasdan, yagona mexanizm yordamida boshqarish imkonini taqdim etadi.

• Veb-saytlar uchun sun'iy intellektni o'qitishni bloklovchi yagona robots.txt signali joriy etilmoqda.
• Taklif Anthropic standartlar bo'yicha texnik rahbari Kevin Kelli tomonidan tayyorlangan.
• Kompaniyalar standartni 2027-yil boshigacha bosqichma-bosqich qo'llab-quvvatlashini e'lon qildi.
• Yangi direktiv qidiruv tizimidagi indeksatsiyaga ta'sir qilmaydi, faqat SI o'qitilishini to'xtatadi.

Yangi robots.txt direktivasi qanday ishlaydi

Hozirgi vaqtda veb-sayt egalari har bir sun'iy intellekt provayderining maxsus skanerlari uchun alohida qoidalar va cheklovlarni qo'lda kiritishga majbur bo'lmoqda. IETF tashkilotida ko'rib chiqilayotgan yangi taklif buni o'zgartirib, bir nechta yirik SI kompaniyalariga yagona umumiy signalni tan olish va unga amal qilish imkonini beradi.

Nashriyotlar robots.txt faylida aynan sun'iy intellektni o'qitishga mo'ljallangan yangi foydalanuvchi agentini sozlashlari kerak bo'ladi. Masalan, ushbu qoida ma'lum sahifalarni yoki butun saytni ma'lumot yig'ishdan yopish yoxud matbuot anjumani materiallari kabi ayrim bo'limlarni istisno tariqasida ochib qo'yish imkonini beradi.

Qidiruv tizimlariga ta'siri va cheklovlar

Ta'kidlash joizki, ushbu yangi direktiv qidiruv natijalarida kontentning ko'rinishiga mutlaqo to'sqinlik qilmaydi. Misol uchun, Google bu signalni Gemini modellarini o'qitish uchun foydalaniladigan materiallarni yig'uvchi "Google-Extended" agenti uchun maxsus to'xtash belgisi sifatida talqin qiladi.

Shuningdek, ushbu mexanizm kompaniyalar tomonidan ilgari yig'ib olingan ma'lumotlarni o'chirib yubora olmaydi. U faqat kelgusida saytlar yoki alohida sahifalarni skaner qilishning oldini oladi. Anthropic allaqachon ushbu direktivani qo'llab-quvvatlay boshlagan bo'lsa, boshqa kompaniyalar o'z muddatlarini e'lon qilishdi.

Joriy etish muddatlari va ahamiyati

Kompaniyalarning bildirishicha, Microsoft va Google yangi signalni 2027-yil boshida joriy etishni rejalashtirmoqda, OpenAI esa uni yaqin oylarda o'z tizimlarida tatbiq etish majburiyatini oldi. Ushbu qadam kontent yaratuvchilarga o'z intellektual mulki ustidan qat'iyroq nazorat o'rnatish imkonini beradi.

O'zbekiston va mintaqadagi veb-resurslar, axborot saytlari hamda dasturchilar uchun bu o'z kontentini xalqaro darajada himoya qilish va sun'iy intellekt modellarini o'qitish jarayonida o'z shartlarini belgilash uchun qulay huquqiy va texnik imkoniyat yaratadi.