Cloudflare beri kontrol baru untuk konten di era AI

JAKARTA (IndoTelko) - Cloudflare memperkenalkan sistem kontrol baru yang memungkinkan pemilik situs membedakan penggunaan konten mereka untuk mesin pencari, pelatihan kecerdasan buatan (AI), dan agen AI.

Langkah tersebut ditandai dengan peluncuran pengaturan “Disallow AI Training” yang memungkinkan situs menolak penggunaan kontennya untuk pelatihan AI tanpa harus kehilangan visibilitas pada hasil pencarian.

Cloudflare juga menunjuk kategori baru Pihak yang Bertanggung Jawab untuk perayapan AI. Apple, Google, dan Microsoft termasuk operator yang telah memenuhi atau menyatakan komitmen memenuhi persyaratan yang ditetapkan Cloudflare.

Perubahan ini merespons perkembangan pola perayapan internet. Menurut Cloudflare, perayap multifungsi yang digunakan untuk mengumpulkan konten sekaligus untuk indeks pencarian dan pelatihan AI menyumbang 36,6% dari lalu lintas perayap terverifikasi di jaringan perusahaan.

Di sisi lain, kebutuhan pemilik situs juga berbeda. Kurang dari 1% situs memblokir perayap mesin pencari, sedangkan sekitar 17% membatasi pelatihan AI.

“Menjaga keterbukaan yang membuat pencarian berharga sekaligus memberikan kontrol yang berarti kepada orang dan bisnis di balik web atas bagaimana karya mereka digunakan,” kata Co-founder dan CEO Cloudflare Matthew Prince.

Tiga kontrol terpisah

Cloudflare kini mengganti pengaturan “Block AI Bots” dengan tiga kontrol yang berdiri sendiri, yakni untuk pencarian, pelatihan AI, dan agen AI.

Untuk situs berbasis iklan, Cloudflare merekomendasikan pencarian tetap diizinkan, pelatihan AI dilarang, sementara agen AI diblokir pada halaman yang menampilkan iklan.

Adapun situs lainnya secara default direkomendasikan mengizinkan ketiga jenis akses tersebut.

Cloudflare juga memperbarui fitur Managed Robots.txt melalui Bot Preference Sync. Pemilik situs dapat menetapkan preferensi perayapan satu kali dan menerapkannya secara otomatis kepada perayap yang didukung.

Perusahaan menilai perayap multifungsi menjadi bagian paling kompleks dalam pengaturan penggunaan konten untuk AI. Tahap berikutnya akan menyasar ringkasan hasil pencarian berbasis AI.

Cloudflare mewajibkan operator yang masuk kategori Pihak yang Bertanggung Jawab menyediakan mekanisme bagi pemilik situs untuk menolak ringkasan AI. Perusahaan menargetkan pada awal 2027 pemilik situs dapat mengatur tingkat penggunaan konten untuk ringkasan AI melalui satu sistem kontrol.

Empat syarat perayapan AI

Cloudflare menetapkan empat kriteria bagi operator perayapan AI yang dianggap bertanggung jawab.

Pertama, menyediakan mekanisme yang jelas untuk menolak pelatihan AI melalui robots.txt atau standar sejenis. Kedua, memberikan opsi untuk menolak ringkasan pencarian yang dibuat AI.

Ketiga, pemilik situs harus mendapatkan visibilitas hingga tingkat URL mengenai penggunaan konten mereka untuk pencarian dan pelatihan. Keempat, operator harus menyatakan secara terbuka bahwa penolakan terhadap pelatihan AI tidak akan memengaruhi peringkat situs dalam pencarian tradisional.

Cloudflare menyebut Apple, Google, dan Microsoft telah menunjukkan pemenuhan kriteria tersebut. Google, misalnya, menyediakan Google-Extended yang memungkinkan pemilik situs menolak penggunaan untuk pelatihan AI tanpa harus keluar dari Google Search.

Sejumlah perusahaan AI lainnya menggunakan perayap berbeda untuk kebutuhan pencarian dan pelatihan. Dengan pemisahan tersebut, Cloudflare dapat memblokir perayap pelatihan tanpa mengganggu akses pencarian.

Cloudflare juga terlibat dalam pengembangan standar terbuka melalui Internet Engineering Task Force (IETF), termasuk spesifikasi ai-prefs yang ditujukan untuk membuat preferensi akses AI situs web lebih terstandar dan portabel.

Melalui perubahan ini, Cloudflare berupaya memisahkan dua kebutuhan yang sebelumnya kerap berjalan melalui perayap yang sama: mempertahankan keterjangkauan konten oleh mesin pencari sekaligus memberikan pilihan kepada pemilik situs mengenai penggunaan konten untuk pengembangan AI. (mas)