Cloudflare perkenalkan aturan baru akses AI untuk konten digital

JAKARTA (IndoTelko) - Cloudflare memperkenalkan serangkaian inovasi baru yang ditujukan untuk membangun ekosistem internet berbasis agen AI (agentic internet) yang lebih sehat, transparan, dan berkelanjutan. Melalui pembaruan berupa klasifikasi bot, analitik yang lebih komprehensif, serta model kemitraan baru, perusahaan ingin memberikan kendali yang lebih besar kepada pemilik situs atas bagaimana konten mereka dimanfaatkan oleh sistem kecerdasan buatan.

Langkah tersebut diambil menyusul perubahan besar pola lalu lintas internet. Saat ini, lebih dari separuh permintaan ke situs web berasal dari bot dan agen otomatis, sementara AI semakin banyak digunakan sebagai pintu masuk utama untuk menemukan informasi maupun melakukan transaksi digital.

Cloudflare menilai kondisi tersebut menghadirkan tantangan baru bagi pemilik konten. Di satu sisi, mereka ingin tetap mudah ditemukan melalui layanan AI. Namun di sisi lain, banyak perusahaan media dan penyedia konten berbasis iklan maupun langganan menginginkan perlindungan terhadap penggunaan materi mereka untuk pelatihan AI tanpa kompensasi.

CEO dan Co-Founder Cloudflare, Matthew Prince, mengatakan perusahaan ingin menghadirkan keseimbangan antara keterbukaan akses dan perlindungan hak pemilik konten.

Menurutnya, pemilik situs harus memiliki kebebasan menentukan apakah kontennya hanya boleh diindeks untuk kebutuhan pencarian atau juga dapat dimanfaatkan dalam pelatihan maupun layanan berbasis AI. Sementara perusahaan AI yang menerapkan transparansi akan memperoleh jalur akses yang lebih jelas terhadap konten yang memang diizinkan.

Sebagai bagian dari kebijakan baru, Cloudflare akan mulai menerapkan pengaturan default baru mulai 15 September 2026. Pada konfigurasi tersebut, halaman yang memuat iklan tetap dapat diindeks oleh layanan pencarian, tetapi secara otomatis memblokir aktivitas pelatihan model AI maupun penggunaan oleh agen AI jika bot yang digunakan tidak memisahkan fungsi pencarian, pelatihan, dan penggunaan secara jelas. Pengguna tetap dapat mengubah pengaturan tersebut melalui dashboard Cloudflare sesuai kebutuhan.

Selain memperketat kontrol akses, Cloudflare juga memperkenalkan dasbor Attribution Business Insights. Fitur ini memungkinkan pemilik situs memperoleh informasi lebih rinci mengenai aktivitas bot AI, termasuk perusahaan AI yang mengakses konten mereka, seberapa besar trafik yang dikembalikan kepada situs asal, hingga data yang dapat dimanfaatkan dalam proses negosiasi lisensi konten.

Cloudflare juga mulai mendorong konsep Answer Engine Optimization (AEO), yakni pendekatan baru yang membantu pemilik konten memahami bagaimana materi mereka dikutip, digunakan, dan ditampilkan dalam jawaban yang dihasilkan berbagai layanan AI. Perusahaan meyakini AEO akan menjadi elemen penting sebagaimana Search Engine Optimization (SEO) pada era mesin pencari.

Di sisi monetisasi, Cloudflare mengembangkan layanan Pay Per Crawl menjadi Pay Per Use, sehingga kompensasi kepada penerbit tidak lagi dihitung berdasarkan jumlah proses perayapan, melainkan ketika konten benar-benar digunakan untuk menghasilkan jawaban AI.

Model tersebut tengah diuji bersama sejumlah mitra, termasuk Ceramic.ai dan You.com. Melalui skema ini, penerbit dapat memperoleh imbalan ketika konten mereka dimanfaatkan dalam layanan AI, sementara perusahaan AI memperoleh mekanisme lisensi yang lebih transparan dan terukur.

Cloudflare juga mengembangkan sistem untuk mengurangi aktivitas perayapan yang tidak efisien. Berdasarkan data internal perusahaan, lebih dari 50 persen aktivitas bot AI saat ini digunakan untuk mengambil ulang halaman yang sebenarnya tidak mengalami perubahan. Dengan memanfaatkan sinyal perubahan konten yang dimiliki Cloudflare, perusahaan AI dapat mengurangi proses perayapan yang tidak diperlukan sekaligus memperoleh data yang lebih mutakhir.

Selama setahun terakhir, Cloudflare juga telah memperluas berbagai inisiatif untuk mendukung ekonomi digital berbasis AI, mulai dari AI Crawl Control, Web Bot Auth, hingga kerja sama dengan platform seperti beehiiv, Patreon, Condé Nast, Ceramic.ai, dan sejumlah perusahaan AI lainnya.

Melalui berbagai pembaruan tersebut, Cloudflare berharap dapat membangun fondasi internet agentik yang memberikan manfaat bagi seluruh ekosistem, mulai dari kreator, penerbit, perusahaan AI, hingga pengguna internet, dengan mengedepankan prinsip transparansi, kontrol atas konten, serta kompensasi yang adil. (mas)