Cloudflare ubah cara perayap AI kikis data internet secara luas

JAKARTA (IndoTelko) - Perusahaan cloud konektivitas terkemuka, Cloudflare, Inc. mengumumkan bahwa mereka saat ini menjadi penyedia infrastruktur Internet pertama yang memblokir perayap AI yang mengakses konten tanpa izin atau kompensasi, secara default.

Mulai hari ini, pemilik situs web dapat memilih apakah mereka ingin perayap AI mengakses konten mereka, dan memutuskan bagaimana perusahaan AI dapat menggunakannya. Perusahaan AI kini juga dapat menyatakan tujuan mereka dengan jelas apakah perayap mereka digunakan untuk pelatihan, inferensi, atau pencarian untuk membantu pemilik situs web memutuskan perayap mana yang akan diizinkan. Pengaturan default baru Cloudflare adalah langkah pertama menuju masa depan yang lebih berkelanjutan bagi para kreator konten dan inovator AI.

Selama beberapa dekade, Internet telah beroperasi dengan pertukaran sederhana: mesin pencari mengindeks konten dan mengarahkan pengguna kembali ke situs web asli, menghasilkan lalu lintas dan pendapatan iklan untuk situs web dari semua ukuran. Siklus ini memberi penghargaan kepada kreator yang menghasilkan konten berkualitas dengan uang dan pengikut, sekaligus membantu pengguna menemukan informasi baru dan relevan.

Model itu sekarang sudah rusak. Perayap AI mengumpulkan konten seperti teks, artikel, dan images untuk menghasilkan jawaban, tanpa mengarahkan pengunjung ke sumber aslinya—merampas pendapatan kreator konten, dan kepuasan mengetahui seseorang membaca konten mereka. Jika insentif untuk membuat konten asli dan berkualitas hilang, masyarakat akan mengalami kerugian dan masa depan Internet pun terancam.

Menurut salah satu pendiri & CEO Cloudflare, Matthew Prince, jika Internet ingin bertahan di era AI, kita perlu memberikan penerbit kontrol yang layak mereka dapatkan dan membangun model ekonomi baru yang menguntungkan semua orang—kreator, konsumen, pendiri AI masa depan, dan masa depan web itu sendiri.

“Konten asli adalah hal yang menjadikan Internet salah satu penemuan terbesar di abad lalu, dan penting bagi kreator untuk terus membuatnya. Perayap AI telah mengikis konten tanpa batas. Sasaran kami adalah mengembalikan kekuatan ke tangan para kreator, sekaligus tetap membantu perusahaan AI berinovasi. Ini tentang menjaga masa depan Internet yang bebas dan dinamis dengan model baru yang bermanfaat bagi semua orang," jelasnya.

Dikatakan CEO Condé Nast, Roger Lynch, pendekatan inovatif Cloudflare untuk memblokir perayap AI adalah terobosan bagi penerbit dan menjadi standar baru untuk penghormatan konten secara online Ketika perusahaan AI tidak lagi dapat mengambil apa pun yang mereka inginkan secara gratis, ini membuka pintu bagi inovasi berkelanjutan yang dibangun atas dasar izin dan kemitraan.

“Ini menjadi langkah penting menuju terciptanya pertukaran nilai yang adil di Internet yang melindungi kreator, mendukung jurnalisme berkualitas, dan meminta pertanggungjawaban perusahaan AI,” ujarnya.

Sementara, CEO Dotdash Meredith, Neil Vogel mengatakan, pihaknya telah lama mengatakan bahwa platform AI harus memberikan kompensasi yang adil kepada penerbit dan kreator konten untuk menggunakan kontennya. Pihaknya sekarang dapat membatasi akses ke kontennya hanya kepada mitra AI yang bersedia terlibat dalam pengaturan yang adil.

“Kami bangga mendukung Cloudflare dan menantikan penggunaan alat mereka untuk melindungi konten kami dan web terbuka," tegasnya.

Sedangkan, Chief Consumer and Product Officer, Gannett Media, Renn Turiano bercerita, sebagai penerbit terbesar di negara ini, yang terdiri dari USA TODAY dan lebih dari 200 penerbitan lokal di seluruh Jaringan USA TODAY, memblokir pengambilan konten yang tidak sah dan penggunaan konten asli kami tanpa kompensasi yang adil sangatlah penting.

“Ketika industri kami menghadapi tantangan ini, kami optimis teknologi Cloudflare akan membantu memerangi pencurian kekayaan intelektual berharga,” katanya.

Pun CEO Pinterest, Bill Ready mengatakan, para kreator dan penerbit di seluruh dunia memanfaatkan Pinterest untuk mengembangkan bisnis mereka, menjangkau audiens baru, dan mengukur kesuksesan mereka secara langsung.

"Seiring AI terus membentuk kembali lanskap digital, kami berkomitmen untuk membangun infrastruktur Internet yang sehat, di mana konten digunakan sesuai dengan tujuannya, sehingga kreator dan penerbit dapat berkembang," jelasnya.

Perusahaan AI, mesin pencari, peneliti, dan siapa pun yang menjelajahi situs harus sesuai dengan pernyataan mereka. "Dan platform apa pun di web seharusnya memiliki hak untuk menentukan siapa yang mengambil konten mereka dan untuk tujuan apa,” kata Steve Huffman, salah satu pendiri dan CEO Reddit.

“Seluruh ekosistem kreator, platform, pengguna web, dan perayap akan menjadi lebih baik ketika perayapan lebih transparan dan terkendali, dan upaya Cloudflare merupakan langkah ke arah yang benar bagi semua orang,” katanya.

Cloudflare mendukung salah satu jaringan terbesar di dunia, membantu mengelola dan melindungi lalu lintas untuk 20% web. Perusahaan menangani triliunan permintaan setiap hari, dan dengan demikian memiliki solusi manajemen bot tercanggih di dunia, yang secara akurat membedakan antara pengguna manusia dan perayap AI.

Pada bulan September 2024, Cloudflare memperkenalkan opsi untuk memblokir perayap AI dalam satu klik. Lebih dari satu juta pelanggan telah memilih opsi ini, yang dimaksudkan sebagai solusi agresif namun mudah yang menghentikan pengikisan sementara mereka menentukan strategi AI mereka.

Cloudflare mengambil langkah berikutnya untuk memberlakukan model berbasis izin untuk perayap AI. Perusahaan AI sekarang diharuskan memperoleh izin tertulis dari situs web sebelum melakukan pengikisan. Setelah mendaftar dengan Cloudflare, setiap domain baru sekarang akan ditanya apakah mereka ingin mengizinkan perayap AI, memberikan pelanggan baru pilihan di awal untuk secara eksplisit mengizinkan atau menolak akses perayap AI.

Perubahan signifikan ini berarti bahwa setiap domain baru dimulai dengan kontrol default, dan menghilangkan kebutuhan pemilik halaman web untuk mengonfigurasi pengaturan mereka secara manual untuk memilih tidak ikut serta. Pelanggan dapat dengan mudah memeriksa pengaturan mereka dan mengaktifkan perayapan kapan saja jika mereka ingin konten mereka diakses secara bebas.

Perusahaan konten, media, dan teknologi terkemuka mendukung terciptanya masa depan yang lebih berkelanjutan yang menghargai konten asli, termasuk: ADWEEK, The Arena Group, The Associated Press, The Atlantic, Atlas Obscura, BuzzFeed, Inc., Condé Nast, Digital Content Next, DOC, Dotdash Meredith, Drupal & Acquia, EngineEars, Evolve Media, Fortune, Gannett Media, Groundviews.org, Buletin Half Baked, Hyperscience, Lab Teknologi IAB, Media Independen, Pusat Jurnalis Internasional, Internet Brands, Linkup, Aliansi Berita/Media, O'Reilly Media, PMC, Pinterest, ProRata AI, Quora, Raptive, Reddit, SimpleFeed, Sky News Group, Snopes.com, SourceForge, Sovrn, Inc., Stack Overflow, StockTwits, SustainableMedia.Center, Third Door Media, TIME, Universal Music Group, Webflow, dan Ziff Davis.

Cloudflare membuat ekosistem konten lebih transparan bagi perusahaan dan kreator AI. Perusahaan baru-baru ini mengusulkan cara baru bagi bot AI untuk mengautentikasi diri dan bagi situs web untuk mengidentifikasi bot tersebut memberikan kreator dan pemilik situs web mekanisme identifikasi baru serta kontrol atas perayap yang ingin mereka izinkan. Cloudflare berpartisipasi dalam pengembangan protokol baru untuk memberikan pemilik bot dan pengembang agen AI dengan cara publik dan standar untuk mengidentifikasi diri mereka. (mas)