JAKARTA (IndoTelko) - Akamai Technologies meluncurkan orkestrasi cerdas AI Grid untuk mendukung inferensi terdistribusi di lebih dari 4.400 lokasi edge secara global. Inisiatif ini menjadi implementasi skala global pertama dari desain referensi NVIDIA AI Grid, sekaligus memperkuat pengembangan Akamai Inference Cloud.
Melalui integrasi dengan teknologi NVIDIA, Akamai menghadirkan infrastruktur berbasis GPU yang dirancang untuk mendukung kebutuhan AI real-time, termasuk aplikasi berbasis agen, AI fisik, hingga personalisasi dengan latensi rendah.
Chief Operating Officer Akamai, Adam Karon, menjelaskan bahwa pendekatan ini menjadi evolusi dari model “AI factory” terpusat menuju arsitektur terdistribusi. “Kebutuhan seperti video real-time dan personalisasi membutuhkan inferensi di dekat pengguna, bukan bergantung pada pusat data terpusat,” ujarnya.
AI Grid mengandalkan orkestrator cerdas yang mengatur distribusi beban kerja secara real-time. Pendekatan ini diklaim mampu meningkatkan efisiensi biaya per token, mempercepat waktu respons, serta meningkatkan throughput.
Akamai juga memungkinkan akses ke model AI yang telah dioptimalkan melalui jaringan edge globalnya, sehingga cocok untuk kebutuhan skala kecil hingga besar. Sistem ini memanfaatkan teknik seperti caching semantik dan routing cerdas untuk memastikan beban kerja dialokasikan ke sumber daya yang tepat.
Platform ini didukung ribuan GPU NVIDIA RTX PRO 6000 Blackwell Server Edition yang digunakan untuk menangani beban kerja berat seperti model bahasa besar dan inferensi multimodal. Infrastruktur ini melengkapi jaringan edge Akamai dengan kapasitas komputasi terpusat yang tetap skalabel.
Di sisi edge, jaringan Akamai memungkinkan pemrosesan data langsung di titik interaksi pengguna, sehingga mengurangi latensi dibandingkan model cloud konvensional.
Akamai mencatat adopsi awal dari berbagai sektor yang membutuhkan respons cepat, seperti industri game, layanan keuangan, media, hingga ritel. Penggunaan AI Grid memungkinkan interaksi real-time, termasuk NPC berbasis AI dalam game, deteksi penipuan, hingga transkoding video secara langsung.
Global VP Business Development Telco NVIDIA, Chris Penrose, menilai pendekatan ini membuka peluang baru bagi pengembangan AI generatif dan AI berbasis agen. “Aplikasi AI modern membutuhkan latensi rendah dan efisiensi global yang lebih baik,” ujarnya.
Akamai Inference Cloud kini telah tersedia bagi pelanggan korporasi tertentu. Platform ini juga mendapat respons positif dari pasar, termasuk kesepakatan layanan bernilai besar untuk pembangunan klaster GPU di jaringan edge perkotaan.
Dengan pendekatan ini, Akamai mendorong transformasi dari infrastruktur AI terpusat menuju model terdistribusi, guna mendukung kebutuhan aplikasi AI yang semakin real-time dan kontekstual di berbagai industri. (mas)