F5 dan NVIDIA percepat inferensi AI untuk tingkatkan efisiensi infrastruktur

JAKARTA (IndoTelko) F5 memperluas kolaborasi dengan NVIDIA guna mengakselerasi kinerja inferensi AI dan meningkatkan efisiensi infrastruktur pada konsep AI factory.

Integrasi terbaru menggabungkan BIG-IP Next for Kubernetes dengan NVIDIA BlueField-3 DPU untuk menghadirkan lapisan infrastruktur berbasis telemetri yang mampu meningkatkan token throughput, menekan latensi, serta mendukung platform AI multi-tenant secara aman.

Dalam konteks AI, token menjadi unit utama output yang memengaruhi performa sistem, mulai dari pengalaman pengguna hingga efisiensi biaya. Oleh karena itu, optimalisasi produksi token kini menjadi indikator penting dalam monetisasi layanan AI.

Chief Product Officer F5, Kunal Anand, mengatakan infrastruktur AI saat ini tidak lagi sekadar soal kapasitas GPU, melainkan bagaimana memaksimalkan nilai ekonomi dari setiap akselerator.

Menurutnya, kolaborasi dengan NVIDIA memungkinkan pengelolaan tokenomics secara lebih terukur, termasuk peningkatan utilisasi GPU dan penurunan biaya per token.

Hasil pengujian yang divalidasi oleh The Tolly Group menunjukkan solusi ini mampu meningkatkan token throughput hingga 40%, mempercepat time to first token (TTFT) sebesar 61%, serta menurunkan latensi hingga 34%.

Efisiensi tersebut dicapai dengan memindahkan fungsi seperti jaringan, enkripsi, dan manajemen trafik ke DPU, sehingga GPU dapat difokuskan untuk proses inferensi.

SVP Networking NVIDIA, Kevin Deierling, menyebut integrasi ini membuka potensi efisiensi baru tanpa perlu melakukan perubahan pada model AI yang sudah ada.

Selain itu, solusi ini juga dirancang untuk mendukung kebutuhan AI modern berbasis agen (agentic AI) yang memerlukan kontrol trafik lebih cerdas dibandingkan pendekatan konvensional.

Kemampuan tambahan mencakup routing berbasis inferensi, integrasi dengan platform NVIDIA DOCA, serta dukungan keamanan dan multi-tenancy pada lingkungan Kubernetes.

Dengan pendekatan ini, F5 dan NVIDIA menghadirkan control plane yang mampu mengelola konsumsi token, mengoptimalkan alur trafik, dan meningkatkan return on investment dari infrastruktur AI.

Langkah ini sekaligus mempertegas pergeseran industri menuju optimalisasi ekonomi AI, di mana efisiensi dan monetisasi menjadi faktor utama dalam pengembangan layanan berbasis kecerdasan buatan. (mas)