JAKARTA (IndoTelko) Ketika penggunaan AI perusahaan bergeser dari tahap eksperimen menuju produksi, lokasi pemrosesan inferensi menjadi semakin strategis. Perusahaan tidak hanya dituntut memilih model AI, tetapi juga menentukan di mana inferensi dijalankan untuk mengoptimalkan kinerja, biaya, latensi, dan tata kelola data.
Melihat kebutuhan tersebut, Equinix memperluas kolaborasinya dengan NVIDIA dan menggandeng Together AI untuk menghadirkan Equinix Inference Exchange, sebuah infrastruktur distributed AI yang ditujukan bagi perusahaan yang menjalankan inferensi AI secara global.
Solusi tersebut menggabungkan NVIDIA Enterprise Reference Architectures, platform inferensi Together AI yang mendukung lebih dari 200 model open-source, serta infrastruktur pusat data global Equinix.
Melalui Equinix Fabric, perusahaan dapat menghubungkan lingkungan inferensi dengan berbagai cloud, jaringan, penyedia AI, data, dan aplikasi. Pendekatan ini ditujukan untuk mengurangi kompleksitas ketika beban kerja AI tersebar di berbagai cloud, model, penyedia, maupun wilayah geografis.
CEO dan President Equinix, Adaire Fox-Martin, mengatakan keputusan infrastruktur yang diambil perusahaan saat ini akan berpengaruh terhadap daya saing mereka dalam jangka panjang.
“Equinix Inference Exchange akan memungkinkan arsitektur yang netral secara desain, terbuka secara default, dan dirancang untuk menghadirkan kinerja unggul,” ujarnya.
Fokus pada Latensi, Biaya dan Fleksibilitas
Dalam implementasinya, Equinix menyediakan fondasi infrastruktur, termasuk daya, pendinginan, operasional pusat data, serta konektivitas melalui Equinix Fabric.
NVIDIA menyediakan Enterprise Reference Architecture dan infrastruktur AI yang dirancang untuk meningkatkan throughput sekaligus menekan biaya pemrosesan token. Sementara Together AI menyediakan platform inferensi dengan dukungan model open-source dan opsi penerapan multitenant maupun single tenant.
Kombinasi tersebut memungkinkan perusahaan menempatkan inferensi lebih dekat dengan pengguna dan sumber data. Salah satu manfaat yang dibidik adalah menekan waktu hingga token pertama atau time-to-first-token, yang berpengaruh terhadap respons aplikasi berbasis AI.
Menurut Vice President & Practice Lead, AI Platforms The Futurum Group, Nick Patience, kinerja, biaya, dan tata kelola kini menjadi pertimbangan strategis karena beban kerja AI semakin tersebar.
“Organisasi semakin berfokus pada di mana inferensi dijalankan dan seberapa cepat dapat diterapkan ke tahap produksi,” katanya.
Equinix saat ini mengoperasikan lebih dari 280 pusat data di 77 kota metro, dengan lebih dari 230 cloud on-ramps dan lebih dari 10.500 bisnis yang terhubung dalam ekosistemnya. Perusahaan juga menyebut delapan dari 10 penyedia model AI teratas dan sembilan dari 10 penyedia cloud AI teratas telah diterapkan bersama Equinix.
Bagi perusahaan, pendekatan tersebut membuka sejumlah skenario, mulai dari menjalankan inferensi di edge untuk menekan latensi, migrasi dari model proprietary ke model open-source untuk mengendalikan biaya dan mengurangi ketergantungan vendor, hingga penerapan sovereign AI.
Pada skenario sovereign AI, beban kerja dapat ditempatkan di lokasi yang memenuhi persyaratan residensi dan kedaulatan data. Hal ini menjadi relevan bagi perusahaan di sektor yang memiliki regulasi ketat atau beroperasi di negara dengan persyaratan khusus terkait lokasi pemrosesan data.
Dengan Equinix Inference Exchange, Equinix, NVIDIA, dan Together AI pada dasarnya menempatkan infrastruktur inferensi sebagai lapisan penting dalam strategi AI perusahaan. Fokusnya bukan hanya seberapa pintar model AI, tetapi seberapa cepat, efisien, fleksibel, dan aman kecerdasan tersebut dapat digunakan dalam operasi bisnis. (mas)