JAKARTA (IndoTelko) - Penyedia solusi open source terkemuka di dunia, Red Hat mengumumkan kolaborasinya yang makin luas dengan Amazon Web Services (AWS) untuk memperkuat AI generatif (gen AI) kelas enterprise di AWS melalui Red Hat AI dan silikon AI dari AWS.
Melalui kolaborasi ini, Red Hat berfokus pada pemberdayaan pengambil keputusan IT dengan fleksibilitas untuk menjalankan inferensi AI berkinerja tinggi dan efisien pada skala besar, terlepas dari hardware yang digunakan.
Meningkatnya penggunaan gen AI dan kebutuhan akan inferensi yang dapat diskalakan mendorong organisasi untuk mengevaluasi kembali infrastruktur IT mereka. Akibatnya, IDC memprediksi bahwa “pada tahun 2027, 40% organisasi akan menggunakan custom silicon, termasuk prosesor ARM atau chip khusus AI/ML, untuk memenuhi peningkatan permintaan terhadap optimalisasi kinerja, efisiensi biaya, dan komputasi khusus.” Hal ini menegaskan adanya kebutuhan akan solusi yang dioptimalkan untuk meningkatkan daya komputasi, meminimalkan biaya, dan memungkinkan siklus inovasi yang lebih cepat bagi aplikasi AI berkinerja tinggi.
Kerja sama Red Hat dengan AWS memberdayakan organisasi dengan strategi gen AI full-stack dengan menyatukan kapabilitas platform komprehensif Red Hat dengan infrastruktur cloud dan chipset AI dari AWS, yaitu AWS Inferentia dan AWS Trainium.
Dikatakan Vice President, Annapurna Labs AWS, Colin Brace, perusahaan menuntut solusi yang menawarkan kinerja luar biasa, efisiensi biaya, dan pilihan operasional untuk beban kerja AI yang sangat penting. AWS merancang chip Trainium dan Inferentia untuk membuat inferensi dan training AI berkinerja tinggi lebih mudah diakses dan lebih hemat biaya.
“Kolaborasi kami dengan Red Hat memberikan pelanggan jalur yang terus kami support untuk menerapkan AI generatif dalam skala besar, menggabungkan fleksibilitas open source dengan infrastruktur AWS dan akselerator AI yang dibuat khusus, untuk mempercepat time-to-value dari tahap uji coba hingga ke tahap produksi,” jelasnya.
Sementara, Chief Information Officer and Vice President, Digital Services, CAE, Jean-François Gamache mengaku, modernisasi aplikasi-aplikasi penting perusahananya dengan Red Hat OpenShift Service on AWS menandai tonggak penting dalam transformasi digitalnya.
“Platform ini mendukung para pengembang kami dalam berfokus pada inisiatif bernilai tinggi—mendorong inovasi produk dan mempercepat integrasi AI di seluruh solusi kami. Red Hat OpenShift memberikan fleksibilitas dan skalabilitas yang memungkinkan kami memberikan dampak nyata, mulai dari insightyang dapat ditindaklanjuti melalui coaching virtual langsung hingga secara signifikan mempercepat waktu penyelesaian untuk masalah yang dilaporkan pengguna,” ujarnya.
Berikut aspek-aspek utama dari kolaborasi ini :
1. Red Hat AI Inference Server pada chip AI AWS
Red Hat AI Inference Server, yang didukung oleh vLLM, akan diaktifkan dengan chip AI AWS, termasuk AWS Inferentia2 dan AWS Trainium3, guna menghadirkan lapisan inferensi umum yang dapat mendukung model gen AI apa pun. Hal ini membantu pelanggan mencapai kinerja lebih tinggi, latensi lebih rendah, dan efisiensi biaya untuk skalabilitas penerapan AI di tahap produksi, dengan peningkatan harga dan kinerja hingga 3040% lebih baik dibandingkan instance Amazon EC2 berbasis GPU yang sebanding saat ini.
2. Mengaktifkan AI pada Red Hat OpenShift
Red Hat bekerja sama dengan AWS untuk mengembangkan operator AWS Neuron untuk Red Hat OpenShift,Red Hat OpenShift AI, dan Red Hat OpenShift Service on AWS, sebuah platform aplikasi yang komprehensif dan sepenuhnya dikelola di AWS, sehingga menyediakan jalur yang lebih mulus kepada pelanggan dan mendukung pelanggan dalam menjalankan beban kerja AI mereka menggunakan akselerator AWS.
3. Kemudahan akses dan implementasi
Dengan mendukung chipAI AWS, Red Hat akan menawarkan akses yang lebih mudah dan lebih optimal ke akselerator berkapasitas tinggi dan sangat diminati saat ini untuk pelanggan Red Hat di AWS. Selain itu, Red Hat baru-baru ini merilis amazon.ai Certified Ansible Collection untuk Red Hat Ansible Automation Platform untuk memfasilitasi orkestrasi layanan AI di AWS.
4. Kontribusi komunitas hulu (upstream)
Red Hat dan AWS bekerja sama untuk mengoptimalkan plugin chip AI AWS yang yang di-upstream-kan ke vLLM. Sebagai kontributor komersial teratas untuk vLLM, Red Hat berkomitmen untuk memfasilitiasi penggunaan vLLM di AWS untuk membantu mempercepat kapabilitas inferensi dan training AI bagi pengguna. vLLM juga merupakan fondasi dari llm-d, proyek open source yang berfokus pada penyediaan inferensiberskala besar dan kini tersedia sebagai fitur yang didukung secara komersial di Red Hat OpenShift AI 3.
Red Hat memiliki sejarah panjang dalam berkolaborasi dengan AWS untuk memberdayakan pelanggan mulai dari pusat data hingga edge. Tonggak pencapaian terbaru ini bertujuan untuk menjawab kebutuhan organisasi yang terus berkembang ketika mereka mengintegrasikan AI ke dalam strategi hybrid cloud guna mencapai hasil gen AI yang optimal dan efisien.
Menurut Founder and Chief Global Analyst Techaisle, Anurag Agrawal, seiring dengan meningkatnya biaya inferensi AI, perusahaan semakin memprioritaskan efisiensi sekaligus kinerja. Kolaborasi ini mencerminkan strategi ‘any model, any hardware’ di Red Hat dengan menggabungkan platform open hybrid cloud mereka dengan keunggulan ekonomi dari AWS Trainium dan Inferentia.
“Hal ini memberdayakan CIO untuk mengimplementasikan AI generatif dalam skala besar, beralih dari eksperimen yang mahal ke tahap produksi yang berkelanjutan dan terkelola,” katanya. (mas)