Red Hat umumkan pembaruan terkini pada Red Hat AI

JAKARTA (IndoTelko0 - Penyedia solusi open source terkemuka di dunia, Red Hat mengumumkan pembaruan terkini pada Red Hat AI, portofolio produk dan layanan yang didesain untuk membantu mempercepat pengembangan dan penerapan solusi AI di seluruh hybrid cloud. Red Hat AI menyediakan platform enterprise AI untuk pelatihan model dan inferensi dengan efisiensi yang lebih baik, penggunaan yang lebih simpel dan fleksibilitas untuk menjalankannya di mana pun di lingkungan hybrid cloud.

Bahkan ketika perusahaan mencari cara untuk mengurangi biaya penerapan large language models (LLMs) dalam skala besar untuk menangani berbagai use case yang semakin banyak, mereka masih dihadapkan pada tantangan untuk mengintegrasikan model-model tersebut dengan data mereka, yang mendorong use case tersebut, sekaligus dapat mengakses data tersebut di mana pun data itu berada, baik itu di pusat data, di public cloud atau bahkan di edge.

Meliputi Red Hat OpenShift AI dan Red Hat Enterprise Linux AI (RHEL AI), Red Hat AI mengatasi tantangan tersebut dengan menyediakan platform enterprise AI yang memungkinkan pengguna mengadopsi model yang lebih efisien dan lebih optimal, disesuaikan dengan data yang spesifik untuk bisnisnya dan bisa digunakan di seluruh hybrid cloud untuk pelatihan dan inferensi pada berbagai arsitektur komputasi yang terakselerasi.

Red Hat OpenShift AI menyediakan platform AI yang lengkap untuk mengelola siklus hidup AI prediktif dan generatif (gen AI) di seluruh hybrid cloud, termasuk kemampuan machine learning operations (MLOps) dan LLMOps. Platform ini punya fungsi untuk mengembangkan model prediktif dan menyetel model gen AI, bersama dengan tool untuk menyederhanakan pengelolaan model AI, mulai dari data science dan model pipeline serta model monitoring, hingga tata kelola dan banyak lagi.

Red Hat OpenShift AI 2.18, rilis terbaru dari platform ini, menambahkan beberapa pembaruan dan kemampuan terbaru untuk mendukung target Red Hat AI membawa model AI yang lebih optimal dan lebih efisien ke hybrid cloud.

Berikut fitur-fitur utamanya :

1. Penyajian terdistribusi (distributed serving)

Dikirimkan melalui server inferensi vLLM, penyajian terdistribusi memungkinkan tim IT untuk membagi penyajian model (model serving) di beberapa unit pemrosesan grafis (GPUs). Hal ini membantu mengurangi beban pada satu server, mempercepat pelatihan dan penyempurnaan, serta memanfaatkan sumber daya komputasi dengan lebih efisien, sekaligus membantu mendistribusikan layanan di node untuk model AI.

2. Penyetelan model menyeluruh

Dengan menggunakan InstructLab dan pipeline data science dari Red Hat OpenShift AI, fitur baru ini membantu menyederhanakan penyetelan LLM, menjadikannya lebih scalable, efisien dan bisa diaudit dalam lingkungan produksi yang besar, serta pengelolaan melalui dashboardRed Hat OpenShift AI.

3. AI Guardrails

Red Hat OpenShift AI 2.18 membantu meningkatkan akurasi, performa, latensi dan transparansi LLM melalui pratinjau teknologi AI Guardrails untuk memonitor dan melindungi interaksi input pengguna dan output model dengan lebih baik. AI Guardrails menawarkan titik pendeteksian tambahan dalam membantu tim IT mengidentifikasi dan mitigasi potensi kata-kata yang penuh kebencian, melecehkan, atau tidak senonoh, informasi personal, informasi kompetitif atau data lain yang dibatasi oleh kebijakan perusahaan.

4. Evaluasi model

Dengan menggunakan komponen language model evaluation (lm-eval) untuk memberikan informasi penting mengenai kualitas keseluruhan model, evaluasi model memungkinkan data scientist untuk membandingkan performa LLM mereka di berbagai tugas yang berbeda, mulai dari penalaran logis dan matematis, hingga ke adversarial natural language dan banyak lagi, yang pada akhirnya membantu menciptakan model AI yang lebih efektif, responsif dan sesuai kebutuhan.

Sebagai bagian dari portofolio Red Hat AI, RHEL AI merupakan platform model dasar untuk mengembangkan, menguji, dan menjalankan LLM secara lebih konsisten, untuk mendukung aplikasi enterprise. RHEL AI memberikan tool penyelarasan model Granite LLMs dan InstructLab, yang dikemas dalam bentuk image serverRed Hat Enterprise Linux yang bisa di-boot dan bisa digunakan di seluruh hybrid cloud.

Diluncurkan pada Februari lalu, RHEL 1.4 telah menambahkan sejumlah peningkatan, antara lain :

•
Dukungan model Granite 3.1 8B untuk penambahan terbaru pada rangkaian model Granite berlisensi open-source. Model ini menambahkan dukungan multibahasa untuk inferensi dan penyesuaian taksonomi/pengetahuan (pratinjau pengembang) bersama dengan context window 128k untuk meningkatkan hasil perangkuman dan tugas-tugas retrieval-augmented generation (RAG).
•
Antarmuka pengguna grafis baru untuk kontribusi keterampilan dan pengetahuan, tersedia sebagai pratinjau pengembang, untuk menyederhanakan konsumsi data dan pemecahan data, serta bagaimana cara pengguna menambahkan keterampilan dan kontribusi mereka sendiri ke model AI.
•
Document Knowledge-bench (DK-bench) untuk memudahkan perbandingan model AI yang sudah disetel dengan baik pada data pribadi yang relevan dengan kinerja model dasar yang tidak disetel.

Semakin banyak perusahaan yang mencari solusi AI yang memprioritaskan akurasi dan keamanan data, sekaligus menjaga biaya dan kerumitan serendah mungkin. Red Hat AI InstructLab yang digunakan sebagai layanan di IBM Cloud dirancang untuk menyederhanakan, menskalakan, dan membantu meningkatkan jejak keamanan untuk pelatihan dan penerapan model AI. Dengan menyederhanakan penyetelan model InstructLab, organisasi bisa membangun model yang lebih efisien yang disesuaikan dengan kebutuhan unik organisasi dan tetap memegang kendali atas data mereka.

AI adalah peluang transformatif yang mendefinisikan kembali cara perusahaan beroperasi dan bersaing. Untuk mendukung organisasi di lanskap yang dinamis ini, Red Hat kini menawarkan kelas pelatihan online AI Foundations tanpa biaya.

Red Hat menyediakan dua sertifikat pembelajaran AI yang dirancang untuk para pemimpin senior yang sudah berpengalaman, maupun para pemula di bidang AI, yang membantu mengedukasi pengguna di semua tingkatan mengenai bagaimana AI dapat membantu mentransformasi operasi bisnis, memudahkan pembuatan keputusan, dan mendorong inovasi. Pelatihan AI Foundation memandu pengguna menerapkan pengetahuan ini saat memanfaatkan Red Hat AI.

Dikatakan Vice President dan General Manager, AI Business Unit, Red Hat, Joe Fernandes, Red Hat menyadari bahwa perusahaan akan membutuhkan cara untuk mengelola biaya yang meningkat dari penerapan AI generatif mereka, seiring dengan semakin banyaknya use case yang mereka hadirkan ke dalam produksi dan berjalan dalam skala besar.

"Mereka juga perlu mengatasi tantangan dalam mengintegrasikan model-model AI dengan data privat di perusahaan dan mampu menerapkan model-model tersebut di mana pun data mereka berada. Red Hat membantu perusahaan mengatasi tantangan tersebut dengan memungkinkan mereka memanfaatkan model-model yang lebih efisien, yang dibuat khusus dan dilatih dengan data mereka, dan memungkinkan inferensi yang fleksibel di lingkungan on-premise, di cloud, maupun di edge," ujarnya.

Sementara, Advanced Analytics and AI innovation manager, digital innovation, Airbus Helicopters, Régis Lesbarreres mengungkapkan, di awal perjalanan AInya, Airbus Helicopters ingin untuk mengintegrasikan AI ke dalam arsitektur yang sudah ada, mengurangi shadow IT, menyatukan para data scientist nya di bawah satu platform AI, dan mengoptimalkan biaya dalam skala besar.

"Dengan Red Hat OpenShift AI, kami dapat mencapai semua tujuan tersebut, yang berujung pada use case bisnis pertama kami untuk AI. Visi Red Hat untuk AI sejalan dengan tujuan bisnis kami dan memungkinkan kami untuk mencapainya dengan tetap menjaga fleksibilitas, aksesibilitas, dan transparansi,”jelasnya.

Sedangkan, Global Managing Partner, Hybrid Cloud and Data, IBM Consulting, Javier Olaizola Casin bercerita, bisnis semakin banyak mengaplikasikan AI untuk mentransformasi proses bisnis inti, dan mereka membutuhkan solusi AI yang fleksibel, hemat biaya, dan disesuaikan dengan data perusahaan yang tepercaya untuk memenuhi kebutuhan mereka yang unik.

"Red Hat menghadirkan konsistensi, keandalan, dan kecepatan yang dibutuhkan perusahaan untuk membangun dan menerapkan model dan aplikasi AI di semua skenario hybrid cloud. Menggabungkan keahlian IBM Consulting di domain kami, teknologi, dan industri, dengan teknologi Red Hat, kami membantu klien kami untuk meningkatkan ROI dari investasi teknologi mereka,” katanya.

Principal analyst, application modernization, ESG, Torsten Volks menambahkan, organisasi-organisasi terkemuka memanfaatkan pembuatan keputusan berbasis AI yang berpusat pada data di semua tim dan unit bisnis. Oleh karena itu, kemampuan untuk mengembangkan, menerapkan, mengintegrasikan, menskalakan, dan mengatur kapabilitas berbasis AI di seluruh perusahaan dengan cepat dan hemat biaya, menjadi faktor penentu keberhasilan.

"Untuk membangun kemampuan ini dibutuhkan fondasi AI yang terbuka dan dapat diperluas, yang memastikan integrasi tanpa batas dengan sistem dan proses yang ada, kelincahan operasional dan tata kelola yang berkelanjutan. Memungkinkan staf dan pelanggan mendapatkan keuntungan dari kemampuan AI dengan lebih cepat dan dengan cara yang lebih komprehensif sangat penting untuk kesuksesan bisnis yang berkelanjutan,' jelasnya.

Sementara, Executive Vice President dan Global Head of Ecosystems, HCLTech,

Anand Swamy mengatakan, untuk mewujudkan potensi penuh dari generatif AI, organisasi perlu memprioritaskan infrastruktur yang lincah dan fleksibel. "Dengan menggabungkan kemampuan Red Hat AI, yang meliputi RHEL AI dan Red Hat OpenShift AI untuk menghadirkan platform aplikasi AI yang menyeluruh, dengan keahlian AI terkemuka dan layanan infrastruktur kognitif dari HCLTech, yang merupakan bagian dari solusi HCLTech Al Foundry, para pelanggan akan mendapatkan jalur yang lebih mudah untuk membuka inovasi AI, yang akan membantu mereka mengatasi berbagai tantangan seperti keamanan data, meningkatkan beban kerja AI, dan meminimalkan biaya infrastruktur,” paparnya. (mas)