Confluent perkenalkan Streamhouse, Perkuat fondasi AI Real-Time

JAKARTA (IndoTelko) - Confluent, perusahaan teknologi data yang menjadi bagian dari IBM, memperkenalkan arsitektur Streamhouse untuk membantu perusahaan menyediakan konteks bisnis secara real-time bagi agen kecerdasan buatan (AI), aplikasi, dan sistem analitik.

Pengumuman ini sekaligus melengkapi Platform Data Streaming (DSP) Confluent dengan lima kemampuan utama, yakni Stream, Connect, Process, Govern, dan Query. Penambahan pilar Query memungkinkan data yang terus diperbarui dapat diakses langsung oleh aplikasi maupun agen AI untuk mendukung pengambilan keputusan.

Salah satu fitur terbaru yang diperkenalkan adalah Lightning Tables, yang kini tersedia secara umum di Amazon Web Services (AWS). Fitur ini memungkinkan perusahaan menyajikan data streaming dalam bentuk tabel yang dapat diakses melalui SQL dan API dengan latensi rendah.

Confluent menilai kebutuhan arsitektur data baru semakin penting seiring meningkatnya penggunaan agen AI dalam operasional perusahaan. Data lake, data warehouse, dan lakehouse yang umumnya dirancang untuk pelaporan atau pemrosesan batch belum tentu mampu menyediakan gambaran kondisi bisnis terkini dari berbagai sistem secara bersamaan.

Perbedaan waktu pembaruan data dapat membuat agen AI mengambil keputusan berdasarkan informasi yang sudah usang atau tidak konsisten.

Streamhouse dirancang untuk mengatasi persoalan tersebut dengan menangkap, memproses, mengelola, dan menyajikan perubahan data secara berkelanjutan. Dengan demikian, aplikasi, agen AI, dan tim operasional dapat mengakses konteks bisnis yang lebih konsisten ketika mengambil tindakan.

Senior Vice President & General Manager APAC Confluent, Greg Taylor, mengatakan perusahaan membutuhkan fondasi data yang selalu diperbarui agar agen AI dapat menghasilkan keputusan yang relevan dengan kondisi operasional.

Menurutnya, Streamhouse membantu organisasi memanfaatkan investasi data yang telah dimiliki sekaligus mendukung pengembangan layanan AI yang lebih responsif.

Lima Pilar Platform Data Streaming

Arsitektur Streamhouse dibangun berdasarkan tiga prinsip, yakni berbasis streaming, memiliki keandalan untuk kebutuhan operasional kritis, serta terdesentralisasi. Pendekatan ini memungkinkan data diakses langsung dari sumbernya tanpa harus terlebih dahulu dikonsolidasikan ke satu tempat.

Platform DSP Confluent mengandalkan Apache Kafka untuk menangkap dan mengalirkan peristiwa bisnis. Kemampuan tersebut kemudian dilengkapi empat pilar lainnya:

•
Stream: Menggunakan Apache Kafka dan mesin Kora untuk menangkap serta mengalirkan data lintas sistem.
•
Connect: Menyediakan lebih dari 150 konektor terkelola untuk mengintegrasikan data dari berbagai sistem perusahaan.
•
Process: Memanfaatkan Apache Flink untuk menggabungkan, memperkaya, dan memproses data secara real-time.
•
Govern: Menyediakan pengelolaan tata kelola data, termasuk katalog, kualitas, skema, enkripsi, pelacakan data, dan kontrol akses.
•
Query: Menyediakan akses terhadap konteks bisnis terkini bagi aplikasi, sistem analitik, dan agen AI.

Pada pilar Query, Confluent menghadirkan tiga kemampuan utama. Confluent Tableflow menyalurkan data streaming ke lakehouse dan data warehouse dalam format tabel terbuka. Real-Time Context Engine menyediakan konteks bisnis bagi agen AI melalui Model Context Protocol (MCP), sedangkan Lightning Tables memberikan akses SQL dan API dengan latensi rendah untuk aplikasi.

Lightning Tables Tawarkan Akses Data Berlatensi Rendah

Lightning Tables merupakan lapisan penyajian data hanya-baca (read-only) di Confluent Cloud. Teknologi ini menyimpan data Apache Kafka secara persisten dan mengubahnya menjadi tabel yang terus diperbarui mengikuti perubahan data.

Dalam pengujian internal Confluent, data baru dapat tersedia untuk diakses sekitar 100 milidetik setelah dibuat. Latensi query tercatat berkisar 10100 milidetik dengan kemampuan menangani lebih dari 1.000 query per detik.

Selain kecepatan akses, Lightning Tables dirancang mengurangi kompleksitas infrastruktur melalui lapisan penyajian yang dikelola Confluent. Perusahaan tidak perlu membangun pipeline ETL, basis data, atau cache terpisah untuk kebutuhan tersebut.

Fitur lainnya mencakup akses melalui SQL dan API, tata kelola data terpadu, pengelolaan perubahan skema, serta penyimpanan fitur untuk kebutuhan machine learning dan personalisasi real-time.

General Manager Confluent dan Data IBM, Shaun Clowes, mengatakan pengembangan AI perusahaan membutuhkan agen yang mampu memahami kondisi bisnis ketika mengambil tindakan.

Menurutnya, Lightning Tables memungkinkan aplikasi dan agen AI memperoleh gambaran operasional terkini sehingga perusahaan dapat mempercepat respons terhadap potensi penipuan, meningkatkan layanan pelanggan, dan menjalankan proses bisnis berdasarkan informasi terbaru.

Accenture dan Extend Terapkan Arsitektur Streamhouse

Sejumlah perusahaan telah mulai memanfaatkan arsitektur Streamhouse yang didukung Confluent. Accenture, misalnya, menggunakannya untuk menghubungkan data di berbagai unit bisnis global.

Accenture menyebut penerapan arsitektur tersebut membantu mengubah aliran peristiwa bervolume tinggi menjadi produk data real-time yang terkelola dan dapat digunakan kembali. Perusahaan mengklaim waktu untuk memperoleh wawasan berhasil dipangkas dari hitungan bulan menjadi beberapa hari, sekaligus mempercepat proses pelaporan.

Sementara itu, platform perdagangan berbasis AI Extend menggunakan Confluent Cloud untuk mendukung proses onboarding merchant, penyesuaian harga secara real-time, dan deteksi penipuan.

Extend menyatakan arsitektur Streamhouse membantu memanfaatkan Kafka sebagai sumber data operasional, sehingga layanan mikro dapat mengakses dan melakukan query data terkini secara asinkron.

Melalui pengembangan Streamhouse, Confluent ingin memperkuat fondasi data perusahaan agar aplikasi dan agen AI dapat bekerja berdasarkan informasi yang konsisten dan aktual, sekaligus melengkapi infrastruktur data yang telah digunakan organisasi. (mas)