Dataiku hadirkan Framework Explainability untuk Agen AI

JAKARTA (IndoTelko) Dataiku menghadirkan framework open source Kiji Inspector™ yang dirancang untuk meningkatkan transparansi (explainability) pada agen AI enterprise, dengan dukungan awal untuk model NVIDIA Nemotron dari NVIDIA.

Solusi ini dikembangkan melalui inisiatif 575 Lab untuk menjawab tantangan utama dalam adopsi AI di lingkungan bisnis, khususnya terkait fenomena black box yang membuat proses pengambilan keputusan AI sulit dipahami.

Kiji Inspector menghadirkan kemampuan untuk menganalisis dan menjelaskan bagaimana agen AI menghasilkan keputusan. Teknologi ini memanfaatkan pendekatan sparse autoencoder untuk mengidentifikasi sinyal internal model, kemudian menerjemahkannya menjadi penjelasan yang dapat ditelusuri dan divalidasi tanpa mengorbankan performa.

Director 575 Lab Dataiku, Hannes Hapke, menilai kebutuhan akan transparansi menjadi semakin krusial seiring meningkatnya peran AI dalam proses bisnis.

“Tanpa explainability, skala implementasi AI justru meningkatkan risiko. Organisasi perlu memastikan sistem dapat diaudit dan dipahami sebelum digunakan secara luas,” ujarnya.

Kolaborasi dengan NVIDIA memperkuat kapabilitas solusi ini dalam menghadirkan AI generatif dan agentic yang siap produksi. Model Nemotron dinilai mampu memberikan performa tinggi sekaligus visibilitas terhadap cara kerja sistem.

Director of Generative AI NVIDIA, Amanda Saunders, menekankan pentingnya transparansi dalam pengembangan agen AI otonom.

Menurutnya, kombinasi model terbuka dengan framework explainability memungkinkan perusahaan memahami faktor yang memengaruhi keputusan AI, sehingga meningkatkan akuntabilitas.

Pendekatan ini telah digunakan oleh berbagai perusahaan global, termasuk SLB, yang menilai transparansi sebagai kunci dalam implementasi AI di sektor dengan risiko tinggi.

Dengan dukungan terhadap NVIDIA Nemotron, Dataiku membuka peluang bagi perusahaan untuk memanfaatkan AI open source berperforma tinggi tanpa mengorbankan aspek tata kelola dan kepercayaan.

Ke depan, kemampuan explainability diperkirakan menjadi fondasi utama dalam pengembangan AI enterprise, terutama untuk memastikan kepatuhan regulasi, meningkatkan kepercayaan pengguna, serta menjaga keunggulan kompetitif di era adopsi AI yang semakin luas. (mas)