"Tidak selalu harus real time, tetapi yang terpenting adalah data bisa segera dikirim dari satu sistem ke sistem lain, lalu langsung diproses ketika sudah siap," jelas Shaun dalam sesi wawancara ekslusif bersama IDN Times (6/11/2025).
Mengenal Data Streaming, Fondasi Penting untuk Kecerdasan Buatan
Intinya sih...
- Data streaming adalah kemampuan untuk bekerja dengan data saat data itu baru saja diproduksi, penting karena setiap organisasi memiliki banyak sistem digital yang harus berkoordinasi.
- Infrastruktur data streaming bergantung pada teknologi seperti Apache Kafka, memungkinkan organisasi memproses data secara real time dan tersedia di berbagai sistem.
- Data streaming menjadi "bahan bakar" AI dengan memberikan konteks terkini kepada model AI, menjaga keamanan dan privasi data dalam prosesnya.
Disclaimer: This summary was created using Artificial Intelligence (AI)
Di era ketika data mengalir begitu cepat, dunia teknologi memiliki satu konsep penting yang kini menjadi tulang punggung transformasi digital, yaitu data streaming. Tak hanya menjadi kumpulan informasi yang disimpan dan diolah belakangan, data streaming memungkinkan data diproses seketika saat ia tercipta (real time). Proses ini terjadi secara terus menerus dan bisa langsung diubah menjadi nilai bisnis.
Shaun Clowes, Chief Product Officer Confluent, menyebut bahwa akan ada "ledakan kebutuhan untuk data streaming" di masa mendatang.
Dari sistem pembayaran digital, rekomendasi film, hingga deteksi penipuan dalam hitungan detik, data streaming menjadi fondasi inovasi di berbagai industri. Artikel ini akan mengajak kamu memahami lebih jauh apa itu data streaming dan mengapa teknologi ini menjadi kunci organisasi mengambil keputusan lebih cepat dan lebih cerdas.
1. Apa itu data streaming dan mengapa semakin penting?
Shaun menjelaskan bahwa data streaming pada dasarnya adalah kemampuan untuk bekerja dengan data saat data itu baru saja diproduksi.
Artinya, data streaming memungkinkan proses data berjalan secara kontinu, selaras dengan momen saat data tersebut tercipta.
Ini penting karena di dunia modern, setiap organisasi memiliki banyak sekali sistem digital dengan fungsi berbeda. Contohnya mulai dari sistem tiket, bagasi, reservasi, hingga manajemen jadwal penerbangan seperti pada industri maskapai.
Semua sistem ini saling bergantung dan harus berkoordinasi. Ketika ada perubahan di satu sistem, seperti pembaruan status penerbangan, informasi itu harus segera diketahui oleh sistem lain seperti tiket dan reservasi. Di sini data streaming berperan vital untuk menjaga agar semua sistem tetap sinkron dan selalu terhubung.
"Lima tahun yang lalu, orang-orang hanya berharap data mereka selalu diperbarui. Jika mereka menggunakan aplikasi seluler, mereka mungkin berharap datanya diperbarui dari kemarin. Sekarang, mereka berharap semuanya diperbarui secara instant," ucap Shaun.
2. Infrastruktur data streaming
Untuk bisa memproses dan mengalirkan data secara kontinu, dibutuhkan infrastruktur yang mampu bekerja lintas sistem dan lintas lokasi. Shaun menjelaskan bahwa fondasi teknologi data streaming saat ini banyak bertumpu pada Apache Kafka, teknologi yang diciptakan oleh para pendiri Confluent dan kini telah menjadi "de facto standard" untuk streaming data global.
Namun, streaming bukan hanya soal mengalirkan data, tetapi juga bagaimana data itu diproses, dibagikan, dan tersedia di mana pun ia dibutuhkan.
Confluent sendiri telah mengembangkan Kafka menjadi platform data streaming yang memungkinkan organisasi memproses data, membangun aplikasi berbasis event, hingga menyajikan data secara real time ke berbagai sistem.
Fleksibilitas menjadi kunci. Platform ini tersedia di layanan cloud besar seperti AWS, Google Cloud (GCP), dan Microsoft Azure. Organisasi bisa mengaktifkan infrastruktur streaming langsung dari cloud lokal atau memilih Confluent Private Cloud untuk membangun lingkungan cloud-like di dalam data center mereka sendiri.
"Mereka bisa menjalankan infrastruktur streaming di Indonesia, di Singapura, di mana saja, dan menggabungkan semuanya dengan mudah," ungkap Shaun.
3. Data streaming sebagai "bahan bakar" AI
Shaun Clowes menekankan bahwa Large Language Models (LLM) seperti ChatGPT memang pintar, tetapi mereka tidak memiliki pengetahuan spesifik, contohnya informasi tentang organisasi kamu.
LLM hanya memahami dunia dari data pelatihan dan informasi yang kita berikan saat bertanya. Karena itu, untuk mendapatkan jawaban yang akurat dan relevan secara bisnis, model AI harus diberi konteks, yaitu data terkini terkait pengguna, transaksi, atau situasi nyata. Ini disebut sebagai context window.
Masalahnya, banyak organisasi kesulitan menyediakan data real-time untuk mengisi context window tersebut. Akibatnya, chatbot atau sistem AI bisa memberikan respons yang tidak relevan.
"LLM ini sangat cerdas. Namun, mereka tidak tahu apa pun tentang perusahaan tertentu, orang tertentu, atau pesanan tertentu," kata Shaun.
Di sini lah peran penting data streaming. Dengan kemampuan mengalirkan dan memproses data saat data tersebut tercipta, sistem AI bisa langsung mengakses konteks terkini. Contohnya lokasi kendaraan secara langsung, status bagasi real time, hingga histori interaksi pelanggan saat itu juga.
Singkatnya, AI adalah otak, tetapi data streaming adalah aliran oksigen yang membuatnya bisa “berpikir” dengan konteks nyata.
4. Menjaga keamanan dan privasi data dalam data streaming
Saat organisasi mulai memanfaatkan data streaming untuk mendukung kecerdasan buatan dan layanan berbasis agen digital, tantangan yang tak kalah penting adalah keamanan dan privasi. Shaun menegaskan bahwa ketika bisnis ingin membangun sistem AI yang membantu pelanggan, maka sistem tersebut harus bisa mengakses hanya data yang relevan untuk pelanggan itu.
Untuk mewujudkan hal ini, Confluent menghadirkan Confluent Intelligence dengan kemampuan yang disebut context engine. Mekanismenya, seluruh data relevan dari berbagai sistem, mulai dari transaksi hingga riwayat pengguna, dialirkan secara real time melalui streaming.
Namun, alih-alih memberi akses ke seluruh data, context engine hanya menarik potongan informasi spesifik yang dibutuhkan untuk satu pengguna, pesanan, atau kasus tertentu. Data itulah yang kemudian dimasukkan ke context window LLM agar AI bisa memberikan jawaban yang akurat dan sesuai konteks tanpa melanggar privasi.
Pendekatan ini memastikan bahwa agen AI tidak membocorkan data antar pelanggan dan menjaga agar setiap interaksi tetap aman.
5. Data streaming akan semakin populer dalam 5 tahun ke depan
Menurut Shaun, lima tahun ke depan akan menjadi masa percepatan masif bagi data streaming, seiring dengan meningkatnya penerapan kecerdasan buatan di level produksi (production AI). Ia menegaskan, tanpa data real time, AI tidak akan mampu memberikan nilai bisnis yang nyata.
"Saat ini, data streaming sudah digunakan oleh lebih dari 150.000 organisasi besar di seluruh dunia, termasuk bank, perusahaan telekomunikasi, logistik, dan sektor-sektor kritis lainnya," ungkap Shaun.
Namun dalam lima tahun mendatang, data streaming tidak hanya akan menjadi teknologi populer, tapi akan menjadi fondasi utama seluruh sistem AI modern.
Shaun melihat bahwa semua use case AI yang paling, seperti otomatisasi layanan atau pengambilan keputusan berbasis konteks, semuanya bergantung pada data yang smart, real-time dan terus mengalir. Dengan meningkatnya kebutuhan AI, data streaming akan menjadi tulang punggung digital bagi perusahaan di era kecerdasan buatan.
6. Pertumbuhan AI dan dampaknya terhadap lingkungan
Pertumbuhan kecerdasan buatan tentunya juga membawa dampak negatif. Kapasitas komputasi terus meningkat, tetapi konsumsi energi dan dampak lingkungannya juga ikut membesar. Progresivitas AI dan dampaknya terhadap menjadi kekhawatiran yang terus dibicarakan.
Shaun melihat hal ini sebagai dinamika alami dalam evolusi teknologi. Di tahap awal, inovasi biasanya tidak efisien, yang biasanya bersifat mahal, boros energi, dan jauh dari optimal.
"Kita bisa lihat ponsel generasi pertama yang besar dan punya baterai yang buruk. Sekarang smartphone sudah sangat canggih, bahkan bisa berfungsi seperti laptop dengan ukuran yang kecil," jelas Shaun.
Shaun percaya bahwa hal yang sama akan terjadi pada AI. Meski pemrosesan model AI besar saat ini membutuhkan daya yang tinggi dan berpotensi menambah jejak karbon, akan ada upaya simultan untuk meningkatkan efisiensi energi.
Pada akhirnya, kecerdasan buatan tidak akan benar-benar cerdas tanpa data real time yang terus mengalir dan relevan. Data streaming menjadi jembatan antara informasi yang hidup dengan keputusan yang lebih akurat. Di tengah percepatan digital menjadi fondasi dari inovasi masa depan.
