Kenapa Data Center AI Butuh Banyak RAM? Ini Penyebabnya

Alasan pertama yang membuat data center AI sangat haus akan memori adalah ukuran model itu sendiri. Sebuah model bahasa besar (Large Language Model) generasi modern bisa memiliki puluhan hingga ratusan miliar parameter yang harus disimpan dan diakses secara konstan. Setiap parameter ini perlu ruang penyimpanan. Artinya, semakin besar modelnya, semakin besar pula kebutuhan memorinya.

Analisis data dari RAM Exchange: proses pelatihan untuk model dengan 70 miliar parameter memerlukan agregasi memori berukuran terabita melintasi banyak GPU secara bersamaan. Tanpa kapasitas memori sistem dan VRAM yang masif, prosesor canggih tersebut hanya akan menganggur (idle) karena terus menunggu antrean data selesai dipindahkan.

Memori pada sistem AI tidak hanya digunakan untuk menyimpan parameter model. Saat proses training berlangsung, sistem juga harus menyimpan berbagai data tambahan seperti model weights, gradients, dan optimizer states. Semua komponen tersebut dapat membutuhkan kapasitas memori yang besar dan membuat kebutuhan sebenarnya jauh lebih tinggi daripada ukuran model saja.

Ketika pengguna lagi buka browser, RAM memang terpakai meski dalam jumlah relatif kecil. Pada AI, data yang harus berada di memori bisa mencapai ratusan gigabyte bahkan lebih, sehingga kebutuhan infrastrukturnya jauh berbeda. Inilah penyebab utama yang membuat data center AI butuh banyak RAM.

Saat pengguna memakai AI, seperti ChatGPT atau Gemini, dengan obrolan yang sangat panjang, data center AI perlu memori raksasa untuk menyimpannya. Memori yang berperan dalam tugas tersebut disebut sebagai Key-Value Cache (KV Cache). Memori besar ini berfungsi agar AI tidak perlu lagi menghitung ulang informasi yang pernah diberikan pengguna.

Mengutip New Market Pitch, AI modern kini lebih memprioritaskan manajemen memori tersebut agar dapat memberikan jawaban yang lebih baik. Dengan demikian, semakin banyak tugas yang diberikan oleh pengguna, semakin besar pula RAM yang tersita oleh server. Semakin banyaknya pengguna AI saat ini, percakapan juga ikut bertambah. Artinya, akan semakin banyak memori untuk menampungnya.

Berdasarkan ulasan teknis dari New Market Pitch, infrastruktur AI modern kini sangat memprioritaskan manajemen memori konteks agar bisa melayani agen AI yang beroperasi secara sekuensial. Semakin panjang konteks percakapan yang diizinkan untuk diingat oleh AI, akan semakin besar pula ruang RAM yang tersita di dalam sebuah server. Manajemen kapasitas inilah yang menjadi kunci utama efisiensi performa inferensi saat data center harus melayani jutaan pengguna aktif secara serentak.

Ketika mendengar bahwa data center AI butuh banyak RAM, sebenarnya persoalannya bukan sekadar ingin memiliki. AI perlu memori tersebut untuk menyimpan model, data selama proses komputasi, informasi percakapan, hingga berbagai proses pendukung lainnya. Semakin besar model AI dan semakin banyak pengguna yang harus dilayani secara bersamaan, semakin besar pula kebutuhan terhadap memori.