Ai2 Merilis Model AI Tülu 3 405B yang Jauh Lebih Transparan
- Tülu 3 405B, model AI terbaru dari Ai2, memiliki 405 miliar parameter dan mampu bersaing dengan GPT-4o dan DeepSeek V3.
- Pendekatan transparan Tülu 3 405B membedakannya dari DeepSeek, dengan publikasi semua aspek pelatihan dan pendekatan RLVR yang efektif.
- Performa unggul Tülu 3 405B dalam uji matematika, keamanan, dan benchmark AI menunjukkan potensi AI open-source.
Perlombaan menciptakan kecerdasan buatan (AI) paling canggih semakin sengit. Baru-baru ini, Allen Institute for AI (Ai2) telah memasuki arena dengan senjata terbarunya, yakni model AI raksasa bernama Tülu 3 405B.
Ai2 sendiri dulunya pernah merilis model Tülu 3 pertamanya pada November 2024. Akan tetapi, sepertinya mereka tidak mau lagi tertinggal dengan "perang AI" yang makin memanas baru-baru ini, terlebih lagi dengan kemunculan AI open-source DeepSeek yang menggemparkan industri AI.
Model AI Tülu 3 405B sendiri bukan sembarang pendatang baru. Berbekal kemampuan yang diklaim mengungguli model-model terkemuka seperti DeepSeek V3 dan bahkan bersaing dengan GPT-4o, Tülu 3 405B sepertinya sudah siap mengubah lanskap dunia AI. Lantas, apa yang membuat model ini lebih istimewa daripada DeepSeek? Mari kita bahas lebih dalam.
1. Tulu 3 405B: Model AI raksasa dari Ai2
Dilansir TechCrunch, Ai2 resmi meluncurkan Tülu 3 405B, sebuah model bahasa besar dengan 405 miliar parameter. Model ini bukan sekadar tambahan baru di dunia AI, tetapi juga menunjukkan bahwa AI open-source dapat bersaing dengan model proprietary seperti GPT-4 dan DeepSeek V3. Tülu 3 405B berhasil menunjukkan performa yang kompetitif, bahkan lebih unggul dalam beberapa uji penting seperti matematika dan keamanan.
Aspek yang bikin Tülu 3 405B begitu istimewa adalah pendekatannya yang sepenuhnya transparan. Ia berbeda dengan DeepSeek-R1 yang hanya mengklaim dirinya open-source tanpa mempublikasikan data pelatihannya. Di sisi lain, Ai2 benar-benar membuka semua aspek, mulai dari kode pelatihan hingga dataset yang digunakan.
Hannaneh Hajishirzi, Senior Director of NLP Research di Ai2, menyampaikan kepada VentureBeat, "Dengan menerapkan resep pasca-pelatihan Tülu 3 ke Tülu 3-405B, model pasca-pelatihan open-source terbesar kami hingga saat ini, kami menciptakan peluang yang setara dengan menyediakan resep fine-tuning, data, dan kode yang terbuka. Hal ini memberdayakan pengembang dan peneliti untuk mencapai kinerja yang setara dengan model closed-source terbaik," ujarnya.
2. Teknik pelatihan terbaru, RLVR
Salah satu alasan mengapa model AI Tülu 3 405B sangat baik adalah karena cara melatihnya yang sangat efektif. Metode pelatihan ini disebut Reinforcement Learning with Verifiable Rewards (RLVR). Sederhananya, model AI ini dilatih dengan cara diberi hadiah ketika memberikan jawaban yang benar dan hukuman ketika memberikan jawaban yang salah.
Misalnya, jika model AI berhasil menjawab soal matematika dengan benar, maka ia akan mendapat hadiah sehingga menjadi lebih baik dalam menjawab soal matematika ke depannya. Marktechpost melaporkan bahwa metode ini sangat efektif, terutama untuk model AI yang sangat besar seperti Tülu 3 405B.
Menurut laporan internal Ai2, model Tülu 3 405B yang lebih besar (405B parameter) jauh lebih baik dalam menyelesaikan tugas-tugas tertentu, seperti soal matematika, dibandingkan dengan versi yang lebih kecil. AIwire juga melaporkan bahwa model AI yang besar cenderung lebih baik dalam memahami dan merespons data yang spesifik, seperti data matematika, dibandingkan dengan data yang lebih umum.
3. Performa yang mengesankan
Menurut data yang dipublikasikan oleh Ai2, Tülu 3 405B model terbarunya mencetak rata-rata skor 80,7 pada 10 benchmark AI. Ia mengungguli DeepSeek V3 yang hanya mendapat 75,9. Meski masih sedikit tertinggal dari GPT-4o (81,6), model ini tetap menjadi salah satu yang terbaik di kelasnya. Turtle's AI juga melaporkan bahwa Tülu 3 405B unggul dalam benchmark seperti PopQA (pertanyaan pengetahuan tingkat lanjut) dan GSM8K (soal matematika tingkat sekolah dasar) daripada DeepSeek V3, GPT-4o, dan Llama 3.1 milik Meta.
Performa keseluruhan Tülu 3 405B juga didukung oleh kemampuan keamanannya yang solid. Model ini menunjukkan hasil yang lebih baik dalam benchmark keamanan dibandingkan DeepSeek-V3 dan Nous Hermes 3. Fakta ini penting, karena banyak model open-source sering kali lemah dalam aspek keamanan. Berbekal pencapaian ini, Tülu 3 405B membuktikan bahwa model open-source bisa setara, bahkan melebihi model proprietary dalam hal performa dan keamanan.
4. Pelatihan Tulu 3 405B tergolong sulit
Tidak ada prestasi besar yang tercapai tanpa tantangan. Pelatihan Tülu 3 405B bukanlah pekerjaan yang mudah. Berdasarkan laporan dari AIwire, model ini memerlukan 256 GPU yang bekerja secara paralel di 32 node. Proses pelatihan RLVR membutuhkan waktu yang cukup lama, yaitu 550 detik untuk inferensi, 25 detik untuk transfer bobot, dan 1.500 detik untuk pelatihan setiap iterasi. Tim Ai2 juga menghadapi kendala teknis seperti timeout NCCL dan masalah sinkronisasi yang membutuhkan pemantauan yang sangat teliti.
Meski demikian, upaya ini terbayar lunas. Pendekatan Ai2 dalam mengoptimalkan vLLM dengan tensor parallelism 16-cabang berhasil menjaga stabilitas model meski skalanya sangat besar. Mengutip TechTarget, Mark Beccue, analis dari Enterprise Strategy Group yang sekarang menjadi bagian dari Omdia, mengomentari bahwa Ai2 sangat terbuka. Transparansi penuh yang ditawarkan Ai2 sendiri justru menjadi nilai tambah bagi komunitas AI global.
5. Masa depan AI open-source
Keberadaan Tülu 3 405B adalah bukti nyata bahwa AI open-source bisa menjadi alternatif kuat bagi model proprietary. Lewat kode lengkap tersedia di GitHub dan Hugging Face, serta demo interaktif di Ai2 Playground, model ini siap digunakan oleh siapa saja, baik peneliti, pengembang, maupun orang awam yang ingin bereksperimen. Langkah seperti ini adalah momen penting bagi masa depan AI open-source, terutama di tengah dominasi perusahaan teknologi besar. Dilansir Marktechpost, Ai2 berharap Tülu 3 405B bisa menjadi bukti bahwa model open-source bisa bersaing dengan model tertutup. Mereka juga berencana untuk terus mengembangkan metode RLVR dan mengeksplorasi model yang lebih besar di masa depan.
Tülu 3 405B adalah bukti bahwa AI open-source bisa bersaing dengan model-model closed-source terbaik di dunia. Menawarkan performa yang mengesankan, inovasi RLVR, dan komitmen terhadap transparansi, Ai2 berhasil mencuri perhatian di industri AI. Jadi, kalau kamu penasaran dengan kecanggihan Tülu 3 405B, langsung saja coba di Ai2 Playground atau unduh kodenya di GitHub dan Hugging Face. Siapa tahu, kamu bisa jadi bagian dari revolusioner AI berikutnya!
