5 Fakta Menarik Llama 3, Model AI Open Source Terbaru dari Meta

Dalam dunia AI, kemampuan sebuah model biasanya diukur melalui berbagai uji kemampuan baku yang disebut benchmark. Meta dengan bangga menyatakan bahwa Llama 3 8B, varian dengan 8 miliar parameter, berhasil mengungguli beberapa model lain yang setara, seperti Mistral 7B dan Gemma 7B. Keunggulan Llama 3 8B terlihat di setidaknya 9 benchmark, termasuk MMLU untuk menilai pengetahuan umum, ARC untuk mengukur kemampuan pemecahan masalah, dan DROP untuk menguji pemahaman bacaan.

Lebih mengesankan lagi, Llama 3 70B, varian dengan 70 miliar parameter diklaim mampu bersaing dengan model-model AI terbaik saat ini. Beberapa model tersebut seperti Gemini 1.5 Pro dari Google dan Claude 3 Sonnet dari Anthropic. Bahkan, pada beberapa benchmark seperti MMLU, HumanEval (mengukur kemampuan pemrograman), dan GSM-8K (menguji keterampilan matematika), Llama 3 70B dilaporkan unggul dari kedua model tersebut. Hal menarik lainnya adalah Meta juga mengembangkan serangkaian uji kemampuan mereka sendiri untuk membandingkan performa Llama 3 70B dengan model-model lainnya. Dalam uji ini, Llama 3 70B dilaporkan unggul dalam berbagai tugas, mulai dari pemrograman, penulisan kreatif, hingga meringkas teks.  

Seperti halnya manusia yang belajar dari pengalaman, kemampuan suatu AI juga sangat dipengaruhi oleh kualitas dan kuantitas data yang digunakan saat proses pelatihan. Dalam pengembangan Llama 3, Meta menggunakan dataset yang jauh lebih besar dibandingkan versi sebelumnya; peningkatan hingga 7 kali lipat. Total data yang digunakan untuk melatih Llama 3 setara dengan 750 miliar kata, suatu jumlah yang luar biasa besar.

Tak hanya dari segi kuantitas, data latih Llama 3 juga lebih beragam. Misalnya, porsi data yang mengandung kode komputer meningkat hingga 4 kali lipat dibandingkan Llama 2. Selain itu, terdapat pula data dalam 30 bahasa selain bahasa Inggris yang mencakup 5 persen dari total data latih. Untuk memastikan Llama 3 belajar dari contoh-contoh terbaik, Meta juga mengembangkan sistem khusus yang dapat menyaring dan memilih data berkualitas tinggi secara otomatis.

Dalam mengembangkan Llama 3, Meta tidak hanya berfokus pada peningkatan kuantitas data, tetapi juga kualitas arsitektur model dan metode pelatihan. Salah satu inovasi yang diterapkan adalah sistem encoding kata yang lebih efisien untuk mengubah teks menjadi representasi numerik yang dapat diproses oleh AI. Teknik attention, yang berperan dalam menentukan bagian mana dari data yang perlu mendapat perhatian lebih, juga dioptimasi untuk meningkatkan performa Llama 3.

Proses fine-tuning, yaitu pengaturan akhir model AI agar dapat mengikuti instruksi dengan lebih baik, juga mendapatkan sentuhan inovasi. Sejumlah metode mutakhir dipadukan untuk menghasilkan model yang lebih terampil dan fleksibel. Tak hanya dari sisi algoritma, Meta juga mengembangkan hardware dan software yang mendukung proses pelatihan Llama 3. Hasilnya, waktu yang dibutuhkan untuk melatih Llama 3 menjadi 3 kali lebih singkat dibandingkan pendahulunya.

Seiring dengan meningkatnya kemampuan Llama 3, Meta juga semakin menekankan pentingnya aspek keamanan dan tanggung jawab dalam mengembangkan AI. Untuk mendeteksi konten berbahaya yang mungkin dihasilkan oleh Llama 3, Meta menghadirkan dua perangkat canggih yaitu Llama Guard 2 dan CyberSecEval 2. Kedua perangkat ini juga dapat mengenali potensi celah keamanan siber dalam sistem AI.

Meta tidak hanya fokus pada konten berbahaya, tetapi juga pada kode yang mungkin berdampak negatif. Code Shield adalah perangkat terbaru dari Meta yang berfungsi sebagai filter pintar untuk mengenali dan mencegah kode berbahaya yang dapat dihasilkan oleh Llama 3. Sebagai pelengkap, Meta juga merilis panduan komprehensif bertajuk Responsible Use Guide yang memuat praktik-praktik terbaik dalam menerapkan AI secara etis dan bertanggung jawab.

Meta berkomitmen untuk terus mengembangkan Llama 3 agar makin canggih dan bermanfaat. Dalam waktu dekat, Meta berencana untuk menyediakan Llama 3 di berbagai platform cloud terkenal dan penyedia API model AI. Untuk saat ini, Llama 3 telah dapat diakses di meta.ai. Namun, platform ini belum tersedia untuk pengguna di Indonesia. 

Di balik layar, tim Meta sedang sibuk mengembangkan model Llama 3 dengan skala yang jauh lebih besar. Saat ini, mereka tengah melatih model dengan lebih dari 400 miliar parameter; jauh melampaui varian Llama 3 70B. Varian mendatang diharapkan akan memiliki kemampuan yang semakin canggih, seperti pemahaman multibahasa, pemrosesan berbagai jenis data, serta memori yang lebih panjang untuk menangani konteks yang lebih luas.

Sebagai model open-source, Llama 3 memungkinkan para peneliti dan pengembang untuk mempelajari, memodifikasi, dan mengadaptasi teknologinya secara bebas. Hal ini dapat mendorong inovasi yang lebih cepat dan kolaborasi yang lebih luas dalam komunitas AI.  Manfaat dari kehadiran Llama 3 pun diharapkan dapat dirasakan oleh khalayak lebih luas lagi dalam waktu dekat.