Llama 3.1 405B menjadi sorotan utama dalam peluncuran ini sebagai model AI open source terbesar yang pernah ada. Melansir dari blog resmi Meta, dengan 405 miliar parameter, model ini dilatih menggunakan lebih dari 16.000 GPU Nvidia H100. Ini merupakan sebuah investasi yang luar biasa dalam sumber daya komputasi. Dataset pelatihannya mencapai 15 triliun token, setara dengan sekitar 750 miliar kata dan mencakup data hingga tahun 2024.
Kemampuan Llama 3.1 405B sungguh mengesankan dengan jendela konteks 128.000 token, setara dengan buku setebal 50 halaman. Ini memungkinkan model untuk memahami dan mengolah teks yang sangat panjang, membuka peluang baru dalam analisis dokumen dan percakapan kompleks. Model ini mendukung delapan bahasa: Inggris, Jerman, Prancis, Italia, Portugis, Hindi, Spanyol, dan Thai, menjadikannya alat yang sangat berguna untuk komunikasi lintas budaya dan analisis teks multibahasa.
Dalam hal performa, Meta mengklaim bahwa Llama 3.1 405B mengungguli GPT-4 dalam beberapa benchmark dan menunjukkan "hasil campuran" dibandingkan dengan GPT-4o dan Claude 3.5 Sonnet. Secara spesifik, model ini lebih unggul dalam eksekusi kode dan pembuatan plot dibandingkan GPT-4o, meskipun kemampuan multibahasanya secara keseluruhan lebih lemah. Dibandingkan dengan Claude 3.5 Sonnet, Llama 3.1 405B masih tertinggal dalam pemrograman dan penalaran umum.
Llama 3.1 405B juga dilengkapi dengan kemampuan menggunakan alat pihak ketiga. Model ini dapat memanfaatkan Brave Search untuk menjawab pertanyaan tentang peristiwa terkini, API Wolfram Alpha untuk query terkait matematika dan sains, serta interpreter Python untuk memvalidasi kode. Kemampuan ini membuat Llama 3.1 405B menjadi alat yang sangat serbaguna untuk berbagai aplikasi AI.
Meskipun sangat kuat, Llama 3.1 405B memiliki kebutuhan sumber daya yang besar. Meta merekomendasikan penggunaan setidaknya satu node server untuk menjalankan model ini, yang mungkin menjadi pertimbangan bagi pengembang atau perusahaan yang ingin menggunakannya secara langsung. Namun, Meta mengklaim bahwa biaya operasional Llama 3.1 405B hanya sekitar setengah dari GPT-4o milik OpenAI, menjadikannya pilihan yang lebih ekonomis untuk aplikasi skala besar.