Techverse.asia - Meta, yang mengembangkan salah satu model bahasa sumber terbuka terbesar yang mendasar, Llama, yakin bahwa mereka akan membutuhkan daya komputasi yang jauh lebih besar untuk melatih model di masa mendatang.
Baca Juga: Samsung Odyssey 3D: Suguhkan Tampilan 3D Tanpa Perlu Pakai Kacamata
Mark Zuckerberg mengatakan pada panggilan pendapatan kuartal kedua (Q2) Meta menyampaikan bahwa untuk melatih Llama 4, perusahaan akan membutuhkan komputasi 10x lebih banyak daripada yang dibutuhkan untuk melatih Llama 3.
Kendati demikian, ia tetap ingin Meta membangun kapasitas untuk melatih model daripada tertinggal dari pesaingnya. “Jumlah komputasi yang dibutuhkan untuk melatih Llama 4 kemungkinan akan hampir 10 kali lebih banyak daripada yang kami gunakan untuk melatih Llama 3, dan model masa depan akan terus tumbuh melampaui itu,” kata Zuckerberg.
Sulit untuk memprediksi bagaimana tren ini akan berlanjut hingga beberapa generasi ke depan. Namun, pada titik ini, ia lebih suka mengambil risiko membangun kapasitas sebelum dibutuhkan daripada terlambat, mengingat waktu tunggu yang lama untuk meluncurkan proyek inferensi baru.
Meta merilis Llama 3 dengan delapan miliar parameter pada April tahun ini. Raksasa teknologi tersebut minggu lalu merilis versi model yang ditingkatkan, yang disebut Llama 3.1 405B, yang memiliki 405 miliar parameter, menjadikannya model sumber terbuka terbesar Meta.
Chief Financial Officer (CFO) Meta Susan Li juga mengatakan bahwa perusahaannya sedang memikirkan berbagai proyek pusat data dan membangun kapasitas untuk melatih model AI masa depan. Ia mengatakan Meta mengharapkan investasi ini akan meningkatkan belanja modal pada 2025.
Pelatihan model bahasa yang besar bisa menjadi bisnis yang mahal. Belanja modal Meta naik hampir 33 persen menjadi US$8,5 miliar pada Q2 2024, dari US$6,4 miliar setahun sebelumnya, didorong oleh investasi pada server, pusat data, dan infrastruktur jaringan.
Baca Juga: Vivo V40 Pro dan V40 Rilis Global, Tengok Harga dan Spek Lengkapnya
Menurut laporan dari The Information, OpenAI menghabiskan US$3 miliar untuk model pelatihan dan tambahan US$4 miliar untuk menyewa server dengan tarif diskon dari Microsoft.
“Seiring dengan peningkatan kapasitas pelatihan AI generatif untuk memajukan model dasar kami, kami akan terus membangun infrastruktur kami dengan cara yang memberi kami fleksibilitas dalam cara kami menggunakannya dari waktu ke waktu,” ujar Li.
Hal tersebut akan memungkinkan Meta untuk mengarahkan kapasitas pelatihan ke inferensi AI generatif atau ke pekerjaan pemeringkatan dan rekomendasi inti mereka, ketika perusahaan berharap hal itu akan lebih berharga.
Selama panggilan tersebut, Meta juga berbicara tentang penggunaan Meta AI yang berhadapan dengan konsumen dan mengatakan India adalah pasar terbesar untuk chatbot-nya. Namun, Li mencatat bahwa perusahaan tidak mengharapkan produk AI generatif untuk berkontribusi terhadap pendapatan secara signifikan.
Baca Juga: LLaMA: Kecerdasan Buatan Milik Meta untuk Bantu Para Peneliti
Sebelumnya, pada akhir Juli lalu, Meta meluncurkan model AI generatif Llama 3.1 atau yang juga disebut sebagai Llama 3.1 405B. Model Llama 3.1 405 B merupakan AI open source tingkat pertama, sedangkan pembaruan untuk kecerdasan buatan pada model Llama 3.1 70B dan 8B diberikan pembelajaran yang lebih baik.
Pendiri dan CEO Meta, Mark Zuckerberg, mengatakan bahwa selain memiliki biaya atau kinerja yang jauh lebih baik dibandingkan dengan model tertutup, fakta bahwa model 405B bersifat terbuka akan menjadikannya pilihan terbaik untuk menyempurnakan dan menyaring model yang lebih kecil.
Tahun lalu, Llama 2 hanya sebanding dengan model generasi lama yang berada di balik teknologi terdepan. Tahun ini, Llama 3 mampu bersaing dengan model-model tercanggih dan memimpin di beberapa area.
Baca Juga: Meta Menambahkan Chatbot Kecerdasan Buatannya yang Didukung Llama 3, Tersedia di 4 Aplikasinya