Terobosan mengejutkan, iPhone 17 Pro berhasil jalankan model bahasa AI 400 miliar parameter secara lokal. Simak kecanggihan teknologi Flash-MoE di sini.
CUPERTINO, PARLE.CO.ID – Industri teknologi dikejutkan dengan eksperimen terbaru yang menunjukkan kemampuan perangkat keras terbaru Apple melampaui ekspektasi. iPhone 17 Pro dilaporkan berhasil menjalankan model bahasa (LLM) raksasa dengan 400 miliar parameter secara lokal (on-device), sebuah pencapaian yang sebelumnya dianggap mustahil untuk ukuran ponsel pintar.
Eksperimen ini dipicu oleh proyek sumber terbuka (open-source) bernama Flash-MoE yang dibagikan oleh pengembang dengan akun @anemll. Sebagai perbandingan, model AI sebesar ini biasanya membutuhkan memori RAM lebih dari 200GB hanya untuk dimuat, sementara iPhone 17 Pro diketahui hanya memiliki RAM 12GB.
Keberhasilan ini tidak lepas dari teknik komputasi yang cerdas. Alih-alih memuat seluruh model ke dalam memori RAM, sistem ini bekerja dengan menarik potongan data dari penyimpanan internal (storage) hanya saat dibutuhkan.
Selain itu, sistem ini mengandalkan arsitektur Mixture of Experts (MoE). Dalam skema ini, hanya sebagian kecil dari keseluruhan model yang aktif pada momen tertentu. Kombinasi antara pengambilan data dari penyimpanan dan aktivasi selektif inilah yang memungkinkan model raksasa tersebut berjalan di perangkat seluler.
Meskipun secara teknis berhasil dijalankan, penggunaan model 400B di iPhone 17 Pro saat ini masih jauh dari kata praktis. Masalah utamanya terletak pada kecepatan pemrosesan yang sangat rendah.
Berdasarkan hasil demo, model tersebut hanya mampu menghasilkan sekitar 0,6 token per detik. Artinya, pengguna harus menunggu beberapa detik hanya untuk memunculkan satu kata tunggal. Selain kecepatan, beban kerja yang sangat berat ini juga diprediksi akan menguras daya baterai secara ekstrem dalam waktu singkat.
Walaupun belum dapat digunakan untuk kebutuhan harian, eksperimen ini memberikan gambaran masa depan industri mobile. Fakta bahwa model sebesar ini dapat berjalan sepenuhnya di dalam perangkat tanpa bergantung pada koneksi internet (cloud) adalah lompatan besar dalam hal privasi dan kemandirian teknologi.
Untuk saat ini, model AI berukuran kecil (SLM) tetap menjadi pilihan yang paling masuk akal untuk penggunaan praktis. Namun, apa yang terjadi pada iPhone 17 Pro membuktikan bahwa batasan antara perangkat seluler dan komputer super semakin menipis.
Sumber: Gizmochina