Tiiny AI, startup asal AS, mengklaim telah menciptakan superkomputer yang muat di saku. Perangkat bernama AI Pocket Lab ini diklaim punya kemampuan setara AI tingkat doktor.
Superkomputer umumnya berupa fasilitas besar dengan banyak perangkat keras. Namun, AI Pocket Lab hadir dengan konsep berbeda.
Tidak ada definisi pasti tentang superkomputer. Biasanya, istilah ini merujuk pada komputer terbesar dan terkuat yang ada saat ini.
AI Pocket Lab dirancang untuk menjalankan model bahasa besar (LLM) secara lokal. Biasanya, tugas ini memerlukan banyak GPU atau bahkan infrastruktur pusat data.
Perangkat ini menggabungkan prosesor ARM 12-core dengan RAM 80GB LPDDR5X. Sekitar 48GB RAM khusus untuk NPU (neural processing unit) yang menangani beban kerja AI.
Konfigurasi ini memungkinkan sistem menjalankan LLM hingga 120 miliar parameter. Kinerja mencapai 190 triliun operasi per detik (TOPS).
Kecepatan output antara 18 dan 40 token per detik. Empat token setara dengan tiga kata, cukup cepat untuk penggunaan praktis.
Spesifikasi lain termasuk SSD 1TB, Wi-Fi, Bluetooth, tiga port USB-C, dan mikrofon. Perangkat ini terhubung ke sistem Windows atau macOS, mendukung Linux, dan dapat diakses melalui jaringan.
AI Pocket Lab mendukung lebih dari 50 LLM open source. Ukurannya mirip smartphone, sekitar 5,6 x 3,15 inci, tebal kurang dari satu inci, dan berat 10,5 ons.
AI Pocket Lab dapat menjalankan model AI tanpa infrastruktur cloud. Ini penting untuk privasi, karena alat AI online sering menimbulkan masalah keamanan data.
Perangkat ini juga memungkinkan akses AI di lingkungan dengan konektivitas terbatas. AI Pocket Lab menangani model dengan 120 miliar parameter, jauh lebih besar dari chatbot offline biasa seperti Llama 3.1 yang hanya 8 miliar parameter.
AI Pocket Lab mendukung edge computing, memproses data dekat dengan sumbernya. Perangkat ini menggunakan daya 30 watt, mirip laptop, bukan infrastruktur AI skala besar.
AI Pocket Lab hadir dengan power supply 65 watt. Ini menunjukkan efisiensi daya yang signifikan dibandingkan dengan pusat data tradisional.
