Liquid AI, sebuah startup model asas dari Boston yang berakar dari Massachusetts Institute of Technology (MIT), kini berusaha untuk membawa industri teknologi melangkaui kebergantungan terhadap seni bina Transformer yang selama ini menjadi tulang belakang kebanyakan model bahasa besar (LLMs) terkenal seperti siri OpenAI’s GPT dan keluarga Google Gemini.
Baru-baru ini, Liquid AI mengumumkan pelancaran “Hyena Edge,” iaitu model multi-hybrid berasaskan convolution yang direka khas untuk telefon pintar dan peranti Edge menjelang International Conference on Learning Representations (ICLR) 2025.
ICLR, salah satu acara terpenting dalam dunia penyelidikan machine learning, tahun ini akan berlangsung di Singapura.
Model Baharu Ini Tawar AI Lebih Pantas dan Jimat Memori untuk Peranti Edge
Hyena Edge dibina untuk mengatasi prestasi Transformer tradisional, baik dari segi kecekapan pengiraan mahupun kualiti model bahasa.
Dalam ujian dunia sebenar menggunakan Samsung Galaxy S24 Ultra, Hyena Edge menunjukkan masa tindak balas lebih pantas, penggunaan memori lebih kecil, dan skor penanda aras lebih baik berbanding model Transformer++ yang setanding dari segi bilangan parameter.
Seni Bina Baru untuk Era Baru AI di Peranti Mudah Alih
Berbeza dengan model kecil lain yang biasa direka untuk telefon pintar — seperti SmolLM2, Phi dan Llama 3.2 1B — Hyena Edge tidak lagi bergantung pada rekaan tradisional yang berat pada details. Sebaliknya, dua pertiga daripada grouped-query attention (GQA) telah digantikan dengan gated convolutions daripada keluarga Hyena-Y.
Seni bina inovatif ini terhasil melalui kerangka kerja Synthesis of Tailored Architectures (STAR) Liquid AI, yang mengguna algoritma evolusi untuk mereka bentuk struktur model secara automatik. STAR pertama kali diumumkan pada Disember 2024.
STAR membolehkan eksplorasi pelbagai gabungan operator berdasarkan teori matematik linear input-varying systems, bertujuan mengoptimumkan objektif khusus perkakasan seperti kependaman (latency), penggunaan memori, dan kualiti model.
Ujian Prestasi Terus di Telefon Pengguna
Untuk membuktikan kesediaan Hyena Edge, Liquid AI menjalankan ujian terus pada Samsung Galaxy S24 Ultra.
Hasil ujian menunjukkan Hyena Edge mencapai sehingga 30% lebih pantas dalam masa prefill dan decode berbanding Transformer++, dengan kelebihan yang lebih ketara untuk urutan data yang lebih panjang.
Malah untuk urutan pendek, masa prefill Hyena Edge lebih pantas daripada baseline Transformer. sesuatu yang sangat penting untuk aplikasi responsif di peranti.
Dari segi penggunaan memori pula, Hyena Edge menunjukkan penggunaan RAM yang lebih rendah sepanjang semua panjang urutan yang diuji — menjadikannya calon ideal untuk peranti dengan sumber terhad.
Prestasi Bahasa Mengatasi Model Transformer
Hyena Edge dilatih menggunakan 100 bilion token dan diuji pada beberapa penanda aras kecil seperti Wikitext, Lambada, PiQA, HellaSwag, Winogrande, ARC-easy, dan ARC-challenge.
Dalam semua ujian ini, Hyena Edge sama ada menyaingi atau melepasi prestasi model GQA-Transformer++, dengan peningkatan ketara dalam skor perplexity untuk Wikitext dan Lambada, serta ketepatan yang lebih tinggi untuk PiQA, HellaSwag dan Winogrande.
Ini membuktikan bahawa peningkatan kecekapan tidak mengorbankan kualiti ramalan — sesuatu yang sering menjadi masalah untuk model edge-optimized yang lain.
Evolusi Hyena Edge: Lihat Perjalanan Prestasi dan Operator
Bagi anda yang ingin memahami lebih mendalam tentang perkembangan Hyena Edge, Liquid AI ada menyediakan video ringkasan menarik mengenai evolusi model ini.
Video ini menunjukkan bagaimana metrik utama seperti masa prefill, masa decode, dan penggunaan memori bertambah baik sepanjang pembangunan model.
Ia juga memperlihatkan perubahan dinamik dalam penggunaan pelbagai jenis operator seperti Self-Attention (SA), variasi Hyena, dan lapisan SwiGLU, yang membentuk prestasi akhir Hyena Edge.
Melalui visualisasi perubahan ini, video tersebut memberikan pandangan yang berguna tentang prinsip reka bentuk di sebalik kejayaan Hyena Edge.
Rancangan Sumber Terbuka dan Visi Masa Depan
Liquid AI memaklumkan bahawa mereka bercadang untuk open-source siri model asas Liquid, termasuk Hyena Edge, dalam beberapa bulan akan datang. Matlamat mereka adalah membina sistem AI serba boleh dan cekap yang boleh berfungsi dari cloud datacenter sehingga ke peranti mudah alih individu.
Pelancaran Hyena Edge juga membuktikan bahawa ada ruang untuk seni bina baru mencabar dominasi Transformer dalam kegunaan sebenar. Dengan permintaan AI canggih di telefon pintar semakin meningkat, model seperti Hyena Edge berpotensi menetapkan standard baru untuk AI yang dioptimumkan untuk Edge.
Keberkesanan Hyena Edge, sama ada dari segi prestasi mentah mahupun inovasi reka bentuk automatik, menjadikan Liquid AI antara pemain baru yang perlu diperhatikan dalam landskap model AI masa depan.
Sumber: Venturebeat »
