Meta Enerji Səmərəli AI Modelini Təqdim Edir!

Meta, süni intellekt sahəsində özünü sübut etmiş Llama 3.2 modelinin yeni, daha səmərəli versiyasını təqdim edib! Oktyabr ayında elan edilən bu versiya, aşağı enerji istehlakı ilə seçilir və mobil cihazlarla uyğun gəlir. Buyurun, detallara nəzər salaq… Meta, Llama 3.2 modelinin 1D və 3D sayısal versiyalarını təqdim edib! İlk növbədə qeyd etmək lazımdır ki, Meta yeni versiyaların inkişafında model kvantlaşdırma texnologiyasından istifadə edib. Bu texnologiya sayəsində 1D və 3D versiyalar əhəmiyyətli dərəcədə daha yüksək performans və daha aşağı enerji istehlakı təklif edir. Əslində, yeni modellər orta hesabla RAM istifadəsini 41% və model ölçülərini 56% azaldıb. Başqa sözlə, daha sürətli işləyən və daha az enerji istehlak edən AI modellərimiz var. Bəs Meta bunu necə əldə edib? Sirr iki fərqli texnikada gizlənir: Kvantlaşdırmaya Uyğun Təlim (QAT) və SpinQuant. QAT modeli aşağı salır, eyni zamanda dəqiqliyini saxlayır, SpinQuant isə onu daha taşınabilir edir. QAT modelin təlim prosesində işə daxil olur və aşağı salma prosesi zamanı dəqiqliyin yüksək səviyyədə qalmasını təmin edir. SpinQuant modeli yüngül platformalarda işləmək üçün ideal hala gətirir. Bu, Meta-nın AI modellərinin yalnız böyük serverlərdə deyil, həm də mobil cihazlar kimi daha yüngül sistemlərdə səmərəli şəkildə işləməsinə imkan verir. Bu arada, Meta yeni, daha yüngül modellərini OnePlus 12, Samsung S24+, S22 və bəzi Apple iOS cihazlarında test edib. Testlərin nəticələri çox ümidverici çıxıb. Orijinal Llama BF16 versiyası ilə müqayisədə, yeni modellərdə performans fərqi çox azdır. Ancaq bu yeni modellər 8,000 token bağlama qabiliyyətinə malikdir, bu da orijinal Llama-nın 128,000 tokenindən aşağıdır. Bu bir qədər məhdudiyyətli görünə bilər, amma Meta-nın test nəticələri göstərir ki, bu yeni modellər, xüsusilə mobil cihazlar üçün ideal həll təklif edir. Bundan əlavə, gələcəkdə NPU (Sinir İşləmə Vahidi) dəstəyi ilə təkmilləşdirmələr planlaşdırılır ki, bu da modellərin performansını daha da yaxşılaşdırsın.