Tensormesh Süni İntellekt Serverlərinin Effektivliyini Artırmaq Üçün 4.5 Milyon Dollar Vəsait Topladı

Süni intellekt (Sİ) infrastrukturu böyük sürətlə genişləndikcə, şirkətlərin əllərində olan GPU-lardan maksimum nəticə çıxarmaları üçün təzyiq artır. Bu mühit, xüsusi texniki biliklərə malik tədqiqatçılar üçün investisiya cəlb etmək üçün əla bir dövrdür.

Bu məqsədlə fəaliyyət göstərən “Tensormesh” şirkəti bu həftə ictimaiyyətə çıxaraq 4.5 milyon dollar həcmində toxum (seed) vəsaiti əldə etdiyini elan etdi. Bu investisiyaya Laude Ventures rəhbərlik edib, əlavə olaraq verilənlər bazası sahəsinin pioneri Michael Franklin tərəfindən də dəstək verilib. Tensormesh bu pulları açıq mənbəli **LMCache** tətbiqinin kommersiya versiyasını yaratmaq üçün istifadə edir. LMCache, şirkətin həmtəsisçisi Yihua Cheng tərəfindən yaradılmış və inkişaf etdirilmişdir.

LMCache düzgün tətbiq edildikdə, nəticə çıxarma (inference) xərclərini on dəfəyə qədər azalda bilər. Bu gücü sayəsində LMCache, açıq mənbəli tətbiqetmələrin əsas alətinə çevrilib və Google və Nvidia kimi nəhənglərin inteqrasiyasını cəlb edib. İndi Tensormesh, akademik dairədə qazandığı bu reputasiyanı gəlirli və dayanıqlı bir biznesə çevirməyi planlayır.

Texnologiyanın əsasını Key-Value keş (KV keş) sistemi təşkil edir. Bu yaddaş sistemi mürəkkəb giriş məlumatlarını sadələşdirərək daha səmərəli emal etmək üçün istifadə olunur. Ənənəvi arxitekturalarda, KV keş hər sorğunun sonunda silinir, lakin Tensormesh-in həmtəsisçisi Junchen Jiang bunun böyük səmərəsizlik mənbəyi olduğunu vurğulayır. O bildirir ki, “Bu, bütün məlumatları oxuyan, lakin hər sualdan sonra öyrəndiklərini unudan çox ağıllı bir analitikin olması kimidir.”

Tensormesh sistemləri keş yaddaşını silmək əvəzinə onu saxlayır. Bu, model başqa bir sorğuda oxşar bir prosesi yerinə yetirəndə yaddaşın yenidən istifadə edilməsinə imkan yaradır. GPU yaddaşı çox məhdud olduğundan, sistem məlumatları bir neçə fərqli yaddaş qatına yaymaq məcburiyyətində qalır, lakin bunun müqabilində eyni server yükü ilə əhəmiyyətli dərəcədə daha çox nəticə çıxarma gücü əldə edilir. Bu dəyişiklik xüsusilə çat interfeysləri üçün əhəmiyyətlidir, çünki modellər söhbət irəlilədikcə daim böyüyən çat qeydinə istinad etməlidir. Agent sistemləri də eyni şəkildə hərəkət və məqsəd qeydlərini saxlamalı olur.

Nəzəri cəhətdən, **süni intellekt şirkətləri** bu dəyişiklikləri özləri həyata keçirə bilərlər, lakin bunun texniki mürəkkəbliyi bu işi çətin bir tapşırıq edir. Junchen Jiang bildirir ki, “KV keş yaddaşını ikinci dərəcəli saxlama sistemində saxlamaq və bütün sistemi ləngitmədən səmərəli şəkildə yenidən istifadə etmək çox mürəkkəb bir problemdir.” O əlavə edir ki, bəzən insanlar belə bir sistemi qurmaq üçün 20 mühəndis işə götürür və üç-dörd ay vaxt sərf edirlər. Tensormesh komandası isə öz tədqiqat təcrübəsinə arxalanaraq, hazır, qutusundan çıxarılan bu məhsula böyük tələbat olacağına əmindir.