Inteligența artificială se confruntă cu o provocare majoră: consumul excesiv de resurse, în special de memorie, pentru rularea modelelor la scară largă.
În acest context, Google a introdus TurboQuant, o soluție inovatoare ce promite să reducă drastic aceste costuri.
Inginerii Google au dezvoltat un sistem capabil să reducă de până la șase ori memoria utilizată în timpul conversațiilor, fără pierderi semnificative de performanță.
Această tehnologie vine în sprijinul industriei, mai ales în contextul creșterii continue a costurilor operaționale ale AI.
Modelele AI, precum cele folosite în chatbot-uri precum ChatGPT, depind de un spațiu temporar numit KV cache, unde sunt stocate informațiile necesare pentru coerența conversației.
Citește articolul complet pe Galați Expres
Deschide articolul →