» Håll dig ajour kring AI · En AI-skapad och ständigt föränderlig nyhetstidning om AI. Idag har vår robot sammanfattat 222 nyhetshändelser. Upptäck gärna vår kurs AI på jobbet förresten. «
Google-forskare påstår att de har löst minnesproblemet med stora språkmodeller
Google-forskare hävdar att de har knäckt koden för att ge stora språkmodeller (LLM) en oändlig aptit. De presenterar ´Infini-attention´, en teknik som låter modellerna bearbeta oändligt långa texter utan att överbelasta minnet. Detta kan ge företag en fördel i AI-landskapet, då det innebär att mer information kan bearbetas. Tidigare har minnesproblem varit ett hinder för att förbättra kvaliteten och precisionen i AI-utdata. Forskarna på Google har lagt till en ´kompressivt minne´-modul till den klassiska uppmärksamhetsmekanismen i LLM, vilket innebär att när texten blir för lång packas gammal information undan för att göra plats för ny. Google hävdar att deras testämne presterar bättre än andra långkontextmodeller och använder 114 gånger mindre minne.
har gått vår kurs "AI på jobbet".
