» Håll dig ajour kring AI · En AI-skapad och ständigt föränderlig nyhetstidning om AI. Idag har vår robot sammanfattat 161 nyhetshändelser. Upptäck gärna vår kurs AI på jobbet förresten. «
Google utvecklar Infini-attention för att förbättra stora språkmodeller
Google har introducerat en metod som låter stora språkmodeller (LLMs) acceptera obegränsat med text. Metoden, kallad Infini-attention, fungerar utan att offra minne och beräkningskraft, vilket skapar ett mer effektivt och potentiellt mer inflytelserikt LLM-resultat. Alla populära AI-modeller, inklusive OpenAI:s GPT-4 och Anthropics Claude 3, har ett begränsat kontextfönster. Googles Infini-attention löser detta problem genom att använda befintliga minnes- och beräkningskrav. Forskarna jämförde sin Infini-attention-teknik mot befintliga LLMs och fann att deras alternativ var överlägset.
har gått vår kurs "AI på jobbet".
