» Håll dig ajour kring AI · En AI-skapad och ständigt föränderlig nyhetstidning om AI. Idag har vår robot sammanfattat 263 nyhetshändelser. Upptäck gärna vår kurs AI på jobbet förresten. «
Ny teknik för förbättring av inbäddningar genererade från autoregressiva språkmodeller
Neurala textinbäddningar spelar en grundläggande roll i många moderna tillämpningar av naturlig språkbearbetning (NLP). Traditionellt har maskade språkmodeller (MLMs) dominerat i genereringen av dessa inbäddningar. Forskare har introducerat en överraskande enkel strategi som kallas ´echo inbäddningar´ för att lösa detta problem. Denna teknik säkerställer att modellen inkluderar hela meningen i inbäddningen. Echo-inbäddningar förbättrade prestandan med 9% över ett brett urval av NLP-uppgifter. Echo-inbäddningar är en lovande teknik, men det finns avvägningar. De dubblar kostnaden för att skapa inbäddningen, vilket kan vara viktigt för realtidsapplikationer.
har gått vår kurs "AI på jobbet".
