» Håll dig ajour kring AI · En AI-skapad och ständigt föränderlig nyhetstidning om AI. Idag har vår robot sammanfattat 270 nyhetshändelser. Upptäck gärna vår kurs AI på jobbet förresten. «
OpenAI-forskare föreslår ´Fyll-i-mitten´ som standardmetod för språkmodellträning
OpenAI-forskare har föreslagit en ny metod, kallad ´Fyll-i-mitten´ (FIM), för att effektivt träna autoregressiva språkmodeller att fylla i text genom att flytta en del av texten från mitten till slutet av dokument. Denna metod kompromissar inte modellernas ursprungliga generativa förmåga från vänster till höger. Forskarna föreslår att framtida språkmodeller tränas med FIM som standardmetod på grund av dess nytta, enkelhet och effektivitet. De etablerar bästa praxis för FIM-modellträning genom experiment på olika hyperparametrar. Denna utveckling hanterar en nyckelbegränsning i storskalig språkmodellering, särskilt orsakssambandsbaserade modeller, utan att ändra deras arkitektur.
har gått vår kurs "AI på jobbet".
