» Håll dig ajour kring AI · En AI-skapad och ständigt föränderlig nyhetstidning om AI. Idag har vår robot sammanfattat 169 nyhetshändelser. Upptäck gärna vår kurs AI på jobbet förresten. «
Ny forskning presenterar VSP-LLM, en ram för visuell talbehandling
Forskare har presenterat en unik ram kallad Visual Speech Processing kombinerat med Large Language Models (VSP-LLM) för att förbättra precisionen i teknologier som visuell talöversättning (VST) och visuell taligenkänning (VSR). VSP-LLM kombinerar textbaserad kunskap från LLMs med visuellt tal och använder en självövervakad modell för att översätta visuella signaler till representationer på fonemnivå. Dessa representationer kan sedan effektivt kopplas till textdata genom att utnyttja LLMs styrka i kontextmodellering. Forskare har delat att experiment har genomförts på översättningsdatasetet MuAViC benchmark, vilket har visat VSP-LLMs effektivitet.
har gått vår kurs "AI på jobbet".
