» Håll dig ajour kring AI · En AI-skapad och ständigt föränderlig nyhetstidning om AI. Idag har vår robot sammanfattat 204 nyhetshändelser. Upptäck gärna vår kurs AI på jobbet förresten. «
Vectara löser problemet med hallucinationer i stora språkmodeller
Stora språkmodeller (LLM) har en tendens att ´hallucinera´ på grund av hur de är utformade och begränsningar i datakomprimering, säger Vectara CEO Amr Awadallah. Men det finns lösningar på detta problem, inklusive en av Vectara som använder ´retrieval-augmented generation´ (RAG). Enligt Awadallah, kan text maximalt komprimeras till 12,5% innan det börjar förlora sin mening. Några av dagens LLM tar omkring en biljon ord och trycker in det i ett utrymme med en miljard parametrar, vilket representerar en 1000x komprimeringsgrad. För att minska hallucinationer kan man tränar LLM på mindre datamängder. Vectara har även utvecklat en ny LLM, kallad Boomerang, som är särskilt utformad för att upptäcka hallucinationer. Boomerang genererar ett poäng som motsvarar sannolikheten att en LLM:s svar är påhittat.
har gått vår kurs "AI på jobbet".
