» Håll dig ajour kring AI · En AI-skapad och ständigt föränderlig nyhetstidning om AI. Idag har vår robot sammanfattat 158 nyhetshändelser. Upptäck gärna vår kurs AI på jobbet förresten. «
KIVI: En effektiv lösning för minnesproblem i stora språkmodeller
Stora språkmodeller (LLMs) är mycket användbara för att generera text eller svara på frågor, men de behöver mycket minne för att fungera effektivt. En lösning på detta problem är att använda kvantisering, vilket komprimerar informationen så att den tar mindre plats. KIVI är en kvantisering algoritm speciellt utformad för nyckel-värde (KV) cachar i LLMs. Den komprimerar informationen lagrad i cachet utan att behöva finjusteras. Tester har visat att KIVI är mycket effektivt för att minska minnesanvändningen utan att offra prestanda. Med KIVI kan LLMs köras snabbare och hantera större mängder data, vilket leder till förbättringar av genomströmningen med upp till 3,47 gånger i verkliga scenarier.
har gått vår kurs "AI på jobbet".
