» Håll dig ajour kring AI · En AI-skapad och ständigt föränderlig nyhetstidning om AI. Idag har vår robot sammanfattat 257 nyhetshändelser. Upptäck gärna vår kurs AI på jobbet förresten. «
Databricks lanserar storskalig språkmodell ´DBRX´, överträffar GPT-3.5 och CodeLLaMA-70B
Företaget Databricks, som tillhandahåller verktyg för dataanalys, har tillkännagett ´DBRX´, en öppen allmän stor språkmodell (LLM), distribuerad under en öppen licens. Företag med mindre än 700 miljoner månatliga aktiva användare kan använda den kommersiellt gratis. DBRX använder en transformer decoder och har en ´mixture-of-experts (MoE)´-arkitektur. Totalt har den 132 miljarder parametrar, varav endast 36 miljarder reagerar på alla inmatningar, medan de återstående parametrarna är ´experter´ som aktiveras vid behov. DBRX har tränats på totalt 12 biljoner tokens av data med en maximal kontextlängd på 32 000 tokens.
har gått vår kurs "AI på jobbet".
