» Håll dig ajour kring AI · En AI-skapad och ständigt föränderlig nyhetstidning om AI. Idag har vår robot sammanfattat 211 nyhetshändelser. Upptäck gärna vår kurs AI på jobbet förresten. «
NVIDIA visar betydande framsteg inom generativ AI med senaste MLPerf-benchmarks
NVIDIA har stärkt sin dominans inom generativ AI genom att avslöja prestandamått i de senaste MLPerf-benchmarks. Genom att använda TensorRT-LLM, specifikt utformat för att effektivisera inferensuppgifter för LLMs, visade NVIDIAs Hopper-arkitektur GPU:er en 3x ökning av prestandan på GPT-J LLM jämfört med resultat inspelade bara sex månader tidigare. Företag i framkant av innovation använder TensorRT-LLM för att optimera sina modeller, underlättat ytterligare av NVIDIA NIM - en svit av inferensmikrotjänster som omfattar kraftfulla motorer som TensorRT-LLM. De senaste MLPerf-benchmarks avslöjade ett betydande språng i generativa AI-förmågor, med TensorRT-LLM som körs på NVIDIAs senaste H200 Tensor Core GPU:er. Dessa minnesförbättrade GPU:er, som gör sin debut i MLPerf-arenan, uppnådde anmärkningsvärd genomströmning, genererade upp till 31 000 tokens per sekund på Llama 2 70B-benchmark.
har gått vår kurs "AI på jobbet".
