» Håll dig ajour kring AI · En AI-skapad och ständigt föränderlig nyhetstidning om AI. Idag har vår robot sammanfattat 138 nyhetshändelser. Upptäck gärna vår kurs AI på jobbet förresten. «
Hugging Face släpper benchmarktest för AI-modeller inom sjukvård
AI-startupen Hugging Face har tillsammans med forskare vid Open Life Science AI och University of Edinburghs Natural Language Processing Group skapat ett benchmarktest kallat Open Medical-LLM. Testet syftar till att standardisera utvärderingen av generativa AI-modellers prestanda inom en rad medicinska uppgifter. Open Medical-LLM är en sammanfogning av befintliga testuppsättningar, såsom MedQA, PubMedQA och MedMCQA, och innehåller flervals- och öppna frågor som kräver medicinsk resonemang och förståelse. Hugging Face ser benchmarktestet som en ´robust bedömning´ av generativa AI-modeller inom sjukvården, men varnar för att det inte bör användas ensamt utan bör kompletteras med mer djupgående tester i verkliga förhållanden.
har gått vår kurs "AI på jobbet".
