Anthropic ontwikkelt AI twee keer zo snel, maar houdt het bewijs voorlopig geheim

AI-bedrijf Anthropic boekt nu in één jaar tijd ongeveer evenveel vooruitgang als het eerder in twee jaar boekte. Dat komt doordat de AI zelf een steeds groter deel van het werk doet. Dat concludeert de Amerikaanse non-profit METR in een rapport.

METR onderzoekt of AI-bedrijven de controle over hun modellen dreigen te verliezen. De ngo mocht elf weken lang interne cijfers inzien bij Anthropic. Ook sprak het met zo’n vijftien medewerkers.

Een belangrijke nuance vooraf: buitenstaanders kunnen de conclusie van METR maar deels controleren. Anthropic haalde het grootste deel van het belangrijkste bewijs bovendien uit de openbare versie. Het zou dus best kunnen dat het rapport een onderschatting is van de vooruitgang.

Wat er is gemeten

AI-modellen worden getoetst aan de hand van examens. Het gaat om een aantal standaardtesten in onder meer programmeren, wiskunde en de wetenschappen. Sinds oktober vorig jaar stijgen de scores van modellen van Anthropic bijna twee keer zo snel als tussen maart 2024 en oktober 2025.

De onderzoekers zeggen zelf dat dit een ruwe schatting is. Het getal kan uiteenlopen van 1,5 keer tot 2,8 keer zo snel. Ze maten hier het tempo van de vooruitgang, niet dat de modellen zelf twee keer zo performant werden.

De cijfers zijn van toepassing op taken die duidelijk omschreven en makkelijk na te kijken zijn. Of AI in de praktijk even snel beter wordt, is uit genoemd rapport minder duidelijk.

AI verbetert AI

In het niet zo verre verleden werden AI-modellen vooral beter doordat ze met steeds meer rekenkracht werden getraind. Die groei is niet versneld, stelt METR met redelijk veel zekerheid. De huidige versnelling is vooral te danken aan het feit dat Anthropic zelf steeds meer AI inzet om AI te ontwikkelen.

Een van de medewerkers die METR sprak, zegt dat de tijd tussen idee en experiment met zo’n 80 procent is gedaald. In informele peilingen op Slack zeggen medewerkers zelfs dat ze tot twaalf keer sneller werken met een intern model, dat nog niet publiekelijk beschikbaar is. METR zelf nuanceert dat dit anekdotisch bewijs is, en dus niet hard gemaakt kan worden met cijfers.

Waarom dit ertoe doet

Als AI helpt om een beter model te bouwen, kan dat betere model weer helpen om het volgende sneller te maken, enzovoort. Zo’n zichzelf versterkende lus heet recursieve zelfverbetering. Anthropic-topman Dario Amodei waarschuwde daar in september zelf voor en riep de sector op het tempo te verlagen.

Volledig zelfstandig is die lus echter nog niet. AI levert volgens METR nog geen grote, eigen bijdrage aan de belangrijkste stappen van het trainen van een model, al ziet het personeel daar de eerste tekenen van. Een duidelijke rem voor de komende twaalf maanden, zoals een tekort aan rekenkracht of data, vond METR niet.

Medeoprichter Sam McCandlish schrijft op X dat veel van de conclusies van METR overeenkomen met wat hij zelf ziet. Anthropic wil binnen enkele weken een eigen analyse publiceren.