Startup henter 40 millioner dollar på å sertifisere andres KI-agenter
AIUC kjører agenter gjennom rundt 5 000 angreps- og risikoscenarioer og selger et stempel på resultatet. Standarden selskapet reviderer mot, har det skrevet selv.
Av H. S. Pettersen · 2 min lesing
Begreper i denne artikkelen
Artificial Intelligence Underwriting Company, som kaller seg AIUC, hentet tirsdag 40 millioner dollar i en emisjon ledet av Ribbit Capital. Selskapet selger noe som knapt fantes for to år siden: en uavhengig revisjon av KI-agenter, altså modeller som får utføre handlinger på egen hånd i stedet for bare å svare på spørsmål.
Slik foregår revisjonen
Standarden heter AIUC-1 og er bygget etter mønster av SOC 2, sikkerhetsstandarden programvareselskaper må dokumentere at de oppfyller for å selge til store kunder. En agent kjøres gjennom rundt 5 000 kombinasjoner av risiko og angrep, deriblant forsøk på å lure den forbi sine egne sikkerhetsfiltre, oppdiktede svar og datalekkasjer. Resultatet er en rapport på rundt hundre sider som må fornyes hvert kvartal. Testene kjøres av KI, mens mennesker godkjenner den ferdige revisjonen.
Hvem som har bestemt hva som er trygt nok
Rundt 250 sikkerhets- og risikoansvarlige i store selskaper sitter i konsortiet som former standarden. Det er en styrke, fordi det er de samme folkene som stopper innkjøp internt, og en svakhet, fordi fasiten dermed defineres av et privat selskap sammen med kundene sine. Kundelisten AIUC oppgir, inneholder Cursor, Lovable, Harvey, ElevenLabs, KPMG og UiPath.
Medgründer Rune Kvist, som var Anthropics første produktansatt, sier bedrifter ikke lenger stopper KI-innkjøp fordi modellen er for dårlig. «De sier nei fordi de har lovet sine egne kunder hva et system skal og ikke skal gjøre, og ingen kan garantere det i dag», sier han til TechCrunch. Medgründer Rajiv Dattani, tidligere driftsdirektør i sikkerhetsorganisasjonen METR, sammenligner med forsikringsbransjen som finansierte Underwriters Laboratories da elektriske apparater satte fyr på hus. Emisjonen kom dagen etter at en Anthropic-forsker sa opp og advarte om utryddelsesrisiko.
Hvorfor dette angår norske innkjøpere
EUs KI-forordning krever samsvarsvurdering av systemer med høy risiko, og rapporteringsplikten er alt i bruk. For norske banker, sykehus og kommuner som kjøper agenter, er spørsmålet hvem som skal gjøre vurderingen. Anthropic-sjef Dario Amodei foreslo i essayet sitt forrige helg at eksterne kontrollører skal få observere modellene, og nevnte METR som ett mulig navn. AIUC har hentet 55 millioner dollar til sammen og selger den tjenesten kommersielt allerede, mot en standard selskapet har skrevet selv.
