Verdens KI modnes - vi må se den største katastrofe i øynene
KI-giganten Anthropic har sendt verden et tankekors om katastrofe
I dokumentene Anthropic har sendt inn ved sin børsnotering drøftes muligheten for at tilstrekkelig avanserte KI-systemer kan skape katastrofale eller eksistensielle hendelser. Dette kan skje dersom KI-systemene blir misbrukt, kopiert, gjort om til våpen eller får operere med høy grad av selvstendighet.
Hvorfor skulle ikke forsikringsbransjen kunne dekke dette?
Det er et viktig skille mellom en vanlig katastrofe og en katastrofe forårsaket av kunstig intelligens (KI).
Tradisjonell katastrofe
- Vanligvis geografisk begrenset
- Skadene er ofte lokalisert
- Årsaken er vanligvis identifiserbar
- Gjenoppbygging kan starte etter hendelsen
- Forsikringsrisiko kan anslås basert på historikk
Potensiell KI-katastrofe
- Potensielt over hele verden
- Tusenvis av ofre samtidig
- Årsaken kan være fordelt på tvers av systemer
- KI-systemer kan fortsette å forårsake skade
- Lite historiske data for å anslå tap
Vanskelig å forutse hva som kan skje
Forsikringsbransjen fungerer ved å fordele risiko. Dette blir langt vanskeligere når tusenvis av forsikrede bedrifter er avhengige av det samme KI-systemet.
En enkelt svikt kan utløse tusenvis av forsikringskrav samtidig. Dette kalles korrelert eller akkumulert risiko. Forsikringseksperter har pekt spesifikt på dette problemet i sine reaksjoner på dokumentene fra Anthropic.
Min helhetsvurdering
I en helhetsvurdering kan vi rangere scenarioene på følgende måte: Scenario
- Cyberkatastrofe
- Finansiell ustabilitet
- Autonome agenter som forstyrrer infrastruktur
- Biologisk katastrofe
- Tap av kontroll over avansert KI
Min vurdering
- Alvorlig og sannsynlig
- Alvorlig og sannsynlig
- Blir stadig mer relevant
- Potensielt ekstreme konsekvenser
- Svært usikkert, potensielt eksistensielt
Dette er mine egne private analytiske vurderinger, ikke noe Anthropic har sagt, og er selvsagt heller ikke basert på sannsynlighetsberegninger fra Anthropic.
Det er også et viktig forbehold: Dokumentene Anthropic sendte inn, var en del av en registreringsprosess for verdipapirer. Slike dokumenter er utformet for å synliggjøre risikoer, inkludert ekstreme, hypotetiske scenarioer. Advarselen er ikke en spådom om at noen av disse hendelsene faktisk vil inntreffe. Jeg tolker det som noe vi alle bør tenke gjennom., og som Anthropic allerede har tenkt på.
Men jeg mener det ligger et langt større problem skjult i denne uttalelsen
Verden utvikler en teknologi som kan bli helt avgjørende for hvordan verdens økonomi, offentlig forvaltning, finansmarkeder, helsevesen og nasjonal infrastruktur fungerer.
Hvis denne teknologien blir tilstrekkelig sammenkoblet, kan en katastrofal svikt være noe verken det enkelte selskap kan løse, eller som et forsikringsselskap kan gi erstatning for.
Da blir det et spørsmål om global sikkerhet og offentlig styring. Mitt sentrale spørsmål vil derfor være:
Vi skal ikke tillate at en teknologi blir uunnværlig for sivilisasjonens fungering, før vi har etablert et internasjonalt system som er i stand til å overvåke risikoene, begrense skadevirkningene ved svikt, og plassere ansvaret når noe går galt?
Et slik system kan være basert på "branncelle"- tanken om at skaden/hendelsen ikke kan spre seg ut fra den cellen der den startet - den isoleres der og stopper der. Om dette er mulig må vi ta med i vurderingene. I F
I forsikringsteknologi kalles dette seksjonering, og er vanlig prinsipp i lover og regler for for brannsikring i de fleste land.
Dette er, etter min mening, det politiske og institusjonelle spørsmålet som reises av Anthropics advarsel om forsikring. Lokal kontroll må finnes overalt.
Bilde KI ChatGPT