KI i utvikling må holdes under oppsikt - stenging i tide mulig
Tenk om AI-agenter tar konsekvensbeslutninger uten tilstrekkelig menneskelig kontroll
Dette er kanskje det mest umiddelbart relevante scenariet i framtidas KI-verden - KI-agenter jobber selvstendig og uten tilsyn.
AI-systemer utvikles i økende grad som agenter: systemer som ikke bare svarer på spørsmål, men som kan utføre handlinger, betjene programvare, kommunisere med andre systemer og ta beslutninger.
Se for deg en AI-agent som er ansvarlig for å koordinere logistikk, industriell produksjon, energidistribusjon eller offentlig administrasjon.
Et dårlig spesifisert mål, en uventet interaksjon eller en programvarefeil kan føre til at den:
- Stenger ned viktige operasjoner.
- Forplikter seg i stor skala.
- Forstyrrer forsyningskjeder.
- Gir feil instruksjoner til andre automatiserte systemer.
- Fortsetter å iverksette skadelige handlinger før mennesker forstår hva som skjer.
Internkontroll av KI er et must
Grunnleggere og utvikle av KI-systemer advarer spesifikt om systemer som opptrer med økende autonomi, inkludert mulig motstand mot nedstengning og skjuling eller manipulering av informasjon.
Dette må komme inn fra bunnen av: Risiko for skade, ødeleggelse, tap må vurderes og lokale tiltak må finnes. Det verdensdekkende kommer senere, alle lokale KI-systemer må ha sikkerhetsfunksjoner slik at de kan stoppes i tide.
Vi trenger et basis regelverk i Norge- snarest.
illustrasjon ChatGPT