Uiterlijk in 2028 zal een verkeerd geconfigureerd AI-systeem binnen cyberfysieke systemen leiden tot het stilvallen van nationale kritieke infrastructuur in een G20-land. Dat stelt adviesbureau Gartner. Volgens het bureau zijn duidelijke noodmechanismen nodig waarmee mensen kunnen ingrijpen om zulke incidenten te voorkomen.
Cyberfysieke systemen (CPS) combineren sensoren, rekenkracht, besturing, netwerken en data-analyse om processen in de fysieke wereld aan te sturen. Het gaat onder meer om operationele technologie, industriële controlesystemen, industriële automatisering, het industriële internet of things, robotica en drones — vaak samengebracht onder de noemer Industrie 4.0.
Wam Voster, vicepresident en analist bij Gartner, waarschuwt dat de volgende grote infrastructuurstoring niet per se het gevolg hoeft te zijn van hackers of een natuurramp. “Het kan net zo goed gaan om een goedbedoelende engineer, een fout in een updatescript of een verkeerd geplaatste komma,” zegt hij. “Een goed beveiligde noodstop of overbruggingsmodus, alleen toegankelijk voor bevoegde operators, is cruciaal om te voorkomen dat een fout in de AI-configuratie de nationale infrastructuur stillegt.”
Volgens het bureau kan verkeerd ingestelde AI zelfstandig essentiële diensten uitschakelen, sensorgegevens verkeerd interpreteren of onveilige acties in gang zetten. Dat kan leiden tot fysieke schade of grootschalige verstoringen van vitale systemen, zoals elektriciteitsnetten of fabrieken.
Moderne elektriciteitsnetten gebruiken AI om vraag en aanbod continu op elkaar af te stemmen. Een fout in de instellingen kan er bijvoorbeeld toe leiden dat delen van het net onterecht worden afgeschakeld of dat de belasting in grote regio’s wordt teruggeschroefd.
Voster wijst erop dat veel moderne AI-modellen zo complex zijn dat ze het karakter hebben van een ‘black box’. “Zelfs ontwikkelaars kunnen vaak niet precies voorspellen wat het effect is van een kleine wijziging in de configuratie. Hoe minder inzicht er is in zo’n systeem, hoe groter het risico bij fouten. Juist daarom moeten mensen altijd kunnen ingrijpen.”
Om de risico’s te beperken adviseert Gartner chief information security officers om in alle kritieke cyberfysieke systemen een beveiligde overbruggingsmodus in te bouwen. Ook raadt het bureau aan om digitale tweelingen te gebruiken om updates en configuratiewijzigingen eerst te testen voordat ze live gaan. Daarnaast pleit het voor realtime monitoring, duidelijke terugvalscenario’s en nationale AI-crisisteams die toezicht houden en snel kunnen ingrijpen bij incidenten.
