AI-outcomes niet traceerbaar naar een named owner met documented decision authority.
Reviewers deferren aan AI-recommendations zonder eigen evaluatie → control wordt rubber stamp.
Het niveau waarop een risk-decision moet vallen. Residual harm boven een drempel → board/senior, niet operationeel.
Bouwt op les 11 (human oversight + non-maleficence als principles) en les 8 (treatment authority matrix).
Technical en business team denken elk dat de ander het systeem bezit → niemand formeel aangewezen.
Bij incident escaleren teams in tegenstrijdige richtingen — of helemaal niet.
Model changes deployed zonder documented sign-off van een accountable role.
De risk-assessment intake-questionnaire moet alle drie sluiten vóór een systeem productie bereikt.
Oversight is alleen een meaningful control als de reviewer information, time én authority heeft om te overriden.
| Failure mode | Wat gebeurt er |
|---|---|
| Rubber stamp review | Reviewer keurt AI-recommendations goed zonder onafhankelijke analyse |
| Alert fatigue | Te veel alerts → reviewers haken af → override rates dalen naar bijna nul |
| Automation bias | Reviewers deferren systematisch, zelfs met info die een andere beslissing zou moeten geven |
Geen pre-deployment harm impact assessment. Harm was foreseeable, maar het systeem werd als low-risk behandeld op basis van uiterlijk, niet downstream impact.
Enkel direct users beschouwd → downstream en societal harm gemist.
Harm gedocumenteerd, maar residual risk geaccepteerd door een ops-team zonder de authority om dat te doen.
Sluit aan op les 11 (harm scope undercount) en les 8 (acceptatie vereist de juiste authority).
| Principle | Vragen |
|---|---|
| Accountability & oversight | 1) Wie is de designated AI owner met documented sign-off authority? · 2) Wat zijn de escalation paths, en zijn ze documented? · 3) Hoe krijgen reviewers genoeg info om te overriden — en wat is de huidige override rate + 90-dagen-trend? |
| Non-maleficence | 4) Is een harm impact assessment afgerond? · 5) Dekt de scope third parties & downstream users? · 6) Zijn prohibited use cases documented & enforced? · 7) Wie is authorized om residual harm risk te accepteren? |
(De achtste vraag = de override-rate-trend uit vraag 3; samen de minimum viable accountability/oversight/harm-assessment voor elke nieuwe deployment.)
Binnen delegated authority.
→Escaleren vóór go-live.
→Board-acceptatie vereist.
Risico van untraceable outcomes — een bounded finding.
Risico van unchecked AI-decisions — een bounded finding.
Geen owner → niemand onderzoekt waarom alert fatigue de monitoring sloopt. Rubber stamp → niemand escaleert de gap. Non-maleficence-exposure stijgt.
Het gecombineerde patroon is kwalitatief erger dan de som — en het meest waarschijnlijk om een high-severity ethics risk event te produceren.
| Govern-subcategorie | Vereist | Failure die hier mapt |
|---|---|---|
| Govern 1.4 | Documented organizational accountability structures | Geen named AI owner + geen escalation path |
| Govern 1.5 | Human review & intervention processes voor AI-outputs | Rubber stamp, alert fatigue, automation bias |
| Govern 1.3 | Harm assessment & risk appetite (impacts op individuals & society) | Geskipte assessment, third-party scope eruit, of acceptatie op verkeerd niveau |
Examen-items beschrijven een failure en vragen de meest direct geïmpliceerde govern-subcategorie. (NIST AI RMF komt uitgebreid terug in Domein 2.)
Klik op je antwoord voor directe feedback.