AIGP Zelfstudie
Overzicht › Domein 1 · Foundations › Les 13 · AI Ethics

Accountability gaps, oversight failures & harm

Domein 1 · AI Ethics lec 15 Twee dingen die verbonden zijn: als ze sámen falen, compoundt het tot een high-severity ethics event.
Kerngedachte — verwar ze niet
Accountability is structureel (wie staat in voor outcomes, over de hele levensduur). Oversight is operationeel (heeft de reviewer info, tijd en authority om te overriden, per beslissing). Een named owner voldoet niet aan oversight; een review checkpoint vervangt geen accountability.
Vocabulaire

Drie ankertermen

Structureel

Accountability failure

AI-outcomes niet traceerbaar naar een named owner met documented decision authority.

Gedrag

Automation bias

Reviewers deferren aan AI-recommendations zonder eigen evaluatie → control wordt rubber stamp.

Niveau

Treatment authority

Het niveau waarop een risk-decision moet vallen. Residual harm boven een drempel → board/senior, niet operationeel.

🔗 Link

Bouwt op les 11 (human oversight + non-maleficence als principles) en les 8 (treatment authority matrix).

Diffuse ownership

Drie accountability gaps

Gap 1 · meest voorkomend

Geen designated AI owner

Technical en business team denken elk dat de ander het systeem bezit → niemand formeel aangewezen.

Gap 2

Undocumented escalation paths

Bij incident escaleren teams in tegenstrijdige richtingen — of helemaal niet.

Gap 3

Unclear approval authority

Model changes deployed zonder documented sign-off van een accountable role.

✅ Regel

De risk-assessment intake-questionnaire moet alle drie sluiten vóór een systeem productie bereikt.

Wanneer oversight betekenisloos wordt

Drie oversight failure modes

Oversight is alleen een meaningful control als de reviewer information, time én authority heeft om te overriden.

Failure modeWat gebeurt er
Rubber stamp reviewReviewer keurt AI-recommendations goed zonder onafhankelijke analyse
Alert fatigueTe veel alerts → reviewers haken af → override rates dalen naar bijna nul
Automation biasReviewers deferren systematisch, zelfs met info die een andere beslissing zou moeten geven
Hoe je het test
Via override-rate-monitoring + walk-through-interviews met échte reviewers — niet door te vragen "bestaat er een oversight-proces?".
Allemaal procesfouten, geen technische

Non-maleficence faalt op drie manieren

1 · Assessment geskipt

Geen pre-deployment harm impact assessment. Harm was foreseeable, maar het systeem werd als low-risk behandeld op basis van uiterlijk, niet downstream impact.

2 · Third parties buiten scope

Enkel direct users beschouwd → downstream en societal harm gemist.

3 · Geaccepteerd op verkeerd niveau

Harm gedocumenteerd, maar residual risk geaccepteerd door een ops-team zonder de authority om dat te doen.

🔗 Verband

Sluit aan op les 11 (harm scope undercount) en les 8 (acceptatie vereist de juiste authority).

Minimum viable assessment

De 8 intake-vragen

PrincipleVragen
Accountability & oversight1) Wie is de designated AI owner met documented sign-off authority? · 2) Wat zijn de escalation paths, en zijn ze documented? · 3) Hoe krijgen reviewers genoeg info om te overriden — en wat is de huidige override rate + 90-dagen-trend?
Non-maleficence4) Is een harm impact assessment afgerond? · 5) Dekt de scope third parties & downstream users? · 6) Zijn prohibited use cases documented & enforced? · 7) Wie is authorized om residual harm risk te accepteren?

(De achtste vraag = de override-rate-trend uit vraag 3; samen de minimum viable accountability/oversight/harm-assessment voor elke nieuwe deployment.)

Schaalt met severity

Treatment authority voor residual harm — 3 niveaus

LOW · well-bounded

AI owner / risk officer

Binnen delegated authority.

MODERATE+ / third parties

CRO (of equivalent)

Escaleren vóór go-live.

HIGH/CRITICAL / material legal

Board / audit committee

Board-acceptatie vereist.

Examen
De drempel tussen niveaus wordt niet bepaald door het oordeel van het AI-risk-team — hij staat in het enterprise risk appetite statement. Scenario's testen: wanneer is operationele acceptatie onvoldoende en is board-sign-off vereist?
De conceptuele kern

Waarom de combinatie erger is dan de som

GEÏSOLEERD

Accountability gap

Risico van untraceable outcomes — een bounded finding.

GEÏSOLEERD

Oversight failure

Risico van unchecked AI-decisions — een bounded finding.

SAMEN ✕

Compounding

Geen owner → niemand onderzoekt waarom alert fatigue de monitoring sloopt. Rubber stamp → niemand escaleert de gap. Non-maleficence-exposure stijgt.

Het gecombineerde patroon is kwalitatief erger dan de som — en het meest waarschijnlijk om een high-severity ethics risk event te produceren.

Cross-reference

Mapping naar NIST AI RMF — Govern

Govern-subcategorieVereistFailure die hier mapt
Govern 1.4Documented organizational accountability structuresGeen named AI owner + geen escalation path
Govern 1.5Human review & intervention processes voor AI-outputsRubber stamp, alert fatigue, automation bias
Govern 1.3Harm assessment & risk appetite (impacts op individuals & society)Geskipte assessment, third-party scope eruit, of acceptatie op verkeerd niveau

Examen-items beschrijven een failure en vragen de meest direct geïmpliceerde govern-subcategorie. (NIST AI RMF komt uitgebreid terug in Domein 2.)

Begrippen uit deze les

Glossarium

Accountability failure
AI-outcomes niet traceerbaar naar een named owner met decision authority.
Human oversight (vs accountability)
Operationele safeguard per beslissing; accountability is structureel over de levensduur.
Rubber stamp review
Goedkeuren zonder onafhankelijke analyse.
Alert fatigue
Te veel alerts → override rate naar nul.
Automation bias
Systematisch deferren aan AI, ook tegen beter weten in.
Treatment authority
Niveau waarop een risk-decision moet vallen (AI owner → CRO → board).
Enterprise risk appetite statement
Bepaalt de drempel tussen authority-niveaus — niet het AI-team.
Compounding failure
Accountability gap + oversight failure samen = erger dan de som.
Govern 1.3 / 1.4 / 1.5
NIST AI RMF-subcategorieën: harm/appetite · accountability structures · human review.
Checkpoint

Quiz

Klik op je antwoord voor directe feedback.

VRAAG 1
Hoe test een risk program oversight-effectiviteit het best?
Door te vragen of er een oversight-proces bestaat
Via override-rate-monitoring + walk-through-interviews met échte reviewers
Door het model-accuracy-cijfer te checken
Door enkel het beleidsdocument te lezen
Juist. Het bestaan van een proces zegt niets over de effectiviteit. Een dalende override rate verraadt rubber stamp/alert fatigue/automation bias; walk-throughs tonen of reviewers info, tijd én authority hebben.
VRAAG 2
Een ops-team accepteert residual harm risk die zich uitstrekt tot third parties, vóór go-live. Wat is het probleem?
Niets — ops mag alle residual risk accepteren
Acceptatie op het verkeerde niveau: moderate+/third-party harm moet naar de CRO (of board), per het risk appetite statement
Het is een technische fout in het model
Third-party harm hoeft nooit beoordeeld te worden
Juist. Treatment authority schaalt met severity. Harm die third parties raakt, overstijgt operationele delegated authority → escaleren naar CRO/board. De drempel staat in het enterprise risk appetite statement.
← Terug naar overzicht