D1.3 — Foundation models & multimodale AI

Kerngedachte
Een foundation model is gedeelde infrastructuur — als cloud. Eén fout in die laag propageert ogenblikkelijk naar élke applicatie erop. Governance die alleen de downstream-apps bekijkt en niet het model eronder, meet de verkeerde risicolaag.

Fundament

De drie ankerbegrippen

BASIS

Foundation model

Groot model, voorgetraind op brede, diverse data → herbruikbare basis voor veel taken. Herbruikbaarheid = efficiëntiewinst; systemic risk = de governance-uitdaging.

→

FASE 1

Pre-training

Eerste trainingsfase: leert algemene patronen uit een enorme dataset. Hier ontstaat de meeste capability — én de meeste risico-exposure. Bias in pre-training → bias overal downstream.

→

HERGEBRUIK

Transfer learning

Voorgetrainde kennis toepassen op nieuwe taken met minimale extra training. Efficiënt — maar bias & kwetsbaarheden reizen mee downstream.

Drie dimensies van exposure

Waarom systemic risk?

1

Concentration risk

Een handvol foundation models drijft een groot deel van enterprise-AI → één falen heeft buitenproportioneel bereik.

2

Propagation risk

Een bias- of data-poisoning-event raakt élke downstream-app tegelijk — vóór iemand het detecteert en indamt.

3

Vendor dependency

Bij third-party modellen kun je de internals niet inspecteren. Due diligence loopt via indirecte signalen.

🔗 Analogie

Foundation models dragen systemic risk zoals cloud-infrastructuur — governeer ze navenant.

Wat je wél kunt doen

Vier controls — ook zonder de internals te zien

De governance-houding ligt dichter bij third-party risk management dan bij klassieke software-development controls.

#	Control	Wat het inhoudt
1	Vendor due diligence	Vraag model cards, training-data-documentatie en bekende bias-disclosures vóór deployment-goedkeuring.
2	Output monitoring	Doorlopend outputs nakijken op accuracy, bias en policy-schendingen — met vooraf gedefinieerde escalatiedrempels.
3	Contractuele controls	SLA's over versiewijzigingen, incident-notificatietermijnen, data-handling én een opzegrecht bij onaanvaardbare wijziging.
4	Substitution planning	Contingency voor terugtrekking, deprecatie of onaanvaardbare gedragsverandering van het model.

Scope-uitbreiding

Multimodale AI vergroot het attack surface

Multimodaal = accepteert/produceert meer dan één datatype (tekst, beeld, audio, video, code) in één model. Scope groeit in twee richtingen:

📥 Input-validatie groeit

Tekstvalidatie alleen volstaat niet als het model ook beeld/audio accepteert. Elke modaliteit vermenigvuldigt het aantal validatie-frameworks en content-policies — niet enkel de hoeveelheid werk.

🎯 Aanvalsoppervlak groeit

Een aanvaller kan instructies in een beeld- of audiobestand verstoppen → een prompt-injection-vector die tekstfilters missen. Dit heet de cross-modal attack surface.

Vier multimodale risicogebieden

Modaliteit / risico	Bedreiging	Vereiste control
Beeld-input	Visual prompt injection: instructies in beeld die het model leest maar reviewers missen	Input-validatie op visuele content, niet alleen tekst-metadata
Audio-input	Voice cloning & audio-injectie tegen voice-enabled systemen	Authenticatie-controls + anomaly detection op audio
Code generation (output)	Gegenereerde code kan kwetsbaarheden introduceren bij uitvoeren zonder review	Output governance met security-testing vóór productie
Data-exfiltratie	Model kan worden geprompt om gevoelige content te herhalen → omzeilt klassieke DLP	Content governance op output

Timing
Audit je governance-framework per modaliteit vóór de deployment-goedkeuring — niet nadat een incident een gat blootlegt.

Het transparency-artefact

Model cards

Het primaire transparency-artefact om een foundation model te beoordelen dat je niet direct kunt inspecteren. Een goede model card geeft:

Onderdeel model card	Wat het je geeft
Intended use & out-of-scope toepassingen	Of jouw geplande deployment matcht met de design-intentie
Training-data-bronnen, bekende biases, evaluatieresultaten	Baseline voor je bias-risicobeoordeling
Prestatie op fairness-benchmarks per demografische groep	Wat regelgevers steeds vaker eisen in high-stakes domeinen
Bekende limieten & aanbevolen human oversight	Input voor je human-in-the-loop control-ontwerp

Regel
Een afwezige of onvolledige model card = due-diligence-gap. Behandel het als een ontbrekende vendor security questionnaire: hou deployment-goedkeuring tegen tot de documentatie er is.

In het ERM-register

Vier foundation-model-risico's als aparte categorie

Niet wegstoppen onder losse applicatie-entries — registreer ze als distincte categorie, elk met eigen KRI's vóór het risico materialiseert.

1

Model dependency risk

De org leunt op een model dat van gedrag verandert of wordt stopgezet.

2

Inherited bias risk

Pre-training-biases propageren door alle apps → discriminatie-aansprakelijkheid in gereguleerde domeinen.

3

Vendor concentration risk

Meerdere apps delen één third-party model → grotere blast radius bij een vendor-event.

4

Version change risk

Stille model-updates wijzigen gedrag zonder bericht → eerdere risk-assessments ongeldig, compliance-gaps.

Begrippen uit deze les

Glossarium

Foundation model: Groot, breed voorgetraind model als herbruikbare basis voor veel downstream-taken.
Pre-training: Eerste trainingsfase op een enorme dataset; legt capability én risico vast.
Transfer learning: Voorgetrainde kennis toepassen op nieuwe taken met minimale extra training.
Concentration risk: Weinig modellen drijven veel AI → één falen heeft groot bereik.
Propagation risk: Een fout in de basis raakt alle downstream-apps tegelijk.
Vendor dependency risk: Geen inzage in internals van third-party modellen.
Multimodale AI: Eén model dat meerdere datatypes accepteert/produceert (tekst, beeld, audio, video, code).
Cross-modal attack surface: Uitgebreid attack surface doordat elke modaliteit een nieuwe input-vector is.
Visual prompt injection: Kwaadaardige instructies verstopt in beeld die het model leest maar reviewers missen.
DLP: Data Loss Prevention — klassieke controls die multimodale exfiltratie kan omzeilen.
Model card: Transparantie-artefact met use cases, data, biases, fairness-benchmarks en limieten.
Blast radius: De reikwijdte van schade als één gedeeld component faalt.

Checkpoint

Quiz

Klik op je antwoord voor directe feedback.

VRAAG 1

Een organisatie ontvangt geen model card bij een third-party foundation model. Hoe moet een governance-professional dit behandelen?

Negeren — model cards zijn optioneel

Als due-diligence-gap: deployment-goedkeuring tegenhouden tot de documentatie er is

Direct deployen en achteraf monitoren

De interne weights zelf inspecteren

Juist. Een afwezige/onvolledige model card is een due-diligence-gap — behandel het als een ontbrekende vendor security questionnaire en hou de goedkeuring tegen tot de documentatie beschikbaar is.

VRAAG 2

Wat maakt het attack surface van een multimodaal systeem groter dan dat van een tekst-only LLM?

Het verbruikt meer rekenkracht

Het is altijd customer-facing

Elke modaliteit is een nieuwe input-vector (bv. visual prompt injection via beeld) — de cross-modal attack surface

Multimodale modellen hebben geen output monitoring nodig

Juist. Elke toegevoegde modaliteit voegt een input-vector toe. Een aanvaller kan instructies in een beeld of audio verstoppen die tekstfilters missen → de cross-modal attack surface. Audit per modaliteit vóór deployment.