-
Notifications
You must be signed in to change notification settings - Fork 25
Commit
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
Update 0-org-15-discriminatieprotocol.md
Layout fix
- Loading branch information
Showing
1 changed file
with
43 additions
and
43 deletions.
There are no files selected for viewing
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
| Original file line number | Diff line number | Diff line change |
|---|---|---|
|
|
@@ -50,49 +50,49 @@ Een voorbeeld hiervan is het analyseren van de data op [datakwaliteit en bias in | |
| Het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK) heeft een discriminatie protocol opgesteld. Dit protocol bestaat uit 5 stappen: Het vermoeden van onrechtmatigheid, het inzicht en overzicht, het beperken van de schade, het melden en informeren en de registratie en afhandeling. | ||
| Hieronder worden de stappen verder toegelicht, maar voor meer details is het aan te raden de huidige website te bekijken: [Discriminatieprotocol](https://minbzk.github.io/discriminatieprotocol/#stappen-op-een-rij). | ||
|
|
||
| **Stap 1: Vermoeden van onrechtmatigheid** | ||
| Een vermoeden van bevooroordeeldheid of discriminatie kan vanuit verschillende partijen gemeld worden. | ||
| Signalen hiervoor kunnen worden ontvangen vanuit de interne organisatie, bijvoorbeeld door de betrokken ontwikkelaars, gebruikers of beheerders, of door externe partijen, zoals belanghebbenden, toezichthouder, journalisten. | ||
|
|
||
| - Zorg dat signalen tijdig bij de goede medewerkers terecht komen. | ||
| - Indien er sprake is van zo'n vermoeden, zorg je dat bijvoorbeeld de uitvoerend directeur, de interne toezichthouder en/of de CIO en CDO hierover worden geïnformeerd. | ||
| - Maak met de verantwoordelijken een afweging of het betreffende systeem in werking kan blijven of dat bijvoorbeeld [het noodplan voor het stopzetten van het algoritme](4-owk-02-stopzetten-gebruik.md) (tijdelijk) in gang moet worden gezet. | ||
|
|
||
| **Stap 2: Inzicht en overzicht** | ||
| Het is van belang om inzicht en overzicht te krijgen over de oorzaak en de gevolgen van eventuele discriminerende effecten van het algoritme. | ||
| Daarvoor kan worden gedacht aan het uitvoeren van een bias analyse. | ||
|
|
||
| - Bepaal wie er verantwoordelijk is voor het uitvoeren van het onderzoek. | ||
| - Bepaal of je een onafhankelijk onderzoek wilt doen naar het algoritme. | ||
| - Breng in kaart wat de omvang van het probleem is. Hoe lang doet het probleem zich al voort, en hoeveel mensen betreft het? | ||
| - Ga snel met (vertegenwoordigers van) gedupeerden in gesprek over de gevolgen en de mogelijke schade | ||
| - Trek een conclusie of er sprake is van discriminatie, of een sterk vermoeden van discriminatie. | ||
|
|
||
| **Stap 3: Beperken schade** | ||
| Bepaal welke mitigerende maatregelen er genomen moeten worden. Als er in het onderzoek is vastgesteld dat er sprake is van discriminatie, dan moet het betreffende systeem worden stopgezet. Hierbij kan je denken aan: | ||
|
|
||
| - Het in werking stellen van het [het noodplan voor het stopzetten van het algoritme](4-owk-02-stopzetten-gebruik.md), indien dat in stap 1 nog niet gebeurd is. | ||
| - Aanpassingen in het algoritme, de werkinstructies of de bijbehorende processen. | ||
| - Indien het algoritme essentieel is in de uitvoer kan er sprake zijn van een een proportionaliteitsvraagstuk. In dat geval moet er worden bezien wat de alternatieven zijn, en of er delen van het systeem kunnen worden uitgeschakeld. | ||
|
|
||
| **Stap 4: Melden en informeren** | ||
| De conclusies van de eerdere stappen moeten, indien nodig, worden gemeld bij de betreffende instanties. De eventuele gedupeerde burgers dienen te worden geïnformeerd over de gevolgen. | ||
|
|
||
| - Als er sprake is van een hoog-risico-AI-systeem moeten ernstige incidenten worden gemeld bij de markttoezichtautoriteiten. Zie [artikel 73 van de AI-verordening](https://eur-lex.europa.eu/legal-content/NL/TXT/HTML/?uri=OJ:L_202401689#d1e7117-1-1) en [artikel 3 (49.c) van de AI-verordening](https://eur-lex.europa.eu/legal-content/NL/TXT/HTML/?uri=OJ:L_202401689#d1e2093-1-1). | ||
| - Voor alle algoritmes geldt: Informeer de interne toezichthouder, de externe toezichthouder en de politiek, afhankelijk van hoeveel mensen geraakt en gedupeerd zijn en de impact. | ||
| - Informeer de betrokken burgers over de sitatie. Maak indien nodig excuses en geef de mensen die (mogelijk) geraakt zijn uitleg zodat zij: | ||
|
|
||
| - begrijpen wat er is gebeurd | ||
| - weten wat de waarschijnlijke gevolgen zijn | ||
| - welke mitigerende maatregelen zijn genomen | ||
| - waar mensen terecht kunnen met vragen | ||
| - op de hoogte zijn van het proces rondom de afhandeling van de schade. | ||
|
|
||
| **Stap 5: Registratie en afhandeling** | ||
| - Registreer het algoritme in het [algoritmeregister](https://algoritmes.overheid.nl/nl), indien dat nog niet gebeurd is. | ||
| - Zorg voor goede klachtenafhandeling en herstelprocedures. | ||
|
|
||
| Bron: [Discriminatieprotocol](https://minbzk.github.io/discriminatieprotocol/) | ||
| **Stap 1: Vermoeden van onrechtmatigheid** | ||
| Een vermoeden van bevooroordeeldheid of discriminatie kan vanuit verschillende partijen gemeld worden. | ||
| Signalen hiervoor kunnen worden ontvangen vanuit de interne organisatie, bijvoorbeeld door de betrokken ontwikkelaars, gebruikers of beheerders, of door externe partijen, zoals belanghebbenden, toezichthouder, journalisten. | ||
| - Zorg dat signalen tijdig bij de goede medewerkers terecht komen. | ||
| - Indien er sprake is van zo'n vermoeden, zorg je dat bijvoorbeeld de uitvoerend directeur, de interne toezichthouder en/of de CIO en CDO hierover worden geïnformeerd. | ||
| - Maak met de verantwoordelijken een afweging of het betreffende systeem in werking kan blijven of dat bijvoorbeeld [het noodplan voor het stopzetten van het algoritme](4-owk-02-stopzetten-gebruik.md) (tijdelijk) in gang moet worden gezet. | ||
| **Stap 2: Inzicht en overzicht** | ||
| Het is van belang om inzicht en overzicht te krijgen over de oorzaak en de gevolgen van eventuele discriminerende effecten van het algoritme. | ||
| Daarvoor kan worden gedacht aan het uitvoeren van een bias analyse. | ||
| - Bepaal wie er verantwoordelijk is voor het uitvoeren van het onderzoek. | ||
| - Bepaal of je een onafhankelijk onderzoek wilt doen naar het algoritme. | ||
| - Breng in kaart wat de omvang van het probleem is. Hoe lang doet het probleem zich al voort, en hoeveel mensen betreft het? | ||
| - Ga snel met (vertegenwoordigers van) gedupeerden in gesprek over de gevolgen en de mogelijke schade | ||
| - Trek een conclusie of er sprake is van discriminatie, of een sterk vermoeden van discriminatie. | ||
| **Stap 3: Beperken schade** | ||
| Bepaal welke mitigerende maatregelen er genomen moeten worden. Als er in het onderzoek is vastgesteld dat er sprake is van discriminatie, dan moet het betreffende systeem worden stopgezet. Hierbij kan je denken aan: | ||
| - Het in werking stellen van het [het noodplan voor het stopzetten van het algoritme](4-owk-02-stopzetten-gebruik.md), indien dat in stap 1 nog niet gebeurd is. | ||
| - Aanpassingen in het algoritme, de werkinstructies of de bijbehorende processen. | ||
| - Indien het algoritme essentieel is in de uitvoer kan er sprake zijn van een een proportionaliteitsvraagstuk. In dat geval moet er worden bezien wat de alternatieven zijn, en of er delen van het systeem kunnen worden uitgeschakeld. | ||
| **Stap 4: Melden en informeren** | ||
| De conclusies van de eerdere stappen moeten, indien nodig, worden gemeld bij de betreffende instanties. De eventuele gedupeerde burgers dienen te worden geïnformeerd over de gevolgen. | ||
| - Als er sprake is van een hoog-risico-AI-systeem moeten ernstige incidenten worden gemeld bij de markttoezichtautoriteiten. Zie [artikel 73 van de AI-verordening](https://eur-lex.europa.eu/legal-content/NL/TXT/HTML/?uri=OJ:L_202401689#d1e7117-1-1) en [artikel 3 (49.c) van de AI-verordening](https://eur-lex.europa.eu/legal-content/NL/TXT/HTML/?uri=OJ:L_202401689#d1e2093-1-1). | ||
| - Voor alle algoritmes geldt: Informeer de interne toezichthouder, de externe toezichthouder en de politiek, afhankelijk van hoeveel mensen geraakt en gedupeerd zijn en de impact. | ||
| - Informeer de betrokken burgers over de sitatie. Maak indien nodig excuses en geef de mensen die (mogelijk) geraakt zijn uitleg zodat zij: | ||
| - begrijpen wat er is gebeurd | ||
| - weten wat de waarschijnlijke gevolgen zijn | ||
| - welke mitigerende maatregelen zijn genomen | ||
| - waar mensen terecht kunnen met vragen | ||
| - op de hoogte zijn van het proces rondom de afhandeling van de schade. | ||
| **Stap 5: Registratie en afhandeling** | ||
| - Registreer het algoritme in het [algoritmeregister](https://algoritmes.overheid.nl/nl), indien dat nog niet gebeurd is. | ||
| - Zorg voor goede klachtenafhandeling en herstelprocedures. | ||
| Bron: [Discriminatieprotocol](https://minbzk.github.io/discriminatieprotocol/) | ||
|
|
||
|
|
||
| Heb je een ander voorbeeld of best practice, laat het ons weten via [[email protected]](mailto:[email protected]) | ||
|
|
||