Een model dat zes maanden geleden goed presteerde, kan vandaag structureel afwijken. Financiele omgevingen veranderen: rentebeleid, klantgedrag, regelgeving. Een bevroren model merkt dat niet op.
Veelgemaakte fouten na livegang
Geen monitoringsplan opgesteld voor modelafwijking
Data drift en concept drift zijn twee verschillende problemen. De meeste teams meten geen van beide na livegang, terwijl dit de eerste oorzaak is van stille fouten.
Geen helder eigenaarschap na overdracht
Wie is verantwoordelijk als het model volgende maand onjuiste voorspellingen levert? Bij veel organisaties is dat onduidelijk. Het datalab heeft opgeleverd, de business heeft overgenomen, maar niemand bewaakt de kwaliteit.
Minimale monitoring die je nodig hebt
Vergelijk wekelijks de verdeling van inputvariabelen met de trainingsperiode. Stel een drempel in waarop het model automatisch gemarkeerd wordt voor herziening. Leg vast wie dan actie onderneemt.
Geen hertrainingschema vastgelegd
Sommige modellen werken prima met jaarlijkse hertraining. Anderen, zoals modellen die klantuitval voorspellen, hebben dat elk kwartaal nodig. Zonder expliciet schema gebeurt hertraining pas als het te laat is.
Praktisch startpunt
Stel bij elke implementatie een modelkaart op met livegansdatum, hertraininginterval, verantwoordelijke eigenaar en signaaldrempels voor afwijking. Dat document bestaat bij de meeste teams niet.