Arbetsrapport 2018-1

26 5 Slutsatser Användningen av riskbaserade urvalsprofiler och profilingeringsmodeller har på senare tid blivit allt vanligare. Det används inom diverse områden, såsom kundsegmentering, kreditriskbedömning, bedöma aktieutveckling, bedöma risk för långtidsarbetslöshet och upptäcka fusk. Vissa av model- lerna är utvecklade med maskininlärningsmetoder, vilka ofta genererar goda prediktioner. Men metodiken bygger oftast inte på någon kausal modell och sambanden som genererar prediktionerna är dolda för analy- tikern. Modellernas funktion är dold i en så kallad black box . Målet med denna rapport är att öka förståelsen för utfallet från modeller som bygger på maskininlärning, särskilt riskerna med att tillämpa sådana modeller om de inte är förankrade i någon bakomliggande kausal modell. Slutsatserna kretsar kring frågor som rör träffsäkerhet och rättssäkerhet och hur dessa i vissa avseenden motverkande storheter kan viktas i förhållande till varan- dra. Analysen har genererat ett flertal observationer som är värda att uppmärk- samma. Det är emellertid viktigt att poängtera att studien bygger på en modell där förekomsten av fel är förhållandevis stor. Om sannolikheten att ett ärende innehåller fel är liten kan det bli nödvändigt att hitta andra vägar för att identifiera felen. 5.1 Behovet av kausala modeller Maskininlärningsmodeller kan ge tämligen hög träffsäkerhet även om de variabler som inkluderas inte har något verkligt kausalt samband med ut- fallet. Effekten kan förstärkas ytterligare om uppföljningen begränsas till dem där poängvärdet är högst. I vissa konfigurationer av modellen ovan resulterade så kallad confounding i att bara personer med en viss egenskap följdes upp. I det här fallet var det bara kvinnor som följdes upp, trots att kön per definition inte hade någon betydelse för risken att göra fel. Det beror på att inkomstvariabeln är korrelerad med både kön och med den oberoende variabel som antas leda till både högre sannolikhet att göra fel och att ha lägre inkomst. Maskininlärningsmodeller måste testas så att inte utfallet diskriminerar olika grupper i förhållande till varandra. Men det vore också värdefullt att ha tillgång till en kausal modell så att felaktigheter också kan begränsas genom olika interventioner. 5.2 Tillämpa inte metoden rättvisa genom ovetskap okritiskt Att exkludera variabler som betraktas som känsliga i ett likabehandlingsperspektiv från analysen kan förstärka en olik behandling.