Arbetsrapport 2018-1

11 tydliga kontroller redan i handläggningen minskar denna risk. Men metoden har ändå en begränsning som uppstår då urvalet begränsas till personer med högst risk. Metoden behöver tillgång till alla personer där riskbedöm- ning tillämpas och kan då bara användas på Försäkringskassans urvals- profiler om data från alla riskbedömda finns tillgängliga. Eftersom Försäk- ringskassan begränsar kontrollen till de personer som har de högsta risk- värdena använder vi inte metoden i analysen nedan. Den tredje metoden, lika förutsättningar , studerar personer som har ett givet faktiskt utfall och testar om det predicerade riskvärdet skiljer sig för den individegenskap som studeras. För lika förutsättningar krävs att andelen prognosticerade felaktigheter är lika hög, givet att ansökan faktiskt är felaktig, oberoende av om den som söker har en viss egenskap eller inte. Metoden är en fördjupning av demografisk rättvisa , och tjänar som ett bra komplement. Den sätter villkoret att personer som faktiskt har felaktigheter i sina ärenden också har samma risk att pekas ut, oberoende av den personegenskap som har satts i fokus. 9 Jämfört med mer avance- rade metoder har denna metod stora fördelar eftersom den kan tillämpas på redan genererade data. En annan fördel med att begränsa urvalet till de som har faktiska felaktigheter är att det ger en tydligare koppling till frågan om träffsäkerhet. Försäkringskassan strävar efter att i största möjliga mån följa upp de som har hög risk för fel, vilket gör det mer naturligt att be- gränsa testet till den gruppen. Den fjärde metoden, individuell rättvisa, jämför utfallet för två personer som är likadana på alla egenskaper, utom de egenskaper vi vill testa. Om utfallet blir detsamma så betraktas modellen som rättvis. Denna metod är på många sätt tilltalande men är mer komplicerad att använda och redo- visa. Den påminner mycket om det som inom utvärderingslitteraturen kal- las för matchning och där värdet ”propensity score” används för att hitta en "tvilling". Metoden kräver att utvärderaren har tillgång till en stor mängd individdata. Men metoden kan också i allt väsentligt förenklas till att i stäl- let utnyttja det faktiska utfallet och jämföra det med det predicerade. Meto- den sammanfaller då med proceduren lika förutsättningar . Den femte metoden är kontrafaktisk rättvisa . Denna metod är en ytterli- gare utvidgning av tvillingmetoden i individuell rättvisa och försöker i stället att utnyttja liknande principer som inom experimentell eller kvasi-experi- mentell utvärderingsmetodik. Liksom i individuell rättvisa arbetar denna metod direkt på individnivå. Principen är att återskapa en situation där en person jämförs med sig själv under två olika interventioner, det så kallade kontrafaktiska utfallet. Interventionen är i det här fallet att tilldelas alter- nativa värden på den individegenskap som vi vill testa. Bytet av värde på denna variabel, , ska inte leda till något annat utfall så länge som alla variabler som är oberoende av hålls konstanta. Det är svårt att återskapa sådana förhållanden utan att använda någon form av designat experiment men i vissa fall är det möjligt att hitta liknande situationer i redan tillgäng- 9 Det finns ett hårdare villkor som även kräver att andelen ska vara lika hög för de som inte följs upp, vilket kallas för lika odds av Hardt, Price, och Srebro (2016). Metoden sammanfaller med den distinktion som görs mellan sant positiva utfall och falskt positiva utfall i ett binärt klassifikationstest (se exempelvis https://sv.wikipedia.org/wiki/Sensitivitet) .