När är din AI-modell bra nog?

Share this post:

Hur hög precision behöver en modell ha för att vi ska vara nöjda med den? Frågan kom upp under en introkurs till Data Mining jag höll hos en kund för några år sedan. De som satt i publiken var kundens framtida data scientists som kom från olika delar av organisationen och förväntades sadla om och axla data scientist-rollen. Jag valde att besvara den givna frågan med en motfråga: ”Tänk att du har en modell som är avsedd att fastställa kön utifrån ett set givna parametrar. Denna modell som har uppvisat en precision på 75% säger dig att jag är en kvinna, är du nöjd med den prediktionen eller behöver du ha en modell med högre precision?”. Mannen som ställde frågan blev osäker och förmodligen rädd att det var en kuggfråga. Svaret jag var ute efter var ”Det beror på.”

Precision fastställs genom att modellen testas

Ett vanligt sätt att avgöra om en modell är bra eller inte är att testa hur ofta den har rätt. Det görs på ett dataset där vi sedan innan känner till vad som är rätt och fel. Tänk dig exempelvis att du ska skicka ut en kampanj för en ny produkt. Till din hjälp har du en prediktiv modell som delar upp dina kunder i två grupper: de som kommer vara intresserade av kampanjen och de som inte kommer vara det. Det data du har tränat upp modellen på kommer från en tidigare kampanj. För tidigare kampanjer vet du även vilka kunder som visade intresse och vilka som inte gjorde det. För att avgöra hur bra modellen är kan du därför testköra den på data från en av dina tidigare kampanjer och se hur korrekta svar den ger. En precision på 95% innebär att modellen kategoriserat 95% av kunderna rätt. Att modellen kategoriserat en kund rätt innebär att den lyckats avgöra huruvida kunden skulle komma att visa intresse för kampanjen eller ej. Modellens precision, eller accuracy som är den engelska termen, är med andra ord en benämning som anger hur ofta modellen har rätt.

Godtyckligt versus affärsrelaterat gränsvärde för precision

Jag har sett flera projekt där man tidigt bestämt att projektet kommer anses vara lyckat när modellen når en viss precision. Detta i enlighet med vad mannen som jag beskrev här ovan försökte göra, det vill säga han ville sätta ett gränsvärde för vad som ska anses vara en lyckad modell. Problemet uppstår när det sätts ett godtyckligt gränsvärde istället för ett affärsrelaterat gränsvärde. Det vill säga när gränsvärdet på 95% precision sätts mest för att det känns bra, det låter bra och för att någonstans långt bak i huvudet ringer en klocka från statistikkursen i skolan om att signifikansnivå 0,05 och 95% konfidensgrad var gränsvärden som ofta användes.

Modellens syfte avgör gränsvärdet

Vilket gränsvärde som passar för just din modell beror på hur den ska användas, vad den ersätter och vad som är affärsnyttan. Om modellen ska användas för att upptäcka skattefusk och det aktuella tillvägagångssättet är att en grupp utbildade agenter slumpmässigt granskar deklarationer, då behöver modellen ”bara” vara bättre än slumpen för att ge affärsnytta. Om modellen lyckas plocka ut deklarationer bland vilka det finns en högre andel skattefuskare än vad slumpen ger så innebär det att agenterna bland dessa deklarationer kommer kunna identifiera ett större antal skattefuskare än de annars gjort. Handlar det däremot om en modell som används inom sjukvården för att konsultera läkare om vilket sorts medicinering de ska ge till patienter ja, då skriver vi nog alla under på att en modell som är strax bättre än slumpen inte duger. När liv och hälsa står på spel föredrar vi en läkare utan en prediktiv modell framför en med en dålig modell. Detta på grund av att en dålig modell kan riskera att förvirra och vilseleda läkaren att ta sämre beslut än vad hen hade gjort annars.

Om vi ser tillbaka till vårt tidigare marknadsföringsexempel så jobbar vi troligtvis utifrån en marknadsföringsbudget som satts för den nya produkten. Om kampanjen skickas ut med snigelpost kostar varje brev ett visst antal kronor i porto. Denna kostnad i kombination med kostnaden för produktion och tryck gör att budgeten kommer täcka ett X antal utskick. Troligtvis har vi historiskt valt att skicka ut kampanjer till kunder som visat intresse för tidigare kampanjer. Svarsfrekvensen för dessa kampanjer blir avgörande för att beräkna vilken precision för modellen som krävs. Förenklat sett kan vi säga att modellens precision måste vara högre än vad svarsfrekvensen historiskt sett varit för olika kampanjer. Modellen är endast brukbar om den identifierar en högre andel kunder som är positiva till kampanjen än vad vi hade gjort genom att använda vårt traditionella tillvägagångssätt (som var att skicka kampanjen till kunder som tidigare visat intresse).

Det finns inget magiskt gränsvärde

Poängen jag vill göra är att även om precision är ett (bland andra) viktigt mått för att utvärdera modeller innan de tas i bruk så finns det inget magiskt gränsvärde som uttrycker ett minimikrav för samtliga modeller. På frågan om hur hög precision en modell behöver ha för att vi ska vara nöjda med den finns med andra ord inte ett generellt tvåsiffrigt svar, därav mitt aningen okonventionella svar under den där introkursen till Data Mining. Det beror på.

// Therése