Docendo discimus – By teaching we learn

Share this post:

Under mina år i konsultrollen har jag haft privilegiet att få hålla i många olika utbildningar. Grupperna jag har utbildat har varierat och det har varit allt från indiska utvecklare och qatariska affärsanalytiker till svenska handelsstudenter. Det må låta klyschigt men jag törs lova att varje gång jag håller en utbildning lär jag mig lika mycket som de jag undervisar för. Detta dels på grund av de noggranna förberedelser som naturligt föregår alla typer av utbildningstillfällen men också genom de frågor och funderingar som uppstår vid dessa tillfällen.

Nu senast höll jag tillsammans med en kollega en workshop som vi hade valt att kalla ”Data Science & biased data”.* Det var under pausen på den här workshopen som en av deltagarna påpekade att det är konstigt hur vi tenderar att tala om databias i generella termer, som en slags paraplybegrepp för att beskriva den typ av systematiska fel som kan leda till diskriminering. Diskriminerande teknik är för övrigt ett ämne jag skrev om i mitt förra blogginlägg.

Ord hjälper oss strukturera våra tankar

Språknörd som jag är tyckte jag genast att han var något intressant på spåret. För att förklara vad jag menar skulle jag vilja dra en parallell till ett exempel jag först hörde talas om när jag läste boken ”Through the language glass” skriven av Guy Deutscher. I korta drag handlar det om en afrikansk stam som kategoriserar färger på ett annat sätt än vad vi i västvärlden är vana vid. De klumpar ihop färger som brunt, rött och orange men ger större vikt till olika gröna nyanser vilka av stammen anses vara separata färger. Vid ett visuellt test var de väldigt duktiga på att peka ut skillnader i gröna nyanser som för det västerländska ögat är mycket svåra att uppfatta. När det däremot kom till att skilja vad vi anser vara en blå nyans från en grön nyans visade sig detta sig vara betydligt svårare. Det intressanta här är att även om detta var ett visuellt test där ord inte användes tycks avsaknaden av ord i språket ha påverkat effektiviteten i utförandet av uppgiften. Den blå nyansen tillhörde nämligen samma färg som den gröna nyansen på stammens språk. Min tolkning är att problemlösning blir effektivare om vi besitter ett omfattande vokabulär som hjälper oss strukturera våra tankar.

Olika begrepp förenklar kommunikation kring bias

Det är alltså inte helt långsökt att tro att vårt arbete med databias skulle underlättas av att vi beskrev det i separata termer istället för att tala om det som det paraplybegrepp vi ofta gör. Som så många andra i min generation skulle gjort bestämde jag mig därför för att googla mig fram till vilka andra begrepp som används för att beskriva olika typer av databias. Jag kan inte påstå att jag ägnat dagar och nätter åt denna uppgift men tillräckligt lång tid för att bli överraskad av hur få användbara begrepp jag fann. Jag bestämde mig då för att själv sätta ord på de olika typer av databias som det brukar talas om;

• Direkt samhällsintroducerad databias
• Indirekt samhällsintroducerad databias
• Personöverförd databias

Direkt samhällsintroducerad databias (DSB)

Med DSB avser jag den typ av bias som uppstår på grund av att vi lever i ett samhälle där bias förekommer, något som sedan avspeglar sig i den data vi använder. Som exempel på detta har vi Google Ads-exemplet där män var mer troliga än kvinnor att se annonser för välbetalda jobb, något som kan tänkas bero på att män statistiskt sätt fortfarande har högre löner och ofta högre positioner. Det data som användes gav således en korrekt representation av vår värld men representerar samtidigt bias i samhället som vi inte önskar amplifiera med hjälp av ”diskriminerande algoritmer”.

Indirekt samhällsintroducerad databias (ISB)

Det finns också en typ av databias som liksom DSB reflekterar samhället men där diskrimineringen är svårare att upptäcka på grund av att en faktor indirekt representerar en annan. Jag förklarar lättast detta med ett exempel; det omskrivna ärendehanteringsverktyget COMPAS som användes i USA för att bedöma åtalades sannolikhet att fortsätta en kriminell bana visade sig diskriminera med avseende på etnicitet. Detta trots att etnicitet inte var en av de ca 140 faktorer som verktyget använde i sin sannolikhetsbedömning. Istället tros faktorer som exempelvis bostadsadress ha påverkat beräkningen på ett sätt som gynnat åtalade av viss etnicitet och på samma sätt missgynnat andra. Det fanns alltså ingen direkt databias med avseende på etnicitet men indirekt så blev det ändå resultatet på grund en korrelation mellan etnicitet och bostadsadress.

Personöverförd databias (PB)

Naturligtvis speglar inte all typ av partiskhet i data vårt samhälle. Det finns också sådan skapas när en person eller en grupp människor sätter ihop ett dataset som oavsiktligt ger en skev representation av det den är tänkt att representera. Ett exempel på detta menar jag vara alla de ansiktsigenkänningsapplikationer som tränats på icke-diversifierade dataset och därför visat sig vara sämre på att identifiera mörkhyade kvinnor än ljushyade män. En trolig orsak till detta anses vara icke-diversifierade arbetslag vilket medfört en hög representation av foton på människor som arbetslagen identifierat sig med, i detta fall ljushyade män.

Genom att ha formulerat dessa begrepp förväntar jag mig alltså underlätta min egen kommunikation kring databias och förhoppningsvis kanske även er dito. Att dela in dessa i olika problemområden borde ge en bättre överskådlighet i arbetet med att utveckla och säkerställa icke-diskriminerande AI-applikationer.

Redskap för att minska bias finns –men utfallet måste fortsatt övervakas

IBM har den senaste tiden släppt en rad olika redskap som syftar till att underlätta just detta; utveckling och säkerställande av icke-diskriminerande AI-applikationer. Det enklaste sättet att minska bias av typen PB är naturligtvis att diversifiera arbetslagen i bästa möjliga mån samt att belysa den här typen av problematik för att uppmärksamma möjliga fällor. Diversifierade och rättvisa dataset kan gå att få tag i antingen via Open Source-communityn eller rent kommersiellt. Exempelvis publicerade IBM nyligen ett dataset med en miljon foton bestående av en diversifierad grupp människor, ett dataset som är fritt att använda för forskning världen över. Det finns därefter olika metoder och algoritmer som hjälper till att preparera dataset för att hantera DSB samt för att testa om färdigtränade machine learning-modeller uppvisar bias. Från IBM släpptes förra året ett set sådana algoritmer till Open Source under namnet AI Fairness 360. Om våra Machine Learning-modeller klarar sådana test kanske vi tänker att jobbet med att undvika databias är klart, men jag skulle vilja hävda att så inte är fallet. Även efter att vi börjat använda modellerna i vår dagliga verksamhet gör vi bäst i att fortsätta övervaka utfallet från dessa för att till exempel säkerställa att en av våra kunder inte blir orättvist särbehandlad på grund av ålder, kön eller etnicitet. Den här typen av automatiserad monitorering erbjuds i cloudapplikationen AI OpenScale.

Så precis som vårt lärande ständigt pågår är alltså arbetet med att skapa biasfria Machine Learning-modeller en process som pågår så länge modellerna är i bruk.

Hör gärna av er till mig med kommentarer på de begrepp jag valt att mynta här ovan. Är det något ytterligare begrepp vi borde tala om? Har ni lust att diskutera hur man bäst hanterar de olika typerna av databias? Skriv till mig på LinkedIn.

//Therese

• ”Biased data” skulle närmast kunna översättas som ”skevhet i data”. Jag föredrar dock att använda begreppet databias för att beskriva detta på grund av att bias är ett etablerat begrepp och jag här talar specifikt om bias i data.