Crowd-Watson: IBM en Vrije Universiteit Amsterdam slaan de handen in elkaar

Share this post:

IBM heeft een lange traditie van samenwerking met academici van over de hele wereld. Een mooi voorbeeld daarvan is Crowd-Watson, een onderzoeksproject dat via crowdsourcing kwalitatieve medische data verzamelt om Watson nog beter te trainen.

Samen met Chris Welty (IBM Watson Research Center New York), Robert-Jan Sips (CAS Amsterdam) en Manfred Overmeen (CAS Amsterdam) publiceerden Lora Aroyo en haar studenten van de VU verschillende papers rond het Disagreement Learning Framework voor Watson.

Dr. Lora Aroyo, professor aan de VU, licht toe: “Moderne cognitieve systemen hebben menselijke geannoteerde data nodig voor opleiding en evaluatie, met name bij de aanpassing aan een nieuw domein. Een voorbeeld van zo’n systeem is Watson, de door IBM ontwikkelde computer die de Amerikaanse tv-quiz Jeopardy! won tegen de twee grootste spelers uit het programma. Watson werd getraind op basis van een reeks databases, taxonomieën en ontologieën van publiek beschikbare gegevens. IBM Research wil de Watson-technologie aanpassen en de computer leren om medische vragen te beantwoorden.”

Om ervoor te zorgen dat de computer teksten correct interpreteert, is heel wat nieuwe training nodig en dus ook grote hoeveelheden evaluatiedata in de vorm van menselijke annotaties van medische tekst. Daarbij zijn er twee grote uitdagingen: de traditionele manier van annoteren is traag, duur en genereert slechts kleine hoeveelheden data. Het annoteren van teksten gebeurt immers door een kleine groep medische experts. Bovendien is de traditionele methode erg beperkt in het type annotaties, want de kwaliteit van de data wordt geëvalueerd op basis van de mate waarin de annotaties van verschillende experts overeenstemmen. Nu is het echter zo dat elke tekst, medisch of niet, door iedereen op een andere manier wordt geïnterpreteerd. Al deze verschillende meningen leiden tot een beter begrip van een tekst.

Daarom gooide het onderzoeksteam het stuur radicaal om: “We willen trainingdata creëren zonder mensen te dwingen om het met elkaar eens te zijn. We geven hen de vrijheid om van mening te verschillen en die meningsverschillen gebruiken we om betere trainingdata te bekomen voor cognitieve systemen zoals Watson”, aldus Aroyo. Het team experimenteerde daarbij met crowdsourcing om grote hoeveelheden kwalitatieve data te verzamelen. Daarbij werden zowel medische experts ingeschakeld als mensen zonder medische expertise.

“Dit is een drastische ommezwaai tegenover de werkwijze gehanteerd in het Jeopardy!-tijdperk van Watson”, aldus Robert-Jan Sips, University Relations Manager bij IBM Nederland. “Toen werd een kleine groep mensen gedwongen om bepaalde richtlijnen te volgen om teksten te annoteren. Nu kijken we hoe een veel grotere groep mensen tot gelijkaardige of zelfs betere resultaten kan komen en tegelijkertijd hoe we kunnen omgaan met de meningsverschillen tussen mensen. Juist deze meningsverschillen zijn belangrijk om Watson te helpen om de dubbelzinnigheden en nuances in menselijke taal beter te begrijpen.”

Het onderzoek richtte zich enerzijds op het optimaliseren van het annotatieproces voor leken (tegen betaling, via crowdsourcing) en anderzijds werd er voor medische experts een crowdsourcing game ontwikkeld (“Dr. Detective”) dat een framework biedt om op een minimum van tijd teksten te annoteren en tegelijkertijd ook zelf bij te leren. Het grootste voordeel van deze aanpak is dat het gaat om een continu proces, waardoor er grote hoeveelheden data kunnen worden verzameld.

De volledige resultaten van het onderzoek zijn nog niet bekend, maar het team heeft wel al empirisch bewijs dat de verzamelde data even goed of zelfs beter zijn dan de traditionele manier van annotatiedata verzamelen. In de komende maanden wordt het software framework nog verder uitgebouwd en getest.

De samenwerking tussen IBM en de VU eindigt gelukkig niet na afloop van dit project. “Het medische domein is slechts een eerste stap: bedoeling is om nadien het Crowd-Watson framework verder uit te breiden en zoveel mogelijk tekstuele domeinen te omvatten en daarnaast ook beelden, video’s, enz.”, besluit Aroyo. Een ambitie waaraan IBM maar al te graag meewerkt.