CrowdTruth
CrowdTruth is een crowdsourcingmethodologie ontwikkeld voor het geschikt maken van de IBM Watson voor het beantwoorden van medische vragen na het winnen van het spelprogramma Jeopardy!.[1] Dit project was een samenwerking tussen IBM en de Vrije Universiteit Amsterdam[2] en later Google AI,[3] gestart door Chris Welty en Lora Aroyo en later Robert-Jan Sips.[4]
Medische AI-systemen zijn traditioneel afhankelijk van trainingsdata (geannoteerde data), gegenereerd door domeindeskundigen. Bij deze annotatie-taken werd uitgegaan van het bestaan van een enkele correcte interpretatie van een taak (de zgn ground truth) en gezocht naar overeenstemming tussen meerdere annotatoren om tot één interpretatie van een taak te komen.
In het CrowdTruth-project werd hiermee gebroken en werden alle annotaties door deskundigen en leken vergeleken. Uit de experimenten bleek dat leken het vaak met elkaar oneens zijn over relatief simpele taken (zoals relatie-extractie uit tekst), maar dat deskundigen dezelfde onenigheid vertonen.[4] Hieropvolgend richtte het onderzoek zich op het toelaten van onenigheid tussen verschillende annotatoren en werden wiskundige modellen ontwikkeld om deze onenigheid wiskundig te kunnen interpreteren.[5]
Externe link bewerken
Bronnen, noten en/of referenties
|