Not logged in.

Quick Search - Contribution

Contribution Details

Type Bachelor's Thesis
Scope Discipline-based scholarship
Title Evaluation of quality assurance mechanisms in paid crowdsourcing
Organization Unit
Authors
  • Patrick Winzenried
Supervisors
  • Abraham Bernstein
  • Patrick Minder
Language
  • English
Institution University of Zurich
Faculty Faculty of Economics, Business Administration and Information Technology
Number of Pages 67
Date 2013
Abstract Text Computer systems still struggle with tasks such as categorizing photos, translating phrases or verifying collected data. Crowdsourcing platforms like Amazon’s Mechanical Turk are the ideal place to solve such challenging assignments by using the collective power of human beings, which are willing to work for a small amount of money. However, not every individual pro- vides perfect answers – some of them try to maximize their income by cheating, while others may misunderstood the task or do not have sufficient skills to solve it properly. In order to hold a certain level of quality, it is necessary to apply some sort of quality assurance mechanisms. This thesis will compare two such mechanisms by applying them on three different use cases and finally presents results about the performance in terms of quality, time and costs.
Zusammenfassung Computersysteme sind gegenwärtig nicht in der Lage kognitive Herausforderungen wie das Kategorisieren von Fotos, das Übersetzen von Texten oder das Verifizieren von Daten zufriedendstellend zu meistern. Crowdsourcing Plattformen wie Amazon’s Mechanical Turk scheinen daher die ideale Lösung zu sein. Dabei wird die kollektive Leistung derjenigen Personen benutzt, die bereit sind, die Aufträge für einen kleinen Geldbetrag zu lösen. Jedoch wird nicht jede Aufgabe perfekt gelöst. Einige Teilnehmer versuchen zu betrügen, andere haben die Aufgabenstellung missverstanden oder es fehlt ihnen das nötige Wissen. Für solche Systeme ist ein gewisses Qualitätsniveau von essentieller Bedeutung, weshalb man Qualitätskontrollen implementieren muss. Diese Arbeit vergleicht zwei solche Kontrollmechanismen unter Anwendung auf drei verschiedene Fallbeispiele und präsentiert schlussendlich die Resultate der Performanz in Bezug auf Qualität, Zeit und Kosten.
PDF File Download
Export BibTeX