Not logged in.

Quick Search - Contribution

Contribution Details

Type	Master's Thesis
Scope	Discipline-based scholarship
Title	Crowd manager: experimental analysis of an allocation and pricing mechanism on Amazon's mechanical turk
Organization Unit	Dynamic and Distributed Information Systems (Abraham Bernstein)
Authors	Bo Chen
Supervisors	Abraham Bernstein Patrick Minder
Language	English
Institution	University of Zurich
Faculty	Faculty of Economics, Business Administration and Information Technology
Number of Pages	47
Date	2012
Abstract Text	Before the invention of computers and calculation machines, any kind of computation was done by humans. The word computer was used to describe a person who would perform calculations as a profession. The rise of the internet and growing popularity of web 2.0 platforms like Wikipedia and Stackoverflow gave the word human computation a new dimension: It is not a couple of hundred people trying to solve simple mathematical calculations anymore, but millions of people trying to collaboratively solve complex problems, such as creating an all-encompassing encyclopedia or answering all kinds of questions on a specific topic in a timely manner. New platforms like Amazon’s Mechanical Turk (MTurk) have risen to support paid crowd-sourcing work for micro-task markets and have quickly grown in size and popularity. With these kind of platforms, it has become possible to "program" the crowd and enable computer programs to perform complex tasks, such as intelligent text translation, intelligent text correction, intelligent image tagging, etc. However, the allocation of workers and the pricing mechanisms for such a big market are still very simple. If you have a set of tasks with certain time, quality and budget constraints, it is very hard for you to solve them, because currently you can only guess the "right" price for your tasks and hope for good solutions. Minder et al. proposed an allocation and pricing mechanism that solves an Integer program incorporating the requestor’s constraints to solve the allocation problem and a Vickrey-Clarke-Grooves payment mechanism to solve the pricing problem. In their initial simulation study they have shown that the CrowdManager mechanism leads to an overall better utility for the requestors in micro-task crowdsourcing markets compared to current fix price mechanisms. In order to test the results in the real world, we developed a prototype for the CrowdManager framework. We gathered various data through experiments on MTurk with the prototype and will answer the following research questions throughout this thesis: (1) Do the assumptions in the CrowdManager model and the initial simulation hold in a real-world setting? (2) How can we incorporate the observations of a real-world scenario in the CrowdManager’s allocation and pricing model? (3) How does the CrowdManager mechanism perform against the baseline mechanisms in a real world setting? With our data analysis and hypothesis driven approach, we are able to conclude that the CrowdManager mechanism is a valid approach and worthwhile to be developed further. For this purpose, we have come up with several propositions for the enhancement of the CrowdManager’s allocation and payment mechanisms.
Zusammenfassung	Vor der Erfindung von Computern und Rechenmaschinen wurde jede Art von Berechnung von Menschen ausgeführt. Das Wort computer wurde benutzt, um Personen zu beschreiben, die Rechnen als Profession ausübten. Mit dem Aufkommen des Internets und der steigenden Popularität von Web 2.0 Plattformen wie Wikipedia oder Stackoverflow gewinnt das Wort human computation eine neue Dimension: Es beschränkt sich nicht mehr auf hunderte Menschen, die versuchen simple mathematische Kalkulationen durchzuführen, sondern mehrere Millionen Menschen der ganzen Welt kommen zusammen, um komplexe Probleme anzugehen, wie dem Erstellen einer allumfassenden Enzyklopädie oder dem Beantworten von fachspezifischen Fragen innerhalb eines angemessenen Zeitraums. Neue Plattformen wie Amazons Mechanical Turk (MTurk) sind entstanden, um bezahlte Micro-Task Crowdsourcing Märkte zu bedienen. Mit dieser Art von Plattformen ist es möglich geworden die Crowd zu „programmieren“, wodurch es Computerprogrammen erlaubt komplexe Aufgaben durchzuführen, wie z.B. intelligente Textübersetzungen, intelligente Textkorrektur oder intelligente Bildbeschreibung. Jedoch sind die Zuordnung der Arbeiter und die Preisfindungsmechanismen für einen solchen Markt noch sehr beschränkt. Wenn man ein Aufgabenset mit bestimmten Zeit, Qualität und Budgetbeschränkungen hat, dann kann man den Aufgaben momentan nur den „richtigen“ Preis erraten und auf gute Ergebnisse hoffen. Minder et al. haben CrowdManager Mechanismus vorgeschlagen, welches ein Integer Programm für das Zuordnungsproblem löst und ein Vickrey-Clarke-Grooves Zahlungsmechanismus für das Lösen des Preisfindungsproblems beinhaltet. In ihrer Initialen Simulationsstudie haben sie gezeigt, dass der CrowdManager Mechanismus zu einem höheren Nutzen für den Auftraggeber führt als herkömmliche Fixpreis Mechanismen. Um diese Resultate in der realen Welt zu testen, haben wir einen Prototypen für das CrowdManager Framework entwickelt. Wir haben diverse Daten durch Experimente auf Amazons Mechanical Turk Plattform gesammelt und werden in dieser Arbeit folgende Fragestellungen beantworten: (1) Gelten die Annahmen im CrowdManager Modell sowie in der Simulationsstudie auch für die reale Welt? (2) Wie können wir die Beobachtungen des realen Scenarios im Zuordnungs- und Preisfindungsmechanismus abbilden? (3) Wie verhält sich die Performance des Crowd Manager Mechanismus gegenüber der Baseline Mechanismen in einem realen Scenario? Mittels unserer Datenanalyse und unserem hypothesengetriebenem Ansatz können wir schlussfolgern, dass der CrowdManager Mechanismus ein valider Ansatz ist und es sich lohnt, diesen weiterzuentwickeln. Dazu haben wir mehrere Verbesserungen für den Zuordnungs- und Preisfindungsmechanismus vorgeschlagen.
PDF File	Download
Export	BibTeX