Not logged in.

Quick Search - Contribution

Contribution Details

Type Master's Thesis
Scope Discipline-based scholarship
Title Driving Argument Mining with the Help of the Crowd: Crowdsourcing Argumentative Annotations in Scientific Papers
Organization Unit
Authors
  • Joachim Baumann
Supervisors
  • Florian Ruosch
  • Cristina Sarasua
Language
  • English
Institution University of Zurich
Faculty Faculty of Business, Economics and Informatics
Date 2020
Abstract Text Huge volumes of human knowledge are available in many different data sources, many of which contain thoughtful and well-reasoned arguments in the form of natural language text. Along with recent advances in machine learning (ML) techniques, researchers have increasingly started to investigate possibilities to automatically extract argumentative components and the relations between them – a process which is called Argument Mining (AM). As an emerging research area, one of the major challenges in AM research is the lack of annotated datasets. These datasets are needed as training data as well as for benchmark experiments. With a focus on scientific publications, we implemented a system that could be used to create gold standard datasets for AM with the help of hundreds of thousands of ordinary workers (i.e. the crowd). Our system includes two types of tasks, one for the annotation of argument components and one for the annotation of argumentative relations that hold between those components. To evaluate and improve our system, we conducted experiments for both of these task types with 70 participants on the crowdsourcing platform Amazon Mechanical Turk. Detecting argumentative components and relations is a very complex task, especially for untrained, non-expert crowdworkers. We found that by introducing a quality assurance filter mechanism, it is possible to detect high-performing workers and also to detain workers who are expected to perform poorly from participating. In this way, it is possible, to some extent, to steer the quality of the crowd-annotated dataset, in exchange for money and time – money, because workers need to complete the task that will determine whether they will be filtered out or not, and time, because filtering out workers results in a smaller workforce, meaning it could take longer for all annotation tasks to be completed by the crowd. Our work denotes another step towards an effective interaction between researchers and the crowd in the field of AM and, thereby, decisively contributes to an emerging research area.
Zusammenfassung Riesige Mengen menschlichen Wissens sind in vielen verschiedenen Datenquellen verfügbar. Die meisten davon enthalten durchdachte und gut begründete natürliche Sprachargumente. Die Fortschritte der letzten Jahre im Bereich von Machine Learning (ML) haben dazu geführt, dass Forscher zunehmend damit begonnen haben, Möglichkeiten der automatischen Extraktion argumentativer Komponenten sowie deren Beziehungen untereinander zu analysieren – diesen Prozess nennt man Argument Mining (AM). Der Mangel an annotierten Datensätzen ist eines der grössten Probleme der noch jungen AM Forschung. Solche Datensätze sind jedoch notwendig, einerseits zum Trainieren der ML Algorithmen und andererseits zur Durchführung von Benchmark-Experimenten. Wir haben ein System implementiert, welches zur Kreierung von Goldstandard-Datensätzen für AM verwendet werden könnte. Dabei haben wir uns insbesondere auf die Annotation von wissenschaftlichen Publikationen fokussiert. Um dieses Ziel zu erreichen, wurden hunderttausende gewöhnliche Arbeiter, auch Crowd genannt, in unser System eingebunden. Unser System beinhaltet zwei Arten von Aufgaben; eine zur Annotation von Argumentkomponenten und eine zur Annotation der argumentativen Beziehungen, welche zwischen diesen Komponenten bestehen. Zur Bewertung und Verbesserung unseres Systems, haben wir Experimente mit insgesamt 70 Crowdworkern auf der Crowdworking-Plattform Amazon Mechanical Turk durchgeführt. Argumentkomponenten und deren Beziehungen zu identifizieren ist ein äusserst Schwieriges Unterfangen, insbesondere für ungeschulte, nicht fachkundige Arbeiter in der Crowd. Im Rahmen dieser Experimente haben wir herausgefunden, dass es möglich ist, mit einem Qualitätssicherungs-Mechanismus, in Form eines Filters, besonders leistungsfähige Crowdarbeiter zu identifizieren und gleichzeitig Crowdarbeiter, von welchen erwartet wird, dass sie schlechte Leistungen erbringen, von der Teilnahme auszuschliessen. Auf diese Weise ist es bis zu einem gewissen Grad möglich die Qualität der von der Crowd annotierten Datensätze zu steuern, im Tausch gegen Geld und Zeit – Geld, da die Crowdworker dafür bezahlt werden müssen, dass sie den Filter durchlaufen und Zeit, da das Herausfiltern von Crowdworkern eine Dezimierung der Arbeitskräfte zur Folge hat, weshalb es länger dauern könnte, bis alle Annotationsaufgaben von der Crowd erledigt sind. Die vorliegende Arbeit ist ein weiterer Schritt zur erfolgreichen Interaktion zwischen Forschern und der Crowd im Bereich von Argument-Annotationen und trägt dadurch massgeblich zu dieser aufstrebenden Forschungsrichtung bei.
PDF File Download
Export BibTeX