Not logged in.

Contribution Details

Type Master's Thesis
Scope Discipline-based scholarship
Title When the Turing Test Meets Trust: Comparing Human and AI Explanations
Organization Unit
Authors
  • Florian Ruosch
Supervisors
  • Suzanne Tolmeijer
  • Abraham Bernstein
Language
  • English
Institution University of Zurich
Faculty Faculty of Business, Economics and Informatics
Date 2019
Abstract Text With the rise of AI, smart technology is taking over many aspects of our lives. We rely on it increasingly more often for simple and also for complex tasks. But do people really trust these smart systems or do they still prefer the old-fashioned human? To answer this question, this work explores trust in AI. We used a neural network as a representative and image classification as an example task that can be performed by a smart system. Is a user's trust in an answer influenced by knowing whether it was given by another human or by an AI? To check for a possible bias, we conducted an experiment in the form of a survey with 900 participants on the crowd-sourcing platform Amazon Mechanical Turk. It pitted labels for images and their visually represented explanations obtained from the neural network against those produced by humans. Using a multi-dimensional scale to measure trust, we gained insights for different settings. They varied regarding the available information: giving the origin of label and explanation versus withholding or disguising sources, e.g. a human-generated label and explanation is presented as coming from AI. We compared the results and found few statistically significant differences between the various setups. This led us to conclude that no clear bias exists toward AI- or human-produced results and that knowledge about the source and the availability thereof does not exhibit a distinct influence on trust of humans in AI.
Zusammenfassung Mit dem Aufstieg von AI hält smarte Technologie Einzug in viele Aspekte unseres Lebens. Wir verlassen uns immer öfter darauf für einfache und auch für komplexe Aufgaben. Aber vertrauen Leute wirklich diesen intelligenten Systemen oder ziehen sie immer noch den altmodischen Menschen vor? Um diese Frage zu beantworten, beschäftigt sich diese Arbeit mit Vertrauen in AI. Wir verwenden ein neuronales Netzwerk als ein Vertreter und Bildklassifizierung als ein Beispiel für eine Aufgabe, die von einem intelligenten System übernommen werden kann. Wird das Vertrauen eines Benutzers in ein Ergebnis durch das Wissen beeinflusst, ob es von einem Menschen oder einer AI kam? Um die mögliche Existenz von Vorurteilen zu prüfen, führten wir ein Experiment in Form einer Umfrage durch mit 900 Teilnehmern auf der Crowdsourcing Plattform Amazon Mechanical Turk. Es stellte Klassifikationen von Bildern und die zugehörige visuell repräsentierte Erklärung produziert durch das neuronale Netzwerk den von Menschen gemachten gegenüber. Mittels einer mehrdimensionalen Skala zur Messung von Vertrauen erhielten wir Einblicke für verschiedene Set-ups. Diese variierten bezüglich den verfügbaren Informationen: Die Herkunft von Label und Erklärung ist gegeben oder nicht sowie Verschleiern der Quelle, wie zum Beispiel von Menschen gemachte Label und Erklärung werden als von einer AI produziert dargestellt. Wir verglichen die Resultate und stellten wenige statistisch signifikante Unterschiede fest zwischen den unterschiedlichen Konstellationen. Das führte uns zur Schlussfolgerung, dass keine klaren Vorurteile vorhanden sind bezüglich von AI oder Menschen gemachten Antworten und dass Informationen zur Quelle sowie deren Verfügbarkeit keinen eindeutigen Einfluss aufweisen auf Vertrauen von Menschen in AI.
PDF File Download
Export BibTeX