Not logged in.

Contribution Details

Type Bachelor's Thesis
Scope Discipline-based scholarship
Title Sinking in masses of online reviews: An analysis of the effects of various levels of AI support on the performance of response authors
Organization Unit
Authors
  • Matej Gurica
Supervisors
  • Dzmitry Katsiuba
  • Gerhard Schwabe
Language
  • English
Institution University of Zurich
Faculty Faculty of Business, Economics and Informatics
Date 2023
Abstract Text Online reviews have become a ubiquitous source of information for consumers, and response authors play a critical role in addressing customer feedback. However, the vast amount and complexity of online reviews pose a significant challenge for those who respond to them. By implementing artificial intelligence (AI), the possibility of enhancing both the efficiency and quality of online review responses arises. In this thesis, it is examined how the use of various degrees of AI assistance affects the performance of response authors across a variety of efficiency and quality metrics. In order to address this question, a survey was conducted to gather data on the perceived quality of review responses composed by novice and professional authors in four distinct settings: without any AI support (B setting), with partial AI support (I setting), with AI-powered response generator support (G setting), and with fully automated AI-generated responses (G-AI setting). In addition, data on the efficiency of the response authors was recorded during writing sessions in each setting. The results show that the use of AI significantly improves the efficiency of response authors. In particular, the G setting greatly reduced the writing time for both professional and novice authors. Furthermore, the use of GPT-3, an advanced AI language model, resulted in significantly higher quality responses than those which a competing AI system and most of the other work configurations were able to produce. Based on these findings, a work configuration is proposed which combines the strengths of AI systems with human authors to optimize the online review response process. This proposed configuration aims to maximize efficiency and response quality while minimizing the workload on human authors. In conclusion, this thesis provides valuable insights into the potential of AI support to enhance the performance of response authors in the context of online reviews. The proposed optimal work configuration provides a practical solution for businesses and individuals looking to optimize their response authoring process.
Zusammenfassung Online-Rezensionen sind zu einer allgegenwärtigen Informationsquelle für Verbraucher geworden, und die Autoren von Antworten spielen eine entscheidende Rolle bei der Bearbeitung von Kundenfeedback. Die enorme Menge und Komplexität von Online-Bewertungen stellt jedoch eine erhebliche Herausforderung für diejenigen dar, die darauf antworten. Durch den Einsatz künstlicher Intelligenz (KI) ergibt sich die Möglichkeit, sowohl die Effizienz als auch die Qualität von Antworten auf Online-Rezensionen zu steigern. In dieser Arbeit wird anhand diverser Effizienz- und Qualitätsmetriken untersucht, wie sich der Einsatz unterschiedlicher Grade an KI-Unterstützung auf die Antworten von Autoren auswirkt. Um diese Frage zu beantworten, wurde eine Umfrage durchgeführt, um Daten über die wahrgenommene Qualität von Rezensionsantworten zu sammeln, die von Anfängern und professionellen Autoren in vier unterschiedlichen Einstellungen verfasst wurden: ohne KI-Unterstützung (B-Einstellung), mit teilweiser KI-Unterstützung (I-Einstellung), mit KI-gestützter Antwortgeneratorunterstützung (G-Einstellung) und mit vollautomatischen KI-generierten Antworten (G-AI-Einstellung). Darüber hinaus wurden Daten zur Effizienz der Antwortautoren während der Schreibsitzungen in jeder Einstellung erfasst. Die Ergebnisse zeigen, dass der Einsatz von KI die Effizienz der Antwortautoren deutlich verbessert. Insbesondere die G-Einstellung verkürzte die Schreibzeit sowohl für professionelle als auch für unerfahrene Autoren erheblich. Darüber hinaus führte die Verwendung von GPT-3, einem fortschrittlichen KI-Sprachmodell, zu deutlich hochwertigeren Antworten als die, die ein konkurrierendes KI-System und die meisten anderen Arbeitskonfigurationen produzieren konnten. Basierend auf diesen Erkenntnissen wird eine Arbeitskonfiguration vorgeschlagen, die die Stärken von KI-Systemen mit menschlichen Autoren kombiniert, um den Beantwortungsprozess für Online-Rezensionen zu optimieren. Diese vorgeschlagene Konfiguration zielt darauf ab, die Effizienz und Antwortqualität zu maximieren und gleichzeitig die Arbeitsbelastung für menschliche Autoren zu minimieren. Zusammenfassend liefert diese Arbeit wertvolle Einblicke in das Potenzial der KI-Unterstützung, um die Leistung von Antwortautoren im Kontext von Online-Rezensionen zu verbessern. Die vorgeschlagene optimale Arbeitskonfiguration bietet eine praktische Lösung für Unternehmen und Einzelpersonen, die ihren Prozess der Antworterstellung optimieren möchten.
PDF File Download
Export BibTeX