Not logged in.
Quick Search - Contribution
Contribution Details
| Type | Master's Thesis |
| Scope | Discipline-based scholarship |
| Title | Development and evaluation of a pedagogical conversational agent with personalization abilities and its effect on the communication with employees in the context of a corporate identity training program |
| Organization Unit | |
| Authors |
|
| Supervisors |
|
| Language |
|
| Institution | University of Zurich |
| Faculty | Faculty of Business, Economics and Informatics |
| Date | 2023 |
| Abstract Text | The purpose of this thesis is the development and evaluation of a spoken pedagogical conversational agent (PCA) which can carry out complete telephone calls in the context of a corporate identity (CI) training. The term CI refers the overall self-image of an organization regarding its corporate personality and reflects how an organization is perceived by both internal and external stakeholders. One aspect of the overarching study about CI in public administrations of two German communes is service on the telephone, which aims at giving employees an opportunity to train and improve their skills in different areas such as active listening, issue solving, or de-escalation on the telephone. Besides the implementation of effective telephone exercises, the focus is on the personalization abilities of the PCA such as complete simulated conversations and feedback generation, which is accomplished by making use of recent language models such as the state-of-the-art ChatGPT model by OpenAI. How these models can be used in this organizational context is a relatively new area of study and not much research exists about this yet. Furthermore, the effects of personalization on the users such as social presence and interaction quality is examined. To accomplish this, requirements are established based on an iterative process considering stakeholder input and related work surrounding institutional talk, workplace learning, and conversational agents. Then, the technologies are selected consisting of different components such as speech-to-text and text-to-speech engines. During development a major focus is on prompt engineering which aims at providing optimal instructions for the language model to generate an optimal response. Finally, a functioning PCA is implemented and deployed in a CI training with real employees of two public administrations. Following the training, an evaluation is carried out consisting of different surveys and interviews, which are used in the analysis of the PCA. The results show that a PCA in this context can be personalized in various ways by utilizing novel language models such as ChatGPT. Furthermore, the evidence indicates that the personalization can potentially lead to an increased social presence and higher interaction quality. In a final step, the personalization of the PCA, problematic aspects, and challenges are discussed, resulting in derived design principles. The further development of the PCA can make use of these insights as a foundation regarding different technical and sociotechnical aspects. |
| Zusammenfassung | Ziel dieser Arbeit ist die Entwicklung und Evaluation eines gesprochenen pädagogischen Gesprächsagenten (PCA), der im Rahmen eines Corporate Identity (CI) Trainings komplette Telefongespräche führen kann. Der Begriff CI bezeichnet das gesamte Selbstverständnis einer Organisation hinsichtlich ihrer Unternehmenspersönlichkeit und spiegelt wider, wie eine Organisation von internen und externen Stakeholdern wahrgenommen wird. Ein Aspekt der übergreifenden Studie zu CI in öffentlichen Verwaltungen zweier deutscher Kommunen ist der Telefonservice, der den Mitarbeitern die Möglichkeit geben soll, ihre Fähigkeiten in verschiedenen Bereichen wie aktives Zuhören, Problemlösung oder Deeskalation am Telefon zu trainieren und zu verbessern. Neben der Implementierung von effektiven Telefonübungen liegt der Fokus auf den Personalisierungsfähigkeiten des PCA, wie komplette Gesprächssimulationen und Feedback-Generierung, was durch den Einsatz von aktuellen Sprachmodellen, wie beispielsweise dem State-of-the-Art-Modell ChatGPT von OpenAI, erreicht wird. Wie diese Modelle in diesem organisatorischen Kontext eingesetzt werden können, ist ein neues Forschungsgebiet. Darüber hinaus werden die Auswirkungen der Personalisierung auf die Nutzer, wie soziale Präsenz und Interaktionsqualität, untersucht. Um dies zu erreichen, werden die Anforderungen in einem iterativen Prozess unter Berücksichtigung der Stakeholder und relevanter Literatur zu institutionellem Gespräch, Lernen am Arbeitsplatz und Gesprächsagenten festgelegt. Dann werden die Technologien ausgewählt, die aus verschiedenen Komponenten bestehen, wie Sprache-zu-Text- und Text-zu-Sprache-Technologien. Während der Entwicklung liegt ein Hauptaugenmerk auf dem Prompt-Engineering, das darauf abzielt, dem Sprachmodell optimale Anweisungen zu geben, um eine optimale Antwort zu generieren. Schliesslich wird ein PCA implementiert und in einem CI-Training mit echten Mitarbeitern zweier öffentlicher Verwaltungen eingesetzt. Im Anschluss an das Training wird eine Evaluation durchgeführt, die aus verschiedenen Umfragen und Interviews besteht, die in die Analyse des PCA einfließen. Die Ergebnisse zeigen, dass ein PCA in diesem Kontext auf verschiedene Weise personalisiert werden kann, indem neuartige Sprachmodelle wie ChatGPT verwendet werden. Darüber hinaus weisen die Ergebnisse darauf hin, dass die Personalisierung potenziell zu einer erhöhten sozialen Präsenz und einer höheren Interaktionsqualität führen kann. In einem abschließenden Schritt werden die Personalisierung der PCA, problematische Aspekte und Herausforderungen diskutiert und daraus Gestaltungsprinzipien abgeleitet. Die weitere Entwicklung des PCA kann diese Erkenntnisse als Grundlage für verschiedene technische und soziotechnische Aspekte nutzen. |
| PDF File |
Download
|
| Export |
BibTeX
|