Not logged in.

Contribution Details

Type Master's Thesis
Scope Discipline-based scholarship
Title Natural Language Question Answering via Knowledge Graph Reasoning
Organization Unit
Authors
  • Fan Feng
Supervisors
  • Ruijie Wang
  • Abraham Bernstein
Language
  • English
Institution University of Zurich
Faculty Faculty of Business, Economics and Informatics
Date 2021
Abstract Text Knowledge graphs (KGs) have drawn a wide research attention in recent years, since they enable semi-structured information to be stored in an unified, connected and organized way. The inherent features of this data structure are leveraged in many tasks, such as information retrieval, recommendation systems, etc. Meanwhile, there are challenges in understanding and reasoning on a subset of a KG. One scenario would be question answering over KGs. Natural language questions can be flexible in expressions, which means that it is difficult for machines to retrieve an answer from a KG given a question posed by human. [Qiu et al., 2020] proposed a reinforcement learning-based (RL-based) approach, which finds answer entities for multi-hop questions via stepwise reasoning over KGs. Inspired by its work, this thesis adopts the model’s main body as a baseline architecture and investigates three research questions. The premise of KG reasoning is the accurate selection of topic entities. This work adapts a passive entity linker to link question mentions to KG nodes. In reasoning processes, an attention mechanism is implemented to associate history of actions with semantic information from questions, such that an agent can learn on which part of questions to focus. Conventional RL-based reasoning returns terminal rewards after complete reasoning episodes, resulting in a lack of guidance in sequential decision process. To address this problem, we use potential-based shaping rewards instead. The empirical results show that the reward shaping function improves the hits@1 performances on two benchmarks.
Zusammenfassung Knowledge Graphs (KGs) haben in den letzten Jahren grosse Aufmerksamkeit in der Forschung erregt, da sie es ermöglichen, halbstrukturierte Informationen auf einheitliche, verbundene und organisierte Weise zu speichern. Die inhärenten Merkmale dieser Datenstruktur werden bei vielen Aufgaben genutzt, z. B. bei der Informationsbeschaffung, bei Empfehlungssystemen usw. Gleichzeitig gibt es Herausforderungen beim Verstehen und Schlussfolgern auf einer Teilmenge einer KG. Ein Szenario wäre die Beantwortung von Fragen über KGs. Fragen in natürlicher Sprache können in ihren Ausdrücken flexibel sein, was bedeutet, dass es für Maschinen schwierig ist, eine Antwort aus einem KG zu finden, wenn eine Frage von einem Menschen gestellt wurde. [Qiu et al., 2020] schlug einen auf Reinforcement Learning (RL) basierenden Ansatz vor, der Antwortentitäten für Multi-Hop-Fragen durch schrittweises Schlussfolgern über KGs findet. Inspiriert von dieser Arbeit, übernimmt diese Arbeit den Hauptteil des Modells als Basisarchitektur und untersucht drei Forschungsfragen. Die Prämisse des KG-Reasonings ist die genaue Auswahl von Themenentitäten. In dieser Arbeit wird ein passiver Entity Linker angepasst, um Frageerwähnungen mit KG-Knoten zu verknüpfen. In Schlussfolgerungsprozessen wird ein Aufmerksamkeitsmechanismus implementiert, um die Historie von Aktionen mit semantischen Informationen aus Fragen zu verknüpfen, so dass ein Agent lernen kann, auf welchen Teil von Fragen er sich konzentrieren muss. Herkömmliche RL-basierte Argumentation gibt nach abgeschlossenen Argumentationsepisoden eine endgültige Belohnung zurück, was zu einem Mangel an Orientierung im sequenziellen Entscheidungsprozess führt. Um dieses Problem zu beheben, verwenden wir stattdessen potenzialbasierte Shaping-Belohnungen. Die empirischen Ergebnisse zeigen, dass die Reward-Shaping-Funktion die Leistung von hits@1 bei zwei Benchmarks verbessert.
PDF File Download
Export BibTeX