Not logged in.

Quick Search - Contribution

Contribution Details

Type Master's Thesis
Scope Discipline-based scholarship
Title Automatic Re-Generation of Sentences To Different Readability Levels
Organization Unit
Authors
  • Andrianos Michail
Supervisors
  • Martin Volk
  • Jiaoda Li
  • Mrinmaya Sachan
Language
  • English
Institution University of Zurich
Faculty Faculty of Business, Economics and Informatics
Date 2023
Abstract Text The task of text simplification is to reduce the linguistic complexity of a text in order to make it more accessible. Previous work on text simplification has primarily focused on either a single level of simplification or multiple levels of simplification, but always with the goal of making the text simpler. In this work, we explore a related task: re-generating sentences to produce equivalent text that targets an audience at a different readability level, whether that level is simpler or more advanced. We formulate the problem as a sequence to sequence task and explore different methods of using the pre-trained T5 encoder-decoder model to perform the task. In particular, we investigate the use of the hyperformer++ \cite{mahabadi2021parameter} architecture to solve the task, and propose and evaluate custom variants of the architecture designed to maximize positive transfer between different transformation pairs. According to automatic metrics, our custom variant of hyperformer++ is able to compete with strong baselines while only storing a small fraction of parameters compared to updating the entire language model.
Zusammenfassung Die Aufgabe der Textvereinfachung besteht darin, die sprachliche Komplexität eines Textes zu reduzieren, um ihn leichter zugänglich zu machen. Bisherige Arbeiten zur Textvereinfachung haben sich hauptsächlich auf eine oder mehrere Vereinfachungsebenen konzentriert, aber immer mit dem Ziel, den Text zu vereinfachen. In dieser Arbeit untersuchen wir ein verwandtes Problem: die Neuerstellung von Sätzen, um einen äquivalenten Text zu erzeugen, der sich an ein Publikum mit einem anderen Lesbarkeitsniveau richtet, unabhängig davon, ob dieses Niveau einfacher oder fortgeschrittener ist. Wir formulieren das Problem als Sequence-to-Sequence-Aufgabe und untersuchen verschiedene Methoden, um das vortrainierte T5-Encoder-Decoder-Modell zur Lösung der Aufgabe einzusetzen. Insbesondere untersuchen wir die Verwendung der hyperformer++ Architektur \cite{mahabadi2021parameter} zur Lösung der Aufgabe, schlagen geeignete Varianten dieser Architektur vor und evaluieren diese, um den positiven Transfer zwischen verschiedenen Transformationspaaren zu maximieren. Automatisierte Metriken zeigen, dass unsere angepasste Variante von hyperformer++ in der Lage ist, mit starken Baselines zu konkurrieren und dabei nur einen kleinen Teil der Parameter des Sprachmodells zu verwenden.
PDF File Download
Export BibTeX