Not logged in.

Quick Search - Contribution

Contribution Details

Type Master's Thesis
Scope Discipline-based scholarship
Title Benchmarking Incremental Reasoner Systems
Organization Unit
Authors
  • Jérôme Oesch
Supervisors
  • Daniele Dell' Aglio
  • Abraham Bernstein
Language
  • English
Institution University of Zurich
Faculty Faculty of Business, Economics and Informatics
Date 2018
Abstract Text Benchmarking reasoner systems is an already wide-spread approach of comparing diff erent ontology reasoners among each other. With the emergence of incremental reasoners, no benchmarks have been proposed so far that are able to test competing incremental implementations. In this thesis, we not only propose a benchmarking framework that could fi ll this gap, but we present a new approach of a benchmark that is capable of generating both queries and subsequent ontology edits automatically, just requiring an existing ontology as input. Our implemented framework, ReasonBench++, uses the concepts of Competency Question-driven Ontology Authoring to generate queries, as well as Ontology Evolution Mapping to generate edits. With the application of these two concepts, we are able to show that ReasonBench++ is generating close to real-life benchmarks that reflect an ontology intensively used by ontology authors and simultaneous queries of users.
Zusammenfassung Die Durchführung von Benchmarks über Reasoner Systeme ist ein bereits weit verbreiteter Ansatz für den Vergleich von verschiedenen Ontologie-Reasonern. Mit dem Aufkommen von inkrementellen Reasonern wurde jedoch noch kein Benchmark vorgeschlagen, welcher solche konkurrierende inkrementelle Implementationen testen kann. In dieser Arbeit stellen wir nicht nur ein Benchmarking-Framework vor, welches diese Lücke füllen könnte, sondern wir präsentieren auch einen neuen Benchmarking-Ansatz, welcher die automatische Generierung von Abfragen wie auch von Veränderungen an der Ontologie ermöglicht. Hierfür wird als Input nur eine bestehende Ontologie benötigt. Das implementierte Framework, ReasonBench++, benutzt zur Generierung von Abfragen das Konzept von "Competency Question-driven Ontology Authoring", sowie "Ontology Evolution Mapping" zur Generierung von Veränderungen. Durch die Anwendung dieser zwei Konzepte können wir aufzeigen, dass ReasonBench++ lebensnahe Benchmarks erstellen kann, welche einen intensiven Benutzungsfall durch Autoren wie auch Nutzerabfragen wiederspiegelt.
PDF File Download
Export BibTeX