Not logged in.

Quick Search - Contribution

Contribution Details

Type Master's Thesis
Scope Discipline-based scholarship
Title Optimized Test Selection of Simulation-based Tests for Self-driving Cars Software
Organization Unit
Authors
  • Christian Birchler
Supervisors
  • Davide Scaramuzza
  • Sebastiano Panichella
Language
  • English
Institution University of Zurich
Faculty Faculty of Business, Economics and Informatics
Date 2022
Abstract Text Simulation platforms facilitate the development of emerging Cyber-Physical Systems (CPS) like self-driving cars (SDC) because they are more efficient and less dangerous than field operational test cases. Despite this, thoroughly testing SDCs in simulated environments remains challenging because SDCs must be tested in a sheer amount of long-running test cases. Past results on software testing optimization have shown that not all the test cases contribute equally to establishing confidence in test subjects’ quality and reliability, and the execution of “safe and uninformative" test cases can be skipped to reduce testing effort. However, this problem is only partially addressed in the context of SDC simulation platforms. In this paper, we investigate test selection strategies to increase the cost-effectiveness of simulation-based testing in the context of SDCs. We propose an approach called SDC-Scissor (SDC coSt-effeCtIve teSt SelectOR) that leverages Machine Learning (ML) strategies to identify and skip test cases that are unlikely to detect faults in SDCs before executing them. Our evaluation shows that SDC-Scissor achieved high classification accuracy (up to 93.4%) in classifying test cases leading to a fault and improved testing cost-effectiveness. Specifically, SDC-Scissor avoided the execution of 50% of unnecessary tests as well as identified more two baseline strategies.
Zusammenfassung Simulationsplattformen erleichtern die Entwicklung neuer Cyber-Physical Systems (CPS) wie selbstfahrende Autos (SDC), weil sie effizienter und weniger gefährlich sind als sie im Feldeinsatz zu testen. Trotzdem bleibt das gründliche Testen von SDCs in simulierten Umgebungen eine Herausforderung, weil SDCs in einer schieren Menge langlaufender Testfälle getestet werden müssen. Frühere Ergebnisse zu Softwaretestoptimierung haben gezeigt, dass nicht alle Testfälle gleichermassen zur Etablierung des Vertrauen beitragen in die Qualität und Zuverlässigkeit der Testsubjekte und die Ausführung von „sicheren und nicht informativen“ Testfälle können übersprungen werden, um den Testaufwand zu reduzieren. Dieses Problem wird jedoch nur teilweise behoben im Kontext von SDC-Simulationsplattformen. In diesem Beitrag untersuchen wir die Testauswahl Strategien zur Steigerung der Kosteneffizienz von simulationsbasiertem Testen im Kontext von SDCs. Wir schlagen einen Ansatz namens SDC-Scissor (SDC coSt-effeCtIve teSt SelectOR) vor, der Machine Learning (ML)-Strategien zum Identifizieren und Überspringen von Testfällen nutzt, bei denen es unwahrscheinlich ist, dass Fehler erkannt werden in SDCs, bevor sie ausgeführt werden. Unsere Bewertung zeigt, dass SDC-Scissor eine hohe Klassifizierung erreicht hat. Identifikationsgenauigkeit (bis zu 93,4%) bei der Klassifizierung von Testfällen, die zu einem Fehler und verbesserten Kosteneffektivität. Insbesondere hat SDC-Scissor die Durchführung von 50% der unnötigen Tests vermieden sowie weitere zwei Baseline Strategien identifiziert.
PDF File Download
Export BibTeX