Not logged in.

Quick Search - Contribution

Contribution Details

Type	Master's Thesis
Scope	Discipline-based scholarship
Title	Human-in-the loop simulation-based testing for self-driving cars
Organization Unit	Robotics and Perception Group (Davide Scaramuzza)
Authors	Tanzil Kombarabettu
Supervisors	Davide Scaramuzza Sebastiano Panichella
Language	English
Institution	University of Zurich
Faculty	Faculty of Business, Economics and Informatics
Date	2022
Abstract Text	Simulation-based testing helps in the improvement of cyber-physical systems (CPS) such as self-driving cars (SDC) because it increases the efficiency, diversity, and relevance of tests from a human perspective. The importance of human feedback in validating test cases cannot be overstated. Despite this, testing SDCs in simulated environments does not take human factors into account. Previous research demonstrates how to optimize the test case through selection, improve classification and accuracy when test cases result in a fault, and improve testing cost-effectiveness. However, test validity, relevance, and safety perception from a hu- man point of view were not addressed. In this thesis, we investigate the variety of possible scenarios (static and dynamic obstacles) and examine how humans perceive safety and the level of realism of the SDC test case with various factors such as interaction with the car and different views (i.e., the VR view, the outside view, and the driver’s view). We propose an approach called SDC-Alabaster (SDC humAn-in-the Loop simulAtion-BASed Testing sElf- driving caRs) that uses a virtual reality (VR) headset to illustrate SDC test scenarios, create the sensation of being in SDCs and to enable users to experiment with the experience. Our results show the perception of realism and safety without obstacles is higher than with ob- stacles, and CARLA was more realistic and safer than the BeamNG simulator with a p-value > 0.01e-16, The distribution is 85%( ˆA12). Our results also show interactions with vehicles make humans safer compared to those without interactions with a p-value > 0.001, and the distribution is 36%( ˆA12), and users’ perceptions of safety and realism vary with and without VR headsets, and the failure cases that are most important to test are also regarded as less re- alistic by participants’. In addition, we discovered factors such as using an advanced AI agent for traffic cars, using voice feedback in VR, and integrating participants’ driving will help test scenarios be more realistic, and the perception of participants’ safety can be improved in simulation-based testing of SDCs.
Zusammenfassung	Simulationsbasierte Tests helfen bei der Verbesserung von Cyber-Physical Systems (CPS) wie selbstfahrende Autos (SDC), weil sie die Effizienz, Vielfalt und Relevanz von Tests aus men- schlicher Sicht erhöhen. Die Bedeutung des menschlichen Feedbacks bei der Validierung von Testfällen kann gar nicht hoch genug eingeschätzt werden. Trotzdem werden beim Testen von SDCs in simulierten Umgebungen menschliche Faktoren nicht berücksichtigt. Frühere Forschungen haben gezeigt, wie man den Testfall durch die Auswahl optimieren kann, sowie die Klassifizierung und Genauigkeit verbessern kann, wenn Testfälle zu einem Fehler führen, und wie man die Kosteneffizienz von Tests verbessern kann. Die Validität, Rel- evanz und Sicherheitswahrnehmung von Tests aus menschlicher Sicht wurden jedoch nicht berücksichtigt. In dieser Arbeit untersuchen wir die Vielfalt möglicher Szenarien (statis- che und dynamische Hindernisse) und untersuchen, wie Menschen die Sicherheit und den Realitätsgrad des Testfalls unter Berücksichtigung verschiedener Faktoren wie Interaktion mit dem Fahrzeug und verschiedenen Blickwinkeln (d. h. VR-Ansicht, Aussenansicht und Fahrersicht) wahrnehmen. Wir schlagen einen Ansatz namens SDC-Alabaster (SDC humAn- in-the Loop simulAtion-BASed Testing sElf-driving caRs) vor, der ein Virtual Reality (VR)- Headset verwendet, um SDC-Testszenarien zu veranschaulichen, das Gefühl zu erzeugen, sich in SDCs zu befinden, und den Benutzern zu ermöglichen, mit der Umgebung zu experimen- tieren. Unsere Ergebnisse zeigen, dass die Wahrnehmung von Realismus und Sicherheit ohne Hindernisse höher ist als mit Hindernissen, und CARLA war realistischer und sicherer als der BeamNG Simulator mit einem p-Wert > 0,01e-16 und einer Verteilung von 85%( ˆA12). Unsere Ergebnisse zeigen auch, dass Interaktionen mit Fahrzeugen das Gefühl von mehr Sicher- heit geben als solche ohne Interaktionen. Mit einem p-Wert > 0,001, und einer Verteilung von 36%( ˆA12), variiert die Wahrnehmung von Sicherheit und Realismus durch die Benutzer, sowohl mit und ohne VR-Headsets, und die Fehlerfälle, die am wichtigsten zu testen sind, werden von den Teilnehmern auch als weniger realistisch angesehen. Darüber hinaus haben wir herausgefunden, dass Faktoren wie die Verwendung eines fortschrittlichen KI-Agenten für Verkehrsfahrzeuge, die Verwendung von Sprachfeedback in VR und die Integration des Fahrverhaltens der Teilnehmer dazu beitragen, dass die Testszenarien realistischer sind und die Wahrnehmung der Sicherheit der Teilnehmer bei simulationsbasierten Tests von SDCs verbessert werden kann.
Export	BibTeX