Not logged in.

Quick Search - Contribution

Contribution Details

Type Master's Thesis
Scope Discipline-based scholarship
Title Reinforcement Learning for Race Car Driving in Gran Turismo Sport
Organization Unit
Authors
  • Florian Fuchs
Supervisors
  • Yunlong Song
  • Elia Kaufmann
  • Peter Dürr
  • Davide Scaramuzza
Language
  • English
Institution University of Zurich
Faculty Faculty of Business, Economics and Informatics
Date 2019
Abstract Text In this work, we present the application of state-of-the-art Reinforcement Learning algorithms to develop a real-time autonomous control policy for the car racing simulation Gran Turismo Sport. Such a policy needs to deal with the highly non-linear state space experienced during racing. Previous work in the area of Optimal Control often explicitly modeled the dynamics of cars to generate close to optimal trajectories for a controller to follow. We present a model-free approach that learns to implicitly plan and follow trajectories, using a neural network to directly generate steering, throttle, and brake signals. The approach does not require a map of the environment but only uses features measured on the go. The trained policy learned human-like behavior, such as cutting curves and stable drifting. In the presented benchmark setting, we achieve lap times comparable to those of human expert drivers, being faster than the median A-ranked driver in the used reference dataset, A being the highest rank in Gran Turismo Sport, only held by ~2% of human drivers. The new agent furthermore outperforms the built-in Gran Turismo AI by a margin of ~4%.
Zusammenfassung In dieser Arbeit präsentieren wir die Anwendung von state-of-the-art Reinforcement Learning Algorithmen um eine autonome real-time Steuerung für die Renn-Simulation Gran Turismo Sport zu entwickeln. Eine solche Steuerung muss in der Lage sein mit den stark nicht-linearen Zuständen, welche in der Simulation auftreten, umzugehen. Bisherige Arbeit aus dem Bereich Optimal Control modelliert die Dynamik der Autos vielfach explizit um nahezu optimale Trajektorien zu generieren welche dann von einem Zusätzlichen Controller verfolgt werden. Wir präsentieren einen Modell-freien Ansatz welcher implizit lernt Trajektorien zu planen und zu verfolgen, in dem er mit einem Neuralen Netzwerk direkt Steuer-Winkel-, Gas- und Brems-Signale gneriert. Der Ansatz benötigt keine Karte der Umgebung sondern basiert auf Features welche direkt während der Fahrt gemessen werden können. Die gelernte Steuerung lernte Menschen-ähnliches Verhalten, wie z.B. Kurvenschneiden oder stabiles Driften. In dem gewählten Benchmark-Setting, erreichen wir Runden Zeiten vergleichbar mit denen von menschlichen Fahrern, schneller als der Median von Fahrern mit Ranking "A", wobei Rang "A" nur von den schnellsten ~2% aller Fahrer gehalten wird. Die Steuerung ist im Benchmark-Setting ausserdem ~4% schneller als die bisherige Gran Turismo AI.
PDF File Download
Export BibTeX