Promotion - End-to-End Trainable System for Autonomous Driving with Introspection

Der aktuelle Stand der Technik im Bereich des automatisierten Fahrens (AD), repräsentiert durch Vision-Language-Action-Modelle (VLA), ermöglicht es Fahrzeugen, Wahrnehmung und Handeln dateneffizienter miteinander zu verknüpfen als klassische End-to-End-Systeme. Dennoch stoßen VLA-Modelle zunehmend an ihre Grenzen: aufgrund fehlender Fähigkeiten zur langfristigen Vorhersage, mangelnder physikalischer Konsistenz und einer begrenzten Abdeckung von Long-Tail-Szenarien. Daher ist ein weiterer Paradigmenwechsel erforderlich.

Ziel dieser Forschungsarbeit ist es, die nächste Generation von AD-Systemen zu untersuchen und dabei den Übergang von reaktiven VLA-Modellen hin zu prädiktiven, agentenbasierten Weltmodellen zu gestalten. Die zentrale These lautet, dass „Imagination vor Aktion“ eine wesentliche Voraussetzung für eine sichere und skalierbare Autonomie ist.

• Als Teil unseres Teams entwickeln Sie ein Framework zur Integration von VLA-Modellen, Weltmodellen und agentenbasierten Planern in ein ganzheitliches Fahrsystem.
• Darüber hinaus zeigen Sie durch proaktive Simulation Verbesserungen bei langfristigen Vorhersagen, im Umgang mit Grenz- und Sonderfällen sowie hinsichtlich der nachweisbaren Sicherheit auf.
• Sie treiben grundlegende Veränderungen in der Datenaufbereitung und im effizienteren Training großer Systeme voran, indem Sie unerwartete Szenarien gezielt berücksichtigen.
• Nicht zuletzt tragen Sie zum grundlegenden Wandel im Bereich des automatisierten Fahrens bei, weg von reaktiver Steuerung hin zu simulationsbasiertem, agentischem Handeln, und ebnen damit den Weg für leistungsfähigere und vertrauenswürdigere autonome Systeme.

Function: Research
Experience Level: Entry Level