Teleoperation ist ein grundlegendes Merkmal für die Entwicklung von autonomen Fahrzeugen. Sie bietet nicht nur die Möglichkeit einer effizienten Ausweichlösung für auftretende Situationen, die das autonome Fahrzeug nicht selbst lösen kann, sondern bietet auch potenziell neue Geschäftsmodelle. Grundlegend für diese Überlegungen, ist jedoch die Leistungsfähigkeit des Kommunikationsnetzes und die daraus resultierenden Parameter wie Latenzzeit und Bandbreite.
Diese Größen haben einen entscheidenden Einfluss auf die Fähigkeit des Menschen das Fahrzeug sicher und zuverlässig fernzusteuern.
In dieser Untersuchung wird simulativ die Auswirkungen von Netzwerkparametern auf die Leistung eines durch den Menschen ferngesteuerten Fahrzeugs vorgestellt.
Abstract:
Teleoperation is a fundamental feature for the development of autonomous vehicles. Not only offers it the possibility of an efficient fallback solution for emerging situations that the autonomous vehicle cannot resolve itself but also it potentially offers new business models for transportation service providers. Fundamental to these considerations, however, is the performance of the communication network and the resulting parameters such as latency and bandwidth. These quantities have a critical impact on the ability of a human to perceive the environment, assess the situation and remotely control the vehicle safely and reliably. In this paper, a framework for simulating and evaluating the impact of network parameters on the performance of a remote human driver is presented. Using an example scenario of a shuttle bus route, the effects of latency for the teleoperation use case is evaluated. The local network and the impact on the human driver are modeled in SUMO (Simulation of Urban MObility) and OMNEST. The latency network simulation is validated against real measurement data. The car-following model Extended Intelligent Driver Model (EIDM) and its human driver model are extended so that latency effects can be quantified. The proposed approach has multiple advantages, on the one hand, it allows to evaluate the network suitability for the teleoperation use case. On the other hand, it limit the number of variables to be evaluated in e.g. user studies.
C. Brueckner, L. Patino-Studencki, T. Nan, A. Bueyuekoglu, T. Heyn and M. Fischer, „Simulation of Communication Network Latency Effects on Vehicle Teleoperation,“ 2023 IEEE 26th International Conference on Intelligent Transportation Systems (ITSC), Bilbao, Spain, 2023, pp. 1733-1740, doi: 10.1109/ITSC57777.2023.10422699
Während das Versprechen autonomer Fahrzeuge zu erheblichen wissenschaftlichen und industriellen Fortschritten geführt hat, werden vollautomatische, SAE-Level-5-konforme Autos in absehbarer Zeit wahrscheinlich keine Masseneinführung erfahren. Stattdessen wird in vielen Anwendungen auf absehbare Zeit eine menschliche Überwachung erforderlich sein, beispielsweise bei der Fernüberwachung und Teleoperation. Während Virtual Reality (VR) als mögliche Schnittstelle für die Teleoperation vorgeschlagen wurde, wurden ihre Vor- und Nachteile gegenüber physischen Überwachungs- und Teleoperationslösungen noch nicht gründlich untersucht. Zu diesem Zweck tragen wir drei Benutzerstudien bei, in denen die Leistung und das subjektive Feedback eines VR-basierten Systems mit einem bestehenden Überwachungs- und Teleoperationssystem verglichen und quantifiziert werden, das heute im industriellen Einsatz ist. Durch diese drei Benutzerstudien tragen wir zu einem besseren Verständnis zukünftiger virtueller Überwachungs- und Teleoperationslösungen für autonome Fahrzeuge bei. Die Ergebnisse unserer ersten Benutzerstudie (n=16) zeigen, dass eine VR-Schnittstelle, die die physische Schnittstelle nachbildet, die physische Schnittstelle nicht übertrifft. Es quantifiziert auch die negativen Auswirkungen, die kombinierte Überwachungs- und Teleoperationsaufgaben unabhängig von der verwendeten Schnittstelle auf Benutzer haben. Die Ergebnisse der zweiten Benutzerstudie (n=24) deuten darauf hin, dass die durch VR verursachten Wahrnehmungs- und ergonomischen Probleme ihre Vorteile, wie etwa eine bessere Konzentration durch Isolation, überwiegen. Die dritte Folgestudie (n=24) konzentrierte sich speziell auf die Wahrnehmungs- und Ergonomie Probleme von VR; Das subjektive Feedback dieser Studie deutet darauf hin, dass VR-Headsets der neueren Generation das Potenzial haben, mit den aktuellen physischen Displays gleichzuziehen.
Abstract:
While the promise of autonomous vehicles has led to significant scientific and industrial progress, fully automated, SAE level 5 conform cars will likely not see mass adoption anytime soon. Instead, in many applications, human supervision, such as remote monitoring and teleoperation, will be required for the foreseeable future. While Virtual Reality (VR) has been proposed as one potential interface for teleoperation, its benefits and drawbacks over physical monitoring and teleoperation solutions have not been thoroughly investigated. To this end, we contribute three user studies, comparing and quantifying the performance of and subjective feedback for a VR-based system with an existing monitoring and teleoperation system, which is in industrial use today. Through these three user studies, we contribute to a better understanding of future virtual monitoring and teleoperation solutions for autonomous vehicles. The results of our first user study (n= 16) indicate that a VR interface replicating the physical interface does not outperform the physical interface. It also quantifies the negative effects that combined monitoring and teleoperating tasks have on users irrespective of the interface being used. The results of the second user study (n= 24) indicate that the perceptual and ergonomic issues caused by VR outweigh its benefits, like better concentration through isolation. The third follow-up user study (n= 24) specifically targeted the perceptual and ergonomic issues of VR; the subjective feedback of this study indicates that newer-generation VR headsets have the potential to catch up with the current physical displays.
S. Kalamkar, V. Biener, F. Beck und J. Grubert, „Remote Monitoring and Teleoperation of Autonomous Vehicles – Is Virtual Reality an Option?“, 2023 IEEE International Symposium on Mixed and Augmented Reality (ISMAR), Sydney, Australien, 2023, S. 463–472, doi: 10.1109/ISMAR59233.2023.00061
Obwohl autonome Fahrzeuge bemerkenswerte wissenschaftliche und industrielle Fortschritte gemacht haben, ist es unwahrscheinlich, dass vollständig automatisierte, SAE-Level 5-konforme Autos in naher Zukunft weit verbreitet sein werden. Stattdessen dürften automatisierte Fahrlösungen auf absehbare Zeit auf Fernüberwachung und Teleoperationsunterstützung angewiesen sein. Obwohl Virtual Reality (VR) als mögliche Schnittstelle für die Teleoperation ferngesteuerter Fahrzeuge vorgeschlagen wurde, sind ihre Vorteile und Herausforderungen noch nicht ausreichend verstanden. In diesem Zusammenhang diskutieren wir replizierte Bedingungen in zwei unserer Benutzerstudien. Studie 1 (n=24) verglich die physische Schnittstelle mit einer für die Überwachung optimierten Schnittstelle, einmal angezeigt auf einem 56-Zoll-Bildschirm und einmal in VR auf dem HTC Vive Pro 2. Studie 2 (n=24) verglich diese optimierte Schnittstelle, die auf dem angezeigt wurde Gleicher 56-Zoll-Bildschirm, HTC Vive Pro 2 und Meta Quest Pro.
Abstract:
Although autonomous vehicles have shown remarkable scientific and industrial advancements, it is improbable that completely automated, SAE-level 5-compliant cars will become widely available in the near future. Instead, automated driving solutions are likely to rely on remote monitoring and teleoperation assistance for the foreseeable time. While Virtual Reality (VR) has been proposed as one potential interface for the teleoperation of remote vehicles, its benefits and challenges are not yet sufficiently understood. In this context, we discuss replicated conditions across two of our user studies [10].Study 1 (n=24) compared the physical interface with an interface optimized for monitoring, once displayed on a 56-inch screen and once in VR on HTC Vive Pro 2. Study 2 (n=24) compared this optimized interface displayed on the same 56-inch screen, HTC Vive Pro 2, and Meta Quest Pro.
S. Kalamkar, V. Biener und J. Grubert, „VR for Remote Monitoring of Automated Vehicles: Replications Across Follow-Up Evaluations“, 2023 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct), Sydney, Australien , 2023, S. 3-4, doi: 10.1109/ISMAR-Adjunct60411.2023.00008