Integrated Multi-Object Tracking and Classification for Vehicle Environment Perception

  • Road accidents remain as one of the major causes of death and injuries globally. Several million people die every year due to road accidents all over the world. Although the number of accidents in European region have reduced in the past years, road safety still remains a major challenge. Especially in case of commercial trucks, due to the size and load of the vehicle, even minor collisions with other road users would lead to serious injuries or death. In order to reduce number of accidents, automotive industry is rapidly developing advanced driver assistance systems (ADAS) and automated driving technologies. Efficient and reliable solutions are required for these systems to sense, perceive and react to different environmental conditions. For vehicle safety applications such as collision avoidance with vulnerable road users (VRUs), it is not only important for the system to efficiently detect and track the objects in the vicinity of the vehicle but should also function robustly. An environment perception solution for application in commercial truck safety systems and for future automated driving is developed in this work. Thereby a method for integrated tracking and classification of road users in the near vicinity of the vehicle is formulated. The drawbacks in conventional multi-object tracking algorithms with respect to state, measurement and data association uncertainties have been addressed with the recent advancements in the field of unified multi-object tracking solutions based on random finite sets (RFS). Gaussian mixture implementation of the recently developed labeled multi-Bernoulli (LMB) filter [RSD15] is used as the basis for multi-object tracking in this work. Measurement from an high-resolution radar sensor is used as the main input for detecting and tracking objects. On one side, the focus of this work is on tracking VRUs in the near vicinity of the truck. As it is beneficial for most of the vehicle safety systems to also know the category that the object belongs to, the focus on the other side is also to classify the road users. All the radar detections believed to originate from a single object are clustered together with help of density based spatial clustering for application with noise (DBSCAN) algorithm. Each cluster of detections would have different properties based on the respective object characteristics. Sixteen distinct features based on radar detections, that are suitable for separating pedestrians, bicyclists and passenger car categories are selected and extracted for each of the cluster. A machine learning based classifier is constructed, trained and parameterised for distinguishing the road users based on the extracted features. The class information derived from the radar detections can further be used by the tracking algorithm, to adapt the model parameters used for precisely predicting the object motion according to the category of the object. Multiple model labeled multi-Bernoulli filter (MMLMB) is used for modelling different object motions. Apart from the detection level, the estimated state of an object on the tracking level also provides information about the object class. Both these informations are fused using Dempster-Shafer theory (DST) of evidence, based on respective class probabilities Thereby, the output of the integrated tracking and classification with MMLMB filter are classified tracks that can be used by truck safety applications with better reliability. The developed environment perception method is further implemented as a real-time prototypical system on a commercial truck. The performance of the tracking and classification approaches are evaluated with the help of simulation and multiple test scenarios. A comparison of the developed approaches to a conventional converted measurements Kalman filter with global nearest neighbour association (CMKF-GNN) shows significant advantages in the overall accuracy and performance.
  • Verkehrsunfälle bleiben weltweit eine der Hauptursachen für Tod und Verletzungen. Mehrere Millionen Menschen sterben jedes Jahr aufgrund von Verkehrsunfällen auf der ganzen Welt. Obwohl sich die Zahl der Unfälle in Europa in den letzten Jahren reduziert hat, bleibt die Sicherheit im Straßenverkehr noch eine große Herausforderung. Besonders im Nutz- fahrzeugsegment führen, aufgrund der Größe und Masse des Fahrzeugs selbst geringfügige Kollisionen mit anderen Verkehrsteilnehmern zu schweren Verletzungen oder zum Tod. Um die Anzahl der Unfälle zu reduzieren, werden neue ADAS-Funktionen und automatisierte Fahrtechnologien entwickelt. Für diese Systeme sind effiziente und zuverlässige Lösungen erforderlich, um unterschiedliche Umgebungsbedingungen zu erfassen, wahrzunehmen und zu reagieren. Für Fahrzeugsicherheitsanwendungen wie die Kollisionsvermeidung bei gefährdeten Verkehrsteilnehmern ist es nicht nur wichtig, dass das System die Objekte in der Nähe des Fahrzeugs effizient erfasst und verfolgt, sondern auch robust funktioniert. In dieser Arbeit wird eine Umgebungswahrnehmungslösung für die Anwendung in LKW- Sicherheitssystemen und für zukünftiges automatisiertes Fahren entwickelt. Dabei wird ein Verfahren zur integrierten Verfolgung und Klassifizierung von Verkehrsteilnehmern im Nahbereich des Fahrzeugs formuliert. Die Nachteile herkömmlicher Multi-Objekt Verfolgungsalgorithmen bezüglich Zustands-, Mess- und Datenassoziations unsicherheiten wurden mit den Fortschritten auf dem Gebiet Random Finite Set (RFS) basierten Multi-Objekt Verfolgungsmethoden gelöst. Gaussian mixture implementierung des jüngst entwickelten labeled multi-Bernoulli (LMB) Filters [RSD15] wird in dieser Arbeit als Grundlage für die Multi-Objekt Verfolgung verwendet. Die Messung von einem hochauflösenden Radarsensor dient als Hauptdatenquelle zur Erkennung und Verfolgung von Objekten. Auf der einen Seite liegt der Fokus dieser Arbeit auf der Verfolgung von Verkehrsteilnehmer in der Nähe des LKWs. Da es für die meisten Fahrzeug-Sicherheitssysteme vorteilhaft ist, auch den Objekttyp zu wissen, liegt der Fokus auf der anderen Seite auch darin, die Verkehrsteilnehmer zu klassifizieren. Alle Radarmessungen, die wahrscheinlich von einem einzigen Objekt stammen, werden mit Hilfe von density based spatial clustering for application with noise (DBSCAN) gruppiert. Jeder solche Cluster hätte unterschiedliche Merkmale basierend auf den jeweiligen Objekteigenschaften. Sechzehn verschiedene Merkmale basiert auf den Radarmessungen werden für jeden Cluster ausgewählt und extrahiert. Die extrahierte Merkmale dienen als Basis zur Klassifizierung von Fußgänger, Radfahrer und Personenkraftwagen. Zur Klassifikation wird ein maschinelles Lernverfahren verwendet, trainiert und parametrisiert, um die Verkehrsteilnehmer basierend auf den extrahierten Merkmalen zu unterscheiden. Die von den Radarerfassungen abgeleiteten Klasseninformationen können weiter innerhalb des Tracking-Algorithmus verwendet werden, um die Parameter des Bewegungsmodells anzupassen. Ein Multiple model multi-Bernoulli (MMLMB) Filter wird zur Modellierung verschiedener Objektbewegungen verwendet. Neben der Erkennungsebene liefert der geschätzte Zustand eines Objekts auf der Verfolgungsebene auch Informationen über die Objektklasse. Beide Informationen werden unter Verwendung der Dempster-Shafer Evidenztheorie fusioniert. Die Ausgabe der integrierten Multi-Objekt Verfolgung und Klassifikation mit dem MMLMB-Filter sind dabei klassifizierte Tracks, die für LKW-Sicherheitsanwendungen mit höherer Zuverlässigkeit verwendet werden können. Die entwickelte Umgebungswahrnehmungsmethode wird im Echtzeit-prototypisches System auf einem Nutzfahrzeug implementiert. Die Performance der Tracking- und Klassifikationsansätze wird mit Hilfe von Simulation und mehreren Testszenarien ausgewertet. Ein Vergleich der entwickelten Ansätze zu einem konventionellen converted measurements Kalman filter mit global nearest neighbour Assoziierung (CMKF-GNN) zeigt signifikante Vorteile hinsichtlich der Gesamtgenauigkeit und Leistung.

Download full text files

Export metadata

Metadaten
Author:Ganesh Nageswaran
URN:urn:nbn:de:hbz:386-kluedo-54018
Publisher:Ganesh Nageswaran
Advisor:Rudolf Flierl
Document Type:Doctoral Thesis
Language of publication:English
Date of Publication (online):2018/10/17
Year of first Publication:2018
Publishing Institution:Technische Universität Kaiserslautern
Granting Institution:Technische Universität Kaiserslautern
Acceptance Date of the Thesis:2018/08/09
Date of the Publication (Server):2018/10/18
Tag:ADAS; classification; environment perception; multi-object tracking
Page Number:xxxi, 173
Faculties / Organisational entities:Kaiserslautern - Fachbereich Maschinenbau und Verfahrenstechnik
DDC-Cassification:6 Technik, Medizin, angewandte Wissenschaften / 620 Ingenieurwissenschaften und Maschinenbau
Licence (German):Creative Commons 4.0 - Namensnennung, nicht kommerziell (CC BY-NC 4.0)