Wearable Activity Recognition using Invariant Signal Segments

  • Wearable activity recognition aims to identify and assess human activities with the help of computer systems by evaluating signals of sensors which can be attached to the human body. This provides us with valuable information in several areas: in health care, e.g. fluid and food intake monitoring; in sports, e.g. training support and monitoring; in entertainment, e.g. human-computer interface using body movements; in industrial scenarios, e.g. computer support for detected work tasks. Several challenges exist for wearable activity recognition: a large number of nonrelevant activities (null class), the evaluation of large numbers of sensor signals (curse of dimensionality), ambiguity of sensor signals compared to the activities and finally the high variability of human activity in general. This thesis develops a new activity recognition strategy, called invariants classification, which addresses these challenges, especially the variability in human activities. The core idea is that often even highly variable actions include short, more or less invariant sub-actions which are due to hard physical constraints. If someone opens a door, the movement of the hand to the door handle is not fixed. However the door handle has to be pushed to open the door. The invariants classification algorithm is structured in four phases: segmentation, invariant identification, classification, and spotting. The segmentation divides the continuous sensor data stream into meaningful parts, which are related to sub-activities. Our segmentation strategy uses the zero crossings of the central difference quotient of the sensor signals, as segment borders. The invariant identification finds the invariant sub-activities by means of clustering and a selection strategy dependent on certain features. The classification identifies the segments of a specific activity class, using models generated from the invariant sub-activities. The models include the invariant sub-activity signal and features calculated on sensor signals related to the sub-activity. In the spotting, the classified segments are used to find the entire activity class instances in the continuous sensor data stream. For this purpose, we use the position of the invariant sub-activity in the related activity class instance for the estimation of the borders of the activity instances. In this thesis, we show that our new activity recognition strategy, built on invariant sub-activities, is beneficial. We tested it on three human activity datasets with wearable inertial measurement units (IMU). Compared to previous publications on the same datasets we got improvement in the activity recognition in several classes, some with a large margin. Our segmentation achieves a sensible method to separate the sensor data in relation to the underlying activities. Relying on sub-activities makes us independent from imprecise labels on the training data. After the identification of invariant sub-activities, we calculate a value called cluster precision for each sensor signal and each class activity. This tells us which classes can be easily classified and which sensor channels support the classification best. Finally, in the training for each activity class, our algorithm selects suitable signal channels with invariant sub-activities on different points in time and with different length. This makes our strategy a multi-dimensional asynchronous motif detection with variable motif length.
  • Wearable Activity Recognition zielt darauf ab, menschliche Aktivitäten mithilfe von Computersystemen zu identifizieren und zu bewerten, indem Signale von am menschlichen Körper angebrachten Sensoren ausgewertet werden. Dies liefert wertvolle Informationen in verschiedenen Bereichen: in der Gesundheitsfürsorge, z.B. Überwachung der Flüssigkeitsund Nahrungsaufnahme; beim Sport, z.B. Trainingsunterstützung und -überwachung; in der Unterhaltung, z.B. Mensch-Computer-Schnittstelle mit Körperbewegungen; in industriellen Szenarien, z.B. Computerunterstützung für erkannte Arbeitsaufgaben. Es gibt mehrere Herausforderungen für Wearable Activity Recognition: eine große Anzahl nicht relevanter Aktivitäten (Nullklasse), die Auswertung einer großen Anzahl von Sensorsignalen (Fluch der Dimensionalität), die Mehrdeutigkeit der Sensorsignale im Vergleich zu den Aktivitäten und schließlich die hohe Variabilität der menschlichen Aktivität im Allgemeinen. In dieser Arbeit wird eine neue Aktivitätserkennungsstrategie entwickelt, genannt Invariants Classification, die diese Herausforderungen angeht, insbesondere die Variabilität menschlicher Aktivitäten. Die Kernidee ist, dass oft selbst sehr variable Aktivitäten, kurze, mehr oder weniger invariante Unteraktionen enthalten, die auf harte physikalische Bedingungen zurückzuführen sind. Wenn jemand eine Tür öffnet, ist die Bewegung der Hand zum Türgriff nicht festgelegt. Am Ende muss jedoch der Türgriff gedrückt werden, um die Tür zu öffnen. Der Invariants Classification Algorithmus ist in vier Phasen unterteilt: Segmentierung, Invarianten-Identifikation, Klassifizierung und Spotting. Die Segmentierung unterteilt den kontinuierlichen Sensordatenstrom in sinnvolle Teile, die sich auf Subaktivitäten beziehen. Unsere Segmentierungsstrategie verwendet die Nulldurchgänge des zentralen Differenzquotienten der Sensorsignale als Segmentgrenzen. Die Invarianten-Identifikation ermittelt die invarianten Subaktivitäten durch Clustering und eine Auswahlstrategie, die von bestimmten Features abhängt. Die Klassifizierung identifiziert die Segmente einer bestimmten Aktivitätsklasse anhand von Modellen, die aus den invarianten Subaktivitäten generiert werden. Die Modelle umfassen das invariante Subaktivitätssignal und Features, die aus Sensorsignalen berechnet werden, die mit der Subaktivität in Zusammenhang stehen. Beim Spotting werden die klassifizierten Segmente verwendet, um die gesamten Aktivitätsklasseninstanzen im kontinuierlichen Sensordatenstrom zu finden. Zu diesem Zweck verwenden wir die Position der invarianten Subaktivität in der zugehörigen Aktivitätsklasseninstanz, um die Grenzen der Aktivitätsinstanzen abzuschätzen. In dieser Arbeit zeigen wir, dass unsere neue Aktivitätserkennungsstrategie, die auf invarianten Subaktivitäten basiert, von Vorteil ist. Wir haben sie an drei menschlichen Aktivitätsdatensätzen mit Wearable Inertial Measurement Units (IMU) getestet. Im Vergleich zu früheren Veröffentlichungen zu den gleichen Datensätzen konnten wir die Aktivitätserkennung in mehreren Klassen verbessern, einige davon mit großem Abstand. Unsere Segmentierung bietet eine sinnvolle Methode zur Trennung der Sensordaten in Bezug auf die zugrunde liegenden Aktivitäten. Wenn wir uns auf Subaktivitäten verlassen, sind wir unabhängig von ungenauen Kennzeichnungen der Trainingsdaten. Nach der Identifizierung von invarianten Subaktivitäten berechnen wir für jedes Sensorsignal und jede Klassenaktivität einen als Cluster Precision bezeichneten Wert. Dieser zeigt, welche Klassen einfach klassifiziert werden können und welche Sensorkanäle die Klassifizierung am besten unterstützen. Schließlich wählt unser Algorithmus im Training für jede Aktivitätsklasse geeignete Signalkanäle mit invarianten Subaktivitäten zu unterschiedlichen Zeitpunkten und mit unterschiedlicher Länge aus. Dies macht unsere Strategie zu einer mehrdimensionalen, asynchronen Motiverkennung mit variabler Motivlänge.

Download full text files

Export metadata

Additional Services

Search Google Scholar
Metadaten
Author:Matthias Johannes Michael Kreil
URN:urn:nbn:de:hbz:386-kluedo-55674
Advisor:Paul Lukowicz, Bernhard Sick
Document Type:Doctoral Thesis
Language of publication:English
Date of Publication (online):2019/03/29
Year of first Publication:2019
Publishing Institution:Technische Universität Kaiserslautern
Granting Institution:Technische Universität Kaiserslautern
Acceptance Date of the Thesis:2018/11/08
Date of the Publication (Server):2019/04/01
Page Number:VIII, 140
Faculties / Organisational entities:Kaiserslautern - Fachbereich Informatik
DDC-Cassification:0 Allgemeines, Informatik, Informationswissenschaft / 004 Informatik
Licence (German):Creative Commons 4.0 - Namensnennung, nicht kommerziell, keine Bearbeitung (CC BY-NC-ND 4.0)