Univariate Datenplausibilisierung in der Wasserwirtschaft

Die Workflows der hetida platform ermöglichen eine univariate Datenplausibilisierung, um fehlerhafte Messwerte schnell zu erkennen. Wie in einem solchen Fall aus der Wasserwirtschaft vorgegangen wird, beschreiben wir in diesem Beitrag.

Zielsetzung der Plausibilitätsprüfung

Das kommunale Unternehmen zur Stadtentwässerung ist nach SüwVO Abw. (Selbstüberwachungsverordnung Abwasser) dazu verpflichtet, in ihren Stauraumkanal kontinuierlich aufzeichnende Wasserstandsmessgeräte einzubauen. Kurz bevor der vierteljährliche Bericht über die Kanalisationsbauwerke der Stadt fällig wird, fällt einer Mitarbeiterin auf, dass der Sensor bereits seit einigen Tagen seltsame Werte sendet:

Am 24.11.2024 fehlen zunächst einige Werte, dann ist der Wasserstand plötzlich drei Meter höher als zuvor und damit sogar oberhalb des maximalen Füllstandes von 600 cm. Die Mitarbeiterin findet bei ihren Nachforschungen heraus, dass der Sensor während des Zeitraums der fehlenden Daten neu konfiguriert wurde – es handelt sich um einen distanzmessenden Wasserstandssensor und die Aufhängungshöhe muss wohl falsch eingestellt worden sein. Das lässt sich leicht beheben. Ärgerlich nur, dass der Fehler erst nach zwei Tagen falscher Messungen auffällt.

Um unplausible Messdaten zu vermeiden, müssen Fehlerursachen möglichst schnell erkannt und behoben werden. Dazu brauchen wir eine automatische Messdatenplausibilisierung, die auf einen Blick eine Übersicht aller fehlerhaft messenden Sensoren bietet. Diese Anforderung setzen wir im Folgenden in der IoT- und Analytics-Lösung hetida platform um.

Dazu gehen wir wie folgt vor:

Zunächst visualisieren wir für jeden Sensortypen, den die Stadtentwässerung einsetzt, typische unplausible Daten.
Auf dieser Grundlage führen wir univariate Regeln zur automatischen Erkennung solcher Unplausibilitäten ein.
Dann nutzen wir diese Regeln zur Messdatenplausibilisierung, indem alle Sensoren der Stadtentwässerung in der hetida platform in einer Hierarchie angelegt und Workflows im hetida designer implementiert werden, welcher die Regeln umsetzen.
Schließlich erstellen wir in der hetida platform ein übersichtliches Dashboard, aus dem alle Unplausibilitäten in den Daten auf einen Blick hervorgehen.

Beispiele unplausibler Daten

Unplausible Daten können nicht nur bei Wasserstandsmessgeräten auftreten. Die Stadtentwässerung setzt eine Vielzahl von Sensoren ein, um Wasserstände, Niederschläge, Temperaturen und Luftfeuchtigkeitswerte zu messen. Je nach Sensortyp sind verschiedene Muster in den Daten unplausibel. Für Temperatursensoren sind plötzliche Ausreißer nicht zu erwarten, können aber zum Beispiel durch Hardwarefehler auftreten:

In der Zeitreihe eines Niederschlagssensors hingegen treten solche Schwankungen häufig auf. Dafür sind hier über einen längeren Zeitraum exakt gleichbleibende Werte unplausibel – es sei denn beim Wert 0. Solche Messungen können aber beispielsweise bei einem optisch messenden Sensor durch starke Verschmutzungen der Linse auftreten:

Für Wasserstands- und Niederschlagssensoren müssen wir außerdem Werte, die außerhalb eines bestimmten Bereichs liegen (kleiner 0, oder bei Wasserstandssensoren größer als die maximale Füllhöhe) als unplausibel erkennen. Ein Beispiel dazu wurde bereits in der Einleitung gezeigt. In diesem Beispiel haben wir auch gesehen, dass Sensoren, die mit regelmäßigen festen Frequenz senden, als fehlerhaft erkannt werden müssen, wenn Messwerte ausbleiben.

Univariate Regeln zur Erkennung unplausibler Daten

All die oben beschriebenen Unplausibilitäten lassen sich bereits durch einfache univariate Regeln (d.h. hier auf die Zeitreihe eines einzelnen Sensors anwendbare Regeln) erkennen, die sich jeweils auf unterschiedliche Sensortypen anwenden lassen:

Regel zur Ausreißererkennung: Alle Messwerte, die ungewöhnlich stark von den vorherigen Messwerten abweichen, sind unplausibel. Diese Regel findet Anwendung auf Wasserstands- und Temperatursensoren.

Formal Sei m_t := max{ v_t- v_s | t - d < s < t } die maximale Abweichung eines Messwerts v_t zum Zeitpunkt t zu den vorherigen Messwerten innerhalb eines Zeitraums der Länge d. Sei Q₁ das erste Quartil aller m_t, Q₃ das dritte Quartil und IQR := Q₃ - Q₁ der Interquartilsabstand. Dann definiere alle diejenigen Messwerte v_tals unplausibel, für die m_t∉ [Q₁ - c⋅IQR, Q₃ + c⋅IQR], wobei c ein konfigurierbarer Faktor ist.

Regel zur Plateauerkennung: Alle Messwerte, die exakt mit den vorherigen Messwerten übereinstimmen, aber nicht ein Wert aus einer gewissen Menge legitimer konstanter Werte sind, sind unplausibel. Diese Regel findet Anwendung auf Wasserstands-, Temperatur- und Niederschlagssensoren, wobei für Niederschlagssensoren 0 ein legitimer konstanter Wert ist.

Formal Sei L eine möglicherweise leere Menge legitimer konstanter Werte. Definiere alle Messwerte v_t für die m_t= 0 ist aber m_t∉ L als unplausibel

Regel zur Erkennung von Werten außerhalb eines gültigen Bereichs: Alle Messwerte, die außerhalb eines vorher definierten gültigen Wertebereichs liegen, sind unplausibel. Diese Regel findet Anwendung auf Wasserstands- und Niederschlagssensoren, wobei hier die untere Grenze plausibler Werte 0 ist.

Formal Seien v_min, v_max ∈ ℝ∪{-∞, ∞}, v_min < v_max. Definiere alle Messwerte v_t mit v_t < v_minoder v_t < v_minals unplausibel.

Regel zur Erkennung fehlender Werte: Alle Zeiträume, in denen ungewöhnlich lange keine Daten gesendet wurden, werden als fehlerhaft klassifiziert. Diese Regel findet Anwendung auf alle Sensoren.

Formal Sei d_t := t - max{ s | es liegt Wert v_s zum Zeitpunkt s vor } die zurückliegende Dauer zum Zeitpunkt t bis zum letzten gesendeten Wert. Sei Q₁ das erste Quartil aller d_t, Q₃ das dritte Quartil und IQR := Q₃ - Q₁ der Interquartilsabstand. Dann definiere alle diejenigen Zeiträume als fehlerhaft, innerhalb derer d_t ∉ [Q₁ - c⋅IQR, Q₃ + c⋅IQR], wobei c ein konfigurierbarer Faktor ist.

Hierarchische Organisation der Sensoren in der hetida platform

Jeder Sensor der Stadtentwässerung sendet seine Messungen an die hetida platform. Entsprechend ist jeder Sensor in der hetida platform als ein Datenkanal repräsentiert. Diese Datenkanäle lassen sich in einer hierarchischen Struktur organisieren:

Beispielsweise hat sich die Stadtentwäserung dazu entschieden, auf der einen Seite alle Wasserstandssensoren gemeinsam zu gruppieren und auf der anderen alle meteorologischen Sensoren.

Weitere Informationen zur hierarchischen Asset-Struktur der hetida platform

Umsetzung der Regeln im hetida designer

Für jede der oben definierten Regeln zur Messdatenplausibilisierung erstellen wir im hetida designer einen Workflow, der die Zeitreihe der vom Sensor gemessenen Werte als Input entgegennimmt. Anhand der zum Sensortyp passenden Regeln werden alle unplausiblen Daten identifiziert. Der Output ist ein Plot der Zeitreihe, in dem alle fehlerhaften Werte als solche markiert sind. Hier ist der Workflow für einen Wasserstandssensor, der die Regeln zum gültigen Wertebereich und fehlenden Daten enthält:

Jede der Regeln ist in einer Komponente umgesetzt, anschließend werden die von diesen Komponenten erkannten Unplausibilitäten wieder zusammengeführt und gemeinsam mit den ursprünglichen Daten geplottet:

Das Workflow-Instrument hetida designer erkennt die fehlenden Daten und Werte oberhalb des zulässigen Maximums und markiert diese durch einen orangenen Hintergrund.

Weitere Informationen zum Workflow-Tool hetida designer

Darstellung der Ergebnisse in der hetida platform

Die Mitarbeiterin der Stadtentwässerung legt in der hetida platform nun ein Dashboard an, in dem sie alle installierten Sensoren zusammenführt. Für jeden Sensor wird die gemessene Zeitreihe durch den zum Sensortypen passenden Workflow des hetida designers gesendet und etwaige erkannte Unplausibilitäten gemeinsam mit der Zeitreihe geplottet. Zum hier gewählten Betrachtungszeitpunkt liegen drei Zeiträume unplausibler Daten vor in den letzten 24 Stunden vor, einer der Sensoren ist noch immer betroffen:

Ausgerüstet mit diesem Dashboard kann die Mitarbeiterin der Stadtentwässerung in Zukunft sofort erkennen, ob an einem Sensor ein Problem vorliegt, das menschliches Eingreifen verlangt. Auf der Karte findet sie dann den Standort des fehlerhaft messenden Niederschlagssensors und kann sich um die Wartung kümmern, ohne das lange Zeiträume fehlerhafter Daten entstehen, oder kritische Systeme wie Überflutungsprognosen, die auf fehlerfreie Daten angewiesen sind, keine guten Ergebnisse mehr liefern.

Weitere Infos zu den dynamischen Dashboards der hetida platform

Jetzt kostenlose Demo anfordern!

Erleben Sie die IoT- und Analytics-Plattform live und vereinbaren Sie einen Termin.

Unsere Experten werden sich kurzfristig mit Ihnen in Verbindung setzen.

Wir freuen uns auf Ihren Kontakt.