Plattform-Feature: Tiefpassfilter

Die IoT- und Analytics-Plattform hetida platform bietet eine breite Auswahl an Standard-Workflows zur effizienten Datenvorverarbeitung. Einer davon ist der Tiefpassfilter – ein bewährtes Verfahren, um hochfrequente Schwankungen in Zeitreihen zu glätten und gleichzeitig die niedrigfrequente Tendenz in den Daten zu erhalten. In diesem Beitrag zeigen wir, wie der Filter funktioniert und wie er sich konkret auf Pegeldaten in der Wasserwirtschaft anwenden lässt.

Ausgangslage

Der Ruhrverband misst alle 15 Minuten den Wasserstand der Ruhr in Hattingen. Solche Daten sind interessant sowohl für Hochwasser-Frühwarnsysteme, als auch zur Ermittlung der Häufigkeit von Niedrigwasser durch Trockenheit. Allerdings treten in den 15-minütigen Rohdaten kurzfristige Schwankungen auf, etwa durch vorbeifahrende Schiffe, blockierendes Geäst, oder Messfehler. Solche Schwankungen können die weitere hydrologische Verwendung der Daten beeinträchtigen. Eine Methode, um hochfrequente Schwankungen zu glätten, aber die niedrigfrequente Tendenz der Daten beizubehalten, ist ein Tiefpassfilter. Die hetida platform – das Datenanalyse-Tool mit angeschlossenem Dashboardingsystem von fuseki – eignet sich dazu gut: Sie stellt Standard-Workflows zur Datenvorverarbeitung bereit, darunter auch Hochpass- und Tiefpassfilter. Im Folgenden nutzen wir die hetida platform um die Pegeldaten der Ruhr mit einem Tiefpassfilter zu glätten und sie so für weitere Analysen aufzubereiten. Dazu veranschaulichen wir zunächst mit künstlich erzeugten Daten die grundlegende Funktionsweise eines Tiefpassfilters. Anschließend laden wir die Pegeldaten der Ruhr in Hattingen in die hetida platform und demonstrieren den Tiefpassfilter-Workflow der hetida platform auf echten Daten. Das Ergebnis visualisieren wir in einem Dashboard der Plattform.

Funktionsweise des Tiefpassfilters

Wir stellen uns die Messung eines Signals vor (das kann ein Audiosignal, aber auch jede andere Art von Zeitreihe sein), das zusammengesetzt ist aus zwei anderen Signalen: Einem niedrigfrequenten Hauptsignal und einem hochfrequenten Störsignal:

Uns interessiert lediglich das niedrigfrequente Hauptsignal. Da wir aber nur das zusammengesetzte Signal messen können, müssen wir das hochfrequente Störsignal herausfiltern. Genau das ist der Zweck eines Tiefpassfilters: Er filtert hochfrequente Signale heraus, sodass lediglich die tiefen Frequenzen den Filter passieren können (daher der Name “Tiefpassfilter”). Die hetida platform verfügt über einen Standard-Workflow, der einen solchen Tiefpassfilter mit einem Butterworth-Filter umsetzt.

Butterworth-Filter Ein Butterworth Filter ist ein Filter, dessen Frequenzgang durch die linksstehende Formel definiert ist. Dabei ist das Argument ω die eingehende Frequenz als Bogenmaßgeschwindigkeit. Mit ωc wird die Grenzfrequenz bezeichnet, also die Frequenz für die Signale mit niedrigerer Frequenz ω < ωc beibehalten und Signale mit höherer Frequenz ω > ωc herausgefiltert werden sollen. Der Parameter n bezeichnet die Ordnung des Filters, je höher die Ordnung desto steiler ist der Übergang vom Durchlass- zum Sperrbereich im Frequenzgang. Als Resultat dieser Formel werden niedrige eingehende Frequenzen ω < ωc durch den Filter nicht stark verändert (|H(ω)| ≈ 1), während hohe Frequenzen ω > ωc herausgefiltert werden (|H(ω)| ≈ 0).

In der hetida platform konfigurieren wir die Parameter „Grenzfrequenz“ und „Ordnung“ des Butterworth-Filters. Wir legen außerdem fest, auf welche Zeiteinheit sich die Frequenz bezieht – beispielsweise Perioden pro Sekunde, Minute, Stunde oder Tag. Zusätzlich geben wir an, ob der Filter einseitig oder beidseitig wirken soll: Bei der einseitigen Anwendung berücksichtigt der Filter für jeden gefilterten Wert nur aktuelle und frühere Werte. Bei der beidseitigen Anwendung fließen dagegen sowohl frühere als auch spätere Werte in die Berechnung ein.

Das niedrigfrequente Hauptsignal in unserem künstlichen Beispiel hat eine Frequenz von 0,1 Hz, das hochfrequente Störsignal eine Frequenz von 1 Hz. Die Grenzfrequenz wird also dazwischen gewählt, hier mit 0,25 Hz. Wir behalten die Default-Einstellungen für die Zeiteinheit (frequency_as_periods_per_unit = “s” für Sekunde) die Ordnung des Filters (order = 1) und die beidseitige Anwendung (“forward_backward” = True) bei. Das Resultat sieht so aus:

In der Realität liegt niemals solch ein ideales, aus zwei perfekt regelmäßigen Signalen zusammengesetztes Signal vor. Daher probieren wir denselben Tiefpassfilter auch auf einem zusammengesetzten Signal aus, das zusätzlich ein zufälliges Rauschen beinhaltet. Das Ergebnis ist ähnlich zufriedenstellend:

Anwendung eines Tiefpassfilters auf Pegeldaten in der hetida platform

Wir stellen uns vor, dass eine Hydrologin die Häufigkeit und Dauer von Niedrigwasserereignissen im Ruhrgebiet untersuchen will. Dabei versteht sie ein Niedrigwasserereignis als die Unterschreitung eines gewissen Pegelstands für einen längeren Zeitraum. Wenn ein gemessener Pegelstand für kurze Zeit durch einen einzelnen Regenfall ansteigt, hat das oft keine größere Bedeutung. Auch andere zufällige Faktoren wie ein vorbeifahrendes Schiff oder ein blockiertes Gerinne können kurzfristige Ausschläge verursachen. Überschreitet der Pegel dadurch kurzzeitig den Grenzwert, ändert das nichts an der weiterhin bestehenden Niedrigwassersituation. Deshalb möchte die Hydrologin ihre Messdaten vor der Analyse von Niedrigwasserereignissen glätten. Sie setzt dazu einen Tiefpassfilter ein, um solche kurzfristigen Schwankungen zu eliminieren. Dies setzen wir im Folgenden in der hetida platform um. Die Pegeldaten der Ruhr in Hattingen, die vom Ruhrverband in 15-minütigen Abständen gemessen werden, werden frei verfügbar als .csv bereitgestellt. Nach dem Download kann die .csv-Datei ganz einfach in die hetida platform importiert werden (Weitere Informationen zu den Schnittstellen der Plattform).

Import der Rohdaten per CSV-Datei

Nach dem erfolgreichen Datenimport, kann ein Kanal angelegt werden, der diese Daten beinhaltet. Die hetida platform generiert für jeden angelegten Kanal eine Datenvorschau an der entsprechenden Stelle im Explorer. Darin können wir bereits erkennen, dass es im Jahr 2003 einen längeren Zeitraum mit niedrigem Wasserstand in der Ruhr in Hattingen gegeben hat. Von März bis November lagen die Pegelstände unter dem mittleren Niedrigwasser an dieser Messstelle, das 102 cm beträgt. Allerdings gibt es in diesem Zeitraum kurzfristige Überschreitungen dieses Grenzwerts. Bei einer Definition von Niedrigwasser über einen solchen Grenzwert würde die Periode also nicht vollständig als Niedrigwasserperiode klassifiziert werden, was unerwünscht ist.

Daher filtern wir die Rohdaten durch einen Tiefpassfilter. Wir stellen die Grenzfrequenz so ein, dass Ereignisse mit einer Dauer von weniger als zwei Wochen herausgefiltert werden. Diese kurzen Ereignisse betrachten wir als Störsignale. Längerfristige Ereignisse sollen dagegen erhalten bleiben. Dafür wählen wir als Einheit der Frequenz „d“ für Tage. Die Grenzfrequenz setzen wir auf 1/14, also 0,0714. Das Ergebnis dieses Filters wird in einen neuen Kanal geschrieben, dessen Datenvorschau wie folgt aussieht:

Ergebnis nach Anwendung des Tiefpassfilters

Das Ergebnis dieses Filters wird in einen neuen Kanal geschrieben, dessen Datenvorschau wie folgt aussieht:

Und tatsächlich erkennen wir, dass der durch den Tiefpassfilter bereinigte Pegelstand in der ganzen Periode von April bis Dezember unterhalb der 102-cm-Marke bleibt. Zuletzt legen wir noch ein Dashboard an, um die Plausibilität des Filterergebnisses visuell zu überprüfen. Das Ergebnis sieht so aus:

Wir haben gesehen, wie wir mittels der Standard-Workflows der hetida platform mit nur wenigen Klicks einen Tiefpassfilter auf die Pegeldaten der Ruhr anwenden. Nun können wir die Daten für weitere Analysen nutzen, entweder in der Plattform oder nach einem Datenexport mit einem anderen Tool.

Jetzt kostenlose Demo anfordern!

Erleben Sie die IoT- und Analytics-Plattform live und vereinbaren Sie einen Termin.

Unsere Experten werden sich kurzfristig mit Ihnen in Verbindung setzen.

Wir freuen uns auf Ihren Kontakt.