© zhangyang13576997233/Shutterstock.com
Teil 2: Beispiel zur Massendatenverarbeitung mit Spring Kafka

Briefe vom Windrad


Wer schon einmal ganz nah vor einer Windkraftanlage gestanden hat, dem ist die Dimension eines solchen Giganten erst wirklich bewusst. Allerdings verstecken sich neben den gewaltigen Bauteilen auch viele kleine im Inneren eines Windrads: Sensoren zum Beispiel. Jeder einzelne von ihnen, ob Drehzahl- oder Schwingungssensor, produziert ständig Daten. Zusammen wird aus den Informationen eine wahre Datenflut. Mithilfe von Spring Kafka lassen sich die Daten im großen Stil verarbeiten.

Artikelserie

Teil 1: Eventgestützte Applikationen mit Spring for Apache Kafka

Teil 2: Beispiel zur Massendatenverarbeitung mit Spring Kafka

Teil 3: Spring Kafka als Messaginglösung

Alleine in Deutschland sind mehr als 28 000 Windkraftanlagen installiert, die zusammen jährlich über 80 Terawattstunden Energie erzeugen. Neben der enormen Energiemenge produzieren diese Anlagen zunehmend auch enorme Datenmengen. An deren zeitnaher Auswertung sind sowohl die Betreiber eines Windparks als auch die Hersteller der installierten Turbinen sehr interessiert. Gesammelt und übermittelt werden in regelmäßigen Intervallen aktuelle Umweltbedingungen, die mittlere Windgeschwindigkeit oder die mittlere Temperatur über ein Zeitintervall, aber auch eventbasierte Daten.

Eventbasierte Daten fallen an, wenn die Steuerungselektronik auf interne oder externe Ereignisse und Fehlerfälle reagieren muss. Im Folgenden werden wir ein stark vereinfachtes Daten- und Anwendungsmodell vorstellen, das aufzeigt, wie Daten von Sensoren nach Kafka zur dauerhaften Ablage geschrieben und wieder ausgelesen werden können. Abbildung 1 zeigt einen groben Systemüberblick für unser Beispiel.

guenther_1.tif_fmt1.jpgAbb. 1: Stark vereinfachtes Daten- und Anwendungsmodell

Die Sensoren der Windkraftanlagen generieren konstant Messwerte, die sowohl Auskunft über den Zustand der Anlage sowie über die Umweltbedingungen liefern. Diese Werte lassen sich noch innerhalb der Anlage über einen kurzen Zeitraum aggregieren, um dann eine Metrik für ein Zeitintervall zu liefern. Dieser Statusbericht wird über eine HTTP-Verbindung an ein System übermittelt, das die Daten aufbereitet (Formatkonvertierungen, Deduplizierung) und dann publiziert. Jeder eingehende Statusbericht verfügt über einen Unix-Zeitstempel, der den Zeitpunkt der Berichterstellung angibt (Eventzeit). Als Ordnungskriterium für konsumierende Applikationen ist das völlig ausreichend, sodass eingehende Statusberichte out of order in das Topic geschrieben werden dürfen. Das passt gut zu der zusätzliche...

Neugierig geworden?

Angebote für Teams

Für Firmen haben wir individuelle Teamlizenzen. Wir erstellen Ihnen gerne ein passendes Angebot.

Das Library-Modell:
IP-Zugang

Das Company-Modell:
Domain-Zugang