© INGARA/Shutterstock.com
Java Magazin
Innovatives Machine Learning mit dem Apache-Kafka-Ökosystem

Die perfekte Ergänzung?

Machine Learning (ML) ermöglicht es Anwendungen, versteckte Erkenntnisse zu gewinnen, ohne explizit dafür programmiert worden zu sein, worauf sie bei der Erkenntnisfindung achten müssen. So können unstrukturierte Daten analysiert, Bild- und Spracherkennung verbessert und fundierte Entscheidungen getroffen werden. In diesem Artikel werden wir vor allem neue Trends und Innovationen rund um Apache Kafka und Machine Learning diskutieren [1].

Kai Wähner


Machine Learning und das Apache-Kafka-Ökosystem sind eine hervorragende Kombination für das Training und die Bereitstellung skalierbarer analytischer Modelle. Kafka wird hierbei zum zentralen Nervensystem in der ML-Architektur, um analytische Modelle mit Daten zu füttern, zu trainieren, sie für Vorhersagen anzuwenden und zu überwachen. Das bringt enorme Vorteile mit sich:

Vereinfachung von DatenpipelinesEntkopplung des Aufbaus von analytischen Modellen von deren Wartung Nutzung von Echtzeit oder Batch nach BedarfEinsatz von analytischen Modellen in einer performanten, skalierbaren und unternehmenskritischen Umgebung

Da Kunden heutzutage Informationen in Echtzeit erwarten, besteht die Herausforderung für Unternehmen darin, auf Kundenanfragen und kritische Momente zu reagieren, bevor es zu spät ist. Dafür reicht Batch Processing nicht mehr aus – es muss sofort reagiert werden können, besser noch: proaktiv. Nur so kann man sich vom Mitbewerber abheben. Durch Machine Learning können bestehende Geschäftsprozesse verbessert und datengetriebene Entscheidungen automatisiert getroffen werden. Beispiele für solche Anwendungsfälle sind Betrugserkennung, Cross Selling oder die vorausschauende Wartung von IoT-Geräten (Predictive Maintenance). Die Architektur solch unternehmenskritischer Echtzeitanwendungen, die das Apache-Kafka-Ökosystem als skalierbares und zuverlässiges zentrales Nervensystem für ihre Daten nutzen, lässt sich wie in Abbildung 1 darstellen.

Abb. 1: Beispiel für unternehmenskritische Echtzeitanwendungen

Deployment von analytischen Modellen

Sehr generell gesprochen besteht ein Lebenszyklus für maschinelles Lernen aus zwei Teilen:

Training des Modells: In diesem Schritt befüllen wir einen Algorithmus mit historischen Daten, um Muster aus der Vergangenheit zu lernen. Das Ergebnis ist ein analytisches Modell.Erstellung von Prognosen/Vorhersagen: In diesem Schritt verwenden wir das analytische Modell, um Vorhersagen über neue Ereignisse basierend auf dem erlernten Muster zu treffen.

Machine Learning ist ein kontinuierlicher Prozess, bei dem das analytische Modell im Laufe der Zeit immer wieder verbessert und neu aufgesetzt wird. Prognosen können innerhalb einer Anwendung oder eines Microservice auf unterschiedliche Weise durchgeführt werden. Eine Möglichkeit besteht darin, ein analytisches Modell direkt in eine Stream-verarbeitende Anwendung einzubetten, wie beispielsweise eine Anwendung, die Kafka Streams verwendet. Sie können beispielsweise das TensorFlow fo...

Java Magazin
Innovatives Machine Learning mit dem Apache-Kafka-Ökosystem

Die perfekte Ergänzung?

Machine Learning (ML) ermöglicht es Anwendungen, versteckte Erkenntnisse zu gewinnen, ohne explizit dafür programmiert worden zu sein, worauf sie bei der Erkenntnisfindung achten müssen. So können unstrukturierte Daten analysiert, Bild- und Spracherkennung verbessert und fundierte Entscheidungen getroffen werden. In diesem Artikel werden wir vor allem neue Trends und Innovationen rund um Apache Kafka und Machine Learning diskutieren [1].

Kai Wähner


Machine Learning und das Apache-Kafka-Ökosystem sind eine hervorragende Kombination für das Training und die Bereitstellung skalierbarer analytischer Modelle. Kafka wird hierbei zum zentralen Nervensystem in der ML-Architektur, um analytische Modelle mit Daten zu füttern, zu trainieren, sie für Vorhersagen anzuwenden und zu überwachen. Das bringt enorme Vorteile mit sich:

Vereinfachung von DatenpipelinesEntkopplung des Aufbaus von analytischen Modellen von deren Wartung Nutzung von Echtzeit oder Batch nach BedarfEinsatz von analytischen Modellen in einer performanten, skalierbaren und unternehmenskritischen Umgebung

Da Kunden heutzutage Informationen in Echtzeit erwarten, besteht die Herausforderung für Unternehmen darin, auf Kundenanfragen und kritische Momente zu reagieren, bevor es zu spät ist. Dafür reicht Batch Processing nicht mehr aus – es muss sofort reagiert werden können, besser noch: proaktiv. Nur so kann man sich vom Mitbewerber abheben. Durch Machine Learning können bestehende Geschäftsprozesse verbessert und datengetriebene Entscheidungen automatisiert getroffen werden. Beispiele für solche Anwendungsfälle sind Betrugserkennung, Cross Selling oder die vorausschauende Wartung von IoT-Geräten (Predictive Maintenance). Die Architektur solch unternehmenskritischer Echtzeitanwendungen, die das Apache-Kafka-Ökosystem als skalierbares und zuverlässiges zentrales Nervensystem für ihre Daten nutzen, lässt sich wie in Abbildung 1 darstellen.

Abb. 1: Beispiel für unternehmenskritische Echtzeitanwendungen

Deployment von analytischen Modellen

Sehr generell gesprochen besteht ein Lebenszyklus für maschinelles Lernen aus zwei Teilen:

Training des Modells: In diesem Schritt befüllen wir einen Algorithmus mit historischen Daten, um Muster aus der Vergangenheit zu lernen. Das Ergebnis ist ein analytisches Modell.Erstellung von Prognosen/Vorhersagen: In diesem Schritt verwenden wir das analytische Modell, um Vorhersagen über neue Ereignisse basierend auf dem erlernten Muster zu treffen.

Machine Learning ist ein kontinuierlicher Prozess, bei dem das analytische Modell im Laufe der Zeit immer wieder verbessert und neu aufgesetzt wird. Prognosen können innerhalb einer Anwendung oder eines Microservice auf unterschiedliche Weise durchgeführt werden. Eine Möglichkeit besteht darin, ein analytisches Modell direkt in eine Stream-verarbeitende Anwendung einzubetten, wie beispielsweise eine Anwendung, die Kafka Streams verwendet. Sie können beispielsweise das TensorFlow fo...

Neugierig geworden?


    
Loading...

Angebote für Teams

Für Firmen haben wir individuelle Teamlizenzen. Wir erstellen Ihnen gerne ein passendes Angebot.

Das Library-Modell:
IP-Zugang

Das Company-Modell:
Domain-Zugang