© Excellent backgrounds/Shutterstock.com
Java Magazin
Loggen in verteilten Umgebungen

Logger und Sammler

Apache Flume erlaubt es, Log-Events zu sammeln und an einer zentralen Stelle zu verarbeiten. Sich hier gegenüber dem Platzhirsch Logstash zu behaupten, fällt dabei nicht gerade leicht. Doch obwohl die Dokumentation streckenweise etwas zu wünschen übrig lässt, lohnt es sich, einen Blick auf Flume zu werfen. Zwar zielt das Projekt vor allem auf Hadoop ab, aber auch abgesehen davon könnte Flume für den ein oder anderen recht nützlich sein.

Christian Grobmeier


Apache Flume sammelt Log-Events. Das ist, was wir in unseren Anwendungen zu Monitoring und Analysezwecken als besonders beachtenswert kennzeichnen und worüber wir gerne Bescheid wissen wollen. Wer nun mehr als einen Server betreibt, hat oft das Problem, dass das Monitoring unübersichtlich und schwierig wird. Heutzutage möchte man ungern mit tail –f Logfiles überwachen, sondern optimalerweise einfach nur benachrichtigt werden, wenn etwas schiefläuft.

Genau das kann Apache Flume. Wer nach einem solchen Log-Aggregator im Internet sucht, findet aber zunächst einmal Logstash. Logstash ist der Quasistandard zum Sammeln von Log-Meldungen. Sein Erfolg ist der einfachen Integration mit Elasticsearch und der beeindruckenden Visualisierung „Kibana“ zu verdanken. Die Kombination der drei Produkte erlangte einen Status, der vermuten lässt, es gäbe keine Alternative.

Konkurrenz belebt jedoch das Geschäft, und Apache Flume hat auch gewisse Vorzüge. Die Dokumentation ist schlechter, die Webseiten sind hässlicher und überhaupt gibt es viel weniger Anbindungsmöglichkeiten als mit Logstash. Wer aber gern Code der Apache Software Foundation verwendet und ebenso gern mit klassischem Java arbeitet, der wird sich mit Flume vermutlich wohler fühlen.

Bedauerlicherweise wird Flume noch länger ein Schattendasein führen: Es ist klar erkennbar, dass hinter Logstash eine Firma steckt, die viel Zeit investiert, um marketingrelevante Maßnahmen wie Case Studies und Performancetests zu stecken. Wie sich Flume also in der Praxis verhält, ist schwer abzuschätzen, und Erfahrungsberichte findet man selten.

Eine eigene Nische gibt es dennoch: Hadoop-Betreiber werden glücklich sein, denn Flume hat genau diese im Hinterkopf. HDFS und HBase sind „First-Class Citizen“. Auch Avro und Thrift findet man in der Logstash-Doku eher wenig. Flume wirkt zunächst etwas angestaubt und „Old School“, kann aber durchaus seinen Nutzen haben.

Kickstart

Wer Apache Flume verwendet, installiert auf dem Server der Anwendung einen so genannten Agent. Dieser sammelt Log-Events, verarbeitet sie gegebenenfalls und gibt sie weiter an das Ziel. Der Agent selbst besteht dann aus den Komponenten:

Source: die Komponente, die die Events liest; im Logstash-Jargon der Input.Channel: die Komponente, die die Events zum Ziel leitet.Sink: die Komponente, die das eigentliche Ziel über das Event informiert.

Dabei kann die Quelle beispielsweise eine JMS Queue sein, Syslog, Avro oder Thrift. Auch eine eher außergewöhnliche wie Twitter ist mög...

Java Magazin
Loggen in verteilten Umgebungen

Logger und Sammler

Apache Flume erlaubt es, Log-Events zu sammeln und an einer zentralen Stelle zu verarbeiten. Sich hier gegenüber dem Platzhirsch Logstash zu behaupten, fällt dabei nicht gerade leicht. Doch obwohl die Dokumentation streckenweise etwas zu wünschen übrig lässt, lohnt es sich, einen Blick auf Flume zu werfen. Zwar zielt das Projekt vor allem auf Hadoop ab, aber auch abgesehen davon könnte Flume für den ein oder anderen recht nützlich sein.

Christian Grobmeier


Apache Flume sammelt Log-Events. Das ist, was wir in unseren Anwendungen zu Monitoring und Analysezwecken als besonders beachtenswert kennzeichnen und worüber wir gerne Bescheid wissen wollen. Wer nun mehr als einen Server betreibt, hat oft das Problem, dass das Monitoring unübersichtlich und schwierig wird. Heutzutage möchte man ungern mit tail –f Logfiles überwachen, sondern optimalerweise einfach nur benachrichtigt werden, wenn etwas schiefläuft.

Genau das kann Apache Flume. Wer nach einem solchen Log-Aggregator im Internet sucht, findet aber zunächst einmal Logstash. Logstash ist der Quasistandard zum Sammeln von Log-Meldungen. Sein Erfolg ist der einfachen Integration mit Elasticsearch und der beeindruckenden Visualisierung „Kibana“ zu verdanken. Die Kombination der drei Produkte erlangte einen Status, der vermuten lässt, es gäbe keine Alternative.

Konkurrenz belebt jedoch das Geschäft, und Apache Flume hat auch gewisse Vorzüge. Die Dokumentation ist schlechter, die Webseiten sind hässlicher und überhaupt gibt es viel weniger Anbindungsmöglichkeiten als mit Logstash. Wer aber gern Code der Apache Software Foundation verwendet und ebenso gern mit klassischem Java arbeitet, der wird sich mit Flume vermutlich wohler fühlen.

Bedauerlicherweise wird Flume noch länger ein Schattendasein führen: Es ist klar erkennbar, dass hinter Logstash eine Firma steckt, die viel Zeit investiert, um marketingrelevante Maßnahmen wie Case Studies und Performancetests zu stecken. Wie sich Flume also in der Praxis verhält, ist schwer abzuschätzen, und Erfahrungsberichte findet man selten.

Eine eigene Nische gibt es dennoch: Hadoop-Betreiber werden glücklich sein, denn Flume hat genau diese im Hinterkopf. HDFS und HBase sind „First-Class Citizen“. Auch Avro und Thrift findet man in der Logstash-Doku eher wenig. Flume wirkt zunächst etwas angestaubt und „Old School“, kann aber durchaus seinen Nutzen haben.

Kickstart

Wer Apache Flume verwendet, installiert auf dem Server der Anwendung einen so genannten Agent. Dieser sammelt Log-Events, verarbeitet sie gegebenenfalls und gibt sie weiter an das Ziel. Der Agent selbst besteht dann aus den Komponenten:

Source: die Komponente, die die Events liest; im Logstash-Jargon der Input.Channel: die Komponente, die die Events zum Ziel leitet.Sink: die Komponente, die das eigentliche Ziel über das Event informiert.

Dabei kann die Quelle beispielsweise eine JMS Queue sein, Syslog, Avro oder Thrift. Auch eine eher außergewöhnliche wie Twitter ist mög...

Neugierig geworden?


    
Loading...

Angebote für Teams

Für Firmen haben wir individuelle Teamlizenzen. Wir erstellen Ihnen gerne ein passendes Angebot.

Das Library-Modell:
IP-Zugang

Das Company-Modell:
Domain-Zugang