© MSSA/Shutterstock.com
Einführung in Apache Pulsar - Teil 1

Technisch-konzeptionelle Annäherung


Messagingsysteme sind in aller Munde, und während sich in den letzten Jahren besonders Apache Kafka sehr großer Beliebtheit erfreute, gibt es mit Apache Pulsar jetzt einen neuen Konkurrenten. Angetreten ist der mit dem selbstbewussten Versprechen, die Stärken des hochperformanten Streamingansatzes von Kafka mit zusätzlichen Garantien und Funktionen abzurunden. Zum Auftakt der Artikelreihe werden wir uns Pulsar von der technisch-konzeptionellen Seite nähern und mit praktischen Beispielen zeigen, wie Pulsar in einem Projekt eingesetzt werden kann.

Pulsar blickt auf eine Entwicklungsgeschichte von inzwischen sieben Jahren zurück und wurde zunächst als internes Projekt bei Yahoo entwickelt, um den Eigenbedarf an einer skalierenden, hochperformanten Messaginglösung zu decken. Der Schritt in Richtung Open Source und damit zur allgemeinen Verfügbarkeit erfolgte im September 2016 [1]. Knapp neun Monate später wurde bereits der Weg geebnet, Pulsar zu einem Apache-Projekt zu machen [2]. Den Status als Top-Level-Apache-Projekt hat Pulsar seit dem 19. September 2018 inne und firmiert seitdem unter dem Namen Apache Pulsar [3].

Konzeptionell erscheint Pulsar auf den ersten Blick ähnlich dem Schwesterprojekt Apache Kafka. Beide Systeme bieten ein Pub-Sub-Messagingmodell mit Topics, die intern in Partitionen unterteilt und somit skalierbar sind, und setzen auf Apache ZooKeeper zur Koordination der einzelnen Knoten. Doch schon bei einem kurzen Blick hinter die Kulissen sieht man starke architekturelle Unterschiede. Während Kafka eine Partition in Form eines segmentierten Append-only-Logs auf den Knoten abbildet, haben Segmente in Pulsar-Partitionen eine zusätzliche Bedeutung. Pulsar-Segmente folgen zwar ebenso einer Append-only-Semantik, aber mit Apache BookKeeper wird ein weiteres externes System genutzt, das sich um die Verteilung und Speicherung der Daten kümmert. Abbildung 1 zeigt auf Systemebene, welche Komponenten bei einem Pulsar-Cluster beteiligt sind.

guenther_fresow_pulsar_1.tif_fmt1.jpgAbb. 1: Übersicht üb...

Neugierig geworden?

Angebote für Teams

Für Firmen haben wir individuelle Teamlizenzen. Wir erstellen Ihnen gerne ein passendes Angebot.

Das Library-Modell:
IP-Zugang

Das Company-Modell:
Domain-Zugang