© Excellent backgrounds/Shutterstock.com
Java Magazin
Wie man ein Personal Hadoop-Cluster mit Cubieboards aufbaut

Wie man ein Personal Hadoop-Cluster mit Cubieboards aufbaut

Denkt man an Big Data und Hadoop, hat man in der Regel das Bild von endlosen Server-Racks in Gängen von überdimensionalen Rechenzentren vor Augen. Dass es auch ohne Serverpark geht, zeigt die Selbstbauanleitung für ein Hadoop-Cluster auf Basis des Raspberry-Pi-Klons Cubieboard.

Ramon Wartala


Heimcomputer waren in den achtziger Jahren das, was Smartphones und Tablets zu Beginn des 21. Jahrhunderts sind: persönliche Computer für die tägliche Freizeit und Arbeit. Daten- und rechenintensive Anwendungen sind auf derartigen Geräten nur selten ohne die Hilfe von Cloud-Diensten zu realisieren. Angetrieben werden Dienste dieser Art von einer Vielzahl an Servern, die oftmals als Cluster den ausfallsicheren Zugriff der mobilen Endgeräte auf ihre Daten und Anwendungen ermöglichen. Diese Server stehen in der Regel in großen Rechenzentren, zu denen man als Privatperson und Nutzer dieser Dienste nur äußerst selten bis überhaupt nicht Zutritt erlagen kann.

Konnte man in den 70er und 80er Jahren mit etwas elektrotechnischem Grundverständnis Computer wie den Altair 8800 [1] oder den TRS-80 [2] noch selbst zusammenbauen, so ist der Bau eines kompletten Computer-Clusters für Privatpersonen nur selten sinnvoll. Auch wenn Services wie die Amazon Elastic Compute Cloud [3] oder ProfitBricks [4] ihre Hardware zu On-Demand-Preisen anbieten, bei denen rein nach genutzter Zeit abgerechnet wird, entstehen für den Privatanwender dabei erhebliche Kosten.

2012 kehrte mit dem als Schulungscomputer konzipierten Einplatinenrechner Raspberry Pi [5] etwas vom Flair der Homecomputer-Gründerjahre zurück. Die kreditkartengroße Platine beherbergt alle nötigen Anschlüsse, wie einen HDMI-Ausgang, SD-Kartenleser, Ethernet- und USB-Ports.

Angetrieben wird der kostengünstige Kleincomputer von einer ARM-CPU und 256 bzw. 512 MB Hauptspeicher. Der Umgang mit einem solchen Einplatinencomputer erinnert nicht nur an die Elektronikkästen aus dem eignen Kinder- oder Jugendzimmer, sondern fühlt sich auf der Softwareseite auch wie ein waschechter Server an. Zugang bekommt man über angepasste Linux-Versionen mit oder ohne Desktop remote oder direkt über eine angeschlossene Tastatur plus Maus und Monitor. Neben der Nutzung als Streaming-Client lassen sich auch einfache Serverdienste für das eigene LAN realisieren. Durch den großen Erfolg des Raspberry Pi wurden auch andere auf den wachsenden Markt in diesem Computersegment aufmerksam. Schnell kam der Wunsch nach mehr Hauptspeicher, einem SATA-Anschluss für Massenspeicher und anderen Erweiterungen auf. So startete Tom Cubie von Allwinner [6] 2012 mit anderen das nach ihm benannte Cubieboard. Neben einer doppelten Hauptspeicherausstattung von 1 GB besitzt das Cubieboard einen SATA-Anschluss für den Betrieb von einfachen 2,5-Zoll-Notebook-Festplatten od...

Java Magazin
Wie man ein Personal Hadoop-Cluster mit Cubieboards aufbaut

Wie man ein Personal Hadoop-Cluster mit Cubieboards aufbaut

Denkt man an Big Data und Hadoop, hat man in der Regel das Bild von endlosen Server-Racks in Gängen von überdimensionalen Rechenzentren vor Augen. Dass es auch ohne Serverpark geht, zeigt die Selbstbauanleitung für ein Hadoop-Cluster auf Basis des Raspberry-Pi-Klons Cubieboard.

Ramon Wartala


Heimcomputer waren in den achtziger Jahren das, was Smartphones und Tablets zu Beginn des 21. Jahrhunderts sind: persönliche Computer für die tägliche Freizeit und Arbeit. Daten- und rechenintensive Anwendungen sind auf derartigen Geräten nur selten ohne die Hilfe von Cloud-Diensten zu realisieren. Angetrieben werden Dienste dieser Art von einer Vielzahl an Servern, die oftmals als Cluster den ausfallsicheren Zugriff der mobilen Endgeräte auf ihre Daten und Anwendungen ermöglichen. Diese Server stehen in der Regel in großen Rechenzentren, zu denen man als Privatperson und Nutzer dieser Dienste nur äußerst selten bis überhaupt nicht Zutritt erlagen kann.

Konnte man in den 70er und 80er Jahren mit etwas elektrotechnischem Grundverständnis Computer wie den Altair 8800 [1] oder den TRS-80 [2] noch selbst zusammenbauen, so ist der Bau eines kompletten Computer-Clusters für Privatpersonen nur selten sinnvoll. Auch wenn Services wie die Amazon Elastic Compute Cloud [3] oder ProfitBricks [4] ihre Hardware zu On-Demand-Preisen anbieten, bei denen rein nach genutzter Zeit abgerechnet wird, entstehen für den Privatanwender dabei erhebliche Kosten.

2012 kehrte mit dem als Schulungscomputer konzipierten Einplatinenrechner Raspberry Pi [5] etwas vom Flair der Homecomputer-Gründerjahre zurück. Die kreditkartengroße Platine beherbergt alle nötigen Anschlüsse, wie einen HDMI-Ausgang, SD-Kartenleser, Ethernet- und USB-Ports.

Angetrieben wird der kostengünstige Kleincomputer von einer ARM-CPU und 256 bzw. 512 MB Hauptspeicher. Der Umgang mit einem solchen Einplatinencomputer erinnert nicht nur an die Elektronikkästen aus dem eignen Kinder- oder Jugendzimmer, sondern fühlt sich auf der Softwareseite auch wie ein waschechter Server an. Zugang bekommt man über angepasste Linux-Versionen mit oder ohne Desktop remote oder direkt über eine angeschlossene Tastatur plus Maus und Monitor. Neben der Nutzung als Streaming-Client lassen sich auch einfache Serverdienste für das eigene LAN realisieren. Durch den großen Erfolg des Raspberry Pi wurden auch andere auf den wachsenden Markt in diesem Computersegment aufmerksam. Schnell kam der Wunsch nach mehr Hauptspeicher, einem SATA-Anschluss für Massenspeicher und anderen Erweiterungen auf. So startete Tom Cubie von Allwinner [6] 2012 mit anderen das nach ihm benannte Cubieboard. Neben einer doppelten Hauptspeicherausstattung von 1 GB besitzt das Cubieboard einen SATA-Anschluss für den Betrieb von einfachen 2,5-Zoll-Notebook-Festplatten od...

Neugierig geworden?


    
Loading...

Angebote für Teams

Für Firmen haben wir individuelle Teamlizenzen. Wir erstellen Ihnen gerne ein passendes Angebot.

Das Library-Modell:
IP-Zugang

Das Company-Modell:
Domain-Zugang