© Phonlamai Photo/Shutterstock.com
Entwickler Magazin
Machine-Learning-Anwendungen mit Amazon SageMaker

Maschinelles Lernen ohne Schmerzen

Amazon SageMaker ist eine Werkbank für maschinelles Lernen, die für die Bedürfnisse von Data Scientists und Entwicklern optimiert ist. Der Service ist Teil des Amazon-Web-Services-(AWS-)Cloud-Angebots. Er deckt den gesamten Machine-Learning-Zyklus von der Datenexploration und Aufbereitung mit Jupyter Notebook über das Training und die Evaluierung von Modellen bis zum Betrieb eines trainierten Modells in der Produktion ab.

Constantin Gonzalez


Bei Machine-Learning-Anwendungen werden Daten gesammelt und aufbereitet, um sie dann mithilfe von ML-Algorithmen wie z. B. statistischen Verfahren, Clustering-Algorithmen oder Deep Neural Networks (DNNs) auf einem oder mehreren Rechnern zu trainieren. Dabei leitet der Trainingsalgorithmus aus den Daten ein Modell ab, das in der Lage ist, bestimmte Eigenschaften in den Daten zu erkennen – auch wenn es sich hierbei um Daten handelt, die im Trainingssatz nicht enthalten waren (Abb. 1).

Abb. 1: Ein typischer Machine-Learning-Arbeitszyklus

Machine-Learning-Modelle können also aus Trainingsdaten Gelerntes generalisieren und das Gelernte im Rahmen einer Anwendung für die Verarbeitung von neuen, unbekannten Daten wiederverwenden. Für die Aufbereitung von Trainingsdaten, das Training der Algorithmen und für den Betrieb von ML-Modellen in der Produktion (Inferenz) muss man sich um passende Speicher- und Rechenressourcen kümmern. Nicht selten sind Hunderte oder Tausende von Servern mit dem Training von Terabytes von Trainingsdaten beschäftigt. Doch auch verhältnismäßig kleine Set-ups mit nur einem Rechner für Training oder Betrieb können Mühe machen, da Rechner in Betrieb genommen, Software installiert und die Trainings- und Modelldaten transferiert und verwaltet werden wollen.

Hier hilft AWS mit dem Amazon SageMaker Service [1], der Entwicklern und Data Scientists die Verwaltung von virtuellen Maschinen in der Cloud für die Vorbereitung, das Training und den Betrieb von ML-Modellen abnimmt und diesen Zyklus automatisiert. Dabei können Anwender aus verschiedenen optimierten Algorithmen auswählen, die gängige ML-Aufgaben wie Lineare Regression, K-Means-Clustering oder Bildklassifikation abdecken oder ihre eigenen ML-Algorithmen mitbringen: als neuronales Netz auf TensorFlow- oder MXNet-Basis oder als Docker-Container mit beliebigem ML-Innenleben.

SageMaker dient hierbei als automatisierte Ablaufumgebung für Docker-Container, in die alle Algorithmen eingebettet sind. Als Datenspeicher kommt Amazon S3 zum Einsatz, sowohl für die Trainingsdaten als auch für die resultierenden Modelle. Während der Trainings- und der Betriebsphase startet und verwaltet Amazon SageMaker ein Cluster von Docker-Instanzen in der Amazon Elastic Compute Cloud (EC2) automatisch und nach den Skalierungs- und Typvorgaben des Benutzers.

Die Kosten richten sich dabei nach der Nutzung: Anwender zahlen grundsätzlich nur die aufgewendeten Instanzstunden für Notebook, Trainings- und Hostinginstanzen. Es we...

Entwickler Magazin
Machine-Learning-Anwendungen mit Amazon SageMaker

Maschinelles Lernen ohne Schmerzen

Amazon SageMaker ist eine Werkbank für maschinelles Lernen, die für die Bedürfnisse von Data Scientists und Entwicklern optimiert ist. Der Service ist Teil des Amazon-Web-Services-(AWS-)Cloud-Angebots. Er deckt den gesamten Machine-Learning-Zyklus von der Datenexploration und Aufbereitung mit Jupyter Notebook über das Training und die Evaluierung von Modellen bis zum Betrieb eines trainierten Modells in der Produktion ab.

Constantin Gonzalez


Bei Machine-Learning-Anwendungen werden Daten gesammelt und aufbereitet, um sie dann mithilfe von ML-Algorithmen wie z. B. statistischen Verfahren, Clustering-Algorithmen oder Deep Neural Networks (DNNs) auf einem oder mehreren Rechnern zu trainieren. Dabei leitet der Trainingsalgorithmus aus den Daten ein Modell ab, das in der Lage ist, bestimmte Eigenschaften in den Daten zu erkennen – auch wenn es sich hierbei um Daten handelt, die im Trainingssatz nicht enthalten waren (Abb. 1).

Abb. 1: Ein typischer Machine-Learning-Arbeitszyklus

Machine-Learning-Modelle können also aus Trainingsdaten Gelerntes generalisieren und das Gelernte im Rahmen einer Anwendung für die Verarbeitung von neuen, unbekannten Daten wiederverwenden. Für die Aufbereitung von Trainingsdaten, das Training der Algorithmen und für den Betrieb von ML-Modellen in der Produktion (Inferenz) muss man sich um passende Speicher- und Rechenressourcen kümmern. Nicht selten sind Hunderte oder Tausende von Servern mit dem Training von Terabytes von Trainingsdaten beschäftigt. Doch auch verhältnismäßig kleine Set-ups mit nur einem Rechner für Training oder Betrieb können Mühe machen, da Rechner in Betrieb genommen, Software installiert und die Trainings- und Modelldaten transferiert und verwaltet werden wollen.

Hier hilft AWS mit dem Amazon SageMaker Service [1], der Entwicklern und Data Scientists die Verwaltung von virtuellen Maschinen in der Cloud für die Vorbereitung, das Training und den Betrieb von ML-Modellen abnimmt und diesen Zyklus automatisiert. Dabei können Anwender aus verschiedenen optimierten Algorithmen auswählen, die gängige ML-Aufgaben wie Lineare Regression, K-Means-Clustering oder Bildklassifikation abdecken oder ihre eigenen ML-Algorithmen mitbringen: als neuronales Netz auf TensorFlow- oder MXNet-Basis oder als Docker-Container mit beliebigem ML-Innenleben.

SageMaker dient hierbei als automatisierte Ablaufumgebung für Docker-Container, in die alle Algorithmen eingebettet sind. Als Datenspeicher kommt Amazon S3 zum Einsatz, sowohl für die Trainingsdaten als auch für die resultierenden Modelle. Während der Trainings- und der Betriebsphase startet und verwaltet Amazon SageMaker ein Cluster von Docker-Instanzen in der Amazon Elastic Compute Cloud (EC2) automatisch und nach den Skalierungs- und Typvorgaben des Benutzers.

Die Kosten richten sich dabei nach der Nutzung: Anwender zahlen grundsätzlich nur die aufgewendeten Instanzstunden für Notebook, Trainings- und Hostinginstanzen. Es we...

Neugierig geworden?


   
Loading...

Angebote für Teams

Für Firmen haben wir individuelle Teamlizenzen. Wir erstellen Ihnen gerne ein passendes Angebot.

Das Library-Modell:
IP-Zugang

Das Company-Modell:
Domain-Zugang