© DrHitch/Shutterstock.com
Shortcuts
Cognitive Services

2 Apps mit Augen - das Vision-API

Nachdem wir im letzten Kapitel die Sprach-APIs vorgestellt haben, legen wir diesmal den Fokus auf das Kapitel Vision der Cognitive Services. Unter „Vision“ fasst Microsoft viele spannende APIs zur Analyse von Bildern und Videos zusammen.

Shortcut Autorenteam


Kennen Sie www.how-old.net? Die Website hat sich nach der Build Keynote 2015 rasend schnell verbreitet und für Begeisterung gesorgt: Nach dem Upload eines Porträts wurden das Geschlecht und Alter der abgebildeten Person geschätzt (Abb. 2.1). Für manche schmeichelnd, für viele erschreckend genau. Technologisch steckten dahinter bereits die Vorläufer jener APIs, die jetzt für alle Entwickler unter dem Namen „Cognitive Services“ (früher: Project Oxford) zur Verfügung stehen [1].Computer-Vision-APIDie meisten von uns werden Bildanalyse schnell mit hoch mathematischen Formeln und Mustererkennungsalgorithmen in Verbindung bringen. Das Computer-Vision-API setzt aber auf einem ganz anderen Abstraktionslevel auf. Wenn man ein Bild von einem Eichhörnchen an den Service sendet, kommt als Antwort „a squirrel is sitting on a rock“ und eine prozentuale Wahrscheinlichkeit, wie sehr man der Aussage Vertrauen schenken darf. Darüber hinaus können Tags und Kategorien (Animal, Outdoor etc.), Gesichter inkl. deren Position sowie dominierende Farbwerte abgefragt werden. Für Portale, bei denen Bilder von Benutzern hochgeladen werden, ist die Markierung von potenziell rassistischen oder nicht jugendfreien Inhalten hilfreich.Der Start mit dem Vision-API ist denkbar einfach: Zur Kommunikation wird eine Subscription benötigt, die unter [2] beantragt werden kann. Fünftausend Requests pro Monat (und maximal zwanzig pro Minute) sind kostenlos, ein darüber hinausgehendes Preismodell gibt es bisher aber noch nicht. Mit dem Subscription Key kann die Funktionalität entweder online mittels Testkonsole [3], über REST-Services oder in C# mithilfe des NuGet Packages Microsoft.ProjectOxford.Vision angesprochen werden. In Listing 2.1 sehen Sie, wie wenige Zeilen Code dafür notwendig sind.string fileName = @"squirrel.jpg";VisionServiceClient service = new VisionServiceClient("xxx");using (var stream = File.OpenRead(fileName)){ var visualFeatures = new [] { VisualFeature.Adult, VisualFeature.Categories, VisualFeature.Color, VisualFeature.Description, VisualFeature.Faces, VisualFeature.ImageType, VisualFeature.Tags }; var result = await service.AnalyzeImageAsync(stream, visualFeatures);}Neben der – im direkten Vergleich fast unspektakulären – OCR-Erkennung (Optical Character Recognition), die ebenfalls als Service angeboten wird, sticht ein sehr praktisches API heraus: der Thumbnail-Service. Aus einem beliebigen Bild wird ein Thumbnail in der gewünschten Größe erzeugt und dabei versucht, den b...

Shortcuts
Cognitive Services

2 Apps mit Augen - das Vision-API

Nachdem wir im letzten Kapitel die Sprach-APIs vorgestellt haben, legen wir diesmal den Fokus auf das Kapitel Vision der Cognitive Services. Unter „Vision“ fasst Microsoft viele spannende APIs zur Analyse von Bildern und Videos zusammen.

Shortcut Autorenteam


Kennen Sie www.how-old.net? Die Website hat sich nach der Build Keynote 2015 rasend schnell verbreitet und für Begeisterung gesorgt: Nach dem Upload eines Porträts wurden das Geschlecht und Alter der abgebildeten Person geschätzt (Abb. 2.1). Für manche schmeichelnd, für viele erschreckend genau. Technologisch steckten dahinter bereits die Vorläufer jener APIs, die jetzt für alle Entwickler unter dem Namen „Cognitive Services“ (früher: Project Oxford) zur Verfügung stehen [1].Computer-Vision-APIDie meisten von uns werden Bildanalyse schnell mit hoch mathematischen Formeln und Mustererkennungsalgorithmen in Verbindung bringen. Das Computer-Vision-API setzt aber auf einem ganz anderen Abstraktionslevel auf. Wenn man ein Bild von einem Eichhörnchen an den Service sendet, kommt als Antwort „a squirrel is sitting on a rock“ und eine prozentuale Wahrscheinlichkeit, wie sehr man der Aussage Vertrauen schenken darf. Darüber hinaus können Tags und Kategorien (Animal, Outdoor etc.), Gesichter inkl. deren Position sowie dominierende Farbwerte abgefragt werden. Für Portale, bei denen Bilder von Benutzern hochgeladen werden, ist die Markierung von potenziell rassistischen oder nicht jugendfreien Inhalten hilfreich.Der Start mit dem Vision-API ist denkbar einfach: Zur Kommunikation wird eine Subscription benötigt, die unter [2] beantragt werden kann. Fünftausend Requests pro Monat (und maximal zwanzig pro Minute) sind kostenlos, ein darüber hinausgehendes Preismodell gibt es bisher aber noch nicht. Mit dem Subscription Key kann die Funktionalität entweder online mittels Testkonsole [3], über REST-Services oder in C# mithilfe des NuGet Packages Microsoft.ProjectOxford.Vision angesprochen werden. In Listing 2.1 sehen Sie, wie wenige Zeilen Code dafür notwendig sind.string fileName = @"squirrel.jpg";VisionServiceClient service = new VisionServiceClient("xxx");using (var stream = File.OpenRead(fileName)){ var visualFeatures = new [] { VisualFeature.Adult, VisualFeature.Categories, VisualFeature.Color, VisualFeature.Description, VisualFeature.Faces, VisualFeature.ImageType, VisualFeature.Tags }; var result = await service.AnalyzeImageAsync(stream, visualFeatures);}Neben der – im direkten Vergleich fast unspektakulären – OCR-Erkennung (Optical Character Recognition), die ebenfalls als Service angeboten wird, sticht ein sehr praktisches API heraus: der Thumbnail-Service. Aus einem beliebigen Bild wird ein Thumbnail in der gewünschten Größe erzeugt und dabei versucht, den b...

Neugierig geworden?


    
Loading...

Angebote für Teams

Für Firmen haben wir individuelle Teamlizenzen. Wir erstellen Ihnen gerne ein passendes Angebot.

Das Library-Modell:
IP-Zugang

Das Company-Modell:
Domain-Zugang