© istockphoto.com/AdrianHillman
Zu hohen Suchmaschinentraffic effizient reduzieren

Digital Performance Management


„Rund die Hälfte unseres Datencenters läuft nur für Bots“, sagen viele CTOs und Performanceexperten. Doch wie geht man mit Suchmaschinentraffic und Bots um, wenn diese in Spitzenzeiten schon einen Großteil der Ressourcen auffressen und damit die Performance für reale User beeinflussen? Lässt sich „guter“, gewünschter Traffic von „bösem“, überflüssigem unterscheiden, messen, analysieren und dann verhindern? Was kann man mithilfe von Web-Analytics- und Anwendungsperformancetools erreichen? Lassen sich der Bot-Traffic reduzieren und die Systeme schützen, ohne das Ranking der Websites in den Ergebnislisten zu beeinträchtigen?

Suchmaschinenoptimierung (SEO) ist schon auf inhaltlicher Ebene ein Buch mit sieben Siegeln, da Google seine Algorithmen weitgehend geheim hält und ständig aktualisiert. So können Content Manager und Redakteure nur auf Erfahrungen und ihren gesunden Menschenverstand vertrauen – oder Anzeigenplätze kaufen. Für Administratoren besitzt SEO eine ganz andere Bedeutung. Denn Suchmaschinen erzeugen heute einen großen Teil des Datenverkehrs in Rechenzentren. Ihre Webcrawler durchsuchen ständig das World Wide Web und analysieren permanent sämtliche Webseiten für eine möglichst aktuelle Indexierung. Doch wie groß ist der dadurch verursachte Datentraffic tatsächlich?

Um dies herauszufinden, hat das IT-Unternehmen Dynatrace eine stichprobenartige Untersuchung bei verschiedenen Kunden auf Basis seiner Performance-Monitoring-Lösungen vorgenommen. Im ersten Schritt sprach es mit verschiedenen Betreibern und CTOs darüber, wie sie das Problem der Suchmaschinenroboter einschätzen. Die ersten Antworten deuten darauf hin, dass sie tatsächlich eine erhebliche Herausforderung darstellen, da durchschnittlich etwas mehr als die Hälfte des Datenverkehrs im Rechenzentrum von ihnen verursacht wird. Um diese Vermutung zu erhärten, wurden konkrete Analysen durchgeführt. Diese zeigen folgende Ergebnisse (Abb. 1 und 2).

enzenhofer_googlebots_1.tif_fmt1.jpgAbb. 1: Datentraffic bei BVA Auctions: 67 Prozent durch Suchmaschinen erzeugt, 33 Prozent von echten Nutzern
enzenhofer_googlebots_2.tif_fmt1.jpgAbb. 2: Datentraffic bei Prep Sportswear: nur 60 Prozent durch Suchmaschinen erzeugt, 40 Prozent von echten Nutzern

Auch bei den Kristall- und Schmuckherstellern Swarovski zeigt sich, dass in Spitzenzeiten fast 70 Prozent der Performance von Bot-Anfragen verursacht wurde.

Nach diesen ersten Ergebnissen prüfte Dynatrace auf den eigenen Blogseiten die Menge des Traffics durch Suchmaschinen-Robots (Abb. 3). Obwohl sich die Inhalte dort nicht sehr ...

Neugierig geworden?

Angebote für Teams

Für Firmen haben wir individuelle Teamlizenzen. Wir erstellen Ihnen gerne ein passendes Angebot.

Das Library-Modell:
IP-Zugang

Das Company-Modell:
Domain-Zugang