Screaming Frog SEO Spider und SEO Crawler

Screaming Frog SEO Spider Logo

Screaming Frog SEO Spider ist eine SEO-Desktop-Software für Windows und Mac OS. Das Tool für die OnSite-Analyse simuliert den Crawling-Prozess durch Suchmaschinen-Bots und erkennt Fehler im Hinblick auf die Auslesbarkeit von HTML-Elementen, Links, Bildern, CSS und Scripts. Die gesammelten Daten über die SEO-relevanten OnSite-Elemente werden in übersichtlichen Tab-Listen dargestellt, lassen sich individuell filtern und in Excel exportieren. Umfangreiche Voreinstellungen erlauben die individuelle Konfiguration des Crawling-Prozesses: Von der Auswahl der zu crawlenden Seitenelemente über das Auslesen der robots.txt bis hin zur Nichtbeachtung von Nofollow-Links. Auch die Auswahl einzelner Verzeichnisse einer Domain ist möglich. 

In der Ergebnisansicht sind Probleme wie der Statuscode 404 oder eine schlechte interne Verlinkung sofort ersichtlich. Per Mausklick auf die einzelnen Tabs lassen sich alle wichtigen SEO-Informationen zu jeder gecrawlten URL abrufen. Dadurch sind Fehler wie zu lange oder doppelte Titles und Meta Descriptions, mangelhafte H1- und H2-Tags, falsche Canonicals und fehlende Bilder-Alt-Tags auch bei tausenden von Seiten leicht zu erkennen.

Screaming Frog SEO Spider ist bei der täglichen SEO-Arbeit unverzichtbar, um umfangreiche Websites zu prüfen und fehlerhafte Redirects, Seitenduplikate oder Tags aufzuspüren. Das Tool ist benutzerfreundlich, übersichtlich und mit der richtigen Speicherkonfiguration schnell.

SEO-Tipp zu Screaming Frog von Christian Paavo Spieker

Screaming Frog Problem: Speichererweiterung
  1. Um große Websites mit Screaming Frog crawlen zu können, muss der Software mehr Arbeitsspeicher zugewiesen werden. Mein Mac hat zum Beispiel 32 GB RAM - Screaming Frog nutzt davon in der Standardversion lediglich 2 GB und bekommt schon bei einem Seitenumfang von 20.000 zu crawlenden HTML-Seiten Probleme.
  2. Ich habe den Arbeitsspeicher von Screaming Frog auf meinem Mac auf 20 GB erhöht und kann jetzt ohne Probleme Websites mit bis zu 250.000 Seiten crawlen.
  3. Bei MAC OS ist zu beachten, dass es je nach Version unterschiedliche Vorgehensweisen gibt, um dem SEO Spider mehr Arbeitsspeicher zuzuweisen.
  4. Eine detaillierte Anleitung für die Speichererhöhung findet sich bei Screaming Frog.