robots.txt viewer

Cover Image

Nachdem meine IP Extension mehr oder weniger gut angenommen wurde, habe ich mich im Sommer 2016 an die robots-viewer Extension gewagt. Die Extension richtet sich an Webmaster, Suchmaschinenoptimierer und Marketeer.

Die Extension dient für einen schnellen Einblick in die robots.txt Dateien auf Webseiten. Die sogenannten "robots.txt" Textdateien dienen Bots und Crawler als Regelwerk und sagen ob und welche Seiten indexiert werden dürfen und welche nicht. Das ist gerade für die großen Suchmaschinen wie Google, Bing, Yahoo! und Yandex wichtig, aber auch viele kleine Tools wie Backlinkchecker achten auf die robots.txt Datei. Meine Extension ist im Grund genommen nichts anderes als ein kleines Popup das den Inhalt der Robots Datei ausgiebt.

Funktionsprinzip der Extension

Sobald das Extension Icon in Chrome angeklickt wird sendet meine robots-viewer Extension im Hintergrund eine Anfrage an meinem Server mit der aktuell aufgerufenen Domain. Ein selbst programmiertes Skript prüft und parsed den Inhalt der robots.txt Datei und gibt im Regelfall den Inhalt zurück. Existiert keine Robots Datei, ist diese leer oder der Inhalt nicht valide wird eine entsprechender Hinweis in dem Extension Popup ausgegeben.

Damit der Server keine dauerhaften oder unnötigen Anfragen an andere Webseiten sendet, wird innerhalb 10 Minuten auf den zwischengespeicherten Inhalt von der robots.txt Datei zurückgegriffen. Das steigt die Performance und verhindert ungewollt Hohe Anfragen vom Server.

Archiv

Seit der Version 1.2.5 (Veröffentlicht: Dezember 2016) werden die aufgerufenen Robots Dateien auf dem Server gespeichert. So lässt sich herausfinden, ob und wann der Inhalt zuletzt geändert wurde. Eine allgemein Historie mit den letzten 50 öffentlichen Anfragen ist unter robots-viewer.de/history zu finden. Einzelne Archivierte Inhalte sind unter jeder Domain Abfrage gelistet, Beispiel: robots-viewer.de/domain/www.nokes.de

Datenschutz

In der Vergangenheit wurde immer bewiesen das einige anhand von Browser Erweiterungen Ihre Nutzer aussionieren. So auch WOT oder Awesome Screenshot. Aus diesem Grund lege ich offen welche Daten an den Server gesendet werden. Die Anfrage Query ist wie folgt aufgebaut: domain=https:/www.nokes.de&private=0&referrer=1

Diese setzt sich zusammen aus:

  • domain = Die aufgerufene Domain des aktuellen Browser Tabs
  • private = Ist die Anfrage privat oder öffentlich (Siehe Extension Optionen)
  • referrer = Kommt die Anfrage von der Extension oder von der Webseite (robots-viewer.de/check)

STATISTIKEN

Auf der Seite robots-viewer.de/statistics gibt Statistiken zur Benutzung.

INSTALLATION

Die Extension kann im Google Chrome Webstore direkt installiert werden. Ein Browser Neustart ist nicht erforderlich.

Changelog

Die Änderungenliste ist unter robots-viewer.de.de/changelog zu finden.