Alle Links einer Webseite auslesen, samt Sitemap

Wer nach einem Link-Extraktor sucht, will meist eins von drei Dingen: eine Bestandsaufnahme vor einer Migration, eine Startliste für einen Crawl oder einen Agentenlauf, oder einen schnellen Blick darauf, wohin eine Seite ihre Besucher schickt. Alle drei entstehen aus denselben zwei Abrufen, und keiner davon braucht einen Browser.

Bestandsaufnahme

Die Sitemap-Liste ist die eigene Aussage der Website darüber, was sie enthält, mit einem lastmod je URL, wo die Seite sich die Mühe macht. Als CSV exportiert ist sie der Ausgangspunkt für eine Redirect-Tabelle, ein Content-Audit oder den Abgleich mit dem, was die Search Console als indexiert meldet. Die Link-Liste der Startseite ist die Gegenprobe: was die Website einem Besucher beim Ankommen tatsächlich zeigt. URLs, die in der Sitemap stehen, aber von keiner Seite verlinkt sind, und Links auf der Startseite, die die Sitemap auslässt, verdienen beide einen zweiten Blick.

Startliste

Ein Agent, der jede Produktseite oder jeden Hilfeartikel besuchen soll, braucht eine Liste zum Abarbeiten. Die Sitemap liefert sie mit einer Anfrage und, nach Pfad gefiltert, je Bereich. Der JSON-Export ist so geschnitten, dass er in den Loop-Block eines Workflows passt: ein Array aus Objekten mit url und lastmod, sonst nichts.

Wohin die Seite Besucher schickt

Die externe Gruppe der Link-Liste ist die Menge der Dritten, die ein Besucher mit einem Klick erreicht: Partner, soziale Netzwerke, Zahlungsanbieter, Tracking-Weiterleitungen. Das ist eine statische Sicht aus dem HTML. Wo ein Bedienelement sein Ziel erst beim Klick per Skript bestimmt, sieht dieses Tool das Ziel nicht; die Formularziel-Prüfung lädt die Seite in einem echten Browser und meldet, wohin jedes Element tatsächlich führt.

Was nicht beurteilt wird

Nichts wird bewertet. Ein Link steht mit Gruppe und Ankertext in der Liste, nicht mit einer Meinung dazu, ob es ihn geben sollte. Kaputte Links werden nicht erkannt, weil kein Link verfolgt wird. Seiten, deren Navigation erst per JavaScript entsteht, zeigen weniger Links als ein Besucher sieht, und das Ergebnis merkt an, wenn das HTML im Verhältnis zu seiner Größe sehr wenige Anker enthielt. Eine Website, die einfache HTTP-Clients abweist, liefert, was sie liefert, und genau das wird angezeigt.

Das geladene HTML und die geparste Sitemap werden nach der Antwort verworfen. Es bleibt ein Eintrag im Nutzungsjournal mit Zeitstempel und Größe, wie in der Datenschutzerklärung beschrieben; die eingegebene URL und die zurückgegebenen Listen werden nicht gespeichert.