Webseite zu Text: den Inhalt einer URL als Text oder Markdown holen

Das ist das schnellste Tool auf dieser Seite, weil es am wenigsten tut. Der Server ruft die URL wie ein gewöhnlicher HTTP-Client ab, parst das HTML, entscheidet, welcher Teil des Dokuments Inhalt und welcher Teil Mobiliar ist, und serialisiert den Inhalt als Text oder Markdown. Kein Browser startet, kein Skript der Seite läuft. Deshalb kommt bei den meisten Seiten die Antwort in deutlich unter einer Sekunde, und deshalb kommt bei manchen Seiten fast nichts.

Was behalten wird

Die Inhaltsheuristik bewertet Blöcke des Dokuments nach Textdichte, Linkdichte und Position, so wie es Readability-artige Extraktoren seit fünfzehn Jahren tun. Überschriften, Absätze, Listen, Zitate, Tabellen und Codeblöcke innerhalb der gewinnenden Region bleiben. Der Markdown-Modus erhält ihre Struktur mit ATX-Überschriften, GFM-Tabellen und eingezäuntem Code; der Textmodus macht Absätze mit Leerzeilen daraus. Menüs, Cookie-Hinweise, Teilen-Leisten, Artikelempfehlungen und Footer fallen weg. Bilder werden durch ihren Alt-Text ersetzt, wo einer existiert, sonst durch nichts.

Die Tokenschätzung

Die Zahl neben der Ausgabe ist Zeichen geteilt durch vier und heißt absichtlich Schätzung. Tokenizer unterscheiden sich je Modell, und deutscher Text mit langen Komposita tokenisiert schlechter als englischer. Die Zahl soll den Unterschied zwischen einem Artikel mit 2.000 Tokens und einem Forenthread mit 40.000 sichtbar machen, bevor einer von beiden im Kontextfenster landet, nicht als Abrechnungsgrundlage dienen.

Wo das Tool an seine Grenze kommt

Eine Seite, die ihren Inhalt erst per JavaScript nachlädt, eine Seite hinter einem Login, eine Seite, die statt des Artikels eine Consent-Wand ausliefert, bis jemand klickt: Alle drei liefern ein Gerippe, weil der Server sieht, was ein Client ohne JavaScript sieht. Das Ergebnis sagt das, wenn der extrahierte Inhalt im Verhältnis zum HTML verdächtig kurz ist, und bietet an, dieselbe URL im Agentenblick zu öffnen. Der lädt sie in einem echten Browser, beantwortet das Cookie-Banner und liest die Seite so, wie ein Agent sie liest. Das kostet eine Browser-Session und ein paar Sekunden; dieser Weg hier kostet nur einen Abruf.

Transkribiert wird nicht. Ein Link auf ein Video, einen Podcast oder ein PDF liefert den Text, der auf der Seite um das Medium herumsteht, meist Titel und Beschreibung. Das Medium selbst wird nicht geladen.

Nichts bleibt liegen

Das geladene HTML und der extrahierte Text existieren für die Dauer einer Anfrage. Das Nutzungsjournal hält fest, dass ein Abruf stattfand, wann und wie groß die Antwort war, wie in der Datenschutzerklärung beschrieben. Die eingegebene URL und der zurückgegebene Text werden nirgends geschrieben.