Web Scraping und DSGVO: was in Deutschland gilt

Die Frage, ob Web Scraping erlaubt ist, wird fast immer falsch gestellt. Sie lautet nicht ob, sondern welches Recht, denn es gelten mindestens vier Regelungsbereiche gleichzeitig, sie beantworten verschiedene Fragen, und die Antworten weisen regelmäßig in unterschiedliche Richtungen.

Eine öffentlich erreichbare Seite kann urheberrechtlich unbedenklich und datenschutzrechtlich problematisch sein. Ein Zugriff kann vertraglich untersagt und dennoch technisch möglich sein. Und ein Vorgehen, das gestern vertretbar war, kann es durch eine Änderung der Nutzungsbedingungen nicht mehr sein.

Dieser Beitrag ordnet die vier Bereiche, benennt für jeden die relevante Frage und beschreibt, wie eine dokumentierte Prüfung aussieht. Er ist keine Rechtsberatung. Er ist der Rahmen, mit dem Sie in ein Gespräch mit Ihrer Rechtsabteilung gehen, ohne bei null anzufangen.

Die vier Bereiche

1. Vertragsrecht: Wozu haben Sie sich verpflichtet?

Der unmittelbarste und am häufigsten übersehene Bereich.

Bei einem angemeldeten Zugang haben Sie Nutzungsbedingungen akzeptiert. Untersagen diese automatisierten Zugriff, ist die Frage vertraglich entschieden, unabhängig davon, was die übrigen drei Bereiche sagen. Bei rein öffentlichem Zugriff ohne Anmeldung ist die Bindungswirkung von Nutzungsbedingungen umstrittener, weil eine wirksame Einbeziehung voraussetzt, dass sie zur Kenntnis genommen werden konnten.

Die praktische Konsequenz ist unbequem, aber klar: Ein Konto zu haben verschlechtert Ihre Position gegenüber dem anonymen Zugriff, weil Sie einer Regelung zugestimmt haben. Genau deshalb ist das Gespräch mit dem Betreiber oft der bessere Weg als der Umweg. Bei einem Lieferantenportal, einem Kundensystem oder einem Partnerdienst besteht eine Geschäftsbeziehung, und ein technischer Zugang ist eine Anfrage, die häufiger bewilligt wird, als Entwicklerteams erwarten.

2. Urheber- und Datenbankrecht: Was entnehmen Sie?

Einzelne Fakten sind nicht urheberrechtlich geschützt. Ein Preis ist ein Preis. Texte, Bilder und Beschreibungen können geschützt sein, und ihre Vervielfältigung ist dann zustimmungspflichtig.

Daneben steht das Schutzrecht des Datenbankherstellers, das eine wesentliche Entnahme aus einer Sammlung auch dann erfasst, wenn kein einzelnes Element geschützt ist. Hier spielt der Umfang eine Rolle, anders als in den übrigen Bereichen: Zehn Datensätze und die vollständige Sammlung sind rechtlich verschiedene Vorgänge.

Für Zwecke des Text- und Data-Minings bestehen im deutschen Urheberrecht Schrankenregelungen, die Vervielfältigungen erlauben. Für kommerzielles Mining kann sich der Rechteinhaber diese Nutzung jedoch vorbehalten, und der Vorbehalt muss bei online zugänglichen Werken maschinenlesbar erklärt sein. Praktisch heißt das: Ein maschinenlesbarer Nutzungsvorbehalt ist zu prüfen und zu beachten, und robots.txt sowie entsprechende Erklärungen in den Nutzungsbedingungen sind genau die Orte, an denen er steht.

3. Datenschutzrecht: Sind Personen betroffen?

Der Bereich, den technische Teams am häufigsten übersehen, weil er unabhängig von den anderen dreien gilt.

Sobald die Daten eine natürliche Person identifizieren oder identifizierbar machen, ist Ihre Erhebung eine Verarbeitung, und sie braucht eine Rechtsgrundlage. Dass die Daten veröffentlicht waren, ist keine Rechtsgrundlage. Es ändert die Erwartung der betroffenen Person, was in eine Interessenabwägung einfließt, aber es ersetzt sie nicht.

In der Praxis stützen sich solche Erhebungen meist auf das berechtigte Interesse, und dann ist die Abwägung zu dokumentieren, bevor erhoben wird und nicht danach. Für die Abwägung erheblich sind unter anderem: Wie umfangreich ist die Erhebung? Werden Profile gebildet? Konnte die betroffene Person mit dieser Verwendung rechnen? Und die Frage, die am häufigsten fehlt: Ist eine Information der betroffenen Person möglich, und wenn nicht, warum nicht?

Was fast immer unterschätzt wird, ist der Umfang des Personenbezugs. Ansprechpartner in Firmenprofilen, Namen von Bearbeitenden in Freigabefeldern, Autorennamen unter Bewertungen, Benutzernamen in Foren. Eine Sammlung, die als reine Unternehmensdatenbank geplant war, enthält am Ende regelmäßig einen erheblichen personenbezogenen Anteil, den niemand geplant hat.

Zwei Pflichten, die daraus unmittelbar folgen und häufig fehlen: eine Löschfrist, die auch tatsächlich ausgeführt wird, und ein Eintrag im Verzeichnis von Verarbeitungstätigkeiten. Beides ist wenig Arbeit und beides ist das Erste, wonach gefragt wird.

4. Zugangsschutz: Haben Sie eine Sperre überwunden?

Diese Linie verändert den Charakter der Frage, und sie ist die einzige der vier, bei der eine deutliche Grenze zwischen Ordnungswidrigkeit und Straftatbestand verlaufen kann.

Eine Seite zu lesen, die Ihnen angezeigt wird, ist etwas anderes, als eine Maßnahme zu überwinden, die Sie davon abhalten soll. Wo genau diese Grenze verläuft, ist nicht in jedem Einzelfall eindeutig, und gerade deshalb ist der vernünftige Umgang, deutlichen Abstand zu halten statt sie auszuloten.

Das ist auch der Grund, warum wir bestimmte Funktionen nicht anbieten. Keine Proxy-Rotation, keine Verschleierung von Browsermerkmalen, kein Lösen von CAPTCHAs. Das ist eine Positionierungsentscheidung: Wenn ein Vorhaben nur im Verborgenen funktioniert, sind wir das falsche Werkzeug, und wir sagen das lieber vor der Integration.

Drei Fälle, die verschieden ausgehen

Der Rahmen wird konkreter, wenn man ihn auf Fälle anwendet, die sich oberflächlich ähneln und rechtlich deutlich auseinanderfallen.

Preisbeobachtung bei öffentlichen Händlershops. Kein angemeldeter Zugang, also keine akzeptierten Nutzungsbedingungen im engeren Sinne. Preise sind Fakten und als solche nicht urheberrechtlich geschützt. Personenbezug fehlt in der Regel vollständig. Die kritischen Punkte sind hier der Umfang, weil eine vollständige Übernahme des Sortiments in die Nähe einer wesentlichen Entnahme rückt, sowie ein etwaiger maschinenlesbarer Nutzungsvorbehalt und die Abrufrate. Ein moderat dimensioniertes Vorhaben mit dokumentierter Prüfung ist der unproblematischste der drei Fälle.

Abruf von Rechnungen aus dem eigenen Lieferantenportal. Angemeldeter Zugang, also gelten die Kontobedingungen unmittelbar. Personenbezug ist fast sicher vorhanden, weil Ansprechpartner und Bearbeitende in solchen Dokumenten stehen. Der Zugangsschutz ist unkritisch, weil Sie berechtigt sind. Entscheidend ist Punkt eins: Was steht in den Bedingungen zum automatisierten Zugriff, und falls dort etwas Ungünstiges steht, ist ein Gespräch mit dem Lieferanten der richtige nächste Schritt und nicht die Suche nach einer technischen Lösung.

Sammeln von Profilen aus einem Karrierenetzwerk. Angemeldeter Zugang mit typischerweise ausdrücklichem Verbot automatisierter Erhebung. Vollständiger Personenbezug in nahezu jedem Feld. Eine strukturierte Sammlung, an der ein Datenbankschutzrecht in Betracht kommt. Und Zugangsschutzmaßnahmen, die aktiv gegen genau diesen Zugriff gerichtet sind. Alle vier Bereiche weisen in dieselbe Richtung, und das ist der Fall, den Anbieter von Umgehungswerkzeugen bewerben und über den wir nicht sprechen, weil wir dafür nichts anbieten.

Der Vergleich zeigt, warum eine pauschale Antwort nicht existieren kann: Dieselbe Technik, drei völlig verschiedene Bewertungen, und der Unterschied liegt in keinem einzigen Fall an der Technik.

Ein Prüfrahmen, der eine Stunde kostet

Die vier Bereiche als Ablauf, mit einem Ergebnis, das Sie ablegen können. Die Dokumentation ist der eigentliche Wert: Sie macht aus einer Ermessensentscheidung eine begründete.

Erstens, die Quelle beschreiben. Adresse, Betreiber, öffentlich oder angemeldet, und wenn angemeldet: auf welcher vertraglichen Grundlage besteht das Konto.

Zweitens, die Bedingungen lesen und den Befund festhalten. Nutzungsbedingungen, robots.txt, etwaige Nutzungsvorbehalte. Datum notieren, denn diese Dokumente ändern sich, und der Befund von heute belegt nichts über den Zustand in einem Jahr.

Drittens, die Felder einstufen. Gehen Sie die geplante Feldliste durch und markieren Sie jedes Feld, das eine Person identifizieren kann, einschließlich der mittelbaren Fälle. Das ist der Schritt, der die meisten Überraschungen produziert.

Viertens, den Umfang benennen. Wie viele Datensätze, wie oft, welcher Anteil der Sammlung. Für die Frage des Datenbankschutzes ist das die entscheidende Angabe.

Fünftens, Rechtsgrundlage und Frist festlegen. Wenn personenbezogene Daten dabei sind: worauf stützen Sie sich, und wann wird gelöscht. Eine Frist, die niemand ausführt, ist keine Frist.

Sechstens, die Abrufrate festlegen und begründen. Nicht rechtlich zwingend und dennoch relevant, weil eine unangemessene Last die Bewertung des gesamten Vorgehens verändert und im Extremfall eine eigene Qualität annimmt.

Siebtens, den Auftragsverarbeiter dokumentieren. Läuft der Browser bei einem Dienstleister, ist das eine Auftragsverarbeitung: Vertrag nach Artikel 28, Unterauftragnehmerliste, technische und organisatorische Maßnahmen, Löschfristen. Ein normaler Vorgang, der dokumentiert gehört. Was dabei sonst noch zu klären ist, steht in unserem Beitrag zur digitalen Souveränität bei KI-Agenten.

Sieben Punkte, eine Stunde, ein abgelegtes Dokument. Verglichen mit dem, was es kostet, diese Fragen erstmals in einer Prüfung zu beantworten, ist das ein guter Tausch.

Die Abrufrate ist auch ein rechtliches Thema

Technische Teams behandeln die Anfragerate als Optimierungsfrage. In dieser Betrachtung ist sie das nicht allein.

Eine Abrufrate, die ein fremdes System spürbar belastet, verändert die Bewertung des gesamten Vorgehens. Sie wandert in jede Interessenabwägung ein, sie liefert dem Betreiber ein Argument, das er ohne sie nicht hätte, und in ausgeprägten Fällen kann eine Beeinträchtigung der Verfügbarkeit eine eigene Qualität annehmen, die mit der Frage nach den Daten nichts mehr zu tun hat.

Umgekehrt ist eine dokumentiert zurückhaltende Rate eines der wirksamsten Argumente, die Sie führen können. Sie ist belegbar, sie ist billig, und sie zeigt eine Haltung, die in jeder Abwägung zu Ihren Gunsten wirkt.

Drei Praktiken, die zusammen weniger als einen Tag Arbeit sind:

Eine Obergrenze je Host, nicht global. Eine globale Grenze schützt niemanden: Hundert Anfragen pro Sekunde auf zwei Hosts sind fünfzig je Host. Maßgeblich ist die Belastung, die der einzelne Betreiber erlebt.

Ein identifizierbarer User-Agent mit Kontaktmöglichkeit. Wer Sie erreichen kann, bittet Sie meist um Zurückhaltung, bevor er sperrt. Das ist für beide Seiten das bessere Ergebnis und dokumentiert zugleich, dass Sie sich nicht verborgen haben.

Eine Reaktion auf steigende Antwortzeiten. Wird das fremde System langsamer, ist das eine Rückmeldung. Automatisch zurückzugehen ist wenig Code und der Unterschied zwischen einem Abruf und einem Vorfall.

Was ein KI-Agent daran ändert

Zwei Dinge, und beide werden übersehen.

Der Seiteninhalt geht an ein Modell. Ein Agent sendet in jedem Zug eine Darstellung der Seite an einen Inferenz-Endpunkt, um über den nächsten Schritt zu entscheiden. Enthält die Seite personenbezogene Daten, ist der Modellanbieter ein weiterer Empfänger dieser Daten. Das gehört ins Verzeichnis, und wenn der Endpunkt außerhalb der EU liegt, haben Sie mitten im Ablauf eine Drittlandübermittlung, die auf keinem Diagramm steht.

Die Aufzeichnung ist eine zweite Kopie. Ein Mitschnitt einer angemeldeten Sitzung enthält alles, was auf dem Bildschirm zu sehen war. Für die Fehlersuche wertvoll und zugleich ein weiterer Speicher derselben Inhalte, meist mit eigener Frist. Kurze Aufbewahrung ist hier die wirksamste Maßnahme, weil nicht gespeicherte Daten weder herausgegeben noch abfließen können.

Fünf verbreitete Irrtümer

Öffentlich heißt frei verwendbar. Nein. Öffentliche Erreichbarkeit sagt etwas über den Zugang und nichts über die zulässige Nutzung.

Wir speichern keine Namen, also ist es kein Personenbezug. Der Personenbezug entsteht durch Identifizierbarkeit, nicht durch das Feld Name. Eine Kombination aus Firma, Funktion und Standort identifiziert häufig eine bestimmte Person.

robots.txt ist rechtlich unverbindlich, also irrelevant. Die Bindungswirkung ist umstritten, die Beweiswirkung nicht. Eine dokumentierte Missachtung ist der deutlichste Beleg für Unredlichkeit, den man über den eigenen Betrieb liefern kann, und sie wirkt in jede Abwägung hinein.

Ein US-Anbieter mit EU-Region genügt. Die Region beschreibt den Serverstandort. Die Frage, welche Rechtsordnung Herausgabe verlangen kann, folgt dem Unternehmenssitz.

Wir haben eine Einwilligung, weil die Seite ein Cookie-Banner hat. Das Banner betrifft das Verhältnis zwischen Betreiber und Besucher. Es sagt nichts über Ihre Erhebung.

Kurz gefasst

Es gibt keine pauschale Antwort auf die Frage, ob Web Scraping erlaubt ist, und wer eine anbietet, hat mindestens einen der vier Bereiche nicht betrachtet.

Es gibt aber einen belastbaren Umgang damit: die vier Bereiche einzeln prüfen, den Befund mit Datum ablegen, die Rate niedrig halten, die Löschfrist ausführen, und dort, wo eine Geschäftsbeziehung besteht, den offiziellen Weg gehen statt des technischen Umwegs.

Der letzte Punkt ist der unterschätzte. In den meisten Fällen, in denen Unternehmen automatisiert auf fremde Systeme zugreifen, besteht eine Beziehung zum Betreiber. Ein technischer Zugang, ein Servicekonto oder eine Freigabe ist dann kein Umweg, sondern die Abkürzung. Wie eine solche Automatisierung praktisch aussieht, beschreibt der Beitrag zu Lieferantenportalen.