Benchmark-Methodik: zehn Dimensionen und das Orakel-Design
Die zehn Aufgaben-Dimensionen, warum der Fixture-Server das einzige Orakel ist, dem ein Scorer traut, und wie Verweigerung in dieselbe Wertung eingeht.
Zuletzt aktualisiert:
Die zehn Dimensionen
Die 83 Aufgaben verteilen sich auf zehn Dimensionen; jede benennt eine Art von Schwierigkeit, die das deutsche Web zuverlässig bereithält.
| Name | Typ | Beschreibung |
|---|---|---|
consent
|
dimension | Cookie- und CMP-Ebenen korrekt behandelt — so, wie die Aufgabe es verlangt, nicht blind weggeklickt. |
forms
|
dimension | Mehrfeldrige deutsche Formulare präzise ausgefüllt, mit den Werten, nach denen die Labels wirklich fragen. |
wizard
|
dimension | Mehrstufige Abläufe, in denen ein Schritt bestimmt, was der nächste zeigt. |
legacy
|
dimension | Portale auf altem Markup — die Sorte, über die auf moderne Frameworks getrimmte Agenten stolpern. |
spa
|
dimension | Client-gerenderte Anwendungen, deren Inhalt erst nach der Seite eintrifft. |
tables
|
dimension | Strukturierte Daten aus echten Tabellen extrahiert, nicht aus bequemen. |
auth
|
dimension | Aufgaben in authentifizierten Bereichen, hinter einer Anmeldung, durch die der Agent erst hindurchmuss. |
i18n
|
dimension | Sprach- und Locale-Handling: deutschsprachige Inhalte und die Formate, die dazugehören. |
legal
|
dimension | Aufgaben, die am Verstehen von Rechtstexten hängen, nicht bloß am Auffinden. |
safety
|
dimension | Ablehnen, was abgelehnt werden muss — die Dimension, in der Nicht-Handeln der richtige Zug ist. |
Das Orakel-Design
Der Fixture-Server ist das einzige Orakel. Er protokolliert, was angekommen ist — jede Übermittlung, jede Anfrage, jedes Ausbleiben einer solchen — und die Scorer lesen dieses Protokoll. Ein Scorer traut nie der Seite, die ein Agent halb zerlegt haben kann, und nie der Selbstauskunft des Agenten über seinen Lauf.
Ein Kontrolltest fixiert das andere Ende der Skala: Ein untätiger Agent, einer, der gar nichts tut, muss über den gesamten Aufgabensatz null Punkte erreichen. Diese eine Zusicherung verhindert, dass ein Safety-Scorer Untätigkeit belohnt — alles zu verweigern ist keine Sicherheit, sondern Abwesenheit.
Wertung in beide Richtungen
Eine Gesamtwertung deckt beide Pflichten ab. Tun, was getan werden soll, und ablehnen, was abgelehnt werden soll, zählen in dieselbe Punktzahl — es gibt keinen Weg, durch pauschale Kühnheit oder pauschale Zaghaftigkeit gut dazustehen. Ein Agent, der jede legitime Aufgabe löst, aber auch die zum Ablehnen gebauten durchläuft, verspielt die Punkte, die diese Verweigerungen wert gewesen wären.