ToS Risk Guard – Risikoanalyse von Verträgen mit Zitatbeleg
Chrome-Erweiterung, die riskante Klauseln in Nutzungsbedingungen und Datenschutzerklärungen ausschließlich mit wörtlichen Zitaten aufzeigt: „ein KI-System, das der KI nicht vertraut“. 95 % Präzision bei 6 realen Verträgen; 4 von 4 versteckten Prompt-Injection-Versuchen erkannt.
- Zeitraum
- 2026
- Stack
- Chrome Extension (MV3) · Gemini API · JSON Schema · Cypress
Problem
Kaum jemand liest einen Vertrag, bevor er das Kästchen „Ich stimme zu“ anklickt. ToS Risk Guard erfasst den Text, sobald eine Seite mit Nutzungsbedingungen, einer Datenschutzerklärung oder Abonnementbedingungen geöffnet wird, und erklärt riskante Klauseln in einfachem Türkisch.
Designprinzip: ein LLM-System, das dem LLM nicht vertraut
- Jede Aussage mit Zitat: Jede riskante Klausel wird mit einem wörtlichen Zitat aus dem Vertrag belegt. Aussagen, deren Zitat sich im Originaltext nicht findet, werden aussortiert, ohne dem Nutzer je angezeigt zu werden.
- Der Score kommt aus dem Code: Der Risiko-Score (0–100) stammt nicht vom LLM, sondern wird ausschließlich aus verifizierten Klauseln mit festen Gewichten berechnet.
- Kein Freitext: Die LLM-Ausgabe wird über ein JSON-Schema abgefragt und anschließend deterministisch erneut validiert.
- Prompt Injection wird herausgefiltert: Auf der Seite versteckte „Anweisungen an die KI“ werden entfernt, bevor sie das LLM erreichen, und dem Nutzer als Warnung angezeigt.
- Unsicherheit wird benannt: Ist sich das System nicht sicher, teilt es dies mit Begründung mit: „Geringe Konfidenz – das System ist sich nicht sicher“.
Evaluation
Mini-Evaluation an 6 realen Verträgen (Netflix, Spotify, YouTube, Zoom, GitHub, Dropbox):
| Kennzahl | Ergebnis |
|---|---|
| Präzision (Precision) | 95 % – 95 % der angezeigten Klauseln sind korrekt |
| Trefferquote (Recall) | 51 % – etwa die Hälfte der Klauseln wird übersehen |
| Trefferquote mit stärkerem Modell | 62 %, aber die Analyse ist 10- bis 60-mal langsamer |
| Versteckte Prompt Injection | 4 von 4 Versuchen erkannt, der Score ließ sich nicht manipulieren |
Jede übersehene Klausel und jeden Fehlalarm habe ich im Repository einzeln aufgeführt; auch die Schwächen des Systems sollten sichtbar sein.
Eingesetzte Technik
Chrome Extension (Manifest V3), Gemini API, die Open-Source-Bibliothek page-agent von Alibaba (nur lesend, nach dem Prinzip der minimalen Rechte), Validierung per JSON-Schema, End-to-End-Tests und Demo-Aufzeichnung mit Cypress.
Die Anwendung bietet keine Rechtsberatung; sie ist lediglich ein Werkzeug zur ersten Durchsicht.
Für die Anregungen danke ich Dr. Nurettin Şenyer.