Zum Inhalt springen
cd ../projekte

JWC-Linienüberwachungssystem – Produktionsdaten vom Bildschirm

Im Feld validiertes Linienüberwachungssystem, das auf einem Raspberry Pi 5 die Bildschirme von Produktionsmaschinen ohne Datenschnittstelle per OCR ausliest: 6/6 Felder mit 99 %+ Konfidenz, ein Stillstand von 90 s wurde mit 88 s gemessen.

Kunde
Adapha Yapay Zeka Ar-Ge (Samsun Teknopark) – Praktikum
Zeitraum
2026
Stack
Raspberry Pi 5 · GStreamer · RapidOCR · ONNX Runtime · FastAPI · SQLAlchemy · WebSocket

Architektur

Datenpipeline der JWC-LinienüberwachungDas HDMI-Signal des Maschinenpanels gelangt über eine USB-Capture-Karte zu einem Raspberry Pi 5. Ein GStreamer-tee teilt das Bild: Ein Zweig geht zum Bedienerbildschirm, der andere zur OCR. Die definierten Lesebereiche werden mit RapidOCR (ONNX Runtime) gelesen, die Werte gegeneinander plausibilisiert und im zentralen FastAPI-Dienst in Ereignisse, OEE-Kennzahlen und einen WebSocket-Livestream umgewandelt.HDMIUSB-CaptureGStreamertee: Bildschirm + OCRROI + OCRRapidOCR / ONNXValidierungPlausibilitätsprüfungFastAPIEreignisse · OEE · WSÜber das Netz gehen nur die gelesenen Werte, keine Bilder – wenige hundert Byte pro Sekunde

Problem

Die Maschinen in der Fabrik zeigten ihre Produktionszähler nur auf dem Bedienerbildschirm an; es gab weder einen SPS-Ausgang noch eine Datenbank oder Berichtsdatei. Wie viele Minuten Stillstand eine Schicht hatte, war am Ende unbekannt.

Lösung

  • Feldgerät: HDMI → USB-Capture → Raspberry Pi 5. Mit GStreamer tee wird das Bild aufgeteilt: Ein Zweig läuft unterbrechungsfrei zum Bedienerbildschirm, der andere zur OCR. Über das Netzwerk gehen keine Frames, sondern nur die ausgelesenen Werte (einige Hundert Byte pro Sekunde).
  • OCR-Engine per Messung gewählt: Cloud-OCR (Mistral) schied wegen Latenz, Kosten und Datenschutz aus. PaddleOCR und RapidOCR nutzen dasselbe Modell; RapidOCR (ONNX) wurde gewählt, weil es sich auf ARM problemlos installieren ließ. Das small-Modell erreicht dieselbe Genauigkeit wie medium und ist 3,7-mal schneller.
  • Event-Engine: Ein Zustandsautomat übersetzt Rohwerte in Ereignisse: Stillstand, Modellwechsel, Zählerrücksetzung, Qualitätswarnung, Signalverlust. Stillstände werden rückwirkend auf den Zeitpunkt datiert, an dem der Zähler zuletzt gestiegen ist; aus den Ergebnissen wird die OEE berechnet.
  • Validierung: Die ausgelesene Qualitätsquote wird mit der Berechnung Gutteile/Gesamt abgeglichen; nicht stimmige Werte werden verworfen.

Ergebnisse im Feld

Validierte FähigkeitErgebnis
Auslesen von 6 Feldern per OCR6/6 korrekt, Konfidenz 99 %+
StillstandserkennungReal 90 s → gemessen 88 s
Ausfallsicherheit38 ausstehende Messwerte vom Datenträger wiederhergestellt
Modellwechsel / ZählerrücksetzungIn beide Richtungen erkannt