Bildschirm in Echtzeit "scannen"

Diese Seite verwendet Cookies. Durch die Nutzung unserer Seite erklären Sie sich damit einverstanden, dass wir Cookies setzen. Weitere Informationen

  • Bildschirm in Echtzeit "scannen"

    Es gibt einige Apps welche einen gewissen Teil des Bildschirms in Echtzeit scannen oder auf Objekte überprüfen können.
    Als Beispiel was wohl jeder drauf hat kann ich da das "Digital Color Meter" von Apple selbst nennen. Man fährt mir der Maus ob seinen Bildschirm und ohne wirkliche Verzögerung teilt mir das Programm mit welche Farbe das ist auf die meine Maus da zeigt.
    Auch im App Store gibt es einige Programme die sowas, oder sowas ähnliches tun.
    Ich frag mich jetzt schon seit längerem wie das möglich ist. Natürlich könnte ich einfach einen Screenshot von einem gewissen Bildbereich machen und diesen dann "analysieren", aber das wäre doch sicher niemals so flüssig und ohne Verzögerung machbar.
    Mir fehlt hier irgendwie der Ansatz wie sich sowas realisieren lässt, hat hier vielleicht jemand eine Idee?
  • Im Prinzip funktioniert das genauso, wie du das beschreibst. Das Digital-Color-Meter braucht dabei nur einzelne Pixelchen zu berücksichtigen. Das geht aber auch mit größeren Bereichen. Es gibt ja auch viele iOS Apps, die per OCR irgendwelche Texte aus Fotos erkennen. Die Frage ist dabei halt eher, wie Pixel möglichst effizient analysiert. Für OCR gibt's da fertige Pakete (z.B. Tesseract). Objekterkennung kann man beispielsweise mit OpenCV oder auch CoreML machen.

    Wenn du „Objekte“ (z.B. Fenster, Icons) auf dem Bildschirm erkennen willst, gibt's vielleicht auch noch schnellere Wege (z. B. über Bedienungshilfen).

    Apple bietet auch einigen Source-Code, wie man die Pixel von Screen liest. (z. B. ScreenSnapshot).
    „Meine Komplikation hatte eine Komplikation.“