DE102022110349A1

DE102022110349A1 - Verfahren und Vorrichtung zur Überwachung von Objekten

Info

Publication number: DE102022110349A1
Application number: DE102022110349.8A
Authority: DE
Inventors: Mohamed Kari; David Bethge
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2022-04-28
Filing date: 2022-04-28
Publication date: 2023-11-02

Abstract

Verfahren und Vorrichtung (100) zur Überwachung von Objekten, wobei die Vorrichtung (100) dazu eingerichtet einem Nutzer (102) einer Anzeige (104) für eine virtuelle Realität ein Umgebungsbild, das eine Abbildung zumindest eines Teils des Objekt (106) umfasst, in der Anzeige anzuzeigen, eine Eingabe des Nutzers (102) zu erfassen, mit der das Objekt (106) definiert wird, in einem Umgebungsbild, das eine Abbildung zumindest eines Teils des Objekts (106) und eine Abbildung zumindest eines Teils einer Person (108), insbesondere einer Hand (110) der Person (108), umfasst, einen Abstand (112) zwischen dem Objekt (106) und der Person (108) zu erkennen und wenn der Abstand (112) einen vorgegebenen Abstandschwellwert unterschreitet, eine Benachrichtigung in der Anzeige (104) anzuzeigen oder über einen akustischen oder haptischen Aktuator auszugeben.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Überwachung von Objekten.
US 20190385368 A1 offenbart ein System für virtuelle Realität, VR, das eingerichtet ist, reale Umgebungsbilddaten eines definierten Umgebungsbereichs in einer VR-Umgebung anzuzeigen.
Durch die Vorrichtung und das Verfahren gemäß den unabhängigen Ansprüchen kann ein Nutzer beim Einsatz einer VR-Brille in öffentlichen Räumen durch den Nutzer Objekte, z.B. seine persönlichen Gegenstände, im Blick behalten. Beispielsweise kann der Nutzer mit einem virtuellen Desktop, der auf der VR-Brille ohne Einblendung von realen Umgebungsbilddaten angezeigt wird, arbeiten und trotzdem auf seinen Rucksack aufpassen. Die Vorrichtung ist als ein Diebstallwarnsystem einsetzbar.
Die Vorrichtung ist dazu eingerichtet einem Nutzer einer Anzeige für eine virtuelle Realität ein Umgebungsbild, das eine Abbildung zumindest eines Teils eines Objekt umfasst, in der Anzeige anzuzeigen, eine Eingabe des Nutzers zu erfassen, mit der das Objekt definiert wird, in einem Umgebungsbild, das eine Abbildung zumindest eines Teils des Objekts und eine Abbildung zumindest eines Teils einer Person, insbesondere einer Hand der Person, umfasst, einen Abstand zwischen dem Objekt und der Person zu erkennen und wenn der Abstand einen vorgegebenen Abstandschwellwert unterschreitet, eine Benachrichtigung in der Anzeige anzuzeigen oder über einen akustischen oder haptischen Aktuator auszugeben.
Die Benachrichtigung umfasst vorzugsweise die Abbildung zumindest eines Teils des Objekts und die Abbildung zumindest eines Teils der Person aus dem Umgebungsbild, mit dem der Abstand bestimmt wurde, oder zumindest einen Teil eines danach erfassten Umgebungsbildes.
Vorzugsweise ist die Vorrichtung dazu ausgebildet, im Umgebungsbild, das die Abbildung des zumindest einen Teils des Objekts und die Abbildung des zumindest einen Teils einer Person umfasst, eine Position des Objekts zu erkennen, eine Position des zumindest einen Teils der Person zu erkennen, und den Abstand abhängig von den erkannten Positionen zu bestimmen.
Die Vorrichtung ist vorzugsweise dazu ausgebildet, die Abbildung des zumindest einen Teils des Objekt von einer Abbildung seiner Umgebung im Umgebungsbild abzugrenzen.
Die Vorrichtung umfasst vorzugsweise ein Umgebungskamerasystem, das dazu ausgebildet ist, das Umgebungsbild aufzuzeichnen.
Die Vorrichtung ist vorzugsweise dazu ausgebildet, kontinuierlich Umgebungsbilder zu erfassen und Positionen von Personen insbesondere von Händen der Personen, in den erfassten Umgebungsbildern zu erkennen.
Die Vorrichtung ist vorzugsweise dazu ausgebildet, kontinuierlich den Abstand abhängig von den erkannten Positionen zu bestimmen.
Die Vorrichtung ist vorzugsweise dazu ausgebildet, anschließend an eine Definition des Objekts durch die Eingabe des Nutzers, eine kontinuierliche Anzeige einer virtuellen Realität ohne eine Einblendung einer Abbildung des Objekts auf der kontinuierlichen Anzeige zu beginnen.
Das Verfahren sieht vor, dass einem Nutzer einer Anzeige für eine virtuelle Realität ein Umgebungsbild, das eine Abbildung zumindest eines Teils des Objekt umfasst, in der Anzeige angezeigt wird, eine Eingabe des Nutzers erfasst wird, mit der das Objekt definiert wird, in einem Umgebungsbild, das eine Abbildung zumindest eines Teils des Objekts und eine Abbildung zumindest eines Teils einer Person, insbesondere einer Hand der Person, umfasst, ein Abstand zwischen dem Objekt und der Person erkannt wird und wenn der Abstand einen vorgegebenen Abstandschwellwert unterschreitet, eine Benachrichtigung in der Anzeige angezeigt oder über einen akustischen oder haptischen Aktuator ausgegeben wird.
Vorzugsweise umfasst die Benachrichtigung die Abbildung des zumindest einen Teils des Objekts und die Abbildung des zumindest einen Teils der Person aus dem Umgebungsbild mit dem der Abstand bestimmt wurde, oder zumindest einen Teil eines danach erfassten Umgebungsbildes.
Vorzugsweise wird im Umgebungsbild, das die Abbildung des zumindest einen Teils des Objekts und die Abbildung des zumindest einen Teils der Person umfasst, eine Position des Objekts erkannt, eine Position des zumindest einen Teils der Person erkannt, und der Abstand abhängig von den erkannten Positionen bestimmt.
Vorzugsweise wird die Abbildung des zumindest einen Teils des Objekt von einer Abbildung seiner Umgebung im Umgebungsbild abgegrenzt.
Vorzugsweise wird das Umgebungsbild mit einem Umgebungskamerasystem aufgezeichnet.
Vorzugsweise werden kontinuierlich Umgebungsbilder erfasst und Positionen von Personen, insbesondere von Händen der Personen, in den erfassten Umgebungsbildern erkannt.
Vorzugsweise wird kontinuierlich der Abstand abhängig von den erkannten Positionen bestimmt.
Vorzugsweise wird anschließend an eine Definition des Objekts durch die Eingabe des Nutzers, eine kontinuierliche Anzeige einer virtuellen Realität ohne eine Einblendung einer Abbildung des Objekts auf der kontinuierlichen Anzeige begonnen.
Weitere vorteilhafte Ausführungsformen sind der folgenden Beschreibung und der Zeichnung entnehmbar. In der Zeichnung zeigt:

1 eine schematische Darstellung einer Vorrichtung zur Überwachung von Objekten,
2 eine schematische Darstellung eines Verfahrens zur Überwachung von Objekten.

Die Vorrichtung 100 zur Überwachung von Objekten ist dazu eingerichtet einem Nutzer 102 einer Anzeige 104 für eine virtuelle Realität ein Umgebungsbild anzuzeigen. Die Vorrichtung 100 ist zur Überwachung eines Objekt 106 ausgebildet.
Die Vorrichtung 100 ist dazu eingerichtet, zumindest einen Teils einer Person 108 zu erfassen, insbesondere eine Hand 110 der Person 108.
Zwischen der Hand 110 der Person 108 und dem Objekt 106 ist ein Abstand 112. Die Vorrichtung 100 ist dazu ausgebildet, den Abstand 112 zu erkennen. Die Vorrichtung 100 ist dazu ausgebildet, wenn der Abstand 112 einen vorgegebenen Abstandschwellwert unterschreitet, eine Benachrichtigung in der Anzeige 104 anzuzeigen oder über einen akustischen oder haptischen Aktuator auszugeben.
Die Anzeige kann eine VR-Brille sein. Der Aktuator kann in die VR-Brille integriert sein, z.B. als Lautsprecher oder vibrierendes Element.
Die Vorrichtung 100 umfasst im Beispiel ein Umgebungskamerasystem 114, das dazu ausgebildet ist, das Umgebungsbild aufzuzeichnen.
Die Vorrichtung 100 ist dazu ausgebildet das im Folgenden beschriebene Verfahren auszuführen.
In 2 sind Schritte eines Verfahrens zur Überwachung von Objekten dargestellt.
In einem Schritt 202 wird ein Umgebungsbild z.B. mit dem Umgebungskamerasystem 114 aufgezeichnet.
In einem Schritt 204 wird dem Nutzer 102 der Anzeige 104 das Umgebungsbild angezeigt. Das Umgebungsbild umfasst im Beispiel eine Abbildung zumindest eines Teils des Objekt 106.
In einem Schritt 206 wird eine Eingabe des Nutzers 102 erfasst, mit der das Objekt 106 definiert wird, das der Nutzer 102 überwachen will.
Es kann vorgesehen sein, dem Nutzer 102 eine Eingabe zu ermöglichen, mit der mehrere Objekte definiert werden.
In einem Schritt 208 wird ein weiteres Umgebungsbild z.B. mit dem Umgebungskamerasystem 114 erfasst.
In einem Schritt 210 wird geprüft, ob das weitere Umgebungsbild eine Abbildung zumindest eines Teils des Objekts 106 und eine Abbildung zumindest eines Teils der Person 108, insbesondere der Hand 110 der Person 108 umfasst. Wenn das Umgebungsbild beide Abbildungen umfasst, wird ein Schritt 212 ausgeführt. Anderenfalls wird der Schritt 208 ausgeführt.
Im Schritt 212 wird der Abstand 112 zwischen dem Objekt 106 und der Person 108 erkannt.
Die Abbildung des zumindest einen Teils des Objekt 108 wird beispielsweise von der Abbildung seiner Umgebung im Umgebungsbild insbesondere mit einem Computer-Vision-Verfahren abgegrenzt.
Es kann vorgesehen sein, dass im Umgebungsbild, das die Abbildung des zumindest einen Teils des Objekts 106 und die Abbildung des zumindest einen Teils der Person 108 umfasst, eine Position des Objekts 106 und eine Position der Person 108 oder der Hand 110 erkannt wird.
Der Abstand 112 wird beispielsweise abhängig von den erkannten Positionen des Objekts 106 und entweder der Person 108 oder der Hand 110 bestimmt.
In einem Schritt 214 wird geprüft, ob der Abstand 112 einen vorgegebenen Abstandschwellwert unterschreitet.
Wenn der Abstand 112 den vorgegebenen Abstandschwellwert unterschreitet, wird ein Schritt 216 ausgeführt. Anderenfalls wird der Schritt 208 ausgeführt.
Im Schritt 216 wird die Benachrichtigung bestimmt. Die Benachrichtigung umfasst beispielsweise die Abbildung des zumindest einen Teils des Objekts 106 und die Abbildung des zumindest einen Teils der Person 108 aus dem Umgebungsbild mit dem der Abstand 112 bestimmt wurde. Es kann vorgesehen sein, dass die Benachrichtigung zumindest einen Teil eines danach erfassten Umgebungsbildes umfasst.
In einem Schritt 218 wird die Benachrichtigung in der Anzeige 104 angezeigt oder über den akustischen oder haptischen Aktuator ausgegeben.
Im Verfahren werden beispielsweise kontinuierlich Umgebungsbilder erfasst und Positionen von Personen insbesondere von Händen der Personen, in den erfassten Umgebungsbildern erkannt. Der Abstand 112 wird kontinuierlich abhängig von den jeweils erkannten Positionen bestimmt. Anschließend an eine Definition des Objekts 106 durch die Eingabe des Nutzers 102, wird in einem Beispiel kontinuierlich eine virtuelle Realität ohne eine Einblendung einer Abbildung des Objekts 106 auf der Anzeige 104 begonnen. Im Beispiel wird die kontinuierliche virtuelle Realität durch die Benachrichtigung unterbrochen. Das Verfahren endet beispielsweise durch eine entsprechende Nutzereingabe des Nutzers 102 oder nachdem die Benachrichtigung erfolgte.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 20190385368 A1 [0002]

Claims

Vorrichtung (100) zur Überwachung von Objekten, dadurch gekennzeichnet, dass die Vorrichtung (100) dazu eingerichtet einem Nutzer (102) einer Anzeige (104) für eine virtuelle Realität ein Umgebungsbild, das eine Abbildung zumindest eines Teils eines Objekt (106) umfasst, in der Anzeige anzuzeigen, eine Eingabe des Nutzers (102) zu erfassen, mit der das Objekt (106) definiert wird, in einem Umgebungsbild, das eine Abbildung zumindest eines Teils des Objekts (106) und eine Abbildung zumindest eines Teils einer Person (108), insbesondere einer Hand (110) der Person (108), umfasst, einen Abstand (112) zwischen dem Objekt (106) und der Person (108) zu erkennen und wenn der Abstand (112) einen vorgegebenen Abstandschwellwert unterschreitet, eine Benachrichtigung in der Anzeige (104) anzuzeigen oder über einen akustischen oder haptischen Aktuator auszugeben.
Vorrichtung (100) nach Anspruch 1, dadurch gekennzeichnet, dass die Benachrichtigung die Abbildung zumindest eines Teils des Objekts (106) und die Abbildung zumindest eines Teils der Person (108) aus dem Umgebungsbild mit dem der Abstand (112) bestimmt wurde, oder zumindest einen Teil eines danach erfassten Umgebungsbildes umfasst.
Vorrichtung (100) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Vorrichtung (100) dazu ausgebildet ist, im Umgebungsbild, das die Abbildung des zumindest einen Teils des Objekts (106) und die Abbildung des zumindest einen Teils der Person (108) umfasst, eine Position des Objekts (106) zu erkennen, eine Position des zumindest einen Teils der Person (108) zu erkennen, und den Abstand (112) abhängig von den erkannten Positionen zu bestimmen.
Vorrichtung (100) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung (100) dazu ausgebildet ist, die Abbildung des zumindest einen Teils des Objekts (106) von einer Abbildung seiner Umgebung im Umgebungsbild abzugrenzen.
Vorrichtung (100) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung (100) ein Umgebungskamerasystem (114) umfasst, das dazu ausgebildet ist, das Umgebungsbild aufzuzeichnen.
Vorrichtung (100) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung (100) dazu ausgebildet ist, kontinuierlich Umgebungsbilder zu erfassen und Positionen von Personen insbesondere von Händen der Personen, in den erfassten Umgebungsbildern zu erkennen.
Vorrichtung (100) nach Anspruch 6, dadurch gekennzeichnet, dass die Vorrichtung (100) dazu ausgebildet ist, kontinuierlich den Abstand (112) abhängig von den erkannten Positionen zu bestimmen.
Vorrichtung (100) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung (100) dazu ausgebildet ist, anschließend an eine Definition des Objekts (106) durch die Eingabe des Nutzers (102), kontinuierlich eine virtuelle Realität ohne eine Einblendung einer Abbildung des Objekts (106) auf der Anzeige (104) zu beginnen.
Verfahren zur Überwachung von Objekten, dadurch gekennzeichnet, dass einem Nutzer (102) einer Anzeige für eine virtuelle Realität ein Umgebungsbild, das eine Abbildung zumindest eines Teils des Objekt (106) umfasst, in der Anzeige (104) angezeigt wird (204), eine Eingabe des Nutzers (102) erfasst wird (206), mit der das Objekt (106) definiert wird, in einem Umgebungsbild, das eine Abbildung zumindest eines Teils des Objekts (106) und eine Abbildung zumindest eines Teils einer Person (108), insbesondere einer Hand (110) der Person (108), umfasst, ein Abstand (112) zwischen dem Objekt (106) und der Person (108) erkannt wird (210) und wenn der Abstand (112) einen vorgegebenen Abstandschwellwert unterschreitet (214), eine Benachrichtigung in der Anzeige (104) angezeigt oder über einen akustischen oder haptischen Aktuator ausgegeben wird (218).
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Benachrichtigung die Abbildung des zumindest einen Teils des Objekts und die Abbildung des zumindest einen Teils der Person aus dem Umgebungsbild mit dem der Abstand bestimmt wurde, oder zumindest einen Teil eines danach erfassten Umgebungsbildes umfasst (216).
Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass im Umgebungsbild, das die Abbildung des zumindest einen Teils des Objekts (106) und die Abbildung des zumindest einen Teils einer Person (108) umfasst, eine Position des Objekts erkannt, eine Position des zumindest einen Teils der Person erkannt, und der Abstand (112) abhängig von den erkannten Positionen bestimmt wird (212).
Verfahren nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass die Abbildung des zumindest einen Teils des Objekts (108) von einer Abbildung seiner Umgebung im Umgebungsbild abgegrenzt wird (212).
Verfahren nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass das Umgebungsbild mit einem Umgebungskamerasystem (114) aufgezeichnet wird.
Verfahren nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass kontinuierlich Umgebungsbilder erfasst (202, 208) und Positionen von Personen insbesondere von Händen der Personen, in den erfassten Umgebungsbildern erkannt werden (204).
Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass kontinuierlich der Abstand (112) abhängig von den erkannten Positionen bestimmt wird.
Verfahren nach einem der Ansprüche 9 bis 15, dadurch gekennzeichnet, dass anschließend an eine Definition des Objekts (106) durch die Eingabe des Nutzers (102), kontinuierlich eine virtuelle Realität ohne eine Einblendung einer Abbildung des Objekts (106) auf der Anzeige (104) begonnen wird.