WO2024099605A1 - Verfahren und vorrichtung zur nachverfolgung eines objekts - Google Patents
Verfahren und vorrichtung zur nachverfolgung eines objekts Download PDFInfo
- Publication number
- WO2024099605A1 WO2024099605A1 PCT/EP2023/070736 EP2023070736W WO2024099605A1 WO 2024099605 A1 WO2024099605 A1 WO 2024099605A1 EP 2023070736 W EP2023070736 W EP 2023070736W WO 2024099605 A1 WO2024099605 A1 WO 2024099605A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- body part
- orientations
- electro
- signal
- determining
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000009466 transformation Effects 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000004590 computer program Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 7
- 239000011521 glass Substances 0.000 description 39
- 210000003128 head Anatomy 0.000 description 25
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Definitions
- the present invention relates to a method, in particular a computer-implemented method, a device for tracking an object and a computer program.
- the present invention is based on the object of enabling improved tracking of an object.
- a first aspect of the solution relates to a method, in particular a computer-implemented method, for tracking an object, comprising the following steps: (i) detecting a plurality of temporally successive reference signals, each of which represents a body part, in particular a face or a hand, of a user represent, by an electro-optical detection device, in particular a camera; (ii) detecting an object signal which represents the object, in particular a mobile device or a joystick, by the electro-optical detection device, wherein the object is mechanically coupled to the body part, so that a movement of the body part results in a substantially comparable movement of the object, wherein the detection of the object signal occurs substantially simultaneously with the detection of one of the plurality of reference signals; (iii) determining a plurality of reference positions and/or orientations of the body part in relation to a predetermined position of the electro-optical detection device using one of the plurality of reference signals; (iv) determining an object position and/or an orientation of the object in relation to the
- the term “configured” or “set up” to perform a specific function (and respective variations thereof) as used here is to be understood as meaning that the corresponding device is already in a design or setting in which it can perform the function or it is at least adjustable - i.e. configurable - so that it can perform the function after the corresponding setting.
- the configuration can be carried out, for example, by setting parameters of a process sequence or switches or similar to activate or deactivate functionalities or settings.
- the device can have several predetermined configurations or operating modes, so that configuration can be carried out by selecting one of these configurations or operating modes.
- object as used here is to be understood in particular as a physical object that is movable and can be moved by a user's movement.
- An “object” can in particular comprise data glasses, in particular VR (virtual reality) glasses or AR (augmented reality) glasses.
- the "object” can also comprise a smartphone or a control stick, also known as a joystick, in particular for use in a flight simulator or for controlling a computer game.
- data glasses refers in particular to glasses that, in addition to normal glasses, have a display that can be positioned near the eye(s) of a user when the data glasses are worn.
- the display can comprise two partial displays, one for each eye.
- the display can show the user information in the form of text, graphic representations or mixtures thereof.
- the display can in particular be partially transparent, i.e. designed in such a way that the user can also see the surroundings behind the display.
- signal or “reference signal” or “object signal” as used here refers in particular to an electromagnetic signal that can be detected by an electro-optical sensor and converted into an electrical signal.
- electro-optical detection device refers in particular to an electro-optical sensor that is designed to detect or measure electromagnetic signals and convert them into electrical signals.
- sensors can in particular be a charge-coupled sensor, also known as a CCD (charge-coupled device), a radar sensor, a lidar sensor, or another sensor.
- CCD charge-coupled device
- radar sensor a radar sensor
- lidar sensor a lidar sensor
- such a sensor can also be designed to send electromagnetic signals to an object and in turn measure the electromagnetic signals reflected back from this object, so that in a subsequent evaluation information about the object can be obtained from the emitted and reflected electromagnetic signals, also known as a TOF (time-of-flight) camera.
- TOF time-of-flight
- the method according to the first aspect makes it possible to track an object using a specific transformation value, in particular a distance or an angle.
- the object is mechanically coupled to a body part of a user, so that a movement of the body part results in a substantially comparable movement of the object.
- the object position and/or orientation of the object can be determined by using the transformation value.
- the object signal is recorded essentially at the same time as one of the plurality of reference signals is recorded. This can ensure that the object position and reference position determined from the object signal and this reference signal correspond at essentially the same time.
- the transformation value determined from this also corresponds to this time. In a scenario in which the reference signal and the object signal were recorded at different times, this could lead to a movement of the body part between the recordings of the reference signal and the object signal. As a result, the determined transformation value could differ significantly from the actual transformation value.
- the object position and/or orientation of the object can be determined indirectly via the reference position and/or orientation of a body part.
- a reference position and/or orientation of a body part can now be reliably determined because extensive data that has already been recorded can be used for body parts, particularly the face and hands.
- the method further comprises: (i) detecting a plurality of further object signals at predetermined time intervals; (ii) determining a plurality of further object positions and/or orientations of the object using one of the plurality of further object signals; (iii) determining a plurality of further transformation values using the plurality of specific object positions and/or orientations of the object and reference positions and/or orientations of the body part, wherein the associated reference signals were each detected substantially at the same time as one of the object signals; (iv) using the respective temporally current transformation value from the plurality of transformation values to determine the further object positions.
- the predetermined time intervals are adjusted depending on a predetermined criterion. This allows an adjustment to the available computing power. If the available computing power is classified as rather low, the time intervals can be increased, which requires less computing power. If, on the other hand, the available computing power is classified as high, the time intervals can be reduced, which enables a more precise determination of the object position, since a possible interim local change of the object in relation to the body part can be taken into account by a transformation value determined earlier in time when determining the object position.
- a distance is determined by determining the transformation value. This allows a distance between the object and the body part to be determined. A distance between two positions can be determined by taking a difference between two coordinates of the determined positions and therefore requires only a small amount of effort.
- an angle is determined by determining the transformation value.
- An angle can determine a tilt of the object relative to the body part and ultimately an orientation.
- tracking of the object occurs in an interior of a motor vehicle, wherein the user is a vehicle occupant.
- a second aspect of the solution relates to a device for tracking an object, wherein the device is configured to carry out the method according to the first aspect.
- the device comprises (i) an electro-optical detection device which is configured to detect a plurality of temporally successive reference signals, each representing a body part of a user, and which is further configured to detect an object signal which represents the object, wherein the object is mechanically coupled to the body part, so that a movement of the body part results in a substantially comparable movement of the object; wherein the detection of the object signal occurs substantially simultaneously with a detection of one of the plurality of reference signals; (ii) an evaluation device which is configured to determine a plurality of reference positions and/or orientations of the body part in relation to a predetermined position of the electro-optical detection device using one of the plurality of reference signals, and which is further configured to determine an object position and/or an orientation of the object in relation to the predetermined position of the electro-optical detection device using the object signal, and which is further configured to determine a transformation value of a geometric parameter which represents a difference in the object position and/or the orientation of the object from the one reference position and/or the one orientation
- the object comprises a mobile device, in particular data glasses, VR glasses, AR glasses or a smartphone.
- a mobile device can have a communication module through which it can communicate with another device. This communication can take place depending on the current position of the mobile device.
- the electro-optical detection device comprises an interior camera of a motor vehicle. This allows objects in the interior of a motor vehicle to be tracked.
- a third aspect of the solution relates to a computer program with instructions which cause the device according to the second aspect to carry out the steps of the method according to the first aspect.
- the computer program can in particular be stored on a non-volatile data carrier.
- This is preferably a data carrier in the form of an optical data carrier or a flash memory module.
- the computer program can be present as a file on a data processing unit, in particular on a server, and can be downloaded via a data connection, for example the Internet or a dedicated data connection, such as a proprietary or local network.
- the computer program can have a plurality of interacting individual program modules.
- the modules can in particular be configured or at least be usable in such a way that they are executed in the sense of distributed computing on different devices (computers or processor units) that are geographically spaced from one another and connected to one another via a data network.
- Fig. 1 is a flow chart illustrating a preferred embodiment of a method
- Fig. 2 schematically shows a device according to an embodiment.
- Figure 1 shows a flow chart 100 to illustrate a preferred embodiment of a method for tracking a data glasses 230.
- a plurality of temporally successive reference signals are captured by a camera 210.
- an object signal which represents the data glasses 230
- the camera 210 wherein the data glasses 230 are mechanically attached to the head 250, so that a movement of the head 250 results in a substantially comparable movement of the data glasses 230, wherein the object signal is detected substantially simultaneously with the detection of one of the plurality of reference signals.
- a plurality of positions and/or orientations of the head 250 are determined in relation to a predetermined position of the camera 210 using one of the plurality of reference signals.
- so-called facial landmarks which have fixed and predetermined points, for example 68 points, on the face, can also be used.
- a position and/or an orientation of the data glasses 230 is determined in relation to the predetermined position of the camera 210 using the object signal.
- the position or orientation of the data glasses 230 can be determined by detected signals from active (emitting) or passive (reflective) infrared markers on the data glasses 230 are determined by the camera 210.
- a transformation value of a geometric parameter is determined, which represents a difference in the position and/or orientation of the data glasses 230 and the one position and/or the one orientation of the head 250, which was determined in each case using the reference signal that was detected substantially at the same time as the object signal.
- a plurality of further positions and/or orientations of the data glasses 230 are determined using one of the plurality of positions and/or orientations of the head 250 and the transformation value.
- FIG. 2 shows a schematic of a device according to an embodiment.
- a camera 210 is arranged in a motor vehicle 200.
- the camera 210 can detect electromagnetic signals.
- the camera can have a 2D sensor or a 3D sensor for detecting electromagnetic signals.
- the camera 210 can detect electromagnetic signals that represent a head 250 of a vehicle occupant 240.
- the camera 210 can also detect electromagnetic signals that represent data glasses 230 worn by the vehicle occupant 240.
- the data glasses 230 can be aligned and attached to the head 250 of the vehicle occupant 240 like normal glasses for visual aids by means of two temples and a nose piece.
- the temples and the nosepiece ensure that the data glasses 230 are sufficiently firmly positioned so that the position or orientation of the data glasses in relation to the head 250 does not change during normal movements of the head 250. As a result, a comparable movement of the data glasses 230 occurs when the head 250 moves.
- An evaluation device 220 is also arranged in the motor vehicle, which is connected to the camera 210 by means of signals.
- the evaluation device 220 is set up to determine the positions and orientations or poses of the head 250 and the data glasses 230 in relation to the camera 210 using the recorded electromagnetic signals.
- the position of the camera 210 within the motor vehicle 200 can be determined by a so-called self-calibration of the camera 210.
- a position of the camera 210 can also be entered manually.
- the orientations of the head 250 (head poses) and the data glasses 230 can each be determined by means of image comparison. Images that were generated with the detected reference signals and/or object signals are compared with images from databases in which the respective orientations are present.
- the evaluation device 220 can determine a distance and/or a different orientation between the head 250 and the data glasses 230. This can be the distance of a lens from the face or the edge of a temple from the forehead or another distance.
- An angle of the data glasses 230 can also be determined in relation to the head 250.
- the position and/or orientation of the data glasses 230 can now be determined by using a currently determined position and/or orientation of the head 250 as well as the distance and/or the determined angle.
- the required computing power can be saved. This is because it is not necessary to continuously determine the distance or angle, since this distance and also the orientation of the data glasses 230 in relation to the head 250 essentially do not change.
- the present disclosure may also, alternatively or cumulatively, apply to tracking a joystick as used in simulators, particularly flight simulators or racing car simulators.
- Other objects are also conceivable, such as headphones or a smartphone, which can be tracked.
- a spatial sound impression with stationary simulated sound sources can be created by tracking using so-called "Head Related Transfer Functions" (HRTFs).
- HRTFs Head Related Transfer Functions
- By tracking the smartphone an AR experience can be created and stationary elements can be added to a representation of the smartphone.
- a body part other than the head such as a hand of the user 240, for example the hand holding the smartphone, can be tracked (not shown here).
- a signal in particular an optical or acoustic signal, can be triggered on a device by a movement of a body part.
- the signal can also be changed depending on a movement of the object or remain stationary.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Die Erfindung betrifft ein Verfahren, insbesondere ein computerimplementiertes Verfahren, zur Nachverfolgung eines Objekts mit folgenden Schritten: (i) Erfassen einer Mehrzahl von zeitlich aufeinanderfolgenden Referenz-Signalen, die jeweils ein Körperteil, insbesondere ein Gesicht oder eine Hand, eines Benutzers repräsentieren, durch eine elektrooptische Erfassungseinrichtung, insbesondere eine Kamera; (ii) Erfassen eines Objekt-Signals, welches das Objekt, insbesondere ein Mobil-Gerät oder einen Steuerknüppel, repräsentiert, durch die elektrooptische Erfassungseinrichtung, wobei das Objekt mechanisch mit dem Körperteil gekoppelt ist, so dass durch eine Bewegung des Körperteils eine im Wesentlichen vergleichbare Bewegung des Objekts erfolgt, wobei das Erfassen des Objekt-Signals im Wesentlichen zeitgleich zum Erfassen von einem aus der Mehrzahl der Referenz-Signale erfolgt; (iii) Bestimmen einer Mehrzahl von Referenz-Positionen und/oder Ausrichtungen des Körperteils in Bezug zu einer vorgegebenen Position der elektrooptischen Erfassungseinrichtung unter Verwendung jeweils einer von der Mehrzahl der Referenz-Signalen; (iv) Bestimmen einer Objekt-Position und/oder einer Ausrichtung des Objekts in Bezug zu der vorgegebenen Position der elektrooptischen Erfassungseinrichtung unter Verwendung des Objekt-Signals; (v) Bestimmen eines Transformationswerts einer geometrischen Kenngröße, der einen Unterschied der Objekt-Position und/oder der Ausrichtung des Objekts zu der einen Referenz-Position und/oder der einen Ausrichtung, die jeweils unter Verwendung des Referenz-Signals, das im Wesentlichen zeitgleich zu dem Objekt-Signal erfasst wurde, bestimmt wurde, repräsentiert; (vi) Bestimmen einer Mehrzahl von weiteren Objekt-Positionen und/oder Ausrichtungen unter Verwendung jeweils einer von der Mehrzahl der weiteren Referenz-Positionen und/oder Ausrichtungen des Körperteils und des Transformationswerts.
Description
VERFAHREN UND VORRICHTUNG ZUR NACHVERFOLGUNG EINES OBJEKTS
Die vorliegende Erfindung betrifft ein Verfahren, insbesondere ein computerimplementiertes Verfahren, eine Vorrichtung zur Nachverfolgung eines Objekts sowie ein Computerprogramm.
Moderne Kameras und auch Smartphones mit Kameras ermöglichen heutzutage eine Gesichtserkennung, insbesondere eine Augenerkennung. Dabei werden die hierfür verwendeten Algorithmen kontinuierlich verfeinert, so dass auch eine Nachverfolgung eines sich bewegenden Gesichts odereines anderen sich bewegenden menschlichen Körperteils hinsichtlich der jeweiligen Position und Ausrichtung möglich ist. Weiterhin können auch Objekte durch moderne Kameras erkannt und nachverfolgt werden. Allerdings kann ein Erkennen und Nachverfolgen eines Objekts voraussetzen, dass in einem hierfür verwendeten Algorithmus Informationen über das jeweilige Objekt hinterlegt sind, die der Algorithmus dann verwenden kann. Aber auch wenn Informationen zu einem Objekt hinterlegt sind, können diese möglicherweise aufgrund fehlender Detailtiefe nicht ausreichen, um eine zuverlässige Nachverfolgung des Objekts zu ermöglichen. Zu menschlichen Gesichtern und anderen menschlichen Körperteilen wurden bereits umfangreiche Daten erfasst, auf die ein jeweiliger Algorithmus in entsprechenden Datenbanken zugreifen kann, wodurch deren Erkennung und Nachverfolgung zuverlässig erfolgen kann. Eine Nachverfolgung von Gegenständen bzw. Objekten kann also schwieriger und auch rechenaufwändiger sein als eine Nachverfolgung eines menschlichen Gesichts oder eines anderen menschlichen Körperteils.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine verbesserte Nachverfolgung eines Objekts zu ermöglichen.
Eine Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
Ein erster Aspekt der Lösung betrifft ein Verfahren, insbesondere ein computerimplementiertes Verfahren, zur Nachverfolgung eines Objekts mit folgenden Schritten: (i) Erfassen einer Mehrzahl von zeitlich aufeinanderfolgenden Referenz-Signalen, die jeweils ein Körperteil, insbesondere ein Gesicht oder eine Hand, eines Benutzers
repräsentieren, durch eine elektrooptische Erfassungseinrichtung, insbesondere eine Kamera; (ii) Erfassen eines Objekt-Signals, welches das Objekt, insbesondere ein Mobil-Gerät oder einen Steuerknüppel, repräsentiert, durch die elektrooptische Erfassungseinrichtung, wobei das Objekt mechanisch mit dem Körperteil gekoppelt ist, so dass durch eine Bewegung des Körperteils eine im Wesentlichen vergleichbare Bewegung des Objekts erfolgt, wobei das Erfassen des Objekt-Signals im Wesentlichen zeitgleich zum Erfassen von einem aus der Mehrzahl der Referenz-Signale erfolgt; (iii) Bestimmen einer Mehrzahl von Referenz-Positionen und/oder Ausrichtungen des Körperteils in Bezug zu einer vorgegebenen Position der elektrooptischen Erfassungseinrichtung unter Verwendung jeweils einer von der Mehrzahl der Referenz- Signalen; (iv) Bestimmen einer Objekt-Position und/oder einer Ausrichtung des Objekts in Bezug zu der vorgegebenen Position der elektrooptischen Erfassungseinrichtung unter Verwendung des Objekt-Signals; (v) Bestimmen eines Transformationswerts einer geometrischen Kenngröße, der einen Unterschied der Objekt-Position und/oder der Ausrichtung des Objekts zu der einen Referenz-Position und/oder der einen Ausrichtung, die jeweils unter Verwendung des Referenz-Signals, das im Wesentlichen zeitgleich zu dem Objekt-Signal erfasst wurde, bestimmt wurde, repräsentiert; (vi) Bestimmen einer Mehrzahl von weiteren Objekt-Positionen und/oder Ausrichtungen unter Verwendung jeweils einer von der Mehrzahl der weiteren Referenz- Positionen und/oder Ausrichtungen des Körperteils und des Transformationswerts.
Die hierein gegebenenfalls verwendeten Begriffe "umfasst", "beinhaltet", "schließt ein", "weist auf", "hat", "mit", oder jede andere Variante davon sollen eine nicht ausschließliche Einbeziehung abdecken. So ist beispielsweise ein Verfahren oder eine Vorrichtung, die eine Liste von Elementen umfasst oder aufweist, nicht notwendigerweise auf diese Elemente beschränkt, sondern kann andere Elemente einschließen, die nicht ausdrücklich aufgeführt sind oder die einem solchen Verfahren oder einer solchen Vorrichtung inhärent sind.
Ferner bezieht sich "oder", sofern nicht ausdrücklich das Gegenteil angegeben ist, auf ein inklusives oder und nicht auf ein exklusives „oder“. Zum Beispiel wird eine Bedingung A oder B durch eine der folgenden Bedingungen erfüllt: A ist wahr (oder vorhanden) und B ist falsch (oder nicht vorhanden), A ist falsch (oder nicht vorhanden) und B ist wahr (oder vorhanden), und sowohl A als auch B sind wahr (oder vorhanden).
Die Begriffe "ein" oder "eine", wie sie hier verwendet werden, sind im Sinne von „ein/eine oder mehrere“ definiert. Die Begriffe "ein anderer" und „ein weiterer“ sowie jede andere Variante davon sind im Sinne von „zumindest ein Weiterer“ zu verstehen.
Der Begriff "Mehrzahl", wie er hier verwendet wird, ist im Sinne von „zwei oder mehr“ zu verstehen.
Unter dem Begriff „konfiguriert“ oder „eingerichtet“ eine bestimmte Funktion zu erfüllen, (und jeweiligen Abwandlungen davon) wie er hier verwendet ist zu verstehen, dass die entsprechende Vorrichtung bereits in einer Ausgestaltung oder Einstellung vorliegt, in der sie die Funktion ausführen kann oder sie zumindest so einstellbar - d.h. konfigurierbar - ist, dass sie nach entsprechender Einstellung die Funktion ausführen kann. Die Konfiguration kann dabei beispielsweise über eine entsprechende Einstellung von Parametern eines Prozessablaufs oder von Schaltern oder ähnlichem zur Aktivierung bzw. Deaktivierung von Funktionalitäten bzw. Einstellungen erfolgen. Insbesondere kann die Vorrichtung mehrere vorbestimmte Konfigurationen oder Betriebsmodi aufweisen, so dass das Konfigurieren mittels einer Auswahl einer dieser Konfigurationen bzw. Betriebsmodi erfolgen kann.
Unter dem Begriff „Objekt“ wie er hier verwendet wird, ist insbesondere zu verstehen, ein physischer Gegenstand, der bewegbar ist, und der durch eine Bewegung eines Benutzers bewegt werden kann. Ein „Objekt“ kann insbesondere eine Daten-Brille, insbesondere eine VR (engl.: Virtual Reality) Brille oder eine AR (engl.: Augmented Reality) Brille aufweisen. Ebenso kann das „Objekt“ ein Smartphone oder ein Steuerknüppel, auch als Joystick bekannt, insbesondere zur Verwendung in einem Flugsimulator oder zur Steuerung eines Computerspiels, aufweisen.
Unter dem Begriff „Daten-Brille“ wie er hier verwendet wird, ist insbesondere zu verstehen, eine Brille, die gegenüber einer gewöhnlichen Brille zusätzlich eine Anzeige aufweist, die beim Tragen der Daten-Brille nahe dem oder den Augen eines Benutzers angeordnet sein kann. Die Anzeige kann dabei zwei Teilanzeigen umfassen, eine für jedes Auge. Auf der Anzeige können dem Benutzer Informationen in Form von Text, graphischen Darstellungen oder Mischungen davon angezeigt werden. Die Anzeige kann insbesondere teildurchlässig sein, also so ausgestaltet sein, dass der Benutzer auch die Umgebung hinter der Anzeige erkennen kann.
Unter dem Begriff „Signal“ bzw. „Referenz-Signal“ oder „Objekt-Signal“ wie er hier verwendet wird, ist insbesondere zu verstehen, ein elektromagnetisches Signal, das durch einen elektrooptischen Sensor erfasst werden kann, und in ein elektrisches Signal umgewandelt werden kann.
Unter dem Begriff „elektrooptische Erfassungseinrichtung“ wie er hier verwendet wird, ist insbesondere zu verstehen, ein elektrooptischer Sensor, der ausgebildet ist, elektromagnetische Signale zu erfassen bzw. zu messen und diese in elektrische Signale umzuwandeln. Bei diesen Sensoren kann es sich insbesondere um einen ladungsgekoppelten Sensor, auch als CCD (engl.: Charge-Coupled-Device) bekannt, um einen Radar-Sensor, einen Lidar-Sensor, oder einen anderen Sensor handeln. Zudem kann ein solcher Sensor auch ausgebildet sein, elektromagnetische Signale an ein Objekt auszusenden, und die zurückreflektierten elektromagnetischen Signale von diesem Objekt wiederum zu messen, so dass in einer anschließenden Auswertung Informationen über das Objekt aus den ausgesendeten und den zurückreflektierten elektromagnetischen Signalen gewonnen werden können, auch als TOF (engl.: Time-of- Flight) Kamera bekannt.
Durch das Verfahren nach dem ersten Aspekt kann erreicht werden, dass ein Objekt unter Verwendung eines bestimmten Transformationswerts, insbesondere eines Abstands oder eines Winkels, nachverfolgt werden kann. Dabei ist das Objekt mechanisch mit einem Körperteil eines Benutzers gekoppelt, so dass durch eine Bewegung des Körperteils eine im Wesentlichen vergleichbare Bewegung des Objekts erfolgt. Durch eine Bestimmung einer Referenz-Position und/oder einer Ausrichtung des Körperteils kann durch die Verwendung des Transformationswerts die Objekt-Position und/oder Ausrichtung des Objekts bestimmt werden. Dabei erfolgt das Erfassen des Objekt-Signals im Wesentlichen zeitgleich zum Erfassen von einem aus der Mehrzahl der Referenz-Signale. Dadurch kann sichergestellt werden, dass die aus dem Objekt- Signal und diesem Referenz-Signal jeweils bestimmte Objekt-Position und Referenz- Position zu im Wesentlichen demselben Zeitpunkt korrespondieren. Dadurch korrespondiert der daraus bestimmte Transformationswert ebenso zu diesem Zeitpunkt. In einem Szenario, bei dem das Referenz-Signal und das Objekt-Signal zu unterschiedlichen Zeitpunkten erfasst wurde, könnte das dazu führen, dass zwischen den Erfassungen des Referenz-Signals und des Objekt-Signals eine Bewegung des Körperteils
erfolgte. Im Ergebnis könnte der bestimmte Transformationswert von einem tatsächlichen Transformationswert wesentlich abweichen.
Unter der Annahme, dass das Objekt zu dem Körperteil über einen vorgegebenen Zeitraum im Wesentlichen ortsfest ist, wird ermöglicht mit dem bestimmten Transformationswert für diesen Zeitraum Objekt-Positionen und/oder Ausrichtungen des Objekts zu bestimmen und zu verwenden. Dadurch kann vermieden werden, kontinuierlich Objekt-Signale zu erfassen und hieraus eine jeweilige Objekt-Position und/oder Ausrichtung zu bestimmen. Damit wäre ein erheblicher Rechenaufwand verbunden. Durch das vorliegende Verfahren kann dieser Rechenaufwand für die Bestimmung von Objekt-Positionen und/oder Ausrichtungen des Objekts erheblich reduziert werden. Darüber hinaus kann das Nachverfolgen bzw. das Bestimmen der jeweiligen Objekt-Position und/oder Ausrichtung genauer erfolgen. Denn die Objekt-Position und/oder Ausrichtung des Objekts wird indirekt über die Referenz-Position und/oder Ausrichtung eines Körperteils bestimmt. Eine Referenz-Position und/oder Ausrichtung eines Körperteils kann mittlerweile zuverlässig bestimmt werden, denn für Körperteile, insbesondere Gesicht und Hände, kann auf umfangreiche bereits erfasste Daten zurückgegriffen werden.
Nachfolgend werden bevorzugte Ausführungsformen des Verfahrens beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten kombiniert werden können.
Bei einigen Ausführungsformen weist das Verfahren ferner auf: (i) Erfassen von einer Mehrzahl von weiteren Objekt-Signalen in vorgegebenen Zeitabständen; (ii) Bestimmen von einer Mehrzahl von weiteren Objekt-Positionen und/oder Ausrichtungen des Objekts unter Verwendung jeweils eines von der Mehrzahl der weiteren Objekt-Signale; (iii) Bestimmen von einer Mehrzahl weiterer Transformationswerte unter Verwendung von jeweils der Mehrzahl von bestimmten Objekt-Positionen und/oder Ausrichtungen des Objekts und Referenz-Positionen und/oder Ausrichtungen des Köperteils, wobei die zugehörigen Referenz-Signale jeweils im Wesentlichen zeitgleich zu jeweils einem der Objekt-Signale erfasst wurden; (iv) Verwenden des jeweils zeitlich aktuellen Transformationswerts von der Mehrzahl der Transformationswerte für das Bestimmen der weiteren Objekt-Positionen. Dadurch kann eine mögliche örtliche
Veränderung des Objekts in Bezug auf das Körperteil, und damit eine Veränderung der Objekt-Position in Bezug auf die Referenz-Position, berücksichtigt werden. Durch eine solche Veränderung der Objekt-Position zur Referenz-Position kann der bestimmte Transformationswert von einem aktuellen Transformationswert abweichen. Durch eine Bestimmung eines Transformationswerts unter Verwendung von erfassten Objekt-Signalen in vorgegebenen zeitlichen Abständen kann jeweils ein aktualisierter Transformationswert bestimmt werden, der für die Bestimmung der weiteren, also zeitlich nachfolgenden, Objekt-Positionen verwendet werden kann. Dadurch kann die Bestimmung der Objekt-Position zuverlässiger erfolgen.
Bei einigen Ausführungsformen werden die vorgegebenen Zeitabstände in Abhängigkeit eines vorgegebenen Kriteriums angepasst. Dadurch kann eine Anpassung an die zur Verfügung stehende Rechenleistung erfolgen. Wenn die zur Verfügung stehende Rechenleistung als eher gering eingestuft wird, können die zeitlichen Abstände vergrößert werden, wodurch eine geringere Rechenleistung erforderlich ist. Wenn dagegen die zur Verfügung stehende Rechenleistung als hoch eingestuft wird, können die zeitlichen Abstände verringert werden, wodurch eine genauere Bestimmung der Objekt-Position ermöglicht wird, da eine mögliche zwischenzeitliche örtliche Veränderung des Objekts in Bezug auf das Körperteil durch einen zeitlich früher bestimmten Transformationswert bei der Bestimmung der Objekt-Position berücksichtigt werden kann.
Bei einigen Ausführungsformen wird durch das Bestimmen des Transformationswerts ein Abstand bestimmt. Dadurch kann ein Abstand zwischen dem Objekt und dem Körperteil bestimmt werden. Ein Abstand zwischen zwei Positionen kann durch eine Differenzbildung von zwei Koordinaten der bestimmten Positionen ermittelt werden, und erfordert daher nur einen geringen Aufwand.
Bei einigen Ausführungsformen wird durch das Bestimmen des Transformationswerts ein Winkel bestimmt. Durch einen Winkel kann eine Verkippung des Objekts zu dem Körperteil, und letztendlich eine Ausrichtung bestimmt werden.
Bei einigen Ausführungsformen erfolgt das Nachverfolgen des Objekts in einem Innenraum eines Kraftfahrzeugs, wobei der Benutzer ein Fahrzeuginsasse ist.
Ein zweiter Aspekt der Lösung betrifft eine Vorrichtung zur Nachverfolgung eines Objekts, wobei die Vorrichtung eingerichtet ist, das Verfahren nach dem ersten Aspekt auszuführen.
Nachfolgend werden bevorzugte Ausführungsformen der Vorrichtung beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten kombiniert werden können.
Bei einigen Ausführungsformen weist die Vorrichtung (i) eine elektrooptische Erfassungseinrichtung auf, die eingerichtet ist, eine Mehrzahl von zeitlich aufeinanderfolgenden Referenz-Signalen, die jeweils ein Körperteil eines Benutzers repräsentieren, zu erfassen, und die ferner eingerichtet ist, ein Objekt-Signal, welches das Objekt repräsentiert, zu erfassen, wobei das Objekt mechanisch mit dem Körperteil gekoppelt ist, so dass durch eine Bewegung des Körperteils eine im Wesentlichen vergleichbare Bewegung des Objekts erfolgt; wobei das Erfassen des Objekt-Signals im Wesentlichen zeitgleich zu einem Erfassen von einem aus der Mehrzahl der Referenz- Signale erfolgt; (ii) eine Auswerteeinrichtung, die eingerichtet ist, eine Mehrzahl von Referenz-Positionen und/oder Ausrichtungen des Körperteils in Bezug zu einer vorgegebenen Position der elektrooptischen Erfassungseinrichtung unter Verwendung jeweils einer von der Mehrzahl der Referenz-Signalen zu bestimmen, und die ferner eingerichtet ist, eine Objekt-Position und/oder einer Ausrichtung des Objekts in Bezug zu der vorgegebenen Position der elektrooptischen Erfassungseinrichtung unter Verwendung des Objekt-Signals zu bestimmen, und die ferner eingerichtet ist, einen Transformationswert einer geometrischen Kenngröße zu bestimmen, der einen Unterschied der Objekt-Position und/oder der Ausrichtung des Objekts zu der einen Referenz-Position und/oder der einen Ausrichtung des Körperteils repräsentiert, die jeweils unter Verwendung des Referenz-Signals, das im Wesentlichen zeitgleich zu dem Objekt-Signal erfasst wurde, bestimmt wurde, und die ferner eingerichtet ist, eine Mehrzahl von weiteren Objekt-Positionen und/oder Ausrichtungen des Objekts unter Verwendung jeweils einer von der Mehrzahl der Referenz-Positionen und/oder Ausrichtungen des Körperteils und des Transformationswerts, zu bestimmen.
Bei einigen Ausführungsformen weist das Objekt ein Mobil-Gerät, insbesondere eine Daten-Brille, eine VR-Brille, eine AR-Brille oder ein Smartphone, auf. Ein derartiges
Mobil-Gerät kann ein Kommunikationsmodul aufweisen, durch das mit einem anderen Gerät kommuniziert werden kann. Diese Kommunikation kann in Abhängigkeit der jeweiligen Position des Mobil-Geräts erfolgen.
Bei einigen Ausführungsformen weist die elektrooptische Erfassungseinrichtung eine Innenraumkamera eines Kraftfahrzeugs auf. Dadurch können Objekte im Innenraum eines Kraftfahrzeugs nachverfolgt werden.
Ein dritter Aspekt der Lösung betrifft ein Computerprogramm mit Anweisungen, die bewirken, dass die Vorrichtung nach dem zweiten Aspekt die Schritte des Verfahrens nach dem ersten Aspekt ausführen.
Das Computerprogramm kann insbesondere auf einem nichtflüchtigen Datenträger gespeichert sein. Bevorzugt ist dies ein Datenträger in Form eines optischen Datenträgers oder eines Flashspeichermoduls. Dies kann vorteilhaft sein, wenn das Computerprogramm als solches unabhängig von einer Prozessorplattform gehandelt werden soll, auf der das ein bzw. die mehreren Programme auszuführen sind. In einer anderen Implementierung kann das Computerprogramm als eine Datei auf einer Datenverarbeitungseinheit, insbesondere auf einem Server vorliegen, und über eine Datenverbindung, beispielsweise das Internet odereine dedizierte Datenverbindung, wie etwa ein proprietäres oder lokales Netzwerk, herunterladbar sein. Zudem kann das Computerprogramm eine Mehrzahl von zusammenwirkenden einzelnen Programmodulen aufweisen. Die Module können insbesondere dazu konfiguriert sein oder jedenfalls so einsetzbar sein, dass sie im Sinne von verteiltem Rechnen (engl. „Distributed computing“ auf verschiedenen Geräten (Computern bzw. Prozessoreinheiten ausgeführt werden, die geografisch voneinander beabstandet und über ein Datennetzwerk miteinander verbunden sind.
Die in Bezug auf den ersten Aspekt der Lösung erläuterten Merkmale und Vorteile gelten entsprechend auch für die weiteren beschriebenen Aspekte.
Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsformen im Zusammenhang mit den Figuren.
Dabei zeigt
Fig. 1 ein Flussdiagramm zur Veranschaulichung einer bevorzugten Ausführungsform eines Verfahrens; und
Fig. 2 schematisch eine Vorrichtung gemäß einer Ausführungsform.
In den Figuren werden durchgängig dieselben Bezugszeichen für dieselben oder einander entsprechenden Elemente verwendet.
In Figur 1 ist ein Flussdiagramm 100 zur Veranschaulichung einer bevorzugten Ausführungsform eines Verfahrens zur Nachverfolgung einer Daten-Brille 230 gezeigt.
In einem ersten Schritt 110 des Verfahrens erfolgt ein Erfassen einer Mehrzahl von zeitlich aufeinanderfolgenden Referenz-Signalen, die jeweils einen Kopf 250 eines Benutzers 240 repräsentieren, durch eine Kamera 210.
In einem weiteren Schritt 120 des Verfahrens erfolgt ein Erfassen eines Objekt-Signals, welches die Daten-Brille 230 repräsentiert, durch die Kamera 210, wobei die Daten-Brille 230 mechanisch am Kopf 250 befestigt ist, so dass durch eine Bewegung des Kopfes 250 eine im Wesentlichen vergleichbare Bewegung der Daten-Brille 230 erfolgt, wobei das Objekt-Signal im Wesentlichen zeitgleich zum Erfassen von einem aus der Mehrzahl der Referenz-Signal erfasst wird.
In einem weiteren Schritt 130 des Verfahrens erfolgt ein Bestimmen einer Mehrzahl von Positionen und/oder Ausrichtungen des Kopfes 250 in Bezug zu einer vorgegebenen Position der Kamera 210 unter Verwendung jeweils einer von der Mehrzahl der Referenz-Signalen. Dabei können zusätzlich auch sogenannte Gesichtslandmarken, die feste und vorgegebene Punkte, beispielsweise 68 Punkte, im Gesicht aufweisen, verwendet werden.
In einem weiteren Schritt 140 des Verfahrens erfolgt ein Bestimmen einer Position und/oder einer Ausrichtung der Daten-Brille 230 in Bezug zu der vorgegebenen Position der Kamera 210 unter Verwendung des Objekt-Signals. Dabei kann die Position oder Ausrichtung der Datenbrille 230 durch erfasste Signale von aktiven
(emittierenden) oder passiven (reflektierenden) Infrarotmarkern an der Daten-Brille 230 durch die Kamera 210 ermittelt werden.
In einem weiteren Schritt 150 des Verfahrens erfolgt ein Bestimmen eines Transformationswerts einer geometrischen Kenngröße, der einen Unterschied der Position und/oder der Ausrichtung der Daten-Brille 230 und zu der einen Position und/oder der einen Ausrichtung des Kopfes 250 repräsentiert, die jeweils unter Verwendung des Referenz-Signals, das im Wesentlichen zeitgleich zu dem Objekt-Signal erfasst wurde, bestimmt wurde.
In einem weiteren Schritt 160 des Verfahrens erfolgt ein Bestimmen einer Mehrzahl von weiteren Positionen und/oder Ausrichtungen der Daten-Brille 230, unter Verwendung jeweils einer von der Mehrzahl der Positionen und/oder Ausrichtungen des Kopfes 250 und des Transformationswerts.
In Figur 2 ist schematisch eine Vorrichtung gemäß einer Ausführungsform gezeigt. Gemäß dieser Ausführungsform ist in einem Kraftfahrzeug 200 eine Kamera 210 angeordnet. Mit der Kamera 210 können elektromagnetische Signale erfasst werden. Dabei kann die Kamera einen 2D-Sensor oder auch einen 3D-Sensor zum Erfassen von elektromagnetischen Signalen aufweisen. Dadurch können mit der Kamera 210 elektromagnetische Signale, die einen Kopf 250 eines Fahrzeuginsassen 240, repräsentieren, erfasst werden. Ebenso können mit der Kamera 210 elektromagnetische Signale erfasst werden, die eine Daten-Brille 230, die der Fahrzeuginsasse 240 trägt, repräsentieren. Dabei kann die Daten-Brille 230 wie eine übliche Brille zur Sehhilfe mittels zweier Bügel und eines Nasenaufsatzes am Kopf 250 des Fahrzeuginsassen 240 ausgerichtet und befestigt sein. Durch die Bügel, sowie den Nasenaufsatz ist die Daten-Brille 230 ausreichend fest angeordnet, so dass sich bei üblichen Bewegungen des Kopfes 250 die Position oder Ausrichtung der Daten-Brille in Bezug auf den Kopf 250 nicht verändert. Dadurch erfolgt bei einer Bewegung des Kopfes 250 eine vergleichbare Bewegung der Daten-Brille 230.
Im Kraftfahrzeug ist ferner eine Auswerteeinrichtung 220 angeordnet, die signaltechnisch mit der Kamera 210 verbunden ist. Die Auswerteeinrichtung 220 ist eingerichtet, jeweils Positionen und Ausrichtungen bzw. Posen des Kopfes 250 und der Daten- Brille 230 in Bezug auf die Kamera 210 unter Verwendung der erfassten
elektromagnetischen Signale zu bestimmen. Die Position der Kamera 210 innerhalb des Kraftfahrzeugs 200 kann durch eine sogenannte Selbstkalibrierung der Kamera 210 bestimmt werden. Ebenso kann auch eine Position der Kamera 210 manuell eingegeben werden. Die Ausrichtungen des Kopfes 250 (Kopfposen) und der Daten- Brille 230 können jeweils mittels Bildvergleich bestimmt werden. Dabei werden Bilder, die mit den erfassten Referenz-Signalen und/oder Objekt-Signalen generiert wurden, mit Bildern aus Datenbanken verglichen, bei denen die jeweiligen Ausrichtungen vorliegen. Ferner ist es insbesondere vorteilhaft, wenn eine der bestimmten Positionen und/oder Ausrichtungen der Daten-Brille 230 und des Kopfes 250 im Wesentlichen zu demselben Zeitpunkt korrespondieren. Durch diese bestimmten Positionen und/oder Ausrichtungen des Kopfes 250 und der Daten-Brille 230, die zu einem Zeitpunkt korrespondieren, kann durch die Auswerteeinrichtung 220 ein Abstand und/oder eine unterschiedliche Ausrichtung zwischen dem Kopf 250 und der Daten- Brille 230 bestimmt werden. Dabei kann es sich um den Abstand eines Brillenglases zum Gesicht oder eines Bügelrandes zur Stirn oder eines anderen Abstands handeln. Ebenso kann ein Winkel der Daten-Brille 230 in Bezug auf den Kopf 250 bestimmt werden. Bei einer kontinuierlichen Nachverfolgung der Daten-Brille 230 kann nun die Position und/oder Ausrichtung der Daten-Brille 230 durch Verwendung einer aktuell bestimmten Position und/oder Ausrichtung des Kopfes 250 sowie dem Abstand und/oder dem ermittelten Winkel bestimmt werden. Dabei können sechs Freiheitsgrade, drei Koordinaten für die Position und drei Winkel, insbesondere Eulerwinkel, verwendet werden.
Durch die Bestimmung einer Position der Daten-Brille 230 unter Verwendung eines Abstands und/oder eines Winkels zum Kopf 250 und einer Position des Kopfes 250 kann eine erforderliche Rechenleistung eingespart werden. Denn es ist nicht erforderlich den Abstand oder Winkel kontinuierlich zu bestimmen, da sich dieser Abstand und auch die Ausrichtung der Daten-Brille 230 in Bezug auf den Kopf 250 im Wesentlichen nicht verändert. Eine kontinuierliche Bestimmung einer Position der Daten- Brille 230 unter Verwendung von jeweils erfassten Signalen, welche die Daten-Brille 230 repräsentieren, erfordert hingegen deutlich mehr Rechenleistung.
Die vorliegende Offenbarung kann ebenso, alternativ oder kumulativ, für eine Nachverfolgung eines Steuerknüppels (engl.: Joystick), wie er bei Simulatoren, insbesondere Flugsimulatoren oder Simulatoren von Rennautos, verwendet wird, handeln.
Ebenso sind andere Objekte denkbar, wie ein Kopfhörer oder ein Smartphone, die nachverfolgt werden können. Bei dem Kopfhörer kann durch die Nachverfolgung mittels sogenannter „Head Related Transfer Functions“ (HRTFs) ein räumlicher Klangeindruck mit ortsfesten simulierten Schallquellen erzeugt werden. Durch das Verfolgen des Smartphones kann ein AR-Erlebnis erzeugt werden und ortsfeste Elemente können in einer Darstellung des Smartphones ergänzt werden. Dabei kann, alternativ oder kumulativ, eine anderes Köperteil als der Kopf, wie beispielsweise eine Hand des Benutzers 240, beispielsweise die Hand, die das Smartphone hält, nachverfolgt werden (hier nicht dargestellt).
Durch eine Nachverfolgung eines Objekts 230, wie einer Daten-Brille und/oder eines Steuerknüppels, kann durch eine Bewegung eines Körperteils ein Signal, insbesondere ein optisches oder akustisches Signal, an einem Gerät ausgelöst werden. Ebenso kann das Signal in Abhängigkeit von einer Bewegung des Objekts verändert werden oder ortsfest bleiben.
Während vorausgehend wenigstens eine beispielhafte Ausführungsform beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtlimitierende Beispiele darstellen, und es nicht beabsichtigt ist, dadurch den Umfang, die Anwendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorausgehende Beschreibung dem Fachmann eine Anleitung zur Implementierung mindestens einer beispielhaften Ausführungsform liefern, wobei sich versteht, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der in einer beispielhaften Ausführungsform beschriebenen Elemente vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird.
BEZUGSZEICHENLISTE
100 Flussdiagramm
110 Erfassen einer Mehrzahl von Referenz-Signalen 120 Erfassen eines Objekt-Signals
130 Bestimmen einer Mehrzahl von Referenz-Positionen
140 Bestimmen einer Objekt-Position
150 Bestimmen eines Transformationswerts
160 Bestimmen einer Mehrzahl von weiteren Objekt-Positionen
200 Kraftfahrzeug
210 Kamera
220 Auswerteeinrichtung
230 Daten-Brille 240 Fahrzeuginsasse
250 Kopf des Fahrzeuginsassen
Claims
1 . Verfahren zur Nachverfolgung eines Objekts (230) mit folgenden Schritten: Erfassen einer Mehrzahl von zeitlich aufeinanderfolgenden Referenz-Signalen, die jeweils ein Körperteil (250) eines Benutzers (240) repräsentieren, durch eine elektrooptische Erfassungseinrichtung (210);
Erfassen eines Objekt-Signals, welches das Objekt (230) repräsentiert, durch die elektrooptische Erfassungseinrichtung (210), wobei das Objekt (230) mechanisch mit dem Körperteil (250) gekoppelt ist, so dass durch eine Bewegung des Körperteils (250) eine im Wesentlichen vergleichbare Bewegung des Objekts (230) erfolgt, wobei das Erfassen des Objekt-Signals im Wesentlichen zeitgleich zum Erfassen von einem aus der Mehrzahl der Referenz-Signale erfolgt;
Bestimmen einer Mehrzahl von Referenz-Positionen und/oder Ausrichtungen des Körperteils (250) in Bezug zu einer vorgegebenen Position der elektrooptischen Erfassungseinrichtung (210) unter Verwendung jeweils einer von der Mehrzahl der Referenz-Signalen;
Bestimmen einer Objekt-Position und/oder einer Ausrichtung des Objekts in Bezug zu der vorgegebenen Position der elektrooptischen Erfassungseinrichtung (210) unter Verwendung des Objekt-Signals;
Bestimmen eines Transformationswerts einer geometrischen Kenngröße, der einen Unterschied der Objekt-Position und/oder der Ausrichtung des Objekts zu der einen Referenz-Position und/oder der einen Ausrichtung, die jeweils unter Verwendung des Referenz-Signals, das im Wesentlichen zeitgleich zu dem Objekt-Signal erfasst wurde, bestimmt wurde, repräsentiert;
Bestimmen einer Mehrzahl von weiteren Objekt-Positionen und/oder Ausrichtungen unter Verwendung jeweils einer von der Mehrzahl der Referenz-Positionen und/oder Ausrichtungen des Körperteils (250) und des Transformationswerts.
2. Verfahren nach Anspruch 1 , ferner aufweisend:
Erfassen von einer Mehrzahl von weiteren Objekt-Signalen in vorgegebenen Zeitabständen;
Bestimmen von einer Mehrzahl von weiteren Objekt-Positionen und/oder Ausrichtungen des Objekts unter Verwendung jeweils eines von der Mehrzahl der weiteren Objekt-Signale;
Bestimmen von einer Mehrzahl weiterer Transformationswerte unter Verwendung von jeweils einer von der Mehrzahl der weiteren Objekt-Positionen und/oder Ausrichtungen des Objekts und Referenz-Positionen und/oder Ausrichtungen des Köperteils, wobei die zugehörigen Referenz-Signale jeweils im Wesentlichen zeitgleich zu jeweils einem der Objekt-Signale erfasst wurden;
Verwenden des jeweils zeitlich aktuellen Transformationswerts von der Mehrzahl der Transformationswerte für das Bestimmen der weiteren Objekt-Positionen.
3. Verfahren nach einem der vorhergehenden Ansprüche, wobei die vorgegebenen Zeitabstände in Abhängigkeit eines vorgegebenen Kriteriums angepasst werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei durch das Bestimmen des Transformationswerts ein Abstand bestimmt wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei durch das Bestimmen des Transformationswerts ein Winkel bestimmt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Nachverfolgen des Objekts in einem Innenraum eines Kraftfahrzeugs (200) erfolgt, wobei der Benutzer ein Fahrzeuginsasse (240) ist.
7. Vorrichtung zur Nachverfolgung eines Objekts (230), wobei die Vorrichtung eingerichtet ist, das Verfahren nach einem der vorausgehenden Ansprüche auszuführen.
8. Vorrichtung nach Anspruch 7 aufweisend:
Eine elektrooptische Erfassungseinrichtung (210), die eingerichtet ist, eine Mehrzahl von zeitlich aufeinanderfolgenden Referenz-Signalen, die jeweils ein Körperteil (250) eines Benutzers (240) repräsentieren, zu erfassen, und die ferner eingerichtet ist, ein Objekt-Signal, welches das Objekt (230)
repräsentiert, zu erfassen, wobei das Objekt (230) mechanisch mit dem Körperteil (250) gekoppelt ist, so dass durch eine Bewegung des Körperteils (250) eine im Wesentlichen vergleichbare Bewegung des Objekts (230) erfolgt; wobei das Erfassen des Objekt-Signals im Wesentlichen zeitgleich zu einem Erfassen von einem aus der Mehrzahl der Referenz-Signale erfolgt; eine Auswerteeinrichtung (220), die eingerichtet ist, eine Mehrzahl von Referenz-Positionen und/oder Ausrichtungen des Körperteils (250) in Bezug zu einer vorgegebenen Position der elektrooptischen Erfassungseinrichtung (210) unter Verwendung jeweils einer von der Mehrzahl der Referenz-Signalen zu bestimmen, und die ferner eingerichtet ist, eine Objekt-Position und/oder einer Ausrichtung des Objekts in Bezug zu der vorgegebenen Position der elektrooptischen Erfassungseinrichtung (210) unter Verwendung des Objekt-Signals zu bestimmen, und die ferner eingerichtet ist, einen Transformationswert einer geometrischen Kenngröße zu bestimmen, der einen Unterschied der Objekt- Position und/oder der Ausrichtung des Objekts zu der einen Referenz-Position und/oder der einen Ausrichtung des Körperteils repräsentiert, die jeweils unter Verwendung des Referenz-Signals, das im Wesentlichen zeitgleich zu dem Objekt-Signal erfasst wurde, bestimmt wurde, und die ferner eingerichtet ist, eine Mehrzahl von weiteren Objekt-Positionen und/oder Ausrichtungen des Objekts unter Verwendung jeweils einer von der Mehrzahl der Referenz-Positionen und/oder Ausrichtungen des Körperteils (250) und des Transformationswerts, zu bestimmen. Vorrichtung nach Anspruch 7 oder 8, wobei das Objekt ein Mobil-Gerät (230) aufweist. Vorrichtung nach einem der Ansprüche 7 bis 9, wobei die elektrooptische Erfassungseinrichtung eine Innenraumkamera (210) eines Kraftfahrzeugs (200) aufweist. Computerprogramm mit Anweisungen, die bewirken, dass die Vorrichtung nach einem der Ansprüche 7 bis 10 die Schritte des Verfahrens nach einem der Ansprüche 1 bis 6 ausführt.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022129426.9 | 2022-11-08 | ||
DE102022129426.9A DE102022129426A1 (de) | 2022-11-08 | 2022-11-08 | Verfahren und vorrichtung zur nachverfolgung eines objekts |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024099605A1 true WO2024099605A1 (de) | 2024-05-16 |
Family
ID=87517217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/EP2023/070736 WO2024099605A1 (de) | 2022-11-08 | 2023-07-26 | Verfahren und vorrichtung zur nachverfolgung eines objekts |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102022129426A1 (de) |
WO (1) | WO2024099605A1 (de) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190026540A1 (en) * | 2016-02-18 | 2019-01-24 | Mitsubishi Electric Corporation | Passenger detection device, passenger detection system, and passenger detection method |
DE102020126953B3 (de) * | 2020-10-14 | 2021-12-30 | Bayerische Motoren Werke Aktiengesellschaft | System und Verfahren zum Erfassen einer räumlichen Orientierung einer tragbaren Vorrichtung |
-
2022
- 2022-11-08 DE DE102022129426.9A patent/DE102022129426A1/de active Pending
-
2023
- 2023-07-26 WO PCT/EP2023/070736 patent/WO2024099605A1/de unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190026540A1 (en) * | 2016-02-18 | 2019-01-24 | Mitsubishi Electric Corporation | Passenger detection device, passenger detection system, and passenger detection method |
DE102020126953B3 (de) * | 2020-10-14 | 2021-12-30 | Bayerische Motoren Werke Aktiengesellschaft | System und Verfahren zum Erfassen einer räumlichen Orientierung einer tragbaren Vorrichtung |
Non-Patent Citations (1)
Title |
---|
FULARI SUNIT: "A Survey on Motion Models Used for Object Detection in Videos", 2018 2ND INTERNATIONAL CONFERENCE ON TRENDS IN ELECTRONICS AND INFORMATICS (ICOEI), IEEE, 11 May 2018 (2018-05-11), pages 348 - 353, XP033460519, DOI: 10.1109/ICOEI.2018.8553793 * |
Also Published As
Publication number | Publication date |
---|---|
DE102022129426A1 (de) | 2024-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2043045B1 (de) | Verfahren zur Objektverfolgung | |
DE112018001050T5 (de) | System und verfahren zur virtuell erweiterten visuellen gleichzeitigen lokalisierung und kartographierung | |
DE102013223039B4 (de) | Vorrichtung und Verfahren zum Bereitstellen eines AVM-Bildes | |
DE102012223481B4 (de) | Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs | |
DE102017111203A1 (de) | Videoverarbeitungsvorrichtung, videoverarbeitungsverfahren und programm | |
DE102018102194A1 (de) | Elektronische Einrichtung, Informationsverarbeitungsverfahren und Programm | |
WO2015117905A1 (de) | 3d-bildanalysator zur blickrichtungsbestimmung | |
DE102014221510A1 (de) | System und Verfahren für das Erkennen einer Benutzergeste für das Ausführen der Bedienung eines Fahrzeugs | |
DE112016001150T5 (de) | Schätzung extrinsischer kameraparameter anhand von bildlinien | |
DE102013220005A1 (de) | Verfahren und Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs und Fahrerassistenzsystem | |
DE102018212655A1 (de) | Erkennung der Bewegungsabsicht eines Fußgängers aus Kamerabildern | |
DE102018100909A1 (de) | Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden | |
WO2017103255A1 (de) | Vorrichtung und verfahren für ein unbemanntes flugobjekt | |
DE102018133013A1 (de) | Fahrzeugfernsteuerungsvorrichtung und fahrzeugfernsteuerungsverfahren | |
DE112018007232T5 (de) | Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und aufzeichnungsmedium | |
EP3815044A1 (de) | Verfahren zu einer sensor- und speicherbasierten Darstellung einer Umgebung, Anzeigevorrichtung und Fahrzeug mit der Anzeigevorrichtung | |
DE102012211961A1 (de) | Verfahren und Vorrichtung zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts | |
WO2024099605A1 (de) | Verfahren und vorrichtung zur nachverfolgung eines objekts | |
DE102021212632A1 (de) | Prüfung der Umfeldsensorik und/oder Umfeldperzeption eines Fahrzeugs | |
DE102016109153A1 (de) | Verfahren zum einstellen einer blickrichtung in einer darstellung einer virtuellen umgebung | |
DE102021105068A1 (de) | Verfahren und system zur handgestenbasierten vorrichtungssteuerung | |
DE102020202284A1 (de) | Verfahren zum Trainieren und/oder Optimieren eines Insassenüberwachungssystems | |
DE102019102423A1 (de) | Verfahren zur Live-Annotation von Sensordaten | |
DE102018208604A1 (de) | Ermitteln eines Aufnahmeverhaltens einer Aufnahmeeinheit | |
DE102018130229B4 (de) | Verfahren und Vorrichtung zur Objektextraktion aus eine dreidimensionale Szene darstellenden Szenenbilddaten |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23748266 Country of ref document: EP Kind code of ref document: A1 |