EP3129820A1 - Locating a head-mounted display (hmd) in a vehicle - Google Patents
Locating a head-mounted display (hmd) in a vehicleInfo
- Publication number
- EP3129820A1 EP3129820A1 EP15713864.5A EP15713864A EP3129820A1 EP 3129820 A1 EP3129820 A1 EP 3129820A1 EP 15713864 A EP15713864 A EP 15713864A EP 3129820 A1 EP3129820 A1 EP 3129820A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- data glasses
- feature
- pose
- camera
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B2027/0192—Supplementary details
- G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Definitions
- HMD head-mounted display
- the invention relates to a device for contact-analogue display of information on a head-mounted display (HMD), also referred to herein as data glasses.
- HMD head-mounted display
- the data glasses are known, with the help of the wearer of the data glasses information can be displayed.
- the data glasses are worn like ordinary glasses, which is used as a visual aid on the head.
- the data glasses include a display that is located near the user's eyes when wearing the data glasses.
- the display can include two partial displays, one for each eye.
- information may be displayed to the user in the form of text, graphics or mixtures thereof.
- the display may be semitransparent, that is configured in such a way that the wearer can also recognize the surroundings behind the display.
- the information is displayed to the wearer contact-analog, which is sometimes referred to as augmented reality.
- the carrier of the data glasses the information is displayed at a location that is oriented to the location of an object in the area, so for example, adjacent to the object or this superimposed.
- the position of the object in the environment and the pose of the data glasses in relation to the object must be known, ie the position of the data glasses and the alignment of the data glasses.
- Data glasses have become known which likewise each comprise a camera which takes pictures in the direction of the eye of the wearer of the data glasses, see, for example, WO 2013/012914.
- Data glasses can also be used in vehicles to display contact-analogue information. This information may concern other road users or objects in the vehicle. In order to be able to display contact-analogous information, in most cases the pose of the data goggles must also be known here.
- the object of the invention is solved by the subject matters of the independent claims. Advantageous developments are defined in the dependent claims.
- an apparatus for determining the pose of data glasses comprises: data glasses comprising a display and a camera; Electronic computing resources; Where the device is set up to: take pictures of the environment of the data glasses using the camera; Detecting the mapping of a stored and predefined area of the environment in the camera's recordings; wherein the stored and predefined area is stored in a file; Determining a feature in the recognized image of the region; Determining the pose of the data glasses taking into account the particular feature in the recordings; wherein the pose of the data glasses indicates the position of the data glasses and the orientation of the data glasses.
- the method also includes: contact-analog display of information using the particular pose of the data glasses.
- the method may include determining the position of the feature in the vicinity of the data glasses.
- the pose of the data glasses can describe the alignment of the data glasses in a three-dimensional space and the position of the data glasses in a three-dimensional space.
- the area of the environment can also be called an "area of interest”.
- the invention it is proposed to search the recorded environment for predefined areas.
- one or more features are identified by which the pose of the data glasses can be determined. This or these features are typically initially unknown and are first "learned" by the identification.
- a feature is first of all a structure or shape recognized in the image of the camera, on the basis of which the pose of the data glasses can be determined
- the feature can be used to identify the pose particularly well, typically by imaging an object or the part of an object that is suitable for determining the pose of the data glasses, such as a piece of paper or objects that are clearly delimited from the background Feature is ideally with the camera well detectable, so clearly limited and sufficiently contrasted.
- the data glasses are worn by the driver or passenger in a vehicle
- the images of the camera of the smart glasses both the interior of the vehicle and the environment of the vehicle.
- the pose of the data glasses in relation to the vehicle is needed. Therefore, it can not be used for the determination of the pose of the data glasses on the images of the environment outside the vehicle, as this typically moves relative to the vehicle.
- objects in the environment of the vehicle when driving the vehicle often not visible in the recording long enough to make sense for a
- Poznan determination can be used.
- the present invention proposes recognizing in the picture of the camera those areas of the environment of the data glasses which image the interior of the vehicle. For pre-stored information on the interior are provided, which allow the detection of the interior. In the interior recognized features in the recording then serve to determine the pose of the data glasses.
- determining the position of the feature and determining the pose of the data glasses is accomplished by a simultaneous positioning and mapping algorithm, a so-called SLAM (Simultaneous Localization and Mapping).
- the features are typically a feature whose position in the vicinity of the data glasses is unknown. For example, a sheet of paper lying on the dashboard of a vehicle. The position of this paper is variable and is first learned by the SLAM algorithm, after which also the position of the data glasses can be determined by the feature.
- the SLAM algorithm is not applied to the entire camera recording, but only to the imaged area of the environment that corresponds to the predefinition. Thus, preprocessing is performed which restricts the selection of features for the SLAM algorithm.
- the feature of the environment is initially unknown. For example, it is not known if and where a sheet of paper lies on the dashboard of a vehicle.
- the feature is therefore determined in a development on the basis of a predefined rule.
- This rule can determine from taking the camera characteristics that are particularly good for determining the pose suitable, of course only within the identified predefined areas. Suitability may result from the shape of the feature, contrast to the background, or object classification.
- the electronic computing means may comprise a microcontroller, an application specific circuit or a typical CPU.
- the data glasses advantageously comprise an energy store (accumulator or battery) and communication means, in particular for wireless communication by means of protocols such as Bluetooth or Wi-Fi.
- the recognition of the mapping of the area comprises: providing a plurality of predefined and stored regions of the environment; wherein an order is given for the areas; In the order given: Check whether the image of the respective area of the several areas in the recordings of the camera is recognizable; Provide the area whose image was first recognizable. So a prioritization of areas of the environment is introduced. The order may vary depending on how appropriate features are suspected in an area.
- the device is further configured to: recognize a fixed feature in the recordings, namely an a feature that is predefined; Retrieving the stored position of the fix feature in the vicinity of the data glasses; wherein the fixed feature and its location in the environment are stored in a file; Determining the pose of the data glasses taking into account the recognized fix feature, and in particular taking into account the specific feature. It is thus proposed, in addition to determining the pose about first unknown features, to also use already known features in the environment. For this purpose, known (and stored) features in the recording of the camera are detected and their position retrieved or provided. Based on this information, the pose of the data glasses can then be determined.
- the pose of the data glasses is initially determined only taking into account the identified fix features. This first pose determination can be made when the device is first activated. Then, the steps of recognizing the area, determining a (heretofore unknown) feature, and determining the pose of the data glasses on the (hitherto unknown) feature can then be performed.
- the pose determination algorithm may be configured to favorably utilize an already existing pose determination in determining pose using additional newly learned features. This allows the newly learned features with less computational effort for the
- Pose determination can be used and / or the accuracy of the
- Determining poses becomes more robust through the use of fix features and newly learned features. For example, due to the alignment of the data glasses, it could happen that no or only an insufficient number of fix features are picked up by the camera of the data glasses. Likewise, it could happen that fixed features are obscured by other temporary objects. Optionally, in this orientation of the data glasses but still newly learned features are recorded, with the help of which then a Posenbetician can be made. The enlargement of the The number and / or distribution of features allows a more robust and accurate pose determination.
- the recognition of a fixed feature comprises in particular: providing a plurality of fixed features; wherein an order is given for the fixed features, in particular by a probability value for each feature; In the order given: Check whether the image of the respective fix feature is recognizable in the recordings of the camera; Providing the fix feature whose image was first recognizable. It can also be provided that also further recognized fixed features are provided.
- a fixed feature may be, for example, the structure of the frame of the windshield, which is recognizable in the recording of the camera as a clearly limited form. Furthermore, the fixed feature may be a recognizable edge in the dashboard.
- the data glasses also comprise a position sensor, in particular a gyroscope and / or an acceleration sensor; wherein the device is further configured to: receive sensor measurements; Determine the pose taking into account the received sensor measurements based on the pose determined by the feature. It is therefore proposed to determine the pose using the recognized (newly learned and possibly the fixed) feature. Based on this, sensor measurements of position sensors can then be used to further determine the pose.
- the camera is not understood as a position sensor.
- determining the pose is repeated taking into account the particular feature and performed with a first cycle; wherein the determination of the pose is repeated taking into account the received sensor measurements and performed with a second cycle; in particular, the second cycle is shorter than the first cycle, and more particularly the first cycle is a multiple of the second cycle. It is thus suggested to determine the pose using the features with a first cycle and then to update the pose based on the sensor measurements and a second cycle.
- the determination of the pose based on camera images and the associated evaluation can, compared to a pose determination based on measurements of position sensors more computing time and consume more energy. In order to update the pose as often as possible, it may therefore be appropriate to continue the pose between the first cycles using the sensor measurements.
- typical cycle times for the first cycle are 16 ms, and cycle times for the second cycle are 1 ms, for example.
- the pose is thus determined 15 times between two determinations on the camera recording by the sensor measurements.
- the quality of the measurements of position sensors and, based thereon, the determination of the pose due to the drift of the position sensors is worse than the accuracy of the determination of the pose based on camera shots. For this reason, the determination of the pose based on camera shots seems necessary to ensure sufficient accuracy of the pose determination.
- the pose determination based on camera recordings can be compared with the pose determination based on measurements of the position sensors and from this the measurement inaccuracy (drift) of the position sensors can be determined and taken into account for future determination of the pose based on position sensor measurements. This will increase the accuracy of the
- a vehicle in particular a passenger car, comprises one of the above-mentioned devices.
- a method for contact-analogue display of information on data glasses wherein the data glasses include a display and a camera: taking pictures of the environment of the data glasses using the camera; Detecting the mapping of a stored and predefined area of the environment in the camera's recordings; wherein the stored and predefined area is stored in a file; Determining a feature in the recognized image of the region; Determining the position of the feature in the vicinity of the data glasses; Determining the pose of the data glasses taking into account the particular feature in the recordings; the pose of the data glasses indicating the position of the data glasses and the orientation of the data glasses; Mullana- loges displaying information using the particular pose of the data glasses.
- the method is preferably carried out by one of the devices listed above.
- the process can be extended by not just using one camera, but also adding additional sensors to the glasses, such as inertial sensors. Although these alone do not allow a reliable determination of Pose, however, offer a much higher update rate (eg 512 Hz instead of 30 Hz camera). While the determination of poses is precise but seldom done with the camera, in the meantime with the help of inertial sensors a more inaccurate intermediate pose can be determined and thus a high update rate of the pose can be achieved. In addition, at any point in time when a precise pose is determined by the camera, the drift of the inertial sensor can be compensated and, in addition, drift and error of the inertial sensor can be estimated, thus minimizing future inaccuracy in the pure inertial sensor based interposer determination can. Further advantageous embodiments:
- a HUD Head-Up Display
- a HUD Head-Up Display
- construction space and costs can be saved and later in addition faster and easier updates are made.
- a second embodiment would be the contact analog, world-wide route guidance of the navigation, in which the route instructions can be placed contact-analogous on the road (and thus not fixed to the vehicle but world-wide).
- the information presented so far could be extended by other functions such as a completely virtual rearview mirror. Furthermore, by detecting the pose also a conclusion on the field of view of the user possible. Thus, for example, the display on a display may either appear brighter when gazing or the information displayed may be increased (due to the driver's obvious interest).
- the positioning of the goggles is used to determine which seat in a vehicle the current user is sitting on. Conceivable here is the case that several occupants have a data glasses and want to see different information. The information displayed can thus be adapted to the wearer, eg warnings are only displayed to the person in the driver's seat.
- the method enables efficient replacement of other assemblies in vehicles such as a head-up display, resulting in energy and cost savings.
- the system described is so flexible that no unwanted cross-fading of real objects takes place. It saves considerable space in the vehicle.
- Fig. 1 shows schematically a device according to an embodiment
- FIG. 2 schematically shows a flowchart of a method according to an exemplary embodiment.
- Like reference numerals refer to corresponding elements throughout the figures.
- Fig. 1 shows schematically a device according to an embodiment.
- the data glasses 1 comprise two partial displays 2, one for the left and the right eye. Furthermore, the data glasses 1 comprise a camera 3 and a computing unit 4. Not shown in FIG. 1, but included in the data glasses 1 is an accumulator and a Wi-Fi module for wireless radio transmission.
- the data glasses are worn on the head like a typical visual aid, with the data glasses resting on the nose and ears.
- the camera 3 is aligned in the direction of view of the carrier (not shown) of the data glasses 1 and essentially takes up the field of vision of the wearer of the data glasses 1.
- the camera 3 continuously takes pictures, for example every 16 ms, in the visible range of the light.
- the camera 3 also absorbs in the infrared light range. When used in the vehicle, in which the driver and the interior of the vehicle are illuminated at night with infrared light, so the function of the system can be guaranteed even at night.
- FIG. 2 schematically shows a flowchart of a method according to an exemplary embodiment. Optional steps are shown in dashed lines in FIG. 2.
- the method according to FIG. 2 is executed by the data glasses 1 according to FIG. 1.
- step S1 provided the images of the camera 3 from the environment of the data glasses 1.
- step S4 stored and predefined regions of the environment are detected. Subsequently, unknown features in the recognized images of the areas are determined, S5.
- predefined fix features whose position in the vehicle is known, S2 and S3 can be detected in the recordings. Based on the specific features and the identified fix features, the pose of the data glasses is determined, S6.
- the recordings of the surroundings are provided sequentially, that is to say successively, and the steps S2, S3, S4 and S5 are executed again for each recording.
- it may also be provided to first carry out the steps S4 and S5 on the basis of several recordings.
- the features determined in step S5 are traced only in the subsequently provided recordings.
- a collection (sometimes referred to as a "dynamic map") of newly learned features is built which are then tracked, and at predetermined intervals, steps S4 and S5 may again be performed to update the learned features.
- the pose may be updated based on sensor measurements of one or more position sensors, steps S7 and S8. This can be done continuously in a cycle B of eg 1 ms. However, since the accuracy of the position sensors is typically worse than the accuracy of the pose determination using the camera shots, it is usually necessary to determine the pose using the camera shots after several B cycles. This is done by cycle A, which may be 16 ms, for example.
- the consecutive poses can be used to display information in a contact-analog way.
- the function of a "transparent part" of a vehicle can be realized, whereby a camera in the exterior of the vehicle records the surroundings of the vehicle, those parts of these recordings (for example a video stream) that the user has due to The cover of the body of the vehicle can not be seen by the user then in the places of concealment via the displays of the data goggles.
- a camera in the exterior of the vehicle records the surroundings of the vehicle, those parts of these recordings (for example a video stream) that the user has due to
- the cover of the body of the vehicle can not be seen by the user then in the places of concealment via the displays of the data goggles.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
The invention relates to a device for determining the positioning of a head-mounted display, comprising: a head-mounted display which comprises a display and a camera; and electronic calculating means. The device is designed to generate captured images of the surroundings of the head-mounted display using the camera; to detect the image of a stored and specified region of the surroundings in the captured images of the camera, said stored and specified region being described in data; to determine a feature in the detected image of the region; and to determine the positioning of the head-mounted display while taking into consideration the determined feature in the captured images. The positioning of the head-mounted display indicates the position and the orientation of the head-mounted display.
Description
Lokalisierung eines Head-mounted Displays (HMD) im Fahrzeug Localization of a head-mounted display (HMD) in the vehicle
Die Erfindung betrifft eine Vorrichtung zum kontaktanalogen Anzeigen von Informationen auf einem Head-mounted Display (HMD), hierin auch Datenbrille genannt. The invention relates to a device for contact-analogue display of information on a head-mounted display (HMD), also referred to herein as data glasses.
Heutzutage sind Datenbrillen bekannt, mit deren Hilfe dem Träger der Datenbrille Informationen angezeigt werden können. Die Datenbrille wird dabei wie eine gewöhnliche Brille, die als Sehhilfe verwendet wird, auf dem Kopf getragen. Gegenüber einer gewöhnlichen Brille umfasst die Datenbrille jedoch eine Anzeige, die beim Tragen der Datenbrille nahe dem oder den Augen des Benutzers angeordnet ist. Die Anzeige kann dabei zwei Teilanzeigen umfassen, eine für jedes Auge. Auf der Anzeige können dem Benutzer Informationen in Form von Text, graphischen Darstellungen oder Mischungen davon angezeigt werden. Die Anzeige kann insbesondere teildurchlässig sein, also so ausgestaltet sein, dass der Träger auch die Umgebung hinter der Anzeige erkennen kann. Besonders bevorzugt werden dem Träger die Informationen kontaktanalog angezeigt, was manchmal auch als augmented reality bezeichnet wird. Dabei wird dem Träger der Datenbrille die Information an einem Ort angezeigt, der an dem Ort eines Objektes in der Umgebung orientiert ist, also beispielsweise an das Objekt angrenzend oder dieses überlagernd. Zur Realisierung der Kontaktanalogie, muss typischerweise die Position des Objektes in der Umgebung und die Pose der Datenbrille in Relation zum Objekt be- kannt sein, also die Position der Datenbrille und die Ausrichtung der Datenbrille. Today, data glasses are known, with the help of the wearer of the data glasses information can be displayed. The data glasses are worn like ordinary glasses, which is used as a visual aid on the head. Compared to ordinary glasses, however, the data glasses include a display that is located near the user's eyes when wearing the data glasses. The display can include two partial displays, one for each eye. On the display, information may be displayed to the user in the form of text, graphics or mixtures thereof. In particular, the display may be semitransparent, that is configured in such a way that the wearer can also recognize the surroundings behind the display. Particularly preferably, the information is displayed to the wearer contact-analog, which is sometimes referred to as augmented reality. In this case, the carrier of the data glasses, the information is displayed at a location that is oriented to the location of an object in the area, so for example, adjacent to the object or this superimposed. To realize the contact analogy, typically the position of the object in the environment and the pose of the data glasses in relation to the object must be known, ie the position of the data glasses and the alignment of the data glasses.
Es sind Datenbrillen bekannt geworden, die ebenfalls jeweils eine Kamera umfassen, die Aufnahmen in Blickrichtung des Trägers der Datenbrille macht, siehe beispielsweise WO 2013/012914. Data glasses have become known which likewise each comprise a camera which takes pictures in the direction of the eye of the wearer of the data glasses, see, for example, WO 2013/012914.
Datenbrillen können auch in Fahrzeugen genutzt werden, um kontaktanaloge Infor- mationen anzuzeigen. Diese Informationen können andere Verkehrsteilnehmer oder Objekte im Fahrzeug betreffen. Um kontaktanaloge Informationen anzeigen zu können muss in den meisten Fällen auch hier die Pose der Datenbrille bekannt sein. Data glasses can also be used in vehicles to display contact-analogue information. This information may concern other road users or objects in the vehicle. In order to be able to display contact-analogous information, in most cases the pose of the data goggles must also be known here.
Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren bereitzustellen, mit dem die Pose der Datenbrille bestimmt werden kann und darauf aufbauend auf kon- taktanaloge Weise Informationen angezeigt werden können.
Die Aufgabe der Erfindung wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert. It is an object of the present invention to provide a method with which the pose of the data glasses can be determined and information can be displayed based on this in a contact-analog way. The object of the invention is solved by the subject matters of the independent claims. Advantageous developments are defined in the dependent claims.
In einem ersten Aspekt umfasst eine Vorrichtung zum Bestimmen der Pose einer Datenbrille: Eine Datenbrille, umfassend eine Anzeige und eine Kamera; Elektronische Rechenmittel; Wobei die Vorrichtung zu Folgendem eingerichtet ist: Erstellen von Aufnahmen der Umgebung der Datenbrille mithilfe der Kamera; Erkennen der Abbildung eines gespeicherten und vordefinierten Bereiches der Umgebung in den Aufnahmen der Kamera; wobei der gespeicherte und vordefinierte Bereich in einer Datei abgelegt ist; Bestimmen eines Merkmals in der erkannten Abbildung des Bereiches; Bestimmen der Pose der Datenbrille unter Berücksichtigung des bestimmten Merkmals in den Aufnahmen; wobei die Pose der Datenbrille die Position der Datenbrille und die Ausrichtung der Datenbrille angibt. Insbesondere umfasst das Verfahren auch: kontaktanaloges Anzeigen von Informationen unter Verwendung der bestimmten Pose der Datenbrille. Zusätzlich kann das Verfahren das Bestimmen der Position des Merkmals in der Umgebung der Datenbrille umfassen. Die Pose der Datenbrille kann die Ausrichtung der Datenbrille in einem dreidimensionalen Raum und die Position der Datenbrille in einem dreidimensionalen Raum beschreiben. Der Bereich der Umgebung kann auch als„Area of Interest" bezeichnet werden. In a first aspect, an apparatus for determining the pose of data glasses comprises: data glasses comprising a display and a camera; Electronic computing resources; Where the device is set up to: take pictures of the environment of the data glasses using the camera; Detecting the mapping of a stored and predefined area of the environment in the camera's recordings; wherein the stored and predefined area is stored in a file; Determining a feature in the recognized image of the region; Determining the pose of the data glasses taking into account the particular feature in the recordings; wherein the pose of the data glasses indicates the position of the data glasses and the orientation of the data glasses. In particular, the method also includes: contact-analog display of information using the particular pose of the data glasses. In addition, the method may include determining the position of the feature in the vicinity of the data glasses. The pose of the data glasses can describe the alignment of the data glasses in a three-dimensional space and the position of the data glasses in a three-dimensional space. The area of the environment can also be called an "area of interest".
Gemäß der Erfindung wird vorgeschlagen die aufgenommene Umgebung nach vordefinierten Bereichen abzusuchen. Innerhalb der Bereiche werden dann ein oder mehrere Merkmale identifiziert, anhand derer die Pose der Datenbrille bestimmt werden kann. Dieses bzw. diese Merkmale sind typischerweise zunächst unbekannt und werden durch die Identifizierung erst„erlernt". Ein Merkmal ist zunächst eine in der Aufnahme der Kamera erkannte Struktur bzw. Form, auf dessen bzw. deren Basis die Pose der Datenbrille ermittelt werden kann. Idealerweise kann mithilfe des Merkmals die Pose besonders gut ermittelt werden. Ein Merkmal entsteht typischerweise durch die Abbildung eines Gegenstand oder der Teil eines Gegen- Stands, der sich zur Ermittlung der Pose der Datenbrille eignet, beispielsweise ein Papierblatt oder klar gegenüber dem Hintergrund abgegrenzte Gegenstände. Das Merkmal ist idealerweise mit der Kamera gut erfassbar, also klar begrenzt und ausreichend kontrastiert.
Gerade in der Situation, dass die Datenbrille von dem Fahrer oder Beifahrer in einem Fahrzeug getragen wird, ergibt sich, dass die Aufnahmen der Kamera der Datenbrille sowohl den Innenraum des Fahrzeugs als auch das Umfeld des Fahrzeugs abbilden. Für die meisten Anwendungen wird jedoch die Pose der Datenbrille in Relation zum Fahrzeug benötigt. Deshalb kann für die Bestimmung der Pose der Datenbrille nicht auf die Aufnahmen der Umgebung außerhalb des Fahrzeugs zurückgegriffen werden, da sich diese typischerweise relativ zum Fahrzeug bewegt. Weiterhin sind Gegenstände im Umfeld des Fahrzeugs bei Fahrt des Fahrzeugs häufig nicht lange genug in der Aufnahme sichtbar, um sinnvoll für eine According to the invention, it is proposed to search the recorded environment for predefined areas. Within the areas, one or more features are identified by which the pose of the data glasses can be determined. This or these features are typically initially unknown and are first "learned" by the identification.A feature is first of all a structure or shape recognized in the image of the camera, on the basis of which the pose of the data glasses can be determined The feature can be used to identify the pose particularly well, typically by imaging an object or the part of an object that is suitable for determining the pose of the data glasses, such as a piece of paper or objects that are clearly delimited from the background Feature is ideally with the camera well detectable, so clearly limited and sufficiently contrasted. Especially in the situation that the data glasses are worn by the driver or passenger in a vehicle, it follows that the images of the camera of the smart glasses both the interior of the vehicle and the environment of the vehicle. For most applications, however, the pose of the data glasses in relation to the vehicle is needed. Therefore, it can not be used for the determination of the pose of the data glasses on the images of the environment outside the vehicle, as this typically moves relative to the vehicle. Furthermore, objects in the environment of the vehicle when driving the vehicle often not visible in the recording long enough to make sense for a
Posenermittlung verwendet werden zu können. Die vorliegende Erfindung schlägt für eine typische Implementierung vor, in der Aufnahme der Kamera diejenigen Bereiche des Umfeldes der Datenbrille zu erkennen, die den Innenraum des Fahrzeugs abbilden. Dafür werden vorgespeicherte Angaben zum Innenraum zur Verfügung gestellt, die die Erkennung des Innenraums ermöglichen. Im Innenraum er- kannte Merkmale in der Aufnahme dienen dann zur Bestimmung der Pose der Datenbrille. Poznan determination can be used. For a typical implementation, the present invention proposes recognizing in the picture of the camera those areas of the environment of the data glasses which image the interior of the vehicle. For pre-stored information on the interior are provided, which allow the detection of the interior. In the interior recognized features in the recording then serve to determine the pose of the data glasses.
In einer typischen Implementierung wird das Bestimmen der Position des Merkmals und das Bestimmen der Pose der Datenbrille durch einen Algorithmus zum gleichzeitigen Positionieren und Kartenbilden ausgeführt, einem sogenannten SLAM (Simultaneous Localization and Mapping). Bei den Merkmalen handelt es sich typischerweise um ein Merkmal, dessen Position in der Umgebung der Datenbrille unbekannt ist. Beispielsweise ein Blatt Papier, das auf dem Armaturenbrett eines Fahrzeugs liegt. Die Position dieses Papiers ist veränderlich und wird durch den SLAM Algorithmus erst erlernt, woraufhin auch die Position der Datenbrille anhand des Merkmals ermittelt werden kann. Der SLAM Algorithmus wird dabei nicht auf die gesamte Kameraaufnahme angewandt, sondern nur auf den abgebildeten Bereich des Umfeldes, der der Vordefinition entspricht. Es wird also eine Vorprozessierung ausgeführt, die die Auswahl an Merkmalen für den SLAM Algorithmus einschränkt. In a typical implementation, determining the position of the feature and determining the pose of the data glasses is accomplished by a simultaneous positioning and mapping algorithm, a so-called SLAM (Simultaneous Localization and Mapping). The features are typically a feature whose position in the vicinity of the data glasses is unknown. For example, a sheet of paper lying on the dashboard of a vehicle. The position of this paper is variable and is first learned by the SLAM algorithm, after which also the position of the data glasses can be determined by the feature. The SLAM algorithm is not applied to the entire camera recording, but only to the imaged area of the environment that corresponds to the predefinition. Thus, preprocessing is performed which restricts the selection of features for the SLAM algorithm.
In einem typischen Szenario ist das Merkmal des Umfeldes zunächst unbekannt. Es ist beispielsweise nicht bekannt, ob und wo ein Blatt Papier auf dem Armaturenbrett eines Fahrzeugs liegt. Das Merkmal wird in einer Weiterbildung deshalb anhand einer vordefinierten Regel bestimmt. Diese Regel kann aus der Aufnahme der Kamera Merkmale bestimmen, die sich für die Bestimmung der Pose besonders gut
eignen, natürlich nur innerhalb der erkannten vordefinierten Bereiche. Die Eignung kann sich aus der Form des Merkmals, dem Kontrast zum Hintergrund oder anhand einer Objektklassifizierung ergeben. In a typical scenario, the feature of the environment is initially unknown. For example, it is not known if and where a sheet of paper lies on the dashboard of a vehicle. The feature is therefore determined in a development on the basis of a predefined rule. This rule can determine from taking the camera characteristics that are particularly good for determining the pose suitable, of course only within the identified predefined areas. Suitability may result from the shape of the feature, contrast to the background, or object classification.
Die elektronischen Rechenmittel können einen MikroController, einen anwendungs- spezifischen Schaltkreis oder eine typische CPU umfassen. Bevorzugt ist sogar die Datenbrille selbst mit den elektronischen Rechenmitteln ausgestattet. Zusätzlich umfasst die Datenbrille vorteilhafterweise einen Energiespeicher (Akkumulator oder Batterie) und Kommunikationsmittel, insbesondere zur drahtlosen Kommunikation mittels Protokollen wie Bluetooth oder Wi-Fi. In einer vorteilhaften Weiterbildung umfasst das Erkennen der Abbildung des Bereiches: Bereitstellen mehrerer vordefinierter und gespeicherter Bereiche der Umgebung; wobei für die Bereiche eine Reihenfolge vorgegeben ist; In der vorgegebenen Reihenfolge: Prüfen, ob die Abbildung des jeweiligen Bereiches der mehreren Bereiche in den Aufnahmen der Kamera erkennbar ist; Bereitstellen des Bereiches, dessen Abbildung zuerst erkennbar war. Es wird also eine Priorisierung von Bereichen des Umfeldes eingeführt. Die Reihenfolge kann sich danach richten, inwiefern in einem Bereich geeignete Merkmale vermutet werden. Im Bereich der Anzeige des Geschwindigkeitsmessers mit einem Zeiger in einem Fahrzeug beispielsweise würden eher keine geeigneten Merkmale vermutet, da sich der Zeiger bei der Fahrt bewegt und seine Position verändert. In Bereichen des Armaturenbretts, in denen typischerweise nur Gegenstände abgelegt werden, ohne dass sich dort sich fortlaufend bewegende Teile befinden, können jedoch geeignete Merkmale vermutet werden. Die Annahme, in einem Bereich des Umfeldes geeignete Merkmale zu finden, und die Quantifizierung dieser Annahme spiegelt sich vorteilhafterweise in der vor- gegebenen Reihenfolge aus. Die Reihenfolge kann durch eine Wahrscheinlichkeitszahl vorgegeben sein. Die Bestimmung der Pose wird dann mithilfe eines Merkmals in dem Bereich ausgeführt, dem die höchste Priorität (in Form einer Position in der Reihenfolge) zugewiesen ist. Zusätzlich können natürlich auch weitere Merkmale in demselben Bereich oder in weiteren Bereichen zur Bestimmung der Pose verwen- det werden. The electronic computing means may comprise a microcontroller, an application specific circuit or a typical CPU. Preferably, even the data glasses themselves are equipped with the electronic computing means. In addition, the data glasses advantageously comprise an energy store (accumulator or battery) and communication means, in particular for wireless communication by means of protocols such as Bluetooth or Wi-Fi. In an advantageous development, the recognition of the mapping of the area comprises: providing a plurality of predefined and stored regions of the environment; wherein an order is given for the areas; In the order given: Check whether the image of the respective area of the several areas in the recordings of the camera is recognizable; Provide the area whose image was first recognizable. So a prioritization of areas of the environment is introduced. The order may vary depending on how appropriate features are suspected in an area. For example, in the field of displaying the speedometer with a pointer in a vehicle, no suitable features would be suspected, as the pointer moves while traveling and changes position. However, suitable features may be suspected in dashboard areas where typically only articles are stored without continually moving parts there. The assumption of finding suitable features in an area of the environment and the quantification of this assumption are advantageously reflected in the given order. The order can be specified by a probability number. The determination of the pose is then performed using a feature in the area assigned the highest priority (in the form of a position in the order). In addition, it is of course also possible to use further features in the same area or in other areas for determining the pose.
In einer besonders bevorzugten Ausführungsform ist die Vorrichtung ferner zu Folgendem eingerichtet: Erkennen eines Fixmerkmals in den Aufnahmen, nämlich ei-
nes Merkmals, das vordefiniert ist; Abrufen der gespeicherten Position des Fixmerkmals in der Umgebung der Datenbrille; wobei das Fixmerkmal und dessen Position in der Umgebung in einer Datei gespeichert sind; Bestimmen der Pose der Datenbrille unter Berücksichtigung des erkannten Fixmerkmals, und insbesondere auch unter Berücksichtigung des bestimmten Merkmals. Es wird somit vorgeschlagen, zusätzlich zur Bestimmung der Pose über zuerst unbekannte Merkmale, auch bereits bekannte Merkmale in der Umgebung zu verwenden. Dazu werden bekannte (und gespeicherte) Merkmale in der Aufnahme der Kamera erkannt und deren Position abgerufen bzw. bereitgestellt. Aufbauend auf diesen Informationen kann dann die Pose der Datenbrille bestimmt werden. In a particularly preferred embodiment, the device is further configured to: recognize a fixed feature in the recordings, namely an a feature that is predefined; Retrieving the stored position of the fix feature in the vicinity of the data glasses; wherein the fixed feature and its location in the environment are stored in a file; Determining the pose of the data glasses taking into account the recognized fix feature, and in particular taking into account the specific feature. It is thus proposed, in addition to determining the pose about first unknown features, to also use already known features in the environment. For this purpose, known (and stored) features in the recording of the camera are detected and their position retrieved or provided. Based on this information, the pose of the data glasses can then be determined.
In einer besonders bevorzugten Ausführungsform, wird die Pose der Datenbrille zunächst nur unter Berücksichtigung der erkannten Fixmerkmale bestimmt. Diese erste Posenbestimmung kann beim ersten Aktivieren der Vorrichtung vorgenommen werden. Anschließend können dann die Schritte des Erkennens des Bereiches, des Bestimmens eines (bisher unbekannten) Merkmals und des Bestimmens der Pose der Datenbrille auf dem (bisher unbekannten) Merkmal und ausgeführt werden. Der Algorithmus zur Bestimmung der Pose kann dazu ausgelegt sein, eine bereits vorhandene Bestimmung der Pose bei der Bestimmung der Pose unter zusätzlicher Verwendung von neu erlernten Merkmalen vorteilhaft zu verwenden. Dadurch kön- nen die neu erlernten Merkmale mit weniger Rechenaufwand für die In a particularly preferred embodiment, the pose of the data glasses is initially determined only taking into account the identified fix features. This first pose determination can be made when the device is first activated. Then, the steps of recognizing the area, determining a (heretofore unknown) feature, and determining the pose of the data glasses on the (hitherto unknown) feature can then be performed. The pose determination algorithm may be configured to favorably utilize an already existing pose determination in determining pose using additional newly learned features. This allows the newly learned features with less computational effort for the
Posenbestimmung verwendet werden und/oder die Genauigkeit der Pose determination can be used and / or the accuracy of the
Posenbestimmung unter Berücksichtigung der neu erlernten Merkmale verbessert werden. Pozzuko determination to be improved taking into account the newly learned characteristics.
Die Verwendung der neu erlernten (und zusätzlichen) Merkmale dient generell der Steigerung der Genauigkeit der Posenbestimmung. Zudem kann die The use of the newly learned (and additional) features generally serves to increase the accuracy of the pose determination. In addition, the
Posenbestimmung durch die Verwendung von Fixmerkmalen und neu erlernten Merkmalen robuster werden. Beispielsweise könnte es aufgrund der Ausrichtung der Datenbrille dazu kommen, dass keine oder eine nur unzureichende Anzahl an Fixmerkmalen durch die Kamera der Datenbrille aufgenommen werden. Ebenso könnte es dazu kommen, dass Fixmerkmale von anderen temporär vorhandenen Gegenständen verdeckt werden. Gegebenenfalls werden in dieser Ausrichtung der Datenbrille aber immer noch neu erlernte Merkmale aufgenommen, mit deren Hilfe dann eine Posenbestimmung vorgenommen werden kann. Die Vergrößerung der
Anzahl und/oder der Verteilung der Merkmale ermöglicht eine robustere und genauere Posenbestimmung. Determining poses becomes more robust through the use of fix features and newly learned features. For example, due to the alignment of the data glasses, it could happen that no or only an insufficient number of fix features are picked up by the camera of the data glasses. Likewise, it could happen that fixed features are obscured by other temporary objects. Optionally, in this orientation of the data glasses but still newly learned features are recorded, with the help of which then a Posenbestimmung can be made. The enlargement of the The number and / or distribution of features allows a more robust and accurate pose determination.
Das Erkennen eines Fixmerkmals umfasst insbesondere: Bereitstellen mehrerer Fixmerkmale; wobei für die Fixmerkmale eine Reihenfolge vorgegeben ist, insbe- sondere durch einen Wahrscheinlichkeitswert für jedes Merkmal; In der vorgegebenen Reihenfolge: Prüfen, ob die Abbildung des jeweiligen Fixmerkmals in den Aufnahmen der Kamera erkennbar ist; Bereitstellen des Fixmerkmals, dessen Abbildung zuerst erkennbar war. Es kann ebenfalls vorgesehen sein, dass auch weitere erkannte Fixmerkmale bereitgestellt werden. Ein Fixmerkmal kann beispielsweise die Struktur des Rahmens der Windschutzscheibe sein, die in der Aufnahme der Kamera als klar begrenzte Form erkennbar ist. Weiterhin kann das Fixmerkmal eine erkennbare Kante im Armaturenbrett sein. The recognition of a fixed feature comprises in particular: providing a plurality of fixed features; wherein an order is given for the fixed features, in particular by a probability value for each feature; In the order given: Check whether the image of the respective fix feature is recognizable in the recordings of the camera; Providing the fix feature whose image was first recognizable. It can also be provided that also further recognized fixed features are provided. A fixed feature may be, for example, the structure of the frame of the windshield, which is recognizable in the recording of the camera as a clearly limited form. Furthermore, the fixed feature may be a recognizable edge in the dashboard.
In einer Erweiterung umfasst die Datenbrille ferner einen Lagesensor umfasst, insbesondere ein Gyroskop und/oder einen Beschleunigungssensor; wobei die Vorrich- tung ferner zu Folgendem eingerichtet ist: Empfangen von Sensormessungen; Bestimmen der Pose unter Berücksichtigung der empfangenen Sensormessungen basierend auf der mithilfe des Merkmals bestimmten Pose. Es wird also vorgeschlagen die Pose mithilfe des erkannten (des neu erlernten und ggf. des Fix-) Merkmals zu bestimmen. Aufbauend darauf können dann Sensormessungen von Lagesenso- ren verwendet werden, um die Pose weiterhin zu bestimmen. Hierin wird die Kamera nicht als ein Lagesensor verstanden. In an extension, the data glasses also comprise a position sensor, in particular a gyroscope and / or an acceleration sensor; wherein the device is further configured to: receive sensor measurements; Determine the pose taking into account the received sensor measurements based on the pose determined by the feature. It is therefore proposed to determine the pose using the recognized (newly learned and possibly the fixed) feature. Based on this, sensor measurements of position sensors can then be used to further determine the pose. Herein, the camera is not understood as a position sensor.
In einer typischen Implementierung der Erweiterung wird das Bestimmen der Pose unter Berücksichtigung des bestimmten Merkmals wiederholt und mit einem ersten Zyklus ausgeführt; wobei das Bestimmen der Pose unter Berücksichtigung der emp- fangenen Sensormessungen wiederholt und mit einem zweiten Zyklus ausgeführt wird; wobei insbesondere der zweite Zyklus kürzer als der erste Zyklus ist und weiter insbesondere der erste Zyklus ein Vielfaches des zweiten Zyklus ist. Es wird somit vorgeschlagen die Pose mithilfe der Merkmale mit einem ersten Zyklus zu bestimmen und die Pose dann basierend auf den Sensormessungen und einem zweiten Zyklus fortzuschreiben. Die Bestimmung der Pose basierend auf Kameraaufnahmen und die dazugehörige Auswertung können im Vergleich zu einer Posenbestimmung basierend auf Messungen von Lagesensoren mehr Rechenzeit
und mehr Energieverbrauch in Anspruch nehmen. Um die Pose möglichst häufig zu aktualisieren kann es sich deshalb anbieten zwischen den ersten Zyklen die Pose mithilfe der Sensormessungen fortzuschreiben. Typische Zykluszeiten für den ersten Zyklus sind beispielsweise 16 ms und Zykluszeiten für den zweiten Zyklus sind beispielsweise 1 ms. Die Pose wird also 15 mal zwischen zwei Bestimmungen über die Kameraaufnahme durch die Sensormessungen bestimmt. Typischerweise ist die Güte der Messungen von Lagesensoren und darauf aufbauend die Bestimmung der Pose aufgrund der Drift der Lagesensoren schlechter, als die Genauigkeit der Bestimmung der Pose basierend auf Kameraaufnahmen. Aus diesem Grund erscheint die Bestimmung der Pose basierend auf Kameraaufnahmen nötig, um eine ausreichende Genauigkeit der Posenbestimmung zu gewährleisten. Bei der Verwendung von hochgenauen Lagesensoren mit sehr geringer Drift kann in Betracht gezogen werden, die Zykluszeiten für die Posenbestimmung mithilfe der Kamera wesentlich zu erhöhen. In einer Ausgestaltung kann die Posenbestimmung aufbauend auf Kameraaufnahmen mit der Posenbestimmung aufbauend auf Messungen der Lagesensoren verglichen werden und daraus die Messungenauigkeit (Drift) der Lagesensoren bestimmt und für zukünftige Bestimmungen der Pose aufbauend auf Lagesensormessungen berücksichtigt werden. Hierdurch wird die Genauigkeit der In a typical implementation of the extension, determining the pose is repeated taking into account the particular feature and performed with a first cycle; wherein the determination of the pose is repeated taking into account the received sensor measurements and performed with a second cycle; in particular, the second cycle is shorter than the first cycle, and more particularly the first cycle is a multiple of the second cycle. It is thus suggested to determine the pose using the features with a first cycle and then to update the pose based on the sensor measurements and a second cycle. The determination of the pose based on camera images and the associated evaluation can, compared to a pose determination based on measurements of position sensors more computing time and consume more energy. In order to update the pose as often as possible, it may therefore be appropriate to continue the pose between the first cycles using the sensor measurements. For example, typical cycle times for the first cycle are 16 ms, and cycle times for the second cycle are 1 ms, for example. The pose is thus determined 15 times between two determinations on the camera recording by the sensor measurements. Typically, the quality of the measurements of position sensors and, based thereon, the determination of the pose due to the drift of the position sensors is worse than the accuracy of the determination of the pose based on camera shots. For this reason, the determination of the pose based on camera shots seems necessary to ensure sufficient accuracy of the pose determination. When using highly accurate, very low-drift position sensors, it may be considered to significantly increase the cycle times for determining the pose using the camera. In one embodiment, the pose determination based on camera recordings can be compared with the pose determination based on measurements of the position sensors and from this the measurement inaccuracy (drift) of the position sensors can be determined and taken into account for future determination of the pose based on position sensor measurements. This will increase the accuracy of the
Posenbestimmung aufbauend auf Lagesensormessungen verbessert. Pose determination based on position sensor measurements improved.
Es kann vorgesehen sein, dass ein Fahrzeug, insbesondere ein Personenkraftwagen, eine der obengenannten Vorrichtungen umfasst. It can be provided that a vehicle, in particular a passenger car, comprises one of the above-mentioned devices.
In einem anderen Aspekt umfasst ein Verfahren zum kontaktanalogen Anzeigen von Informationen auf einer Datenbrille, wobei die Datenbrille eine Anzeige und eine Kamera umfasst: Erstellen von Aufnahmen der Umgebung der Datenbrille mithilfe der Kamera; Erkennen der Abbildung eines gespeicherten und vordefinierten Bereiches der Umgebung in den Aufnahmen der Kamera; wobei der gespeicherte und vordefinierte Bereich in einer Datei abgelegt ist; Bestimmen eines Merkmals in der erkannten Abbildung des Bereiches; Bestimmen der Position des Merkmals in der Umgebung der Datenbrille; Bestimmen der Pose der Datenbrille unter Berücksichtigung des bestimmten Merkmals in den Aufnahmen; wobei die Pose der Datenbrille die Position der Datenbrille und die Ausrichtung der Datenbrille angibt; Kontaktana-
loges Anzeigen der Informationen unter Verwendung der bestimmten Pose der Datenbrille. Das Verfahren wird bevorzugt von einer der vorhergehend aufgeführten Vorrichtungen ausgeführt. In another aspect, a method for contact-analogue display of information on data glasses, wherein the data glasses include a display and a camera: taking pictures of the environment of the data glasses using the camera; Detecting the mapping of a stored and predefined area of the environment in the camera's recordings; wherein the stored and predefined area is stored in a file; Determining a feature in the recognized image of the region; Determining the position of the feature in the vicinity of the data glasses; Determining the pose of the data glasses taking into account the particular feature in the recordings; the pose of the data glasses indicating the position of the data glasses and the orientation of the data glasses; Kontaktana- loges displaying information using the particular pose of the data glasses. The method is preferably carried out by one of the devices listed above.
In einer weiterführenden Ausprägung wird vorgeschlagen, das von einer in der Da- tenbrille eingebauten Kamera aufgenommene aktuelle Bild mit einem Referenzbild des Fahrzeuginnenraums abzugleichen und somit entsprechende Formen und Objekte erkennen zu können. Eine gleichzeitige Erlernung des Referenzbildes ist hier auch möglich. Zur Erkennung von Objekten werden in den Bildern gleiche Objekte gefunden und daraus Rückschlüsse gezogen. Ein Ansatz für die Lösung des Problems aus der Robotik ist z.B. der SLAM-Algorithmus, es gibt jedoch diverse andere verwendbare Algorithmen. Dabei wird eine interne Karte des Fahrzeuges auf Basis von eindeutigen und nicht veränderbaren Merkmalen des Interieurs erstellt. Da sich Teile dieses Interieurs aber bewegen oder verändern wie z.B. Lenkrad oder Schaltknauf, kann der Algorithmus durch Implementierung von„Areas of Interest" optimiert werden. In a further development, it is proposed to match the current image recorded by a camera installed in the data glasses with a reference image of the vehicle interior and thus to be able to recognize corresponding shapes and objects. Simultaneous learning of the reference image is also possible here. To detect objects, the same objects are found in the images and conclusions drawn. One approach to solving the problem of robotics is e.g. the SLAM algorithm, but there are several other usable algorithms. An internal map of the vehicle is created on the basis of unique and unchangeable features of the interior. However, as parts of this interior move or change, e.g. Steering wheel or shift knob, the algorithm can be optimized by implementing "areas of interest".
Bei der Benutzung des Systems wird ein Abgleich mit dieser internen Karte durchgeführt und es ist somit möglich, die Datenbrille im Interieur zu lokalisieren. Nach jedem Durchlauf der Sensoren werden die Daten ausgewertet und die interne Karte des Innenraums erweitert und verbessert, um die Genauigkeit zu erhöhen. Dabei wird mit einer statischen Karte begonnen und diese während der Laufzeit dynamisch um neue erlernte Features, also Merkmale, erweitert. Der Grund für dynamische Karten sind Fremdobjekte im Sichtbereich, die gelernte Features in der statischen Karte überdecken, jedoch ihrerseits gute Features liefern können (beispielsweise Prospekt auf dem Armaturenbrett). Durch das Verfahren wird nicht nur die Position in 3 Freiheitsgraden, sondern auch die rotatorische Ausrichtung in 3 Freiheitsgraden bestimmt. Dadurch kann die Kopfbewegung des Benutzers errechnet (6D-Pose), sein aktuelles Sichtfeld bestimmt und möglicherweise auf dieses reagiert werden. When using the system, a comparison is made with this internal card and it is thus possible to locate the data glasses in the interior. After each pass through the sensors, the data is evaluated and the internal map of the interior is expanded and improved to increase accuracy. It starts with a static map and dynamically expands it with new learned features, ie features, during runtime. The reason for dynamic maps are foreign objects in the field of view, which mask the learned features in the static map, but in turn can provide good features (for example, brochure on the dashboard). By the method, not only the position in 3 degrees of freedom, but also the rotational orientation in 3 degrees of freedom is determined. As a result, the head movement of the user can be calculated (6D pose), his current field of vision can be determined and possibly reacted to.
Erweitert werden kann das Verfahren, indem nicht nur eine Kamera eingesetzt wird, sondern zusätzlich weitere Sensoren in der Brille verbaut werden, beispielsweise Inertialsensorik. Diese erlauben zwar alleine keine zuverlässige Bestimmung der
Pose, bieten jedoch eine deutlich höhere Updaterate (z.B. 512 Hz anstelle von 30 Hz Kamera). Während mit der Kamera die Posen-Bestimmung präzise aber selten geschieht, kann in der Zwischenzeit mit Hilfe der Inertialsensorik eine ungenauere Zwischenpose ermittelt werden und somit eine hohe Updaterate der Pose erzielt werden. Zu jedem Zeitpunkt, an dem eine präzise Posen-Bestimmung durch die Kamera erfolgt, kann zudem der Drift der Inertialsensorik ausgeglichen werden und darüber hinaus sogar Drift und Fehler der Inertialsensorik geschätzt werden, sodass die zukünftige Ungenauigkeit bei der rein Inertialsensorik basierenden Zwischenposen-Bestimmung minimiert werden kann. Weitere vorteilhafte Ausgestaltungen: The process can be extended by not just using one camera, but also adding additional sensors to the glasses, such as inertial sensors. Although these alone do not allow a reliable determination of Pose, however, offer a much higher update rate (eg 512 Hz instead of 30 Hz camera). While the determination of poses is precise but seldom done with the camera, in the meantime with the help of inertial sensors a more inaccurate intermediate pose can be determined and thus a high update rate of the pose can be achieved. In addition, at any point in time when a precise pose is determined by the camera, the drift of the inertial sensor can be compensated and, in addition, drift and error of the inertial sensor can be estimated, thus minimizing future inaccuracy in the pure inertial sensor based interposer determination can. Further advantageous embodiments:
In einer ersten Ausgestaltung wird ein HUD (Head-Up Display) im gewohnten Funktionsumfang an der gewohnten, fahrzeugfesten Position simuliert, ohne dass jedoch im Fahrzeug ein echtes HUD verbaut sein muss. Hier können Bau Raum und Kosten gespart werden und später zusätzlich schneller und einfacher Aktualisierungen vorgenommen werden. In a first embodiment, a HUD (Head-Up Display) is simulated in the usual range of functions at the usual, vehicle-fixed position, but without the need to install a real HUD in the vehicle. Here, construction space and costs can be saved and later in addition faster and easier updates are made.
Eine zweiten Ausgestaltung wäre die kontaktanaloge, weltfeste Routenführung der Navigation, bei der die Routenanweisungen kontaktanalog auf der Straße platziert werden können (und somit nicht fahrzeugfest sondern weltfest). A second embodiment would be the contact analog, world-wide route guidance of the navigation, in which the route instructions can be placed contact-analogous on the road (and thus not fixed to the vehicle but world-wide).
In einer dritten Ausgestaltung könnten die bisher dargestellten Informationen durch weitere Funktionen wie z.B. einen komplett virtuellen Rückspiegel erweitert werden. Des Weiteren durch die Erkennung der Pose auch ein Rückschluss auf das Blickfeld des Benutzers möglich. Damit kann z.B. die Anzeige in einem Display bei Blickzuwendung entweder heller erscheinen oder die dargestellten Informationen könnten (aufgrund des offensichtlichen Interesses des Fahrers) vergrößert werden. In einer vierten Ausgestaltung wird die Positionierung der Brille verwendet, um festzustellen, auf welchem Sitzplatz in einem Fahrzeug der aktuelle Benutzer sitzt. Denkbar ist hier der Fall, dass mehrere Insassen eine Datenbrille aufhaben und unterschiedliche Informationen sehen wollen. Die dargestellten Informationen lassen sich somit an den Träger anpassen, z.B. werden Warnungen nur der Person auf dem Fahrersitz dargestellt.
Durch das Verfahren können andere Baugruppen in Fahrzeugen wie ein Head-Up Display effizient ersetzt werden, was eine Energie- und Kostenersparnis mit sich bringt. Gleichzeitig ist das beschriebene System so flexibel, dass keine unerwünschte Überblendung realer Objekte erfolgt. Es wird erheblicher Bauraum im Fahrzeug eingespart. In a third embodiment, the information presented so far could be extended by other functions such as a completely virtual rearview mirror. Furthermore, by detecting the pose also a conclusion on the field of view of the user possible. Thus, for example, the display on a display may either appear brighter when gazing or the information displayed may be increased (due to the driver's obvious interest). In a fourth embodiment, the positioning of the goggles is used to determine which seat in a vehicle the current user is sitting on. Conceivable here is the case that several occupants have a data glasses and want to see different information. The information displayed can thus be adapted to the wearer, eg warnings are only displayed to the person in the driver's seat. The method enables efficient replacement of other assemblies in vehicles such as a head-up display, resulting in energy and cost savings. At the same time, the system described is so flexible that no unwanted cross-fading of real objects takes place. It saves considerable space in the vehicle.
KURZE BESCHREIBUNG DER ZEICHNUNGEN BRIEF DESCRIPTION OF THE DRAWINGS
Fig. 1 zeigt schematisch eine Vorrichtung gemäß einem Ausführungsbeispiel Fig. 1 shows schematically a device according to an embodiment
Fig. 2 zeigt schematisch ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel. Gleiche Bezugszeichen beziehen sich auf sich entsprechende Elemente über die Figuren hinweg. FIG. 2 schematically shows a flowchart of a method according to an exemplary embodiment. Like reference numerals refer to corresponding elements throughout the figures.
DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE DETAILED DESCRIPTION OF THE EMBODIMENTS
Fig. 1 zeigt schematisch eine Vorrichtung gemäß einem Ausführungsbeispiel. Die Datenbrille 1 umfasst zwei Teilanzeigen 2, je eine für das linke und das rechte Au- ge. Des Weiteren umfasst die Datenbrille 1 eine Kamera 3 und eine Recheneinheit 4. Nicht in Fig. 1 dargestellt, aber von der Datenbrille 1 umfasst ist ein Akkumulator und ein Wi-Fi Modul zur drahtlosen Funkübertragung. Die Datenbrille wird wie eine typische Sehhilfe auf dem Kopf getragen, wobei die Datenbrille auf der Nase und den Ohren aufliegt. Die Kamera 3 ist in Blickrichtung des Trägers (nicht gezeigt) der Datenbrille 1 ausgerichtet und nimmt im Wesentlichen das Blickfeld des Trägers der Datenbrille 1 auf. Die Kamera 3 macht fortlaufend Aufnahmen, also beispielsweise alle 16 ms, im sichtbaren Bereich des Lichts. Zusätzlich nimmt die Kamera 3 auch im Infrarotlichtbereich auf. Bei einem Einsatz im Fahrzeug, bei dem der Fahrer und der Innenraum des Fahrzeugs bei Nacht mit Infrarotlicht beleuchtet werden, kann somit auch bei Nacht die Funktion des Systems gewährleistet werden. Fig. 1 shows schematically a device according to an embodiment. The data glasses 1 comprise two partial displays 2, one for the left and the right eye. Furthermore, the data glasses 1 comprise a camera 3 and a computing unit 4. Not shown in FIG. 1, but included in the data glasses 1 is an accumulator and a Wi-Fi module for wireless radio transmission. The data glasses are worn on the head like a typical visual aid, with the data glasses resting on the nose and ears. The camera 3 is aligned in the direction of view of the carrier (not shown) of the data glasses 1 and essentially takes up the field of vision of the wearer of the data glasses 1. The camera 3 continuously takes pictures, for example every 16 ms, in the visible range of the light. In addition, the camera 3 also absorbs in the infrared light range. When used in the vehicle, in which the driver and the interior of the vehicle are illuminated at night with infrared light, so the function of the system can be guaranteed even at night.
Fig. 2 zeigt schematisch ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel. Optionale Schritte sind in Fig. 2 gestrichelt dargestellt. Das Verfahren nach Fig. 2 wird von der Datenbrille 1 nach Fig. 1 ausgeführt. Im Schritt S1 wer-
den Aufnahmen der Kamera 3 von der Umgebung der Datenbrille 1 bereitgestellt. Im Schritt S4 werden gespeicherte und vordefinierte Bereiche der Umgebung erkannt. Daraufhin werden bisher unbekannte Merkmale in den erkannten Abbildungen der Bereiche bestimmt, S5. Zusätzlich können in den Aufnahmen vordefinierte Fixmerkmale erkannt werden, deren Position im Fahrzeug bekannt ist, S2 und S3. Basierend auf den bestimmten Merkmalen und den erkannten Fixmerkmalen wird die Pose der Datenbrille bestimmt, S6. Es kann vorgesehen sein, dass die Aufnahmen der Umgebung sequentiell, also nacheinander bereitgestellt werden und die Schritte S2, S3, S4 und S5 für jede Aufnahme erneut ausgeführt werden. In einer Implementierung kann auch vorgesehen sein, zunächst anhand mehrerer Aufnahmen die Schritte S4 und S5 auszuführen. Anschließend werden die in Schritt S5 bestimmten Merkmale nur noch in den nachfolgend bereitgestellten Aufnahmen verfolgt. Es wird somit eine Sammlung (manchmal auch„dynamische Karte" genannt) von neu erlernten Merkmalen aufgebaut, die dann getrackt werden. In vorge- gebenen Intervallen können erneut die Schritte S4 und S5 ausgeführt werden, um die erlernten Merkmale zu aktualisieren. FIG. 2 schematically shows a flowchart of a method according to an exemplary embodiment. Optional steps are shown in dashed lines in FIG. 2. The method according to FIG. 2 is executed by the data glasses 1 according to FIG. 1. In step S1 provided the images of the camera 3 from the environment of the data glasses 1. In step S4, stored and predefined regions of the environment are detected. Subsequently, unknown features in the recognized images of the areas are determined, S5. In addition, predefined fix features whose position in the vehicle is known, S2 and S3 can be detected in the recordings. Based on the specific features and the identified fix features, the pose of the data glasses is determined, S6. It can be provided that the recordings of the surroundings are provided sequentially, that is to say successively, and the steps S2, S3, S4 and S5 are executed again for each recording. In one implementation, it may also be provided to first carry out the steps S4 and S5 on the basis of several recordings. Subsequently, the features determined in step S5 are traced only in the subsequently provided recordings. Thus, a collection (sometimes referred to as a "dynamic map") of newly learned features is built which are then tracked, and at predetermined intervals, steps S4 and S5 may again be performed to update the learned features.
Aufbauend auf der mithilfe der Kameraaufnahmen bestimmten Pose kann die Pose basierend auf Sensormessungen eines oder mehrerer Lagesensoren fortgeschrieben werden, Schritte S7 und S8. Dies kann fortlaufend in einem Zyklus B von z.B. 1 ms geschehen. Da allerdings die Genauigkeit der Lagesensoren typischerweise schlechter ist, als die Genauigkeit der Posenbestimmung mithilfe der Kameraaufnahmen, ist meist eine Posenbestimmung mithilfe der Kameraaufnahmen nach mehreren B-Zyklen nötig. Dies geschieht durch den Zyklus A, der beispielsweise 16 ms lang sein kann. Die so fortlaufend bestimmten Posen können dazu verwendet werden, Informationen kontaktanalog anzuzeigen. Insbesondere lässt sich mit der so bestimmten Pose die Funktion eines„transparenten Teils" eines Fahrzeugs realisieren. Dabei nimmt eine Kamera im Außenbereich des Fahrzeugs die Umgebung des Fahrzeugs auf. Diejenigen Teile dieser Aufnahmen (beispielsweise ein Videostream), die der Be- nutzer aufgrund von Verdeckungen durch die Karosserie des Fahrzeugs nicht sehen kann, werden dem Benutzer dann an den Stellen der Verdeckung über die Anzeigen der Datenbrille angezeigt. Ein typischer Anwendungsfall hierfür entsteht beim Einparken. Mithilfe der Bestimmten Pose der Datenbrille können einem Fahrer so zum
Beispiel Videoaufnahmen im direkten Umfeld des Fahrzeugs angezeigt werden. Der Fahrer kann Bordsteine oder Stoßstangen der nächsten Fahrzeuge„durch die Karosserie hindurch" erkennen.
Based on the pose determined using the camera shots, the pose may be updated based on sensor measurements of one or more position sensors, steps S7 and S8. This can be done continuously in a cycle B of eg 1 ms. However, since the accuracy of the position sensors is typically worse than the accuracy of the pose determination using the camera shots, it is usually necessary to determine the pose using the camera shots after several B cycles. This is done by cycle A, which may be 16 ms, for example. The consecutive poses can be used to display information in a contact-analog way. In particular, with the pose thus determined, the function of a "transparent part" of a vehicle can be realized, whereby a camera in the exterior of the vehicle records the surroundings of the vehicle, those parts of these recordings (for example a video stream) that the user has due to The cover of the body of the vehicle can not be seen by the user then in the places of concealment via the displays of the data goggles.This is a typical use case arises when parking Example video recordings in the immediate vicinity of the vehicle are displayed. The driver can recognize curbs or bumpers of the next vehicles "through the body".
Claims
ANSPRUCHE
Vorrichtung zum Bestimmen der Pose einer Datenbrille, umfassend: Eine Datenbrille, umfassend eine Anzeige und eine Kamera; Elektronische Rechenmittel; A device for determining the pose of data glasses, comprising: data glasses comprising a display and a camera; Electronic computing resources;
Wobei die Vorrichtung zu Folgendem eingerichtet ist: The device being arranged for:
Erstellen von Aufnahmen der Umgebung der Datenbrille mithilfe der Kamera; Taking pictures of the environment of the data glasses using the camera;
Erkennen der Abbildung eines gespeicherten und vordefinierten Bereiches der Umgebung in den Aufnahmen der Kamera; wobei der gespeicherte und vordefinierte Bereich in einer Datei beschrieben ist; Detecting the mapping of a stored and predefined area of the environment in the camera's recordings; the stored and predefined area being described in a file;
Bestimmen eines Merkmals in der erkannten Abbildung des Bereiches; Determining a feature in the recognized image of the region;
Bestimmen der Pose der Datenbrille unter Berücksichtigung des bestimmten Merkmals in den Aufnahmen; wobei die Pose der Datenbrille die Position der Datenbrille und die Ausrichtung der Datenbrille angibt. Determining the pose of the data glasses taking into account the particular feature in the recordings; wherein the pose of the data glasses indicates the position of the data glasses and the orientation of the data glasses.
Vorrichtung nach Anspruch 1 , wobei das Bestimmen der Position des Merkmals und das Bestimmen der Pose der Datenbrille durch einen Algorithmus zum gleichzeitigen Positionieren und Kartenbilden ausgeführt werden. The apparatus of claim 1, wherein determining the position of the feature and determining the pose of the data glasses are performed by a simultaneous positioning and mapping algorithm.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei das Merkmal anhand einer vordefinierten Regel bestimmt wird. Device according to one of the preceding claims, wherein the feature is determined based on a predefined rule.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei das Erkennen der Abbildung des Bereiches umfasst: Apparatus according to any one of the preceding claims, wherein recognizing the mapping of the area comprises:
Bereitstellen mehrerer vordefinierter und gespeicherter Bereiche der Umgebung; wobei für die Bereiche eine Reihenfolge vorgegeben ist;
In der vorgegebenen Reihenfolge: Prüfen, ob die Abbildung des jeweiligen Bereiches der mehreren Bereiche in den Aufnahmen der Kamera erkennbar ist; Providing multiple predefined and stored areas of the environment; wherein an order is given for the areas; In the order given: Check whether the image of the respective area of the several areas in the recordings of the camera is recognizable;
Bereitstellen des Bereiches, dessen Abbildung zuerst erkennbar war. Provide the area whose image was first recognizable.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Vorrichtung ferner zu Folgendem eingerichtet ist: Apparatus according to any one of the preceding claims, wherein the apparatus is further adapted to:
Erkennen eines Fixmerkmals in den Aufnahmen, nämlich eines Merkmals, das vordefiniert ist; Recognizing a fixed feature in the recordings, namely a feature that is predefined;
Abrufen der gespeicherten Position des Fixmerkmals in der Umgebung der Datenbrille; wobei das Fixmerkmal und dessen Position in der Umgebung in einer Datei gespeichert sind; Retrieving the stored position of the fix feature in the vicinity of the data glasses; wherein the fixed feature and its location in the environment are stored in a file;
Bestimmen der Pose der Datenbrille unter Berücksichtigung des erkannten Fixmerkmals, und insbesondere auch unter Berücksichtigung des bestimmten Merkmals. Determining the pose of the data glasses taking into account the recognized fix feature, and in particular taking into account the specific feature.
Vorrichtung nach Anspruch 5, wobei das Erkennen eines Fixmerkmals umfasst: The apparatus of claim 5, wherein recognizing a fix feature comprises:
Bereitstellen mehrerer Fixmerkmale; wobei für die Fixmerkmale eine Reihenfolge vorgegeben ist, insbesondere durch einen Wahrscheinlichkeitswert für jedes Merkmal; Providing several fixed features; wherein for the fixed features an order is given, in particular by a probability value for each feature;
In der vorgegebenen Reihenfolge: Prüfen, ob die Abbildung des jeweiligen Fixmerkmals in den Aufnahmen der Kamera erkennbar ist; In the order given: Check whether the image of the respective fix feature is recognizable in the recordings of the camera;
Bereitstellen des Fixmerkmals, dessen Abbildung zuerst erkennbar war. Providing the fix feature whose image was first recognizable.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Datenbrille ferner einen Lagesensor umfasst, insbesondere ein Gyroskop und/oder
einen Beschleunigungssensor; wobei die Vorrichtung ferner zu Folgendem eingerichtet ist: Device according to one of the preceding claims, wherein the data glasses further comprises a position sensor, in particular a gyroscope and / or an acceleration sensor; the device being further adapted to:
Empfangen von Sensormessungen; Receiving sensor measurements;
Bestimmen der Pose unter Berücksichtigung der empfangenen Sensormessungen basierend auf der mithilfe des Merkmals bestimmten Pose. Determine the pose taking into account the received sensor measurements based on the pose determined by the feature.
8. Vorrichtung nach Anspruch 7, wobei das Bestimmen der Pose unter Berücksichtigung des bestimmten Merkmals wiederholt und mit einem ersten Zyklus ausgeführt wird; und wobei das Bestimmen der Pose unter Berücksichtigung der empfangenen Sensormessungen wiederholt und mit einem zweiten Zyk- lus ausgeführt wird; wobei insbesondere der zweite Zyklus kürzer als der erste Zyklus ist und weiter insbesondere der erste Zyklus ein Vielfaches des zweiten Zyklus ist. 8. The apparatus of claim 7, wherein the determination of the pose is carried out taking into account the particular feature repeated and with a first cycle; and wherein the determination of the pose is repeated taking into account the received sensor measurements and with a second cycle; in particular, the second cycle is shorter than the first cycle, and more particularly the first cycle is a multiple of the second cycle.
Fahrzeug, insbesondere Personenkraftwagen, umfassend eine Vorrichtung nach einem der vorhergehenden Ansprüche. Vehicle, in particular passenger car, comprising a device according to one of the preceding claims.
Verfahren zum kontaktanalogen Anzeigen von Informationen auf einer Datenbrille, wobei die Datenbrille eine Anzeige und eine Kamera umfasst; wobei das Verfahren umfasst: A method for contact-analogue display of information on data glasses, wherein the data glasses comprise a display and a camera; the method comprising:
Erstellen von Aufnahmen der Umgebung der Datenbrille mithilfe der Kamera; Taking pictures of the environment of the data glasses using the camera;
Erkennen der Abbildung eines gespeicherten und vordefinierten Bereiches der Umgebung in den Aufnahmen der Kamera; wobei der gespeicherte und vordefinierte Bereich in einer Datei abgelegt ist; Detecting the mapping of a stored and predefined area of the environment in the camera's recordings; wherein the stored and predefined area is stored in a file;
Bestimmen eines Merkmals in der erkannten Abbildung des Bereiches; Determining a feature in the recognized image of the region;
Bestimmen der Position des Merkmals in der Umgebung der Datenbrille;
Bestimmen der Pose der Datenbrille unter Berücksichtigung des bestimmten Merkmals in den Aufnahmen; wobei die Pose der Datenbrille die Position der Datenbrille und die Ausrichtung der Datenbrille angibt; Determining the position of the feature in the vicinity of the data glasses; Determining the pose of the data glasses taking into account the particular feature in the recordings; the pose of the data glasses indicating the position of the data glasses and the orientation of the data glasses;
Kontaktanaloges Anzeigen der Informationen unter Verwendung der bestimmten Pose der Datenbrille.
Contact analog displaying information using the particular pose of data glasses.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102014206623.9A DE102014206623A1 (en) | 2014-04-07 | 2014-04-07 | Localization of a head-mounted display (HMD) in the vehicle |
PCT/EP2015/056698 WO2015155029A1 (en) | 2014-04-07 | 2015-03-27 | Locating a head-mounted display (hmd) in a vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
EP3129820A1 true EP3129820A1 (en) | 2017-02-15 |
Family
ID=52807797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP15713864.5A Withdrawn EP3129820A1 (en) | 2014-04-07 | 2015-03-27 | Locating a head-mounted display (hmd) in a vehicle |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3129820A1 (en) |
DE (1) | DE102014206623A1 (en) |
WO (1) | WO2015155029A1 (en) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016221123A1 (en) | 2016-10-26 | 2018-04-26 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for operating a display system with data glasses |
DE102016225082A1 (en) | 2016-12-15 | 2018-06-21 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for operating data glasses |
DE102016225266B4 (en) | 2016-12-16 | 2024-06-27 | Bayerische Motoren Werke Aktiengesellschaft | Method for operating data glasses, data glasses and associated display system |
DE102016225263A1 (en) | 2016-12-16 | 2018-06-21 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for operating a display system with data glasses in a motor vehicle |
DE102016225262A1 (en) | 2016-12-16 | 2018-06-21 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for operating a display system with data glasses |
DE102016225269A1 (en) | 2016-12-16 | 2018-06-21 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for operating a display system with data glasses |
DE102016225261A1 (en) | 2016-12-16 | 2018-06-21 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for operating a display system with data glasses |
DE102016225265A1 (en) | 2016-12-16 | 2018-06-21 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for operating a display system with data glasses |
DE102017205194A1 (en) | 2017-03-28 | 2018-10-04 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for providing 3D image information in a driver assistance system of a motor vehicle |
DE102017209798A1 (en) | 2017-06-09 | 2018-12-13 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for operating a display system in a motor vehicle |
DE102017209797A1 (en) | 2017-06-09 | 2018-12-13 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for operating a display system with a driver assistance system and data glasses |
DE102017217027A1 (en) | 2017-09-26 | 2019-03-28 | Audi Ag | A method of operating a head-mounted electronic display device and display system for displaying a virtual content |
DE102017221317A1 (en) | 2017-11-28 | 2019-05-29 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for operating a data glasses in a motor vehicle |
DE102018201509A1 (en) | 2018-02-01 | 2019-08-01 | Bayerische Motoren Werke Aktiengesellschaft | Method and device for operating a display system with data glasses |
WO2019154511A1 (en) | 2018-02-09 | 2019-08-15 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters using a neural network |
US11194161B2 (en) | 2018-02-09 | 2021-12-07 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
US11393251B2 (en) | 2018-02-09 | 2022-07-19 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
US10469769B1 (en) | 2018-07-30 | 2019-11-05 | International Business Machines Corporation | Augmented reality based driver assistance |
DE102018215265A1 (en) | 2018-09-07 | 2020-03-12 | Audi Ag | Method and control device for operating a display device that can be worn on the head in a motor vehicle |
EP3663941B1 (en) * | 2018-12-07 | 2022-07-13 | Volvo Car Corporation | Evaluation of a simulated vehicle-related feature |
US10767997B1 (en) | 2019-02-25 | 2020-09-08 | Qualcomm Incorporated | Systems and methods for providing immersive extended reality experiences on moving platforms |
US11270463B2 (en) | 2019-05-29 | 2022-03-08 | Infineon Technologies Ag | Dynamic three-dimensional imaging distance safeguard |
EP3979896A1 (en) | 2019-06-05 | 2022-04-13 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters |
DE102022104091A1 (en) | 2022-02-22 | 2023-08-24 | Holoride Gmbh | Method and processor circuit for operating data glasses with drift correction of an acceleration sensor and correspondingly operable data glasses and computer-readable electronic storage medium |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005051396A1 (en) * | 2005-10-25 | 2007-05-03 | Siemens Ag | System and method for camera-based tracking |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005058240A1 (en) * | 2005-12-06 | 2007-06-14 | Siemens Ag | Tracking system and method for determining poses |
US9323055B2 (en) * | 2006-05-26 | 2016-04-26 | Exelis, Inc. | System and method to display maintenance and operational instructions of an apparatus using augmented reality |
JP5728159B2 (en) * | 2010-02-02 | 2015-06-03 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
US20130021269A1 (en) | 2011-07-20 | 2013-01-24 | Google Inc. | Dynamic Control of an Active Input Region of a User Interface |
US9342610B2 (en) * | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
US9177360B2 (en) * | 2012-09-11 | 2015-11-03 | Apple Inc. | Automatic image orientation and straightening through image analysis |
-
2014
- 2014-04-07 DE DE102014206623.9A patent/DE102014206623A1/en not_active Withdrawn
-
2015
- 2015-03-27 EP EP15713864.5A patent/EP3129820A1/en not_active Withdrawn
- 2015-03-27 WO PCT/EP2015/056698 patent/WO2015155029A1/en active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005051396A1 (en) * | 2005-10-25 | 2007-05-03 | Siemens Ag | System and method for camera-based tracking |
Non-Patent Citations (1)
Title |
---|
See also references of WO2015155029A1 * |
Also Published As
Publication number | Publication date |
---|---|
WO2015155029A1 (en) | 2015-10-15 |
DE102014206623A1 (en) | 2015-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2015155029A1 (en) | Locating a head-mounted display (hmd) in a vehicle | |
EP3164756B1 (en) | Locating an hmd in a vehicle | |
DE102018201509A1 (en) | Method and device for operating a display system with data glasses | |
DE102017107396A1 (en) | Test method and test device for driver assistance systems | |
DE102017221871A1 (en) | Method for calculating the movement data of the head of a driver of a vehicle, data glasses and vehicle for use in the method and computer program | |
DE112017003916T5 (en) | Head-up display device, display control method and control program | |
DE102010060225A1 (en) | Vehicle information offering device | |
DE102019109505A1 (en) | DATA PROCESSING DEVICE, MONITORING SYSTEM, WECKSYSTEM, DATA PROCESSING METHOD AND DATA PROCESSING PROGRAM | |
EP3765324A1 (en) | Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality display device for a motor vehicle | |
DE102014008152A1 (en) | Method and device for augmented presentation of at least one additional information in at least one image of an environment | |
DE102017215163B4 (en) | System of a motor vehicle and an augmented reality goggles and method for determining a pose of augmented reality goggles in the interior of a vehicle | |
DE102014206626A1 (en) | Fatigue detection using data glasses (HMD) | |
EP3392111A1 (en) | Method and device for determining a visual deflection of a driver of a vehicle | |
EP3685213A1 (en) | Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a motor vehicle | |
DE102017215161A1 (en) | Method and device for selecting an environment object in the environment of a vehicle | |
DE102017111468A1 (en) | A vehicle system and method for determining whether a vehicle occupant has sensed an off-vehicle object | |
DE102014217961A1 (en) | Determining the pose of an HMD | |
DE102010003851A1 (en) | Destination marking method for motor vehicle driver, involves determining position of destination relative to vehicle, and embedding virtual object in real vehicle environment that is visible to vehicle occupant on head-up display | |
DE102017220268A1 (en) | Detection and visualization of system uncertainty when displaying augmented image content in head-up displays | |
DE102019208788A1 (en) | Motor vehicle | |
DE102017217923A1 (en) | Method for operating a display device in a motor vehicle | |
DE102017122543A1 (en) | A method for assisting a driver of a motor vehicle when overtaking an object and driver assistance system | |
DE102014207398A1 (en) | Object association for contact-analogue display on an HMD | |
DE112019007195B4 (en) | DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD AND DISPLAY CONTROL PROGRAM | |
DE102016225261A1 (en) | Method and device for operating a display system with data glasses |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20160912 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME |
|
DAV | Request for validation of the european patent (deleted) | ||
DAX | Request for extension of the european patent (deleted) | ||
17Q | First examination report despatched |
Effective date: 20191219 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN |
|
18D | Application deemed to be withdrawn |
Effective date: 20200630 |