DE102022209226A1 - Method for checking a pose of a camera - Google Patents
Method for checking a pose of a camera Download PDFInfo
- Publication number
- DE102022209226A1 DE102022209226A1 DE102022209226.0A DE102022209226A DE102022209226A1 DE 102022209226 A1 DE102022209226 A1 DE 102022209226A1 DE 102022209226 A DE102022209226 A DE 102022209226A DE 102022209226 A1 DE102022209226 A1 DE 102022209226A1
- Authority
- DE
- Germany
- Prior art keywords
- pose
- camera
- neural network
- acceleration data
- estimate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000013528 artificial neural network Methods 0.000 claims abstract description 70
- 230000001133 acceleration Effects 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims description 17
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000011161 development Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010064127 Solar lentigo Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003867 tiredness Effects 0.000 description 1
- 208000016255 tiredness Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B43/00—Testing correct operation of photographic apparatus or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
Vorgeschlagen wird ein Verfahren (40) zum Überprüfen einer Pose einer Kamera (22) mit den Schritten,Empfangen von Beschleunigungsdaten einer Messeinheit (36) der Kamera (22), Anwenden eines Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten, wobei das Neuronale Netz ausgebildet ist zum Abschätzen der Pose in Abhängigkeit der empfangenen Beschleunigungsdaten.A method (40) is proposed for checking a pose of a camera (22) with the steps of receiving acceleration data from a measuring unit (36) of the camera (22), applying a neural network to estimate the pose using the received acceleration data, wherein the neural Network is designed to estimate the pose depending on the received acceleration data.
Description
Stand der TechnikState of the art
Aus der
Aus der
Offenbarung der ErfindungDisclosure of the invention
Vorgeschlagen wird ein Verfahren zum Überprüfen einer Pose einer Kamera mit den Schritten,
Empfangen von Beschleunigungsdaten einer Messeinheit der Kamera, Anwenden eines Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten, wobei das Neuronale Netz ausgebildet ist zum Abschätzen der Pose in Abhängigkeit der empfangenen Beschleunigungsdaten.A method is proposed for checking a pose of a camera with the steps:
Receiving acceleration data from a measuring unit of the camera, applying a neural network to estimate the pose using the received acceleration data, the neural network being designed to estimate the pose depending on the received acceleration data.
Zur Beobachtung einer Umgebung eines Fahrzeugs und/oder eines Fahrzeuginnenraums können in einem Fahrzeug bzw. an einem Fahrzeug eine oder mehrere Beobachtungsvorrichtung angeordnet sein. Die Beobachtungsvorrichtung kann beispielsweise als Kamera ausgebildet sein oder eine Kamera aufweisen. Die Kamera ist vorzugsweise derart angeordnet, dass die Umgebung und/oder der Fahrzeuginnenraum des Fahrzeugs beobachtet werden können. Es kann vorkommen, dass die Kamera versehentlich oder mit Absicht verschoben wird und somit nicht mehr den gewünschten Bereich der die Umgebung und/oder des Fahrzeuginnenraums abdeckt. Der Vorteil der vorliegenden Erfindung liegt darin, dass ein Verschieben der Kamera identifiziert werden kann. Beispielsweise kann ermittelt werden, ob ein Fahrzeuginsasse die Kamera wegdreht bzw. weggedreht hat. Dies kann beispielsweise bei nicht dauerhaft verbauten Kameras im Fahrzeug erfolgen. Das Video- bzw. Bildmaterial, das mittels einer verschobenen bzw. weggedrehten Kamera aufgenommen wird, kann somit einen anderen, insbesondere nutzlosen Bereich beobachten bzw. aufnehmen, wodurch das Material, welches die Kamera zur Verfügung stellt, nicht verwendet werden kann. Mit anderen Worten kann mittels des Verfahrens vermieden werden, dass Szenenausschnitte gefilmt werden, die insbesondere nicht relevant sind. Es kann vorzugsweise ermittelt werden, ob eine Ist-Pose der Kamera mit einer Soll-Pose und somit einer Referenzpose übereinstimmt.To observe the surroundings of a vehicle and/or a vehicle interior, one or more observation devices can be arranged in a vehicle or on a vehicle. The observation device can, for example, be designed as a camera or have a camera. The camera is preferably arranged in such a way that the surroundings and/or the vehicle interior of the vehicle can be observed. It may happen that the camera is accidentally or intentionally moved and therefore no longer covers the desired area of the surroundings and/or the vehicle interior. The advantage of the present invention is that movement of the camera can be identified. For example, it can be determined whether a vehicle occupant is turning or has turned away the camera. This can happen, for example, if cameras are not permanently installed in the vehicle. The video or image material, which is recorded using a camera that has been moved or turned away, can therefore observe or record a different, particularly useless, area, as a result of which the material provided by the camera cannot be used. In other words, the method can be used to avoid filming scene excerpts that are particularly irrelevant. It can preferably be determined whether an actual pose of the camera matches a target pose and thus a reference pose.
Mittels des vorgeschlagenen Verfahrens und des Neuronalen Netzes kann eine falsche Pose der Kamera erkannt werden. Ein Vorteil der vorliegenden Erfindung ist, dass auch bei schlechten Lichtverhältnissen, beispielsweise im Dunkeln oder bei Dämmerung, insbesondere bei schlechten Bildaufnahmen, erkannt werden kann, ob die Ist-Pose der Kamera noch der Soll-Pose der Kamera entspricht. Vorteilhafterweise kann mittels des Verfahrens eine Ermittlung bzw. Analyse der Pose der Kamera auch bei schlechten Lichtverhältnissen, zum Beispiel nachts, durchgeführt werden. Mittels der Verwendung von Beschleunigungsdaten kann eine Überprüfung einer Pose der Kamera insbesondere auch bei schlechter Ausleuchtung, zum Beispiel im Dunkeln und/oder bei Dämmerung, zuverlässig durchgeführt werden. Mit anderen Worten kann einfach und/oder zuverlässig erkannt werden, ob die Kamera verstellt wurde. Hierdurch kann ein Fahrzeuginnenraum beispielsweise auch bei Dunkelheit beobachtet werden, wobei beispielsweise erkannt werden kann, ob ein medizinischer Notfall vorliegt und/oder ob ein Fahrzeuginsasse belästigt wird. Hierdurch kann insbesondere die Sicherheit und/oder der Komfort im Fahrzeug erhöht wird. Dieser Vorteil kann sich insbesondere auch bei extremen Lichtverhältnissen ergeben, zum Beispiel ein Sunspots, einem Schein einer Taschenlampe und/oder im Tunnel, wobei mittels des vorgeschlagenen Verfahrens eine Abschätzung der Pose der Kamera einfach und/oder zuverlässig durchgeführt werden kannUsing the proposed method and the neural network, an incorrect pose of the camera can be detected. An advantage of the present invention is that even in poor lighting conditions, for example in the dark or at twilight, especially when images are taken poorly, it can be recognized whether the actual pose of the camera still corresponds to the target pose of the camera. Advantageously, the method can be used to determine or analyze the pose of the camera even in poor lighting conditions, for example at night. By using acceleration data, a camera pose can be checked reliably, particularly even in poor lighting, for example in the dark and/or at twilight. In other words, it can be easily and/or reliably recognized whether the camera has been adjusted. This allows a vehicle interior to be observed, for example, even in the dark, making it possible to detect, for example, whether there is a medical emergency and/or whether a vehicle occupant is being harassed. This can in particular increase safety and/or comfort in the vehicle. This advantage can arise in particular in extreme lighting conditions, for example a sunspot, the glow of a flashlight and/or in a tunnel, whereby an estimate of the pose of the camera can be carried out easily and/or reliably using the proposed method
Der Vorteil des vorliegenden Verfahrens liegt darin, dass das Neuronale Netz auf Basis von Ausgabedaten einer Messeinheit, zum Beispiel einer Inertial Measurement Unit bzw. IMU, insbesondere Beschleunigungen in X Richtung, Y Richtung und/oder Z Richtung eine Pose der Kamera bzw. einer Veränderung der Pose der Kamera abschätzen kann. Hierdurch kann vereinfacht ermittelt werden, ob die Ist-Pose der Kamera, somit die derzeitige Pose, noch der Soll-Pose der Kamera, insbesondere einer Referenzpose, entspricht. Die Soll-Pose der Kamera ist die, in welcher die Kamera ihre Funktion ausüben soll, vorzugsweise einen optimalen Überblick über den Fahrzeuginnenraum und/oder die Umgebung des Fahrzeugs hat.The advantage of the present method is that the neural network calculates a pose of the camera or a change based on output data from a measuring unit, for example an Inertial Measurement Unit or IMU, in particular accelerations in the X direction, Y direction and / or Z direction can estimate the pose of the camera. This makes it easier to determine whether the actual pose of the camera, thus the current pose, still corresponds to the target pose of the camera, in particular a reference pose. The target pose of the camera is the one in which the camera is intended to perform its function, preferably having an optimal overview of the vehicle interior and/or the surroundings of the vehicle.
Ein weiterer Vorteil des vorgeschlagenen Verfahrens liegt darin, dass eine Pose der Kamera auch dann überprüft werden kann, wenn die Kamera verdeckt ist. Wenn die Kamera bzw. die Linse der Kamera verdeckt ist, so kann diese keine gewünschten Aufnahmen mehr tätigen, wodurch eine Posenbestimmung mittels Videoanalyse nicht mehr möglich ist. Die Abschätzung der Pose mittels des Neuronalen Netzes durch Beschleunigungsdaten kann somit hierdurch zuverlässig und/oder einfach durchgeführt werden.Another advantage of the proposed method is that a pose of the camera can be checked even if the camera is obscured. If the camera or the lens of the camera is covered, it can no longer take the desired recordings, which means that pose determination using video analysis is no longer possible. The estimation of the pose using the neural network using acceleration data can thus be carried out reliably and/or easily.
In einer beispielhaften Ausgestaltung kann das Verfahren einen Schritt eines Feststellens einer Gültigkeit einer Pose der Kamera aufweisen, wobei eine Gültigkeit der Pose der Kamera dann festgestellt werden kann, wenn mittels des Neuronalen Netzes abgeschätzt wird, dass eine Pose einer Referenzpose entspricht oder zu einem definierten Grad entspricht. Eine Ungültigkeit der Pose der Kamera kann dann festgestellt werden, wenn mittels des Neuronalen Netzes abgeschätzt wird, dass eine Pose nicht einer Referenzpose entspricht oder zu einem definierten Grad nicht entspricht. Bei einem Erkennen einer Gültigkeit kann die Kamera weiterhin zum Beobachten verwendet werden. Beim Erkennen einer Ungültigkeit kann insbesondere eine Warnung ausgegeben werden, zum Beispiel an einen Fahrzeuginsassen und/oder an einen externen Server. Hierdurch kann sicher und/oder zuverlässig eine Gültigkeit erkannt und Maßnahmen eingeleitet werden.In an exemplary embodiment, the method may have a step of determining a validity of a pose of the camera, wherein a validity of the pose of the camera is then determined can be set if the neural network is used to estimate that a pose corresponds to a reference pose or corresponds to a defined degree. An invalidity of the camera pose can be determined if the neural network is used to estimate that a pose does not correspond to a reference pose or does not correspond to a defined degree. If a validity is detected, the camera can continue to be used for observation. If invalidity is detected, in particular a warning can be issued, for example to a vehicle occupant and/or to an external server. In this way, validity can be safely and/or reliably recognized and measures can be initiated.
In einer vorteilhaften Ausführung kann das Anwenden des Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten dann durchgeführt werden, wenn definierte Umgebungsbedingungen vorliegen. In einer Weiterentwicklung kann das Anwenden des Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten dann durchgeführt werden, wenn die Umgebungshelligkeit unterhalb einer definierten Helligkeitsschwelle ist. In einer beispielhaften Ausgestaltung kann das Anwenden des Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten bei Nacht durchgeführt werden. Hierdurch kann insbesondere auch bei schlechten Lichtverhältnissen eine Pose der Kamera sicher und/oder zuverlässig geschätzt bzw. ermittelt werden. Vorteilhafterweise ist die Ermittlung und/oder Einschätzung der Pose der Kamera auch bei schlechteren Umgebungsbedingungen mittels Beschleunigungsdaten möglich und nicht von guten Lichtverhältnissen für die Auswertung von Kamerabildern abhängig.In an advantageous embodiment, the neural network can be used to estimate the pose using the received acceleration data when defined environmental conditions exist. In a further development, the neural network can be used to estimate the pose using the received acceleration data when the ambient brightness is below a defined brightness threshold. In an exemplary embodiment, applying the neural network to estimate the pose can be carried out at night using the received acceleration data. In this way, a pose of the camera can be safely and/or reliably estimated or determined, particularly in poor lighting conditions. Advantageously, the determination and/or assessment of the pose of the camera is possible even in poor ambient conditions using acceleration data and does not depend on good lighting conditions for the evaluation of camera images.
Vorteilhafterweise kann das Verfahren weiterhin einen Schritt eines Messens von Beschleunigungsdaten mittels einer Messeinheit der Kamera aufweisen. Hierdurch können Beschleunigungsdaten insbesondere sicher und/oder zuverlässig zur Verfügung gestellt werden. Mittels der Beschleunigungsdaten kann durch Zuführung zu dem Neuronalen Netz eine Pose der Kamera analysiert bzw. abgeschätzt werden.Advantageously, the method can further comprise a step of measuring acceleration data using a measuring unit of the camera. In this way, acceleration data can be made available in particular safely and/or reliably. Using the acceleration data, a pose of the camera can be analyzed or estimated by feeding it to the neural network.
Weiterhin vorgeschlagen wird ein Verfahren zum Trainieren eines Neuronalen Netzes zum Überprüfen einer Pose einer Kamera mit den Schritten,
Empfangen einer Information, ob eine Ist-Pose der Kamera einer Referenzpose der Kamera entspricht,
Empfangen von Beschleunigungsdaten einer Messeinheit der Kamera, Trainieren eines Neuronalen Netzes zum Abschätzen der Ist-Pose mit den empfangenen Beschleunigungsdaten und mit der empfangenen Information, ob eine Ist-Pose der Kamera einer Referenzpose der Kamera entspricht, sodass das Neuronale Netz ausgebildet ist zum Abschätzen der Ist-Pose mittels Beschleunigungsdaten.
Vorteilhafterweise kann hierdurch das Neuronale Netz derart trainiert werden, dass bei Anwendung des Neuronalen Netzes eine Abschätzung und/oder Analyse der Pose der Kamera sicher und/oder zuverlässig durchgeführt werden kann. Vorzugsweise kann das vorgeschlagene Verfahren bzw. der vorgeschlagene Algorithmus mithilfe der Ergebnisse der bildbasierten Auswertung, zum Beispiel einer Tamper Detection, trainiert werden, um sich robust an die Situation in verschiedenen Fahrzeugen anzupassen.Furthermore, a method is proposed for training a neural network to check a pose of a camera with the steps:
Receiving information as to whether an actual pose of the camera corresponds to a reference pose of the camera,
Receiving acceleration data from a measuring unit of the camera, training a neural network to estimate the actual pose with the received acceleration data and with the received information as to whether an actual pose of the camera corresponds to a reference pose of the camera, so that the neural network is designed to estimate the Actual pose using acceleration data.
Advantageously, the neural network can be trained in such a way that when the neural network is used, an estimation and/or analysis of the pose of the camera can be carried out safely and/or reliably. Preferably, the proposed method or algorithm can be trained using the results of the image-based evaluation, for example tamper detection, in order to robustly adapt to the situation in different vehicles.
In einer beispielhaften Ausgestaltung kann das Trainieren des Neuronalen Netzes dann durchgeführt werden, wenn definierte Umgebungsbedingungen vorliegen. In einer Weiterentwicklung kann das Trainieren des Neuronalen Netzes dann durchgeführt werden, wenn eine Umgebungshelligkeit oberhalb einer definierten Helligkeitsschwelle ist. Vorteilhafterweise kann das Trainieren des Neuronalen Netzes bei Tag durchgeführt werden. Hierdurch kann sichergestellt werden, dass Neuronale Netz sicher und/oder zuverlässig trainiert werden kann, indem insbesondere Videodaten verwendet werden, die eine entsprechende bzw. optimale Qualität aufweisen. Hierdurch kann eine optimale Anpassung bzw. ein optimales Trainieren des Neuronalen Netzes gewährleistet werden.In an exemplary embodiment, the training of the neural network can be carried out when defined environmental conditions exist. In a further development, the neural network can be trained when the ambient brightness is above a defined brightness threshold. The training of the neural network can advantageously be carried out during the day. This can ensure that the neural network can be trained safely and/or reliably, in particular by using video data that has an appropriate or optimal quality. This can ensure optimal adaptation or optimal training of the neural network.
In einer beispielhaften Ausgestaltung kann die Information, ob eine Ist-Pose der Kamera einer Referenzpose der Kamera entspricht, mittels eines Algorithmus in Abhängigkeit von Videodaten der Kamera ermittelt werden. Hierdurch kann die Information insbesondere sicher und/oder zuverlässig zur Verfügung gestellt werden. Mittels des Algorithmus, beispielsweise ein Bildauswertealgorithmus, kann anhand der Videodaten ermittelt werden, ob die Ist-Pose der Kamera noch der Soll-Pose der Kamera entspricht.In an exemplary embodiment, the information as to whether an actual pose of the camera corresponds to a reference pose of the camera can be determined using an algorithm depending on video data from the camera. In this way, the information can be made available in particular securely and/or reliably. Using the algorithm, for example an image evaluation algorithm, it can be determined based on the video data whether the actual pose of the camera still corresponds to the target pose of the camera.
Weiterhin vorgeschlagen wird eine Vorrichtung zum Überprüfen einer Pose einer Kamera mit einer Empfangseinheit zum Empfangen von Beschleunigungsdaten einer Messeinheit der Kamera und einer Recheneinheit zum Anwenden eines Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten, wobei das Neuronale Netz ausgebildet ist zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten.
Hierdurch kann eine Überprüfung einer Pose der Kamera sicher und/oder zuverlässig durchgeführt werden. Mit anderen Worten kann mittels Beschleunigungsdaten, Beispiel zweite Beschleunigungsdaten einer Inertial Measurement Unit bzw. IMU, auch im Dunklen und bei Dämmerung robust erkannt werden, ob die Kamerapose verstellt wurde. Dies ist insbesondere dann von Vorteil, wenn nachts eine aktive Infrarot Beleuchtung aktiviert wird, um den Fahrzeuginnenraum auszuwerten. Bildmerkmale, die tagsüber gefunden werden, können daher nachts bei aktiver Infrarot Beleuchtung schwerer oder typischerweise gar nicht gefunden werden. Die Detektion, ob die Ist-Kamera-Pose noch der Soll-Kamera-Pose entspricht, kann mittels des vorliegenden Verfahrens zuverlässig und/oder einfach ermöglicht werden. Dies ist hilfreich, um zum Beispiel bei schlechter Szenenausleuchtung noch zu erkennen, ob ein Fahrer eine Mitfahrerin belästigt. Bei Erkennen einer falschen Pose der Kamera, somit wenn die Ist-Pose der Kamera nicht der Soll-Pose der Kamera entspricht, können entsprechende Maßnahmen eingeleitet werden. Beispielsweise kann eine Warnung an den Fahrer und/oder an einen externen Server ausgegeben werden. Alternativ oder zusätzlich kann die Kamera mittels eines Aktors in die richtige Pose gefahren werden.Furthermore, a device is proposed for checking a pose of a camera with a receiving unit for receiving acceleration data from a measuring unit of the camera and a computing unit for applying a neural network to estimate the pose using the received acceleration data, the neural network being designed to estimate the pose using the received acceleration data.
This allows a camera pose to be checked safely and/or reliably. In other words, acceleration data, for example second acceleration data from an Inertial Measurement Unit or IMU, can be used to robustly detect even in the dark and at twilight whether the camera pose has been adjusted. This is particularly advantageous when active infrared lighting is activated at night to evaluate the vehicle interior. Image features that are found during the day are therefore more difficult or typically not found at all at night when infrared lighting is active. The detection of whether the actual camera pose still corresponds to the target camera pose can be made possible reliably and/or easily using the present method. This is helpful, for example, in poor scene lighting to see whether a driver is harassing a passenger. If an incorrect pose of the camera is detected, i.e. if the actual pose of the camera does not correspond to the target pose of the camera, appropriate measures can be initiated. For example, a warning can be issued to the driver and/or to an external server. Alternatively or additionally, the camera can be moved into the correct pose using an actuator.
Vorteilhafterweise kann die Vorrichtung eine Messeinheit zum Messen von Beschleunigungsdaten der Kamera aufweisen. Hierdurch können Beschleunigungsdaten insbesondere sicher und/oder zuverlässig zur Verfügung gestellt werden.Advantageously, the device can have a measuring unit for measuring acceleration data of the camera. In this way, acceleration data can be made available in particular safely and/or reliably.
Ferner vorgeschlagen wird ein Neuronales Netz zum Abschätzen der Pose mittels Beschleunigungsdaten, wobei das Neuronale Netz ausgebildet ist zum Abschätzen der Pose in Abhängigkeit der Beschleunigungsdaten. Vorteilhafterweise kann das Neuronale Netz mittels des Verfahrens zum Trainieren eines Neuronalen Netzes trainiert sein.Furthermore, a neural network is proposed for estimating the pose using acceleration data, the neural network being designed to estimate the pose depending on the acceleration data. Advantageously, the neural network can be trained using the method for training a neural network.
Kurze Beschreibung der ZeichnungenBrief description of the drawings
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in den nachfolgenden Beschreibungen näher erläutert. Für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente werden gleiche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung der Elemente verzichtet wird. Es zeigen:
-
1 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung zum Beobachten eines Fahrzeuginsassen; -
2 eine schematische Darstellung einer Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; -
3 eine schematische Darstellung eines Verfahrens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; -
4 eine schematische Darstellung eines Verfahrens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; -
5 eine schematische Darstellung eines Verfahrens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
-
1 a schematic representation of a vehicle with a device for observing a vehicle occupant; -
2 a schematic representation of a device according to an embodiment of the present invention; -
3 a schematic representation of a method according to an embodiment of the present invention; -
4 a schematic representation of a method according to an embodiment of the present invention; -
5 a schematic representation of a method according to an embodiment of the present invention.
Ausführungsformen der Erfindung:Embodiments of the invention:
Zum Beobachten des Fahrzeuginsassen 24 kann die Beobachtungsvorrichtung 22 in einer Weiterentwicklung eine Beleuchtungseinheit zum Aussenden von Lichtstrahlen, insbesondere Infrarotstrahlen, und eine Aufnahmeeinheit aufweisen. Die Beobachtungsvorrichtung 22 kann insbesondere in einem Armaturenbrett, in einer Instrumententafel, an einem Fahrzeugdach, an einem Rückspiegel oder an einer Säule, zum Beispiel an einer A-Säule und/oder einer B-Säule des Fahrzeugs 20 angeordnet sein.To observe the
Die Beleuchtungseinheit ist insbesondere in Richtung des Fahrzeuginsassen 24 und somit in Richtung des Fahrzeugsitzes gerichtet, um den Fahrzeuginsassen 24 mit Lichtstrahlen, insbesondere mit Infrarotstrahlen, anzustrahlen. Mit anderen Worten werden mittels der Beleuchtungseinheit Lichtstrahlen, insbesondere Infrarotstrahlen, in Richtung des Fahrzeuginsassen 24 ausgesendet. Die Beleuchtungseinheit kann zum Beispiel als Leuchteinheit, Leuchtelement, Leuchtdiode, LED, OLED und/oder Laserdiode ausgebildet sein und/oder eine Leuchteinheit, ein Leuchtelement, eine Leuchtdiode, eine LED, OLED und/oder eine Laserdiode aufweisen.The lighting unit is directed in particular in the direction of the
Die Aufnahmeeinheit kann beispielsweise als Bildaufnahmeeinheit, zum Beispiel als Sensor bzw. als Kamera ausgebildet sein, insbesondere als Infrarot-Kameramodul, wobei die Aufnahmeeinheit in Richtung des Fahrzeuginsassen 24 und somit in Richtung des Fahrzeugsitzes gerichtet ist, um den Fahrzeuginsassen 24 visuell zu erfassen. Durch die Ausbildung als Infrarot-Kameramodul ist es möglich, die Beobachtung auch nachts durchzufuhren, ohne dass der Fahrzeuginsasse 24 hell angeleuchtet und dadurch geblendet werden würde.The recording unit can be designed, for example, as an image recording unit, for example as a sensor or as a camera, in particular as an infrared camera module, the recording unit being directed in the direction of the
Mit anderen Worten ist Beobachtungsvorrichtung 22 ausgebildet zum Beobachten eines Fahrzeuginnenraums eines Fahrzeugs. Die Beobachtungsvorrichtung 22 weist eine Beleuchtungseinheit zum Aussenden von Lichtstrahlen, insbesondere Infrarotstrahlen, in Richtung des Fahrzeuginnenraums und eine Aufnahmeeinheit zum Aufnehmen von Lichtstrahlen, insbesondere Infrarotstrahlen, wobei die von der Beleuchtungseinheit ausgesendeten Lichtstrahlen, insbesondere Infrarotstrahlen, an bzw. in dem Fahrzeuginnenraum reflektierbar sind und wobei die reflektierten Lichtstrahlen, insbesondere Infrarotstrahlen, in Richtung der Aufnahmeeinheit lenkbar sind.In other words,
Weiterhin weist die Beobachtungsvorrichtung 22 eine Steuereinheit 28 bzw. eine Auswerteeinheit 28 bzw. eine Recheneinheit 28 auf zur Ansteuerung der Beleuchtungseinheit und/oder der Aufnahmeeinheit und/oder zur Verarbeitung der mittels der Aufnahmeeinheit aufgenommenen Daten.Furthermore, the
Vorzugsweise kann mittels der Innenraumüberwachung eine Inhaltsanalyse vom Innenraum von Fahrzeugen mit Videos durchgeführt werden, um zum Beispiel sichere Fahrten zu ermöglichen und/oder zum Beispiel zu einer Aufnahme des Fahrzeugumfeldes mittels Videos, um im Falle von Unfällen Beweisvideos bereit stellen zu können. Vorzugweise kann hierfür insbesondere eine erweiterte Dashcam verwendet werden. Mittels einer erweiterten Dashcam können beispielsweise Daten in eine Cloud übertragen werden. Die Daten können alternativ oder zusätzlich direkt auf dem Gerät ausgewertet werden. Mit anderen Worten können Kameras verwendet werden und insbesondere Videostreams vom Innenraum und/oder des Außenbereichs angefertigt und übertragen werden. Die Kameras können in einer Weiterentwicklung nicht nur die Daten aufnehmen, die für ihre primären Aufgaben vorgesehen sind, sondern können darüber hinaus zusätzliche Daten erfassen und gegebenenfalls auswerten bzw. vorauswerten und übertragen. Diese zusätzlichen Daten können in einer Weiterentwicklung beispielsweise dafür genutzt werden, Kunden weitere Services zur Verfügung zu stellen.Preferably, interior monitoring can be used to carry out a content analysis of the interior of vehicles with videos, for example to enable safe journeys and/or, for example, to record the vehicle surroundings using videos in order to be able to provide evidence videos in the event of accidents. An extended dashcam in particular can preferably be used for this purpose. Using an extended dashcam, for example, data can be transferred to a cloud. Alternatively or additionally, the data can be evaluated directly on the device. In other words, cameras can be used and, in particular, video streams from the interior and/or the exterior can be produced and transmitted. In a further development, the cameras can not only record the data intended for their primary tasks, but can also record and, if necessary, evaluate or pre-evaluate and transmit additional data. In further development, this additional data can be used, for example, to provide customers with additional services.
Die Beschleunigungsdaten können insbesondere mittels einer Messeinheit 36 der Kamera 22 gemessen werden. Mit anderen Worten umfasst die Kamera 22 eine Messeinheit 36 zum Messen von Beschleunigungsdaten. Die Beschleunigungsdaten können an die Empfangseinheit 32 der Vorrichtung 30 übermittelt werden. Die Übermittlung kann insbesondere mittels der Verbindung 38, welche Kabel gebunden oder kabellos ausgeführt sein kann, erfolgen. Beispielsweise kann die Kamera 22 und/oder die Messeinheit 36 eine Sendeeinheit aufweisen, zum Senden der Daten an die Empfangseinheit 32. Die Messeinheit 36 kann zur Bewegungserkennung Sensoren, beispielsweise Initialsensoren, umfassen. Die Sensoren können beispielsweise als Beschleunigungssensoren ausgebildet sein. Beispielsweise kann die Messeinheit als eine Inertial Measurement Unit bzw. IMU ausgebildet sein.The acceleration data can in particular be measured using a measuring
In einer Weiterentwicklung kann die Kamera 22 und/oder die Messeinheit 36 Teil der Vorrichtung 30 sein. Mit anderen Worten kann die Vorrichtung 30 die Kamera 22 und/oder die Messeinheit 36 umfassen.In a further development, the
In einem ersten Schritt 42 des Verfahrens 40 werden Beschleunigungsdaten einer Messeinheit der Kamera empfangen. Die Beschleunigungsdaten können beispielsweise mittels einer Empfangseinheit empfangen werden. Empfangseinheit kann beispielsweise als Teil der Vorrichtung gemäß der Vorrichtung gemäß
In einem zweiten Schritt 44 des Verfahrens 40 wird ein Neuronales Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten angewandt, wobei das Neuronale Netz ausgebildet ist zum Abschätzen der Pose in Abhängigkeit der empfangenen Beschleunigungsdaten.In a
Mit anderen Worten werden als Eingangsdaten für das Neuronale Netz die Ausgabedaten von einer IMU, also die Beschleunigungen in X-Y-Z-Richtung, verwendet und versucht gegeben dieser Informationen und dem zeitlichen Verlauf in einem Neuronalen Netz eine Entscheidung zu fällen, ob die Kamera Pose verändert wurde, also ob die Ist-Kamera-Pose noch der Soll-Kamera-Pose entspricht.In other words, the output data from an IMU, i.e. the accelerations in the i.e. whether the actual camera pose still corresponds to the target camera pose.
Weiterhin kann in einem weiteren Schritt eine Gültigkeit der Pose der Kamera festgestellt werden, wenn die abgeschätzte Pose einer Referenzpose bzw. bis zu einem gewissen Grad der Referenzpose entspricht. Ferner kann eine Ungültigkeit der Pose der Kamera festgestellt werden, wenn die abgeschätzte Pose nicht der Referenzpose bzw. bis zu einem gewissen Grad nicht der Referenzpose entspricht. Bei Erkennen einer Ungültigkeit kann beispielsweise eine Warnung ausgegeben werden. Eine Warnung kann beispielsweise an einen Fahrzeuginsassen und/oder einen externen Server ausgegeben werden. In einer alternativen Ausführungsform kann die Kamera mittels eines Aktors in die korrekte Pose bewegt werden.Furthermore, in a further step, the validity of the pose of the camera can be determined if the estimated pose corresponds to a reference pose or to a certain extent the reference pose. Furthermore, an invalidity of the pose of the camera can be determined if the estimated pose does not correspond to the reference pose or does not correspond to the reference pose to a certain extent. If an invalidity is detected, for example, a warning can be issued. For example, a warning can be issued to a vehicle occupant and/or an external server. In an alternative embodiment, the camera can be moved into the correct pose using an actuator.
Mit anderen Worten kann das Verfahren einen Schritt eines Feststellens einer Gültigkeit einer Pose der Kamera aufweisen, wobei eine Gültigkeit der Pose der Kamera dann festgestellt werden kann, wenn mittels des Neuronalen Netzes abgeschätzt wird, dass eine Pose einer Referenzpose entspricht oder zu einem definierten Grad entspricht. Eine Ungültigkeit der Pose der Kamera kann dann festgestellt werden, wenn mittels des Neuronalen Netzes abgeschätzt wird, dass eine Pose nicht einer Referenzpose entspricht oder zu einem definierten Grad nicht entspricht. Bei einem Erkennen einer Gültigkeit kann die Kamera weiterhin zum Beobachten verwendet werden. Beim Erkennen einer Ungültigkeit kann insbesondere eine Warnung ausgegeben werden, zum Beispiel an einen Fahrzeuginsassen und/oder an einen externen Server.In other words, the method can have a step of determining a validity of a pose of the camera, wherein a validity of the pose of the camera can be determined when it is estimated by means of the neural network that a pose corresponds to a reference pose or corresponds to a defined degree . An invalidity of the camera pose can be determined if the neural network is used to estimate that a pose does not correspond to a reference pose or does not correspond to a defined degree. If a validity is detected, the camera can continue to be used for observation. If invalidity is detected, in particular a warning can be issued, for example to a vehicle occupant and/or to an external server.
In einer Weiterentwicklung kann das Anwenden des Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten dann durchgeführt werden, wenn definierte Umgebungsbedingungen vorliegen. Vorteilhafterweise kann das Anwenden des Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten dann durchgeführt wird, wenn die Umgebungshelligkeit unterhalb einer definierten Helligkeitsschwelle ist. Eine Umgebungshelligkeit kann beispielsweise mittels eines Lichtsensors ermittelt werden. Beispielsweise kann das Anwenden des neuronalen Netzes bei Nacht durchgeführt werden. Eine Tageszeit kann beispielsweise mittels einer Uhrzeit ermittelt werden. Mit anderen Worten können nachts oder in Szenen, die dunkel sind, die Beschleunigungsdaten bzw. IMU Daten direkt dem Neuronale Netz (NN) zugeführt werden, wodurch das Netz schätzen kann, ob die Ist-Kamera-Pose noch der Soll-Kamera-Pose entspricht.In a further development, the application of the neural network to estimate the pose using the received acceleration data can be carried out when defined environmental conditions exist. Advantageously, the application of the neural network to estimate the pose using the received acceleration data can be carried out when the ambient brightness is below a defined brightness threshold. Ambient brightness can be determined, for example, using a light sensor. For example, applying the neural network can be carried out at night. A time of day can be determined using a time, for example. In other words, at night or in scenes that are dark, the acceleration data or IMU data can be fed directly to the neural network (NN), which allows the network to estimate whether the actual camera pose still corresponds to the target camera pose .
Mit anderen Worten können Beschleunigungsdaten zur Detektion von bewusst oder unbewusst herbeigeführten Verstellung der Soll-Kamerapose verwendet werden. Dabei wird mit Hilfe von KI-Verfahren die Referenzpose gelernt und Abweichungen robust, insbesondere auch in Dunkelheit, detektiert. Hierdurch kann ermittelt werden, ob die Kamera-Ist-Pose der Kamera-Soll-Pose entspricht.In other words, acceleration data can be used to detect consciously or unconsciously caused adjustments to the target camera pose. With the help of AI processes, the reference pose is learned and deviations are detected robustly, especially in the dark. This makes it possible to determine whether the actual camera pose corresponds to the target camera pose.
In einer beispielhaften Ausgestaltung kann eine Anpassung des Verfahrens auf das Zielfahrzeug, beispielsweise auf den Typ des Zielfahrzeugs, durchgeführt werden. Unterschiedliche Fahrzeuge bewegen sich bzw. wackeln beim Fahren unterschiedlich stark. Ein Geländewagen bewegt sich beispielsweise anders als ein Sportwagen. Durch eine Anpassung des neuronalen Netzes auf das Zielfahrzeug kann das Verfahren robuster, insbesondere gegenüber Falschauslösungen, ausgebildet werden.In an exemplary embodiment, the method can be adapted to the target vehicle, for example to the type of target vehicle. Different vehicles move or shake to different degrees when driving. For example, an off-road vehicle moves differently than a sports car. By adapting the neural network to the target vehicle, the method can be made more robust, particularly against false triggering.
Das Neuronale Netz kann vorteilhafterweise auf einer beschleunigten Hardware arbeiten bzw. ausgeführt werden. Das Neuronale Netz kann beispielsweise als ein Rekurentes Netz bzw. RNN oder als ein nicht Rekurentes Netz als Ausprägungsform ausgebildet sein.The neural network can advantageously work or be executed on accelerated hardware. The neural network can be designed, for example, as a recurrent network or RNN or as a non-recurrent network as a form of expression.
In einer vorteilhaften Ausführung kann das Verfahren 40 einen weiteren dritten Schritt 46 aufweisen, wobei in dem dritten Schritt 46 des Verfahrens 40 Beschleunigungsdaten mittels einer Messeinheit der Kamera gemessen werden. Der dritte Schritt 46 kann insbesondere vor dem ersten Schritt 42 ausführbar sein, wobei die in dem dritten Schritt 46 gemessenen Beschleunigungsdaten in dem ersten Schritt 42 empfangen werden. Die Messeinheit kann beispielsweise gemäß der Messeinheit gemäß
In einem ersten Schritt 52 des Verfahrens 50 wird eine Information empfangen, ob eine Ist-Pose der Kamera einer Referenzpose der Kamera entspricht. In einer Weiterentwicklung kann die Information, ob eine Ist-Pose der Kamera einer Referenzpose der Kamera entspricht, mittels eines Algorithmus in Abhängigkeit von Videodaten der Kamera ermittelt werden. Dies kann separat durchgeführt werden oder Teil des Verfahrens sein.In a
Zum Ermitteln einer Information, ob eine Ist-Pose der Kamera einer Referenzpose der Kamera entspricht, können beispielsweise verschiedene Algorithmen verwendet werden. Beispielsweise kann eine Camera View Block Detection, eine Tamper Detektion und/oder eine Camera De-Calibrated verwendet werden. Diese Verfahren arbeiten vorzugsweise stabil am Tag. Mittels der Algorithmen können langzeitstabile Merkmale im Bild gesucht und über die Zeit wiedererkannt werden und bei Änderung des Ortes oder Abhandensein des Merkmals im Bild ein Alarm generiert werden. Tagsüber bzw. bei guten Lichtverhältnissen können die Merkmale anders aussehen als nachts, zum Beispiel wenn wenig Licht in der Szene ist, oder die Kamera auf Grauwertbilder im Dunklen umschaltet.For example, various algorithms can be used to determine information as to whether an actual pose of the camera corresponds to a reference pose of the camera. For example, camera view block detection, tamper detection and/or camera de-calibrated can be used. These methods preferably work stably during the day. Using the algorithms, long-term stable features in the image can be searched for and recognized over time and an alarm can be generated if the location changes or the feature is missing in the image. During the day or in good lighting conditions, the features may look different than at night, for example if there is little light in the scene or the camera switches to grayscale images in the dark.
Mit anderen Worten kann mittels eines bildbasierten Algorithmus während einem Fahrzeugfahren am Tag erkannt werden, ob die Soll-Kamera-Pose noch der Ist-Kamera-Pose entspricht.In other words, an image-based algorithm can be used to detect whether the target camera pose still corresponds to the actual camera pose while driving the vehicle during the day.
In einem zweiten Schritt 54 des Verfahrens 50 werden Beschleunigungsdaten einer Messeinheit der Kamera empfangen.In a
Vorteilhafterweise kann eine Messeinheit bzw. eine IMU Daten an ein Neuronales Netz senden. Die Daten bzw. Eingangsdaten können beispielsweise als Beschleunigungsdaten in X-Y-Z-Richtung ausgebildet sein.Advantageously, a measuring unit or an IMU can send data to a neural network. The data or input data can be designed, for example, as acceleration data in the X-Y-Z direction.
In einem dritten Schritt 56 des Verfahrens 50 wird das Neuronale Netze zum Abschätzen der Ist-Pose mit den empfangenen Beschleunigungsdaten und mit der empfangenen Information, ob eine Ist-Pose der Kamera einer Referenzpose der Kamera entspricht, trainiert, sodass das Neuronale Netz ausgebildet ist zum Abschätzen der Ist-Pose mittels Beschleunigungsdaten.In a
In einer Weiterentwicklung kann das Trainieren des Neuronalen Netzes dann durchgeführt werden, wenn definierte Umgebungsbedingungen vorliegen. Beispielsweise kann das Trainieren des Neuronalen Netzes dann durchgeführt werden, wenn eine Umgebungshelligkeit oberhalb einer definierten Helligkeitsschwelle ist. Eine Umgebungshelligkeit kann beispielsweise mittels eines Lichtsensors ermittelt werden. In a further development, the training of the neural network can be carried out when defined environmental conditions exist. For example, the neural network can be trained when the ambient brightness is above a defined brightness threshold. Ambient brightness can be determined, for example, using a light sensor.
Vorteilhafterweise kann das Trainieren des Neuronalen Netzes bei Tag durchgeführt werden. Eine Tageszeit kann beispielsweise mittels einer Uhrzeit ermittelt werden.The training of the neural network can advantageously be carried out during the day. A time of day can be determined using a time, for example.
Vorzugsweise trainiert das Netz tagsüber fortlaufend mit den Eingangsdaten bzw. Beschleunigungsdaten bzw. Daten der IMU zu schätzen, ob die Ist-Kamera-Pose noch der Soll-Kamera-Pose entspricht. Die Verlustfunktion kann hierbei so gewählt werden, dass die Differenz zwischen Netzoutput und dem Output des bildbasierten Algorithmus minimiert wird. Hierfür können Lernverfahren, wie beispielsweise ADAM oder Stochastic Gradient Descent, eingesetzt bzw. verwendet werden.Preferably, the network continuously trains during the day to estimate whether the actual camera pose still corresponds to the target camera pose using the input data or acceleration data or data from the IMU. The loss function can be chosen so that the difference between the network output and the output of the image-based algorithm is minimized. Learning methods such as ADAM or Stochastic Gradient Descent can be used for this.
Mit anderen Worten kann mittels der Daten der in der Kamera verbauten Inertialsensoren zur Bewegungserkennung KI zum Lernen der Referenzpose trainiert werden. Zum Unterstützen des Trainierens können verschiedene Algorithmen, zum Beispiel ein Tamper-Detektion Algorithmus, verwendet werden.In other words, AI can be trained to learn the reference pose using the data from the inertial motion detection sensors built into the camera. Various algorithms, for example a tamper detection algorithm, can be used to support training.
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102014214352 A1 [0001]DE 102014214352 A1 [0001]
- US 8711223 B2 [0002]US 8711223 B2 [0002]
Claims (15)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022209226.0A DE102022209226A1 (en) | 2022-09-06 | 2022-09-06 | Method for checking a pose of a camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022209226.0A DE102022209226A1 (en) | 2022-09-06 | 2022-09-06 | Method for checking a pose of a camera |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102022209226A1 true DE102022209226A1 (en) | 2024-03-07 |
Family
ID=89905346
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102022209226.0A Pending DE102022209226A1 (en) | 2022-09-06 | 2022-09-06 | Method for checking a pose of a camera |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102022209226A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8711223B2 (en) | 2011-06-21 | 2014-04-29 | Flir Systems, Inc. | Vehicle-mounted camera stabilized passively by vibration isolators |
DE102014214352A1 (en) | 2014-07-23 | 2016-01-28 | Robert Bosch Gmbh | Method and arrangement for operating an occupant observation system |
-
2022
- 2022-09-06 DE DE102022209226.0A patent/DE102022209226A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8711223B2 (en) | 2011-06-21 | 2014-04-29 | Flir Systems, Inc. | Vehicle-mounted camera stabilized passively by vibration isolators |
DE102014214352A1 (en) | 2014-07-23 | 2016-01-28 | Robert Bosch Gmbh | Method and arrangement for operating an occupant observation system |
Non-Patent Citations (2)
Title |
---|
CHEN, Changhao [et al.]: Selective Sensor Fusion for Neural Visual-Inertial Odometry. In: 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2019. S. 10534-10543. DOI: 10.1109/CVPR.2019.01079 |
CLARK, Ronald [et al.]: VINet: Visual-inertial odometry as a sequence-to-sequence learning problem. In: Proceedings of the AAAI Conference on Artificial Intelligence. 2017. DOI: 10.1609/aaai.v31i1.11215 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1620289B1 (en) | Device and method for calibrating an image sensor | |
DE102015206200A1 (en) | Method and device for attention recognition of a driver | |
DE102007051543A1 (en) | Vehicle component e.g. presentation device, parameter adjusting device, has detection device for detecting position and/or orientation of passenger head, where adjustment of parameter is carried out based on position and/or orientation | |
DE19842827B4 (en) | Precrashsensierungssystem | |
DE102016215291A1 (en) | Method for classifying driver movements | |
DE102005023697A1 (en) | Motor vehicle`s interior e.g. driver area, lighting controlling device, has video camera detecting line of vision, positions and movements of passenger, and controller using output of camera to produce control signals for lighting units | |
DE102017208971A1 (en) | METHOD AND DEVICE FOR SUPPORTING A VEHICLE IN A VEHICLE | |
DE102016014712B4 (en) | Vehicle and method for outputting information to a vehicle environment | |
DE102009014437A1 (en) | Object e.g. pedestrian, recognition system i.e. stereoscopic system, for motor vehicle, has validation device checking whether object and/or preset character e.g. contour, of object is detected in image region in image | |
DE102016210088B3 (en) | Method and device for representing an environment of a motor vehicle | |
DE102008043601B4 (en) | Method and device for optimizing visibility for a user when changing the light fields affecting the user | |
DE102014118387A1 (en) | Detecting device for detecting a gesture and / or a viewing direction of an occupant of a motor vehicle by synchronous control of lighting units, operating arrangement, motor vehicle and method | |
DE102022209226A1 (en) | Method for checking a pose of a camera | |
DE10313003B4 (en) | On / Off concept for an automotive night vision system | |
DE19921997A1 (en) | Control of dashboard display brightness in a vehicle by use of video cameras (with one pointing in the direction of travel) that provide a signal proportional to outside brightness that is used by a controller to adjust brightness | |
DE102019200099A1 (en) | Sensor device for an ego vehicle, driver assistance device and vehicle with such a sensor device | |
DE102022103604A1 (en) | ON-BOARD MONITORING EQUIPMENT FOR A VEHICLE | |
DE102022103605A1 (en) | ON-BOARD MULTIPLE MONITORING EQUIPMENT FOR ONE VEHICLE | |
DE102020210055A1 (en) | Method and device for monitoring the interior of a vehicle | |
DE102004019832B3 (en) | Method for analyzing and regulating the driving dynamics of a motor vehicle and motor vehicle for carrying out the method | |
DE102016011016A1 (en) | Method for operating an assistance system | |
DE102020213673A1 (en) | Method for warning at least one occupant of a first vehicle of a risk of collision through a vehicle door opening, first control unit, first vehicle and warning method for a second vehicle, second control unit and second vehicle | |
DE102020106850A1 (en) | Method for assisting an occupant when getting out of a vehicle by adapting a display, driver assistance system and vehicle | |
DE102020214910A1 (en) | Method for monitoring a vehicle interior | |
DE10133386A1 (en) | Detecting position of person in vehicle involves generating event signal if significant characteristics of detected person changes position by more than defined amount |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified |