DE102022209226A1 - Method for checking a pose of a camera - Google Patents

Method for checking a pose of a camera Download PDF

Info

Publication number
DE102022209226A1
DE102022209226A1 DE102022209226.0A DE102022209226A DE102022209226A1 DE 102022209226 A1 DE102022209226 A1 DE 102022209226A1 DE 102022209226 A DE102022209226 A DE 102022209226A DE 102022209226 A1 DE102022209226 A1 DE 102022209226A1
Authority
DE
Germany
Prior art keywords
pose
camera
neural network
acceleration data
estimate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022209226.0A
Other languages
German (de)
Inventor
Gregor Blott
Uwe Brosch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102022209226.0A priority Critical patent/DE102022209226A1/en
Publication of DE102022209226A1 publication Critical patent/DE102022209226A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00—Testing correct operation of photographic apparatus or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

Vorgeschlagen wird ein Verfahren (40) zum Überprüfen einer Pose einer Kamera (22) mit den Schritten,Empfangen von Beschleunigungsdaten einer Messeinheit (36) der Kamera (22), Anwenden eines Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten, wobei das Neuronale Netz ausgebildet ist zum Abschätzen der Pose in Abhängigkeit der empfangenen Beschleunigungsdaten.A method (40) is proposed for checking a pose of a camera (22) with the steps of receiving acceleration data from a measuring unit (36) of the camera (22), applying a neural network to estimate the pose using the received acceleration data, wherein the neural Network is designed to estimate the pose depending on the received acceleration data.

Description

Stand der TechnikState of the art

Aus der DE 10 2014 214 352 A1 ist ein Verfahren und Anordnung zum Betreiben eines Insassenbeobachtungssystems bekannt.From the DE 10 2014 214 352 A1 a method and arrangement for operating an occupant observation system is known.

Aus der US8711223B2 ist eine fahrzeugmontierte Kamera, welche passiv durch Vibrationsisolatoren stabilisiert wird, bekannt.From the US8711223B2 a vehicle-mounted camera which is passively stabilized by vibration isolators is known.

Offenbarung der ErfindungDisclosure of the invention

Vorgeschlagen wird ein Verfahren zum Überprüfen einer Pose einer Kamera mit den Schritten,
Empfangen von Beschleunigungsdaten einer Messeinheit der Kamera, Anwenden eines Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten, wobei das Neuronale Netz ausgebildet ist zum Abschätzen der Pose in Abhängigkeit der empfangenen Beschleunigungsdaten.A method is proposed for checking a pose of a camera with the steps:
Receiving acceleration data from a measuring unit of the camera, applying a neural network to estimate the pose using the received acceleration data, the neural network being designed to estimate the pose depending on the received acceleration data.

Zur Beobachtung einer Umgebung eines Fahrzeugs und/oder eines Fahrzeuginnenraums können in einem Fahrzeug bzw. an einem Fahrzeug eine oder mehrere Beobachtungsvorrichtung angeordnet sein. Die Beobachtungsvorrichtung kann beispielsweise als Kamera ausgebildet sein oder eine Kamera aufweisen. Die Kamera ist vorzugsweise derart angeordnet, dass die Umgebung und/oder der Fahrzeuginnenraum des Fahrzeugs beobachtet werden können. Es kann vorkommen, dass die Kamera versehentlich oder mit Absicht verschoben wird und somit nicht mehr den gewünschten Bereich der die Umgebung und/oder des Fahrzeuginnenraums abdeckt. Der Vorteil der vorliegenden Erfindung liegt darin, dass ein Verschieben der Kamera identifiziert werden kann. Beispielsweise kann ermittelt werden, ob ein Fahrzeuginsasse die Kamera wegdreht bzw. weggedreht hat. Dies kann beispielsweise bei nicht dauerhaft verbauten Kameras im Fahrzeug erfolgen. Das Video- bzw. Bildmaterial, das mittels einer verschobenen bzw. weggedrehten Kamera aufgenommen wird, kann somit einen anderen, insbesondere nutzlosen Bereich beobachten bzw. aufnehmen, wodurch das Material, welches die Kamera zur Verfügung stellt, nicht verwendet werden kann. Mit anderen Worten kann mittels des Verfahrens vermieden werden, dass Szenenausschnitte gefilmt werden, die insbesondere nicht relevant sind. Es kann vorzugsweise ermittelt werden, ob eine Ist-Pose der Kamera mit einer Soll-Pose und somit einer Referenzpose übereinstimmt.To observe the surroundings of a vehicle and/or a vehicle interior, one or more observation devices can be arranged in a vehicle or on a vehicle. The observation device can, for example, be designed as a camera or have a camera. The camera is preferably arranged in such a way that the surroundings and/or the vehicle interior of the vehicle can be observed. It may happen that the camera is accidentally or intentionally moved and therefore no longer covers the desired area of the surroundings and/or the vehicle interior. The advantage of the present invention is that movement of the camera can be identified. For example, it can be determined whether a vehicle occupant is turning or has turned away the camera. This can happen, for example, if cameras are not permanently installed in the vehicle. The video or image material, which is recorded using a camera that has been moved or turned away, can therefore observe or record a different, particularly useless, area, as a result of which the material provided by the camera cannot be used. In other words, the method can be used to avoid filming scene excerpts that are particularly irrelevant. It can preferably be determined whether an actual pose of the camera matches a target pose and thus a reference pose.

Mittels des vorgeschlagenen Verfahrens und des Neuronalen Netzes kann eine falsche Pose der Kamera erkannt werden. Ein Vorteil der vorliegenden Erfindung ist, dass auch bei schlechten Lichtverhältnissen, beispielsweise im Dunkeln oder bei Dämmerung, insbesondere bei schlechten Bildaufnahmen, erkannt werden kann, ob die Ist-Pose der Kamera noch der Soll-Pose der Kamera entspricht. Vorteilhafterweise kann mittels des Verfahrens eine Ermittlung bzw. Analyse der Pose der Kamera auch bei schlechten Lichtverhältnissen, zum Beispiel nachts, durchgeführt werden. Mittels der Verwendung von Beschleunigungsdaten kann eine Überprüfung einer Pose der Kamera insbesondere auch bei schlechter Ausleuchtung, zum Beispiel im Dunkeln und/oder bei Dämmerung, zuverlässig durchgeführt werden. Mit anderen Worten kann einfach und/oder zuverlässig erkannt werden, ob die Kamera verstellt wurde. Hierdurch kann ein Fahrzeuginnenraum beispielsweise auch bei Dunkelheit beobachtet werden, wobei beispielsweise erkannt werden kann, ob ein medizinischer Notfall vorliegt und/oder ob ein Fahrzeuginsasse belästigt wird. Hierdurch kann insbesondere die Sicherheit und/oder der Komfort im Fahrzeug erhöht wird. Dieser Vorteil kann sich insbesondere auch bei extremen Lichtverhältnissen ergeben, zum Beispiel ein Sunspots, einem Schein einer Taschenlampe und/oder im Tunnel, wobei mittels des vorgeschlagenen Verfahrens eine Abschätzung der Pose der Kamera einfach und/oder zuverlässig durchgeführt werden kannUsing the proposed method and the neural network, an incorrect pose of the camera can be detected. An advantage of the present invention is that even in poor lighting conditions, for example in the dark or at twilight, especially when images are taken poorly, it can be recognized whether the actual pose of the camera still corresponds to the target pose of the camera. Advantageously, the method can be used to determine or analyze the pose of the camera even in poor lighting conditions, for example at night. By using acceleration data, a camera pose can be checked reliably, particularly even in poor lighting, for example in the dark and/or at twilight. In other words, it can be easily and/or reliably recognized whether the camera has been adjusted. This allows a vehicle interior to be observed, for example, even in the dark, making it possible to detect, for example, whether there is a medical emergency and/or whether a vehicle occupant is being harassed. This can in particular increase safety and/or comfort in the vehicle. This advantage can arise in particular in extreme lighting conditions, for example a sunspot, the glow of a flashlight and/or in a tunnel, whereby an estimate of the pose of the camera can be carried out easily and/or reliably using the proposed method

Der Vorteil des vorliegenden Verfahrens liegt darin, dass das Neuronale Netz auf Basis von Ausgabedaten einer Messeinheit, zum Beispiel einer Inertial Measurement Unit bzw. IMU, insbesondere Beschleunigungen in X Richtung, Y Richtung und/oder Z Richtung eine Pose der Kamera bzw. einer Veränderung der Pose der Kamera abschätzen kann. Hierdurch kann vereinfacht ermittelt werden, ob die Ist-Pose der Kamera, somit die derzeitige Pose, noch der Soll-Pose der Kamera, insbesondere einer Referenzpose, entspricht. Die Soll-Pose der Kamera ist die, in welcher die Kamera ihre Funktion ausüben soll, vorzugsweise einen optimalen Überblick über den Fahrzeuginnenraum und/oder die Umgebung des Fahrzeugs hat.The advantage of the present method is that the neural network calculates a pose of the camera or a change based on output data from a measuring unit, for example an Inertial Measurement Unit or IMU, in particular accelerations in the X direction, Y direction and / or Z direction can estimate the pose of the camera. This makes it easier to determine whether the actual pose of the camera, thus the current pose, still corresponds to the target pose of the camera, in particular a reference pose. The target pose of the camera is the one in which the camera is intended to perform its function, preferably having an optimal overview of the vehicle interior and/or the surroundings of the vehicle.

Ein weiterer Vorteil des vorgeschlagenen Verfahrens liegt darin, dass eine Pose der Kamera auch dann überprüft werden kann, wenn die Kamera verdeckt ist. Wenn die Kamera bzw. die Linse der Kamera verdeckt ist, so kann diese keine gewünschten Aufnahmen mehr tätigen, wodurch eine Posenbestimmung mittels Videoanalyse nicht mehr möglich ist. Die Abschätzung der Pose mittels des Neuronalen Netzes durch Beschleunigungsdaten kann somit hierdurch zuverlässig und/oder einfach durchgeführt werden.Another advantage of the proposed method is that a pose of the camera can be checked even if the camera is obscured. If the camera or the lens of the camera is covered, it can no longer take the desired recordings, which means that pose determination using video analysis is no longer possible. The estimation of the pose using the neural network using acceleration data can thus be carried out reliably and/or easily.

In einer beispielhaften Ausgestaltung kann das Verfahren einen Schritt eines Feststellens einer Gültigkeit einer Pose der Kamera aufweisen, wobei eine Gültigkeit der Pose der Kamera dann festgestellt werden kann, wenn mittels des Neuronalen Netzes abgeschätzt wird, dass eine Pose einer Referenzpose entspricht oder zu einem definierten Grad entspricht. Eine Ungültigkeit der Pose der Kamera kann dann festgestellt werden, wenn mittels des Neuronalen Netzes abgeschätzt wird, dass eine Pose nicht einer Referenzpose entspricht oder zu einem definierten Grad nicht entspricht. Bei einem Erkennen einer Gültigkeit kann die Kamera weiterhin zum Beobachten verwendet werden. Beim Erkennen einer Ungültigkeit kann insbesondere eine Warnung ausgegeben werden, zum Beispiel an einen Fahrzeuginsassen und/oder an einen externen Server. Hierdurch kann sicher und/oder zuverlässig eine Gültigkeit erkannt und Maßnahmen eingeleitet werden.In an exemplary embodiment, the method may have a step of determining a validity of a pose of the camera, wherein a validity of the pose of the camera is then determined can be set if the neural network is used to estimate that a pose corresponds to a reference pose or corresponds to a defined degree. An invalidity of the camera pose can be determined if the neural network is used to estimate that a pose does not correspond to a reference pose or does not correspond to a defined degree. If a validity is detected, the camera can continue to be used for observation. If invalidity is detected, in particular a warning can be issued, for example to a vehicle occupant and/or to an external server. In this way, validity can be safely and/or reliably recognized and measures can be initiated.

In einer vorteilhaften Ausführung kann das Anwenden des Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten dann durchgeführt werden, wenn definierte Umgebungsbedingungen vorliegen. In einer Weiterentwicklung kann das Anwenden des Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten dann durchgeführt werden, wenn die Umgebungshelligkeit unterhalb einer definierten Helligkeitsschwelle ist. In einer beispielhaften Ausgestaltung kann das Anwenden des Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten bei Nacht durchgeführt werden. Hierdurch kann insbesondere auch bei schlechten Lichtverhältnissen eine Pose der Kamera sicher und/oder zuverlässig geschätzt bzw. ermittelt werden. Vorteilhafterweise ist die Ermittlung und/oder Einschätzung der Pose der Kamera auch bei schlechteren Umgebungsbedingungen mittels Beschleunigungsdaten möglich und nicht von guten Lichtverhältnissen für die Auswertung von Kamerabildern abhängig.In an advantageous embodiment, the neural network can be used to estimate the pose using the received acceleration data when defined environmental conditions exist. In a further development, the neural network can be used to estimate the pose using the received acceleration data when the ambient brightness is below a defined brightness threshold. In an exemplary embodiment, applying the neural network to estimate the pose can be carried out at night using the received acceleration data. In this way, a pose of the camera can be safely and/or reliably estimated or determined, particularly in poor lighting conditions. Advantageously, the determination and/or assessment of the pose of the camera is possible even in poor ambient conditions using acceleration data and does not depend on good lighting conditions for the evaluation of camera images.

Vorteilhafterweise kann das Verfahren weiterhin einen Schritt eines Messens von Beschleunigungsdaten mittels einer Messeinheit der Kamera aufweisen. Hierdurch können Beschleunigungsdaten insbesondere sicher und/oder zuverlässig zur Verfügung gestellt werden. Mittels der Beschleunigungsdaten kann durch Zuführung zu dem Neuronalen Netz eine Pose der Kamera analysiert bzw. abgeschätzt werden.Advantageously, the method can further comprise a step of measuring acceleration data using a measuring unit of the camera. In this way, acceleration data can be made available in particular safely and/or reliably. Using the acceleration data, a pose of the camera can be analyzed or estimated by feeding it to the neural network.

Weiterhin vorgeschlagen wird ein Verfahren zum Trainieren eines Neuronalen Netzes zum Überprüfen einer Pose einer Kamera mit den Schritten,
Empfangen einer Information, ob eine Ist-Pose der Kamera einer Referenzpose der Kamera entspricht,
Empfangen von Beschleunigungsdaten einer Messeinheit der Kamera, Trainieren eines Neuronalen Netzes zum Abschätzen der Ist-Pose mit den empfangenen Beschleunigungsdaten und mit der empfangenen Information, ob eine Ist-Pose der Kamera einer Referenzpose der Kamera entspricht, sodass das Neuronale Netz ausgebildet ist zum Abschätzen der Ist-Pose mittels Beschleunigungsdaten.
Vorteilhafterweise kann hierdurch das Neuronale Netz derart trainiert werden, dass bei Anwendung des Neuronalen Netzes eine Abschätzung und/oder Analyse der Pose der Kamera sicher und/oder zuverlässig durchgeführt werden kann. Vorzugsweise kann das vorgeschlagene Verfahren bzw. der vorgeschlagene Algorithmus mithilfe der Ergebnisse der bildbasierten Auswertung, zum Beispiel einer Tamper Detection, trainiert werden, um sich robust an die Situation in verschiedenen Fahrzeugen anzupassen.Furthermore, a method is proposed for training a neural network to check a pose of a camera with the steps:
Receiving information as to whether an actual pose of the camera corresponds to a reference pose of the camera,
Receiving acceleration data from a measuring unit of the camera, training a neural network to estimate the actual pose with the received acceleration data and with the received information as to whether an actual pose of the camera corresponds to a reference pose of the camera, so that the neural network is designed to estimate the Actual pose using acceleration data.
Advantageously, the neural network can be trained in such a way that when the neural network is used, an estimation and/or analysis of the pose of the camera can be carried out safely and/or reliably. Preferably, the proposed method or algorithm can be trained using the results of the image-based evaluation, for example tamper detection, in order to robustly adapt to the situation in different vehicles.

In einer beispielhaften Ausgestaltung kann das Trainieren des Neuronalen Netzes dann durchgeführt werden, wenn definierte Umgebungsbedingungen vorliegen. In einer Weiterentwicklung kann das Trainieren des Neuronalen Netzes dann durchgeführt werden, wenn eine Umgebungshelligkeit oberhalb einer definierten Helligkeitsschwelle ist. Vorteilhafterweise kann das Trainieren des Neuronalen Netzes bei Tag durchgeführt werden. Hierdurch kann sichergestellt werden, dass Neuronale Netz sicher und/oder zuverlässig trainiert werden kann, indem insbesondere Videodaten verwendet werden, die eine entsprechende bzw. optimale Qualität aufweisen. Hierdurch kann eine optimale Anpassung bzw. ein optimales Trainieren des Neuronalen Netzes gewährleistet werden.In an exemplary embodiment, the training of the neural network can be carried out when defined environmental conditions exist. In a further development, the neural network can be trained when the ambient brightness is above a defined brightness threshold. The training of the neural network can advantageously be carried out during the day. This can ensure that the neural network can be trained safely and/or reliably, in particular by using video data that has an appropriate or optimal quality. This can ensure optimal adaptation or optimal training of the neural network.

In einer beispielhaften Ausgestaltung kann die Information, ob eine Ist-Pose der Kamera einer Referenzpose der Kamera entspricht, mittels eines Algorithmus in Abhängigkeit von Videodaten der Kamera ermittelt werden. Hierdurch kann die Information insbesondere sicher und/oder zuverlässig zur Verfügung gestellt werden. Mittels des Algorithmus, beispielsweise ein Bildauswertealgorithmus, kann anhand der Videodaten ermittelt werden, ob die Ist-Pose der Kamera noch der Soll-Pose der Kamera entspricht.In an exemplary embodiment, the information as to whether an actual pose of the camera corresponds to a reference pose of the camera can be determined using an algorithm depending on video data from the camera. In this way, the information can be made available in particular securely and/or reliably. Using the algorithm, for example an image evaluation algorithm, it can be determined based on the video data whether the actual pose of the camera still corresponds to the target pose of the camera.

Weiterhin vorgeschlagen wird eine Vorrichtung zum Überprüfen einer Pose einer Kamera mit einer Empfangseinheit zum Empfangen von Beschleunigungsdaten einer Messeinheit der Kamera und einer Recheneinheit zum Anwenden eines Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten, wobei das Neuronale Netz ausgebildet ist zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten.
Hierdurch kann eine Überprüfung einer Pose der Kamera sicher und/oder zuverlässig durchgeführt werden. Mit anderen Worten kann mittels Beschleunigungsdaten, Beispiel zweite Beschleunigungsdaten einer Inertial Measurement Unit bzw. IMU, auch im Dunklen und bei Dämmerung robust erkannt werden, ob die Kamerapose verstellt wurde. Dies ist insbesondere dann von Vorteil, wenn nachts eine aktive Infrarot Beleuchtung aktiviert wird, um den Fahrzeuginnenraum auszuwerten. Bildmerkmale, die tagsüber gefunden werden, können daher nachts bei aktiver Infrarot Beleuchtung schwerer oder typischerweise gar nicht gefunden werden. Die Detektion, ob die Ist-Kamera-Pose noch der Soll-Kamera-Pose entspricht, kann mittels des vorliegenden Verfahrens zuverlässig und/oder einfach ermöglicht werden. Dies ist hilfreich, um zum Beispiel bei schlechter Szenenausleuchtung noch zu erkennen, ob ein Fahrer eine Mitfahrerin belästigt. Bei Erkennen einer falschen Pose der Kamera, somit wenn die Ist-Pose der Kamera nicht der Soll-Pose der Kamera entspricht, können entsprechende Maßnahmen eingeleitet werden. Beispielsweise kann eine Warnung an den Fahrer und/oder an einen externen Server ausgegeben werden. Alternativ oder zusätzlich kann die Kamera mittels eines Aktors in die richtige Pose gefahren werden.Furthermore, a device is proposed for checking a pose of a camera with a receiving unit for receiving acceleration data from a measuring unit of the camera and a computing unit for applying a neural network to estimate the pose using the received acceleration data, the neural network being designed to estimate the pose using the received acceleration data.
This allows a camera pose to be checked safely and/or reliably. In other words, acceleration data, for example second acceleration data from an Inertial Measurement Unit or IMU, can be used to robustly detect even in the dark and at twilight whether the camera pose has been adjusted. This is particularly advantageous when active infrared lighting is activated at night to evaluate the vehicle interior. Image features that are found during the day are therefore more difficult or typically not found at all at night when infrared lighting is active. The detection of whether the actual camera pose still corresponds to the target camera pose can be made possible reliably and/or easily using the present method. This is helpful, for example, in poor scene lighting to see whether a driver is harassing a passenger. If an incorrect pose of the camera is detected, i.e. if the actual pose of the camera does not correspond to the target pose of the camera, appropriate measures can be initiated. For example, a warning can be issued to the driver and/or to an external server. Alternatively or additionally, the camera can be moved into the correct pose using an actuator.

Vorteilhafterweise kann die Vorrichtung eine Messeinheit zum Messen von Beschleunigungsdaten der Kamera aufweisen. Hierdurch können Beschleunigungsdaten insbesondere sicher und/oder zuverlässig zur Verfügung gestellt werden.Advantageously, the device can have a measuring unit for measuring acceleration data of the camera. In this way, acceleration data can be made available in particular safely and/or reliably.

Ferner vorgeschlagen wird ein Neuronales Netz zum Abschätzen der Pose mittels Beschleunigungsdaten, wobei das Neuronale Netz ausgebildet ist zum Abschätzen der Pose in Abhängigkeit der Beschleunigungsdaten. Vorteilhafterweise kann das Neuronale Netz mittels des Verfahrens zum Trainieren eines Neuronalen Netzes trainiert sein.Furthermore, a neural network is proposed for estimating the pose using acceleration data, the neural network being designed to estimate the pose depending on the acceleration data. Advantageously, the neural network can be trained using the method for training a neural network.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in den nachfolgenden Beschreibungen näher erläutert. Für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente werden gleiche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung der Elemente verzichtet wird. Es zeigen:

  • 1 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung zum Beobachten eines Fahrzeuginsassen;
  • 2 eine schematische Darstellung einer Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
  • 3 eine schematische Darstellung eines Verfahrens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
  • 4 eine schematische Darstellung eines Verfahrens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
  • 5 eine schematische Darstellung eines Verfahrens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
Exemplary embodiments of the invention are shown in the drawings and explained in more detail in the following descriptions. The same reference numerals are used for the elements shown in the various figures and which have a similar effect, with a repeated description of the elements being omitted. Show it:
  • 1 a schematic representation of a vehicle with a device for observing a vehicle occupant;
  • 2 a schematic representation of a device according to an embodiment of the present invention;
  • 3 a schematic representation of a method according to an embodiment of the present invention;
  • 4 a schematic representation of a method according to an embodiment of the present invention;
  • 5 a schematic representation of a method according to an embodiment of the present invention.

Ausführungsformen der Erfindung:Embodiments of the invention:

1 zeigt eine schematische Darstellung eines Fahrzeugs 20, beispielsweise eines Kraftfahrzeugs, beispielsweise eines Autos, mit einer Beobachtungsvorrichtung 22 zum Beobachten eines Fahrzeuginsassen 24. Das Fahrzeug 20 weist insbesondere einen Innenraum 26 bzw. einen Fahrzeuginnenraum 26 auf, wobei in dem Fahrzeuginnenraum 26 insbesondere ein oder mehrere Sitze für einen oder mehrere Fahrzeuginsassen 24 angeordnet sein können. Weiterhin weist das Fahrzeug 20 eine Beobachtungsvorrichtung 22 zum Beobachten eines Fahrzeuginsassen 24 auf, wobei die Beobachtungsvorrichtung 22 auch als Beobachtungssystem und/oder als Insassenbeobachtungssystem und/oder als Überwachungssystem bezeichnet werden kann. Alternativ oder zusätzlich kann mittels der Beobachtungsvorrichtung 22 auch eine Umgebung des Fahrzeugs 20 beobachtet bzw. überwacht werden. Die Umgebung kann sich insbesondere außerhalb des Fahrzeugs befinden. Die Beobachtungsvorrichtung 22 kann beispielsweise ausgebildet sein eine Blickrichtung, eine Körperhaltung und/oder die Pose des Kopfes bzw. des Gesichts bzw. der Augen des Fahrzeuginsassen 24 oder den Müdigkeitszustand und/oder andere Vitalwerte des Fahrzeuginsassen 24 zu erfassen. Ferner kann beispielsweise eine Identität des Fahrzeuginsassen 24 erfasst werden. 1 shows a schematic representation of a vehicle 20, for example a motor vehicle, for example a car, with an observation device 22 for observing a vehicle occupant 24. The vehicle 20 in particular has an interior 26 or a vehicle interior 26, in particular one or more in the vehicle interior 26 Seats for one or more vehicle occupants 24 can be arranged. Furthermore, the vehicle 20 has an observation device 22 for observing a vehicle occupant 24, wherein the observation device 22 can also be referred to as an observation system and/or as an occupant observation system and/or as a monitoring system. Alternatively or additionally, an environment of the vehicle 20 can also be observed or monitored using the observation device 22. The environment can in particular be outside the vehicle. The observation device 22 can, for example, be designed to detect a viewing direction, a body posture and/or the pose of the head or the face or the eyes of the vehicle occupant 24 or the state of tiredness and/or other vital signs of the vehicle occupant 24. Furthermore, for example, an identity of the vehicle occupant 24 can be recorded.

Zum Beobachten des Fahrzeuginsassen 24 kann die Beobachtungsvorrichtung 22 in einer Weiterentwicklung eine Beleuchtungseinheit zum Aussenden von Lichtstrahlen, insbesondere Infrarotstrahlen, und eine Aufnahmeeinheit aufweisen. Die Beobachtungsvorrichtung 22 kann insbesondere in einem Armaturenbrett, in einer Instrumententafel, an einem Fahrzeugdach, an einem Rückspiegel oder an einer Säule, zum Beispiel an einer A-Säule und/oder einer B-Säule des Fahrzeugs 20 angeordnet sein.To observe the vehicle occupant 24, the observation device 22 can, in a further development, have a lighting unit for emitting light rays, in particular infrared rays, and a recording unit. The observation device 22 can in particular be arranged in a dashboard, in an instrument panel, on a vehicle roof, on a rear-view mirror or on a pillar, for example on an A-pillar and/or a B-pillar of the vehicle 20.

Die Beleuchtungseinheit ist insbesondere in Richtung des Fahrzeuginsassen 24 und somit in Richtung des Fahrzeugsitzes gerichtet, um den Fahrzeuginsassen 24 mit Lichtstrahlen, insbesondere mit Infrarotstrahlen, anzustrahlen. Mit anderen Worten werden mittels der Beleuchtungseinheit Lichtstrahlen, insbesondere Infrarotstrahlen, in Richtung des Fahrzeuginsassen 24 ausgesendet. Die Beleuchtungseinheit kann zum Beispiel als Leuchteinheit, Leuchtelement, Leuchtdiode, LED, OLED und/oder Laserdiode ausgebildet sein und/oder eine Leuchteinheit, ein Leuchtelement, eine Leuchtdiode, eine LED, OLED und/oder eine Laserdiode aufweisen.The lighting unit is directed in particular in the direction of the vehicle occupant 24 and thus in the direction of the vehicle seat in order to illuminate the vehicle occupant 24 with light rays, in particular with infrared rays. In other words, light rays, in particular infrared rays, are emitted in the direction of the vehicle occupant 24 by means of the lighting unit. The lighting unit can be designed, for example, as a lighting unit, a lighting element, a light-emitting diode, LED, OLED and/or a laser diode and/or a lighting unit, a lighting element, a light-emitting diode, have an LED, OLED and / or a laser diode.

Die Aufnahmeeinheit kann beispielsweise als Bildaufnahmeeinheit, zum Beispiel als Sensor bzw. als Kamera ausgebildet sein, insbesondere als Infrarot-Kameramodul, wobei die Aufnahmeeinheit in Richtung des Fahrzeuginsassen 24 und somit in Richtung des Fahrzeugsitzes gerichtet ist, um den Fahrzeuginsassen 24 visuell zu erfassen. Durch die Ausbildung als Infrarot-Kameramodul ist es möglich, die Beobachtung auch nachts durchzufuhren, ohne dass der Fahrzeuginsasse 24 hell angeleuchtet und dadurch geblendet werden würde.The recording unit can be designed, for example, as an image recording unit, for example as a sensor or as a camera, in particular as an infrared camera module, the recording unit being directed in the direction of the vehicle occupant 24 and thus in the direction of the vehicle seat in order to visually capture the vehicle occupant 24. By designing it as an infrared camera module, it is possible to carry out observation even at night without the vehicle occupant 24 being brightly illuminated and thereby blinded.

Mit anderen Worten ist Beobachtungsvorrichtung 22 ausgebildet zum Beobachten eines Fahrzeuginnenraums eines Fahrzeugs. Die Beobachtungsvorrichtung 22 weist eine Beleuchtungseinheit zum Aussenden von Lichtstrahlen, insbesondere Infrarotstrahlen, in Richtung des Fahrzeuginnenraums und eine Aufnahmeeinheit zum Aufnehmen von Lichtstrahlen, insbesondere Infrarotstrahlen, wobei die von der Beleuchtungseinheit ausgesendeten Lichtstrahlen, insbesondere Infrarotstrahlen, an bzw. in dem Fahrzeuginnenraum reflektierbar sind und wobei die reflektierten Lichtstrahlen, insbesondere Infrarotstrahlen, in Richtung der Aufnahmeeinheit lenkbar sind.In other words, observation device 22 is designed to observe a vehicle interior of a vehicle. The observation device 22 has a lighting unit for emitting light rays, in particular infrared rays, in the direction of the vehicle interior and a recording unit for recording light rays, in particular infrared rays, wherein the light rays, in particular infrared rays, emitted by the lighting unit can be reflected on or in the vehicle interior and wherein the reflected light rays, in particular infrared rays, can be directed in the direction of the recording unit.

Weiterhin weist die Beobachtungsvorrichtung 22 eine Steuereinheit 28 bzw. eine Auswerteeinheit 28 bzw. eine Recheneinheit 28 auf zur Ansteuerung der Beleuchtungseinheit und/oder der Aufnahmeeinheit und/oder zur Verarbeitung der mittels der Aufnahmeeinheit aufgenommenen Daten.Furthermore, the observation device 22 has a control unit 28 or an evaluation unit 28 or a computing unit 28 for controlling the lighting unit and/or the recording unit and/or for processing the data recorded by means of the recording unit.

Vorzugsweise kann mittels der Innenraumüberwachung eine Inhaltsanalyse vom Innenraum von Fahrzeugen mit Videos durchgeführt werden, um zum Beispiel sichere Fahrten zu ermöglichen und/oder zum Beispiel zu einer Aufnahme des Fahrzeugumfeldes mittels Videos, um im Falle von Unfällen Beweisvideos bereit stellen zu können. Vorzugweise kann hierfür insbesondere eine erweiterte Dashcam verwendet werden. Mittels einer erweiterten Dashcam können beispielsweise Daten in eine Cloud übertragen werden. Die Daten können alternativ oder zusätzlich direkt auf dem Gerät ausgewertet werden. Mit anderen Worten können Kameras verwendet werden und insbesondere Videostreams vom Innenraum und/oder des Außenbereichs angefertigt und übertragen werden. Die Kameras können in einer Weiterentwicklung nicht nur die Daten aufnehmen, die für ihre primären Aufgaben vorgesehen sind, sondern können darüber hinaus zusätzliche Daten erfassen und gegebenenfalls auswerten bzw. vorauswerten und übertragen. Diese zusätzlichen Daten können in einer Weiterentwicklung beispielsweise dafür genutzt werden, Kunden weitere Services zur Verfügung zu stellen.Preferably, interior monitoring can be used to carry out a content analysis of the interior of vehicles with videos, for example to enable safe journeys and/or, for example, to record the vehicle surroundings using videos in order to be able to provide evidence videos in the event of accidents. An extended dashcam in particular can preferably be used for this purpose. Using an extended dashcam, for example, data can be transferred to a cloud. Alternatively or additionally, the data can be evaluated directly on the device. In other words, cameras can be used and, in particular, video streams from the interior and/or the exterior can be produced and transmitted. In a further development, the cameras can not only record the data intended for their primary tasks, but can also record and, if necessary, evaluate or pre-evaluate and transmit additional data. In further development, this additional data can be used, for example, to provide customers with additional services.

2 zeigt eine schematische Darstellung einer Vorrichtung 30 zum Überprüfen einer Pose einer Kamera 22 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Eine Pose einer Kamera kann beispielsweise eine Ausrichtung der Kamera beeinflussen. Eine Veränderung der Pose kann eine Veränderung der Ausrichtung der Kamera bewirken. Die Vorrichtung 30 umfasst eine Empfangseinheit 32 zum Empfangen von Beschleunigungsdaten. Die Vorrichtung 30 umfasst ferner eine Recheneinheit 34 zum Anwenden eines Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten, wobei das Neuronale Netz ausgebildet ist zum Abschätzen der Ist-Pose mittels der empfangenen Beschleunigungsdaten. Die Kamera 22 kann beispielsweise gemäß der Kamera gemäß 1 ausgebildet sein. Auf der Vorrichtung 30 kann das Verfahren gemäß dem Verfahren gemäß 3 und/oder 4 ausgeführt werden. Das Neuronale Netz kann beispielsweise mittels des Verfahrens zum Trainieren gemäß dem Verfahren gemäß 5 trainiert werden. 2 shows a schematic representation of a device 30 for checking a pose of a camera 22 according to an exemplary embodiment of the present invention. For example, a pose of a camera can influence the orientation of the camera. Changing the pose can change the orientation of the camera. The device 30 includes a receiving unit 32 for receiving acceleration data. The device 30 further comprises a computing unit 34 for using a neural network to estimate the pose using the received acceleration data, the neural network being designed to estimate the actual pose using the received acceleration data. The camera 22 can, for example, according to the camera according to 1 be trained. On the device 30, the method according to the method according to 3 and or 4 be executed. The neural network can be trained, for example, using the method for training according to the method according to 5 be trained.

Die Beschleunigungsdaten können insbesondere mittels einer Messeinheit 36 der Kamera 22 gemessen werden. Mit anderen Worten umfasst die Kamera 22 eine Messeinheit 36 zum Messen von Beschleunigungsdaten. Die Beschleunigungsdaten können an die Empfangseinheit 32 der Vorrichtung 30 übermittelt werden. Die Übermittlung kann insbesondere mittels der Verbindung 38, welche Kabel gebunden oder kabellos ausgeführt sein kann, erfolgen. Beispielsweise kann die Kamera 22 und/oder die Messeinheit 36 eine Sendeeinheit aufweisen, zum Senden der Daten an die Empfangseinheit 32. Die Messeinheit 36 kann zur Bewegungserkennung Sensoren, beispielsweise Initialsensoren, umfassen. Die Sensoren können beispielsweise als Beschleunigungssensoren ausgebildet sein. Beispielsweise kann die Messeinheit als eine Inertial Measurement Unit bzw. IMU ausgebildet sein.The acceleration data can in particular be measured using a measuring unit 36 of the camera 22. In other words, the camera 22 includes a measuring unit 36 for measuring acceleration data. The acceleration data can be transmitted to the receiving unit 32 of the device 30. The transmission can take place in particular by means of the connection 38, which can be cable-bound or wireless. For example, the camera 22 and/or the measuring unit 36 can have a transmitting unit for sending the data to the receiving unit 32. The measuring unit 36 can include sensors, for example initial sensors, for motion detection. The sensors can be designed, for example, as acceleration sensors. For example, the measuring unit can be designed as an inertial measurement unit or IMU.

In einer Weiterentwicklung kann die Kamera 22 und/oder die Messeinheit 36 Teil der Vorrichtung 30 sein. Mit anderen Worten kann die Vorrichtung 30 die Kamera 22 und/oder die Messeinheit 36 umfassen.In a further development, the camera 22 and/or the measuring unit 36 can be part of the device 30. In other words, the device 30 may include the camera 22 and/or the measuring unit 36.

3 zeigt eine schematische Darstellung eines Verfahrens 40 zum Überprüfen einer Pose einer Kamera gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren kann mittels einer Vorrichtung gemäß der Vorrichtung gemäß 2 ausgeführt werden. 3 shows a schematic representation of a method 40 for checking a pose of a camera according to an exemplary embodiment of the present invention. The method can be carried out using a device according to the device according to 2 be executed.

In einem ersten Schritt 42 des Verfahrens 40 werden Beschleunigungsdaten einer Messeinheit der Kamera empfangen. Die Beschleunigungsdaten können beispielsweise mittels einer Empfangseinheit empfangen werden. Empfangseinheit kann beispielsweise als Teil der Vorrichtung gemäß der Vorrichtung gemäß 2 ausgebildet sein.In a first step 42 of method 40, acceleration data from a measuring unit received by the camera. The acceleration data can be received, for example, by means of a receiving unit. Receiving unit can, for example, be part of the device according to the device according to 2 be trained.

In einem zweiten Schritt 44 des Verfahrens 40 wird ein Neuronales Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten angewandt, wobei das Neuronale Netz ausgebildet ist zum Abschätzen der Pose in Abhängigkeit der empfangenen Beschleunigungsdaten.In a second step 44 of the method 40, a neural network is used to estimate the pose using the received acceleration data, the neural network being designed to estimate the pose as a function of the received acceleration data.

Mit anderen Worten werden als Eingangsdaten für das Neuronale Netz die Ausgabedaten von einer IMU, also die Beschleunigungen in X-Y-Z-Richtung, verwendet und versucht gegeben dieser Informationen und dem zeitlichen Verlauf in einem Neuronalen Netz eine Entscheidung zu fällen, ob die Kamera Pose verändert wurde, also ob die Ist-Kamera-Pose noch der Soll-Kamera-Pose entspricht.In other words, the output data from an IMU, i.e. the accelerations in the i.e. whether the actual camera pose still corresponds to the target camera pose.

Weiterhin kann in einem weiteren Schritt eine Gültigkeit der Pose der Kamera festgestellt werden, wenn die abgeschätzte Pose einer Referenzpose bzw. bis zu einem gewissen Grad der Referenzpose entspricht. Ferner kann eine Ungültigkeit der Pose der Kamera festgestellt werden, wenn die abgeschätzte Pose nicht der Referenzpose bzw. bis zu einem gewissen Grad nicht der Referenzpose entspricht. Bei Erkennen einer Ungültigkeit kann beispielsweise eine Warnung ausgegeben werden. Eine Warnung kann beispielsweise an einen Fahrzeuginsassen und/oder einen externen Server ausgegeben werden. In einer alternativen Ausführungsform kann die Kamera mittels eines Aktors in die korrekte Pose bewegt werden.Furthermore, in a further step, the validity of the pose of the camera can be determined if the estimated pose corresponds to a reference pose or to a certain extent the reference pose. Furthermore, an invalidity of the pose of the camera can be determined if the estimated pose does not correspond to the reference pose or does not correspond to the reference pose to a certain extent. If an invalidity is detected, for example, a warning can be issued. For example, a warning can be issued to a vehicle occupant and/or an external server. In an alternative embodiment, the camera can be moved into the correct pose using an actuator.

Mit anderen Worten kann das Verfahren einen Schritt eines Feststellens einer Gültigkeit einer Pose der Kamera aufweisen, wobei eine Gültigkeit der Pose der Kamera dann festgestellt werden kann, wenn mittels des Neuronalen Netzes abgeschätzt wird, dass eine Pose einer Referenzpose entspricht oder zu einem definierten Grad entspricht. Eine Ungültigkeit der Pose der Kamera kann dann festgestellt werden, wenn mittels des Neuronalen Netzes abgeschätzt wird, dass eine Pose nicht einer Referenzpose entspricht oder zu einem definierten Grad nicht entspricht. Bei einem Erkennen einer Gültigkeit kann die Kamera weiterhin zum Beobachten verwendet werden. Beim Erkennen einer Ungültigkeit kann insbesondere eine Warnung ausgegeben werden, zum Beispiel an einen Fahrzeuginsassen und/oder an einen externen Server.In other words, the method can have a step of determining a validity of a pose of the camera, wherein a validity of the pose of the camera can be determined when it is estimated by means of the neural network that a pose corresponds to a reference pose or corresponds to a defined degree . An invalidity of the camera pose can be determined if the neural network is used to estimate that a pose does not correspond to a reference pose or does not correspond to a defined degree. If a validity is detected, the camera can continue to be used for observation. If invalidity is detected, in particular a warning can be issued, for example to a vehicle occupant and/or to an external server.

In einer Weiterentwicklung kann das Anwenden des Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten dann durchgeführt werden, wenn definierte Umgebungsbedingungen vorliegen. Vorteilhafterweise kann das Anwenden des Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten dann durchgeführt wird, wenn die Umgebungshelligkeit unterhalb einer definierten Helligkeitsschwelle ist. Eine Umgebungshelligkeit kann beispielsweise mittels eines Lichtsensors ermittelt werden. Beispielsweise kann das Anwenden des neuronalen Netzes bei Nacht durchgeführt werden. Eine Tageszeit kann beispielsweise mittels einer Uhrzeit ermittelt werden. Mit anderen Worten können nachts oder in Szenen, die dunkel sind, die Beschleunigungsdaten bzw. IMU Daten direkt dem Neuronale Netz (NN) zugeführt werden, wodurch das Netz schätzen kann, ob die Ist-Kamera-Pose noch der Soll-Kamera-Pose entspricht.In a further development, the application of the neural network to estimate the pose using the received acceleration data can be carried out when defined environmental conditions exist. Advantageously, the application of the neural network to estimate the pose using the received acceleration data can be carried out when the ambient brightness is below a defined brightness threshold. Ambient brightness can be determined, for example, using a light sensor. For example, applying the neural network can be carried out at night. A time of day can be determined using a time, for example. In other words, at night or in scenes that are dark, the acceleration data or IMU data can be fed directly to the neural network (NN), which allows the network to estimate whether the actual camera pose still corresponds to the target camera pose .

Mit anderen Worten können Beschleunigungsdaten zur Detektion von bewusst oder unbewusst herbeigeführten Verstellung der Soll-Kamerapose verwendet werden. Dabei wird mit Hilfe von KI-Verfahren die Referenzpose gelernt und Abweichungen robust, insbesondere auch in Dunkelheit, detektiert. Hierdurch kann ermittelt werden, ob die Kamera-Ist-Pose der Kamera-Soll-Pose entspricht.In other words, acceleration data can be used to detect consciously or unconsciously caused adjustments to the target camera pose. With the help of AI processes, the reference pose is learned and deviations are detected robustly, especially in the dark. This makes it possible to determine whether the actual camera pose corresponds to the target camera pose.

In einer beispielhaften Ausgestaltung kann eine Anpassung des Verfahrens auf das Zielfahrzeug, beispielsweise auf den Typ des Zielfahrzeugs, durchgeführt werden. Unterschiedliche Fahrzeuge bewegen sich bzw. wackeln beim Fahren unterschiedlich stark. Ein Geländewagen bewegt sich beispielsweise anders als ein Sportwagen. Durch eine Anpassung des neuronalen Netzes auf das Zielfahrzeug kann das Verfahren robuster, insbesondere gegenüber Falschauslösungen, ausgebildet werden.In an exemplary embodiment, the method can be adapted to the target vehicle, for example to the type of target vehicle. Different vehicles move or shake to different degrees when driving. For example, an off-road vehicle moves differently than a sports car. By adapting the neural network to the target vehicle, the method can be made more robust, particularly against false triggering.

Das Neuronale Netz kann vorteilhafterweise auf einer beschleunigten Hardware arbeiten bzw. ausgeführt werden. Das Neuronale Netz kann beispielsweise als ein Rekurentes Netz bzw. RNN oder als ein nicht Rekurentes Netz als Ausprägungsform ausgebildet sein.The neural network can advantageously work or be executed on accelerated hardware. The neural network can be designed, for example, as a recurrent network or RNN or as a non-recurrent network as a form of expression.

4 zeigt eine schematische Darstellung eines Verfahrens 40 zum Überprüfen einer Pose einer Kamera gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren 40 gemäß 4 kann die Schritte des Verfahrens 40 gemäß 3 aufweisen, somit zumindest einen ersten Schritt 42 und einen zweiten Schritt 44. 4 shows a schematic representation of a method 40 for checking a pose of a camera according to an exemplary embodiment of the present invention. The procedure 40 according to 4 can follow the steps of method 40 according to 3 have, thus at least a first step 42 and a second step 44.

In einer vorteilhaften Ausführung kann das Verfahren 40 einen weiteren dritten Schritt 46 aufweisen, wobei in dem dritten Schritt 46 des Verfahrens 40 Beschleunigungsdaten mittels einer Messeinheit der Kamera gemessen werden. Der dritte Schritt 46 kann insbesondere vor dem ersten Schritt 42 ausführbar sein, wobei die in dem dritten Schritt 46 gemessenen Beschleunigungsdaten in dem ersten Schritt 42 empfangen werden. Die Messeinheit kann beispielsweise gemäß der Messeinheit gemäß 2 ausgebildet sein.In an advantageous embodiment, the method 40 can have a further third step 46, wherein in the third step 46 of the method 40 acceleration data is measured using a measuring unit of the camera. The third step 46 can in particular be carried out before the first step 42, with the steps in the third step 46 measured acceleration data are received in the first step 42. The measuring unit can, for example, according to the measuring unit according to 2 be trained.

5 zeigt eine schematische Darstellung eines Verfahrens 50 zum Trainieren eines neuronalen Netzes zum Überprüfen einer Pose einer Kamera gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. 5 shows a schematic representation of a method 50 for training a neural network to check a pose of a camera according to an exemplary embodiment of the present invention.

In einem ersten Schritt 52 des Verfahrens 50 wird eine Information empfangen, ob eine Ist-Pose der Kamera einer Referenzpose der Kamera entspricht. In einer Weiterentwicklung kann die Information, ob eine Ist-Pose der Kamera einer Referenzpose der Kamera entspricht, mittels eines Algorithmus in Abhängigkeit von Videodaten der Kamera ermittelt werden. Dies kann separat durchgeführt werden oder Teil des Verfahrens sein.In a first step 52 of the method 50, information is received as to whether an actual pose of the camera corresponds to a reference pose of the camera. In a further development, the information as to whether an actual pose of the camera corresponds to a reference pose of the camera can be determined using an algorithm depending on video data from the camera. This can be done separately or as part of the procedure.

Zum Ermitteln einer Information, ob eine Ist-Pose der Kamera einer Referenzpose der Kamera entspricht, können beispielsweise verschiedene Algorithmen verwendet werden. Beispielsweise kann eine Camera View Block Detection, eine Tamper Detektion und/oder eine Camera De-Calibrated verwendet werden. Diese Verfahren arbeiten vorzugsweise stabil am Tag. Mittels der Algorithmen können langzeitstabile Merkmale im Bild gesucht und über die Zeit wiedererkannt werden und bei Änderung des Ortes oder Abhandensein des Merkmals im Bild ein Alarm generiert werden. Tagsüber bzw. bei guten Lichtverhältnissen können die Merkmale anders aussehen als nachts, zum Beispiel wenn wenig Licht in der Szene ist, oder die Kamera auf Grauwertbilder im Dunklen umschaltet.For example, various algorithms can be used to determine information as to whether an actual pose of the camera corresponds to a reference pose of the camera. For example, camera view block detection, tamper detection and/or camera de-calibrated can be used. These methods preferably work stably during the day. Using the algorithms, long-term stable features in the image can be searched for and recognized over time and an alarm can be generated if the location changes or the feature is missing in the image. During the day or in good lighting conditions, the features may look different than at night, for example if there is little light in the scene or the camera switches to grayscale images in the dark.

Mit anderen Worten kann mittels eines bildbasierten Algorithmus während einem Fahrzeugfahren am Tag erkannt werden, ob die Soll-Kamera-Pose noch der Ist-Kamera-Pose entspricht.In other words, an image-based algorithm can be used to detect whether the target camera pose still corresponds to the actual camera pose while driving the vehicle during the day.

In einem zweiten Schritt 54 des Verfahrens 50 werden Beschleunigungsdaten einer Messeinheit der Kamera empfangen.In a second step 54 of the method 50, acceleration data from a measuring unit of the camera are received.

Vorteilhafterweise kann eine Messeinheit bzw. eine IMU Daten an ein Neuronales Netz senden. Die Daten bzw. Eingangsdaten können beispielsweise als Beschleunigungsdaten in X-Y-Z-Richtung ausgebildet sein.Advantageously, a measuring unit or an IMU can send data to a neural network. The data or input data can be designed, for example, as acceleration data in the X-Y-Z direction.

In einem dritten Schritt 56 des Verfahrens 50 wird das Neuronale Netze zum Abschätzen der Ist-Pose mit den empfangenen Beschleunigungsdaten und mit der empfangenen Information, ob eine Ist-Pose der Kamera einer Referenzpose der Kamera entspricht, trainiert, sodass das Neuronale Netz ausgebildet ist zum Abschätzen der Ist-Pose mittels Beschleunigungsdaten.In a third step 56 of the method 50, the neural network is trained to estimate the actual pose with the received acceleration data and with the received information as to whether an actual pose of the camera corresponds to a reference pose of the camera, so that the neural network is designed to Estimating the actual pose using acceleration data.

In einer Weiterentwicklung kann das Trainieren des Neuronalen Netzes dann durchgeführt werden, wenn definierte Umgebungsbedingungen vorliegen. Beispielsweise kann das Trainieren des Neuronalen Netzes dann durchgeführt werden, wenn eine Umgebungshelligkeit oberhalb einer definierten Helligkeitsschwelle ist. Eine Umgebungshelligkeit kann beispielsweise mittels eines Lichtsensors ermittelt werden. In a further development, the training of the neural network can be carried out when defined environmental conditions exist. For example, the neural network can be trained when the ambient brightness is above a defined brightness threshold. Ambient brightness can be determined, for example, using a light sensor.

Vorteilhafterweise kann das Trainieren des Neuronalen Netzes bei Tag durchgeführt werden. Eine Tageszeit kann beispielsweise mittels einer Uhrzeit ermittelt werden.The training of the neural network can advantageously be carried out during the day. A time of day can be determined using a time, for example.

Vorzugsweise trainiert das Netz tagsüber fortlaufend mit den Eingangsdaten bzw. Beschleunigungsdaten bzw. Daten der IMU zu schätzen, ob die Ist-Kamera-Pose noch der Soll-Kamera-Pose entspricht. Die Verlustfunktion kann hierbei so gewählt werden, dass die Differenz zwischen Netzoutput und dem Output des bildbasierten Algorithmus minimiert wird. Hierfür können Lernverfahren, wie beispielsweise ADAM oder Stochastic Gradient Descent, eingesetzt bzw. verwendet werden.Preferably, the network continuously trains during the day to estimate whether the actual camera pose still corresponds to the target camera pose using the input data or acceleration data or data from the IMU. The loss function can be chosen so that the difference between the network output and the output of the image-based algorithm is minimized. Learning methods such as ADAM or Stochastic Gradient Descent can be used for this.

Mit anderen Worten kann mittels der Daten der in der Kamera verbauten Inertialsensoren zur Bewegungserkennung KI zum Lernen der Referenzpose trainiert werden. Zum Unterstützen des Trainierens können verschiedene Algorithmen, zum Beispiel ein Tamper-Detektion Algorithmus, verwendet werden.In other words, AI can be trained to learn the reference pose using the data from the inertial motion detection sensors built into the camera. Various algorithms, for example a tamper detection algorithm, can be used to support training.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102014214352 A1 [0001]DE 102014214352 A1 [0001]
  • US 8711223 B2 [0002]US 8711223 B2 [0002]

Claims (15)

Verfahren (40) zum Überprüfen einer Pose einer Kamera (22) mit den Schritten, Empfangen von Beschleunigungsdaten einer Messeinheit (36) der Kamera (22), Anwenden eines Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten, wobei das Neuronale Netz ausgebildet ist zum Abschätzen der Pose in Abhängigkeit der empfangenen Beschleunigungsdaten.Method (40) for checking a pose of a camera (22) with the steps, Receiving acceleration data from a measuring unit (36) of the camera (22), Applying a neural network to estimate the pose using the received acceleration data, the neural network being designed to estimate the pose depending on the received acceleration data. Verfahren (40) nach einem der vorherigen Ansprüche, wobei das Verfahren einen Schritt eines Feststellens einer Gültigkeit der Pose der Kamera (22) aufweist, wobei eine Gültigkeit der Pose der Kamera (22) dann festgestellt wird, wenn mittels des Neuronalen Netzes abgeschätzt wird, dass eine Pose einer Referenzpose entspricht oder zu einem definierten Grad entspricht.Method (40) according to one of the preceding claims, wherein the method has a step of determining a validity of the pose of the camera (22), wherein a validity of the pose of the camera (22) is determined when it is estimated using the neural network, that a pose corresponds to a reference pose or corresponds to a defined degree. Verfahren (40) nach einem der vorherigen Ansprüche, wobei das Anwenden des Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten dann durchgeführt wird, wenn definierte Umgebungsbedingungen vorliegen.Method (40) according to one of the preceding claims, wherein the application of the neural network to estimate the pose using the received acceleration data is carried out when defined environmental conditions exist. Verfahren (40) nach einem der vorherigen Ansprüche, wobei das Anwenden des Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten dann durchgeführt wird, wenn die Umgebungshelligkeit unterhalb einer definierten Helligkeitsschwelle ist.Method (40) according to one of the preceding claims, wherein the application of the neural network to estimate the pose using the received acceleration data is carried out when the ambient brightness is below a defined brightness threshold. Verfahren (40) nach einem der vorherigen Ansprüche, wobei das Anwenden des Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten bei Nacht durchgeführt wird.Method (40) according to one of the preceding claims, wherein applying the neural network to estimate the pose using the received acceleration data is carried out at night. Verfahren (40) nach einem der vorherigen Ansprüche, wobei das Verfahren einen Schritt eines Messens von Beschleunigungsdaten mittels einer Messeinheit (36) der Kamera (22) aufweist.Method (40) according to one of the preceding claims, wherein the method has a step of measuring acceleration data using a measuring unit (36) of the camera (22). Verfahren (50) zum Trainieren eines Neuronalen Netzes zum Überprüfen einer Pose einer Kamera (22) mit den Schritten, Empfangen einer Information, ob eine Ist-Pose der Kamera (22) einer Referenzpose der Kamera (22) entspricht, Empfangen von Beschleunigungsdaten einer Messeinheit (36) der Kamera (22), Trainieren eines Neuronalen Netzes zum Abschätzen der Ist-Pose mit den empfangenen Beschleunigungsdaten und mit der empfangenen Information, ob eine Ist-Pose der Kamera (22) einer Referenzpose der Kamera (22) entspricht, sodass das Neuronale Netz ausgebildet ist zum Abschätzen der Ist-Pose mittels Beschleunigungsdaten.Method (50) for training a neural network to check a pose of a camera (22) with the steps, Receiving information as to whether an actual pose of the camera (22) corresponds to a reference pose of the camera (22), Receiving acceleration data from a measuring unit (36) of the camera (22), Training a neural network to estimate the actual pose with the received acceleration data and with the received information as to whether an actual pose of the camera (22) corresponds to a reference pose of the camera (22), so that the neural network is designed to estimate the actual Pose using acceleration data. Verfahren (50) nach Anspruch 7, wobei das Trainieren des Neuronalen Netzes dann durchgeführt wird, wenn definierte Umgebungsbedingungen vorliegen.Procedure (50) according to Claim 7 , whereby the training of the neural network is carried out when defined environmental conditions exist. Verfahren (50) nach einem der vorherigen Ansprüche 7 bis 8, wobei das Trainieren des Neuronalen Netzes dann durchgeführt wird, wenn eine Umgebungshelligkeit oberhalb einer definierten Helligkeitsschwelle ist.Method (50) according to one of the previous ones Claims 7 until 8th , whereby the training of the neural network is carried out when the ambient brightness is above a defined brightness threshold. Verfahren (50) nach einem der vorherigen Ansprüche 7 bis 9, wobei das Trainieren des Neuronalen Netzes bei Tag durchgeführt wird.Method (50) according to one of the previous ones Claims 7 until 9 , whereby the training of the neural network is carried out during the day. Verfahren (50) nach einem der vorherigen Ansprüche 7 bis 10, wobei die Information, ob eine Ist-Pose der Kamera (22) einer Referenzpose der Kamera (22) entspricht, mittels eines Algorithmus in Abhängigkeit von Videodaten der Kamera (22) ermittelt wird.Method (50) according to one of the previous ones Claims 7 until 10 , wherein the information as to whether an actual pose of the camera (22) corresponds to a reference pose of the camera (22) is determined by means of an algorithm depending on video data from the camera (22). Vorrichtung (30) zum Überprüfen einer Pose einer Kamera (22) mit einer Empfangseinheit (32) zum Empfangen von Beschleunigungsdaten einer Messeinheit (36) der Kamera (22) und einer Recheneinheit (34) zum Anwenden eines Neuronalen Netzes zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten, wobei das Neuronale Netz ausgebildet ist zum Abschätzen der Pose mittels der empfangenen Beschleunigungsdaten.Device (30) for checking a pose of a camera (22) with a receiving unit (32) for receiving acceleration data from a measuring unit (36) of the camera (22) and a computing unit (34) for using a neural network to estimate the pose using the received acceleration data, the neural network being designed to estimate the pose using the received acceleration data. Vorrichtung (30) nach Anspruch 12 mit einer Messeinheit (36) zum Messen von Beschleunigungsdaten der Kamera (22).Device (30) after Claim 12 with a measuring unit (36) for measuring acceleration data from the camera (22). Neuronales Netz zum Abschätzen einer Pose mittels Beschleunigungsdaten, wobei das Neuronale Netz ausgebildet ist zum Abschätzen der Pose in Abhängigkeit der Beschleunigungsdaten.Neural network for estimating a pose using acceleration data, the neural network being designed to estimate the pose depending on the acceleration data. Neuronales Netz nach Anspruch 13, wobei das Neuronale Netz mittels des Verfahrens zum Trainieren eines Neuronalen Netzes nach einem der vorherigen Ansprüche 7 bis 11 trainiert ist.Neural network after Claim 13 , wherein the neural network is formed using the method for training a neural network according to one of the previous ones Claims 7 until 11 is trained.
DE102022209226.0A 2022-09-06 2022-09-06 Method for checking a pose of a camera Pending DE102022209226A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022209226.0A DE102022209226A1 (en) 2022-09-06 2022-09-06 Method for checking a pose of a camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022209226.0A DE102022209226A1 (en) 2022-09-06 2022-09-06 Method for checking a pose of a camera

Publications (1)

Publication Number Publication Date
DE102022209226A1 true DE102022209226A1 (en) 2024-03-07

Family

ID=89905346

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022209226.0A Pending DE102022209226A1 (en) 2022-09-06 2022-09-06 Method for checking a pose of a camera

Country Status (1)

Country Link
DE (1) DE102022209226A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711223B2 (en) 2011-06-21 2014-04-29 Flir Systems, Inc. Vehicle-mounted camera stabilized passively by vibration isolators
DE102014214352A1 (en) 2014-07-23 2016-01-28 Robert Bosch Gmbh Method and arrangement for operating an occupant observation system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711223B2 (en) 2011-06-21 2014-04-29 Flir Systems, Inc. Vehicle-mounted camera stabilized passively by vibration isolators
DE102014214352A1 (en) 2014-07-23 2016-01-28 Robert Bosch Gmbh Method and arrangement for operating an occupant observation system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN, Changhao [et al.]: Selective Sensor Fusion for Neural Visual-Inertial Odometry. In: 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2019. S. 10534-10543. DOI: 10.1109/CVPR.2019.01079
CLARK, Ronald [et al.]: VINet: Visual-inertial odometry as a sequence-to-sequence learning problem. In: Proceedings of the AAAI Conference on Artificial Intelligence. 2017. DOI: 10.1609/aaai.v31i1.11215

Similar Documents

Publication Publication Date Title
EP1620289B1 (en) Device and method for calibrating an image sensor
DE102015206200A1 (en) Method and device for attention recognition of a driver
DE102007051543A1 (en) Vehicle component e.g. presentation device, parameter adjusting device, has detection device for detecting position and/or orientation of passenger head, where adjustment of parameter is carried out based on position and/or orientation
DE19842827B4 (en) Precrashsensierungssystem
DE102016215291A1 (en) Method for classifying driver movements
DE102005023697A1 (en) Motor vehicle`s interior e.g. driver area, lighting controlling device, has video camera detecting line of vision, positions and movements of passenger, and controller using output of camera to produce control signals for lighting units
DE102017208971A1 (en) METHOD AND DEVICE FOR SUPPORTING A VEHICLE IN A VEHICLE
DE102016014712B4 (en) Vehicle and method for outputting information to a vehicle environment
DE102009014437A1 (en) Object e.g. pedestrian, recognition system i.e. stereoscopic system, for motor vehicle, has validation device checking whether object and/or preset character e.g. contour, of object is detected in image region in image
DE102016210088B3 (en) Method and device for representing an environment of a motor vehicle
DE102008043601B4 (en) Method and device for optimizing visibility for a user when changing the light fields affecting the user
DE102014118387A1 (en) Detecting device for detecting a gesture and / or a viewing direction of an occupant of a motor vehicle by synchronous control of lighting units, operating arrangement, motor vehicle and method
DE102022209226A1 (en) Method for checking a pose of a camera
DE10313003B4 (en) On / Off concept for an automotive night vision system
DE19921997A1 (en) Control of dashboard display brightness in a vehicle by use of video cameras (with one pointing in the direction of travel) that provide a signal proportional to outside brightness that is used by a controller to adjust brightness
DE102019200099A1 (en) Sensor device for an ego vehicle, driver assistance device and vehicle with such a sensor device
DE102022103604A1 (en) ON-BOARD MONITORING EQUIPMENT FOR A VEHICLE
DE102022103605A1 (en) ON-BOARD MULTIPLE MONITORING EQUIPMENT FOR ONE VEHICLE
DE102020210055A1 (en) Method and device for monitoring the interior of a vehicle
DE102004019832B3 (en) Method for analyzing and regulating the driving dynamics of a motor vehicle and motor vehicle for carrying out the method
DE102016011016A1 (en) Method for operating an assistance system
DE102020213673A1 (en) Method for warning at least one occupant of a first vehicle of a risk of collision through a vehicle door opening, first control unit, first vehicle and warning method for a second vehicle, second control unit and second vehicle
DE102020106850A1 (en) Method for assisting an occupant when getting out of a vehicle by adapting a display, driver assistance system and vehicle
DE102020214910A1 (en) Method for monitoring a vehicle interior
DE10133386A1 (en) Detecting position of person in vehicle involves generating event signal if significant characteristics of detected person changes position by more than defined amount

Legal Events

Date Code Title Description
R163 Identified publications notified