DE102022206389A1 - Detection system for monitoring the condition of the driver of a motor vehicle - Google Patents

Detection system for monitoring the condition of the driver of a motor vehicle Download PDF

Info

Publication number
DE102022206389A1
DE102022206389A1 DE102022206389.9A DE102022206389A DE102022206389A1 DE 102022206389 A1 DE102022206389 A1 DE 102022206389A1 DE 102022206389 A DE102022206389 A DE 102022206389A DE 102022206389 A1 DE102022206389 A1 DE 102022206389A1
Authority
DE
Germany
Prior art keywords
camera
nir
fir
detection system
motor vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022206389.9A
Other languages
German (de)
Inventor
Martin Pöttcher
Philip Albert Prediger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Engineering Services GmbH
Original Assignee
Continental Engineering Services GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Engineering Services GmbH filed Critical Continental Engineering Services GmbH
Priority to DE102022206389.9A priority Critical patent/DE102022206389A1/en
Priority to PCT/DE2023/200123 priority patent/WO2023246991A1/en
Publication of DE102022206389A1 publication Critical patent/DE102022206389A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Erfassungssystem für den Innenraum eines Kraftfahrzeugs, umfassend wenigstens eine erste Kamera (NIR) und eine zweite Kamera (FIR), wobei die erste und die zweite Kamera (NIR, FIR) so ausgebildet und angeordnet sind, dass die Erfassungsachse (m1) der ersten Kamera (NIR) relativ zur Erfassungsachse (m2) der zweiten Kamera (FIR) einen Winkel (α) von mindestens 10° aufweist, wobeidie erste Kamera (NIR) als Nahinfrarotkamera ausgebildet ist und die zweite Kamera (FIR) als Wärmebildkamera ausgebildet ist.Detection system for the interior of a motor vehicle, comprising at least a first camera (NIR) and a second camera (FIR), the first and second cameras (NIR, FIR) being designed and arranged such that the detection axis (m1) of the first camera (NIR) has an angle (α) of at least 10° relative to the detection axis (m2) of the second camera (FIR), the first camera (NIR) being designed as a near-infrared camera and the second camera (FIR) being designed as a thermal imaging camera.

Description

Die Erfindung betrifft ein Erfassungssystem gemäß Oberbegriff von Anspruch 1 sowie die Verwendung des Erfassungssystems in einem Kraftfahrzeug.The invention relates to a detection system according to the preamble of claim 1 and the use of the detection system in a motor vehicle.

Driver Monitoring Systeme als Erfassungssysteme für den Innenraum eines Kraftfahrzeugs zur Erfassung des Zustands des Fahrers basieren häufig auf Nahinfrarot Kamera (NIR )Systemen.Driver monitoring systems as detection systems for the interior of a motor vehicle to record the driver's condition are often based on near-infrared camera (NIR) systems.

Die Erfindung hat sich die Aufgabe gestellt, ein Erfassungssystem vorzuschlagen, mit welchem eine verbesserte bzw. relativ präzise bzw. relativ zuverlässige Überwachung des Fahrers ermöglicht wird und/oder wobei dieses Erfassungssystem relativ kostengünstig und/oder robust und/oder einfach ausgebildet ist.The invention has set itself the task of proposing a detection system with which improved or relatively precise or relatively reliable monitoring of the driver is made possible and / or this detection system is designed to be relatively inexpensive and / or robust and / or simple.

Diese Aufgabe wird erfindungsgemäß gelöst durch das Erfassungssystem gemäß Anspruch 1.This object is achieved according to the invention by the detection system according to claim 1.

Die erste Kamera und die zweite Kamera sind vorzugsweise maximal 50mm bzw. 10mm voneinander beabstandet, wobei dieser Abstand insbesondere als der Abstand der beiden Mittelachsenaustritte aus dem Objektiv/Linse der jeweiligen Kamera zueinander definiert ist.The first camera and the second camera are preferably a maximum of 50mm or 10mm apart from each other, this distance being defined in particular as the distance between the two central axis exits from the objective/lens of the respective camera.

Die erste und die zweite Kamera befinden sich zweckmäßigerweise in einer definierten und festen Position und Winkel zueinander. Das Erfassungssystem ist dabei insbesondere so ausgebildet, dass Positionen und Winkel der ersten und der zweiten Kamera dabei Software-seitig einmalig kalibriert werden/ sind.The first and second cameras are expediently located in a defined and fixed position and angle to one another. The detection system is designed in particular in such a way that the positions and angles of the first and second cameras are/are calibrated once on the software side.

Es ist bevorzugt, dass die erste Kamera (NIR) und die zweite Kamera (FIR) in einem gemeinsamen Gehäuse angeordnet sind.It is preferred that the first camera (NIR) and the second camera (FIR) are arranged in a common housing.

Es ist bevorzugt, dass der Abstand zwischen der ersten und zweiten Kamera, insbesondere jeweils hinsichtlich ihres Mittelpunkts der äußeren Objektivfläche/ Linsenfläche einen Abstand von weniger als 5cm aufweist.It is preferred that the distance between the first and second cameras, in particular with respect to their center of the outer lens surface/lens surface, has a distance of less than 5cm.

Vorzugsweise sind die erste und die zweite Kamera im Wesentlichen fest und unbeweglich angeordnet sind.Preferably, the first and second cameras are arranged essentially fixed and immovable.

Es ist bevorzugt, dass die erste oder die zweite Kamera im und/oder an einem Armaturenbrett des Kraftfahrzeugs angeordnet ist und die zweite oder die erste Kamera, also insbesondere die andere Kamera, in und/oder an einem Innenraumspiegel oder in und/oder an einem Dachhimmel und/oder in und/oder an einer A-Säule im Innenraum des Kraftfahrzeugs angeordnet ist.It is preferred that the first or the second camera is arranged in and/or on a dashboard of the motor vehicle and the second or the first camera, i.e. in particular the other camera, in and/or on an interior mirror or in and/or on a Headlining and / or in and / or on an A-pillar in the interior of the motor vehicle is arranged.

Es ist zweckmäßig, dass die erste und die zweite Kamera auf eine gemeinsame Zone und/oder im Wesentlichen auf einen gemeinsamen Punkt ausgerichtet sind, insbesondere den Kopfbereich und/oder die Kopfposition eines Sitzplatzes des Kraftfahrzeugs, insbesondere des Fahrersitzplatzes.It is expedient for the first and second cameras to be aligned with a common zone and/or essentially with a common point, in particular the head area and/or the head position of a seat of the motor vehicle, in particular the driver's seat.

Vorzugsweise ist das Erfassungssystem so ausgebildet, dass die erste und die zweite Kamera gemeinsam kalibriert sind, insbesondere mittels einer gemeinsamen Signalverarbeitungseinrichtung, zweckmäßigerweise sind die erste und die zweite Kamera sowie die Signalverarbeitungseinrichtung in dem gemeinsamen Gehäuse angeordnet.Preferably, the detection system is designed such that the first and second cameras are calibrated together, in particular by means of a common signal processing device; expediently, the first and second cameras and the signal processing device are arranged in the common housing.

Bevorzugt ist das Erfassungssystem so ausgebildet, dass der Abstand und/oder Winkel zwischen der ersten und zweiten Kamera, insbesondere hinsichtlich deren Mittelachsen ihrer Erfassung und/oder der Winkel zwischen den beiden zentralen Erfassungsachsen, mehr als 10° beträgt, insbesondere mehr als 30°, dabei maximal 90°, besonders bevorzugt im Wesentlichen 60°.The detection system is preferably designed such that the distance and/or angle between the first and second cameras, in particular with regard to their central axes of detection and/or the angle between the two central detection axes, is more than 10°, in particular more than 30°, a maximum of 90°, particularly preferably essentially 60°.

Die erste Kamera, als Nahinfrarotkamera, ist bevorzugt so ausgebildet, dass sie zur Erfassung von Wellenlängen größer als 940nm ausgebildet ist, dabei insbesondere im nicht sichtbaren Wellenlängenbereich.The first camera, as a near-infrared camera, is preferably designed in such a way that it is designed to detect wavelengths greater than 940 nm, in particular in the invisible wavelength range.

Die zweite Kamera, als Wärmebildkamera, ist bevorzugt so ausgebildet, dass sie zur Erfassung von Wellenlängen von 3000 bis 7000nm oder einem Zwischenintervall dieses Wellenlängenintervalls ausgebildet ist.The second camera, as a thermal imaging camera, is preferably designed so that it is designed to detect wavelengths of 3000 to 7000 nm or an intermediate interval of this wavelength interval.

Unter der Erfassungsachse bzw. Mittelachse einer Kamera wird vorzugsweise deren optische Achse verstanden.The detection axis or central axis of a camera is preferably understood to mean its optical axis.

Die zweite Kamera, als Wärmebildkamera, ist vorzugsweise als Thermographiekameraeinheit bzw. Themographiekamera ausgebildet, insbesondere ist die zweite Kamera dabei so ausgebildet, dass sie für jeden Pixel bzw. Erfassungspunkt eine Temperatur erfasst bzw. ein Temperaturdatum zu jedem Pixel erfasst/ bereitstellt/ errechnet.The second camera, as a thermal imaging camera, is preferably designed as a thermographic camera unit or thermographic camera; in particular, the second camera is designed such that it records a temperature for each pixel or detection point or records/provides/calculates a temperature data for each pixel.

1 zeigt ein beispielhaftes Erfassungssystem in einer schematischer Darstellung. 1 shows an exemplary detection system in a schematic representation.

Das Erfassungssystem umfasst beispielhaft eine erste Kamera (NIR) und eine zweite Kamera (FIR), wobei die erste Kamera (NIR) als Nahinfrarotkamera ausgebildet ist und die zweite Kamera (FIR) als Wärmebildkamera ausgebildet ist sowie eine gemeinsamen Signalverarbeitungseinrichtung (SigV), wobei die erste und die zweite Kamera (NIR), (FIR) sowie die gemeinsame Signalverarbeitungseinrichtung (SigV) in einem gemeinsamen Gehäuse angeordnet sind. Das sind die erste und die zweite Kamera (NIR), (FIR) so ausgebildet und angeordnet, dass der Abstand (d) zwischen der ersten (NIR) und zweiten (FIR) Kamera, jeweils hinsichtlich ihres Mittelpunkts (a, b) der äußeren Objektivfläche/ Linsenfläche weniger als 5cm beträgt. Die Mittelachsen m1, m2 ihrer Erfassung und/oder der Winkel zwischen den beiden zentralen Erfassungsachsen der beiden Kameras weisen zueinander einen Winkel bzw. Schnittwinkel von im Wesentlichen 30° auf. Das Erfassungssystem ist dabei beispielgemäß so ausgebildet und im Fahrzeug angeordnet und ausgerichtet, dass der Bereich des Schnittpunkts der beiden Mittelachsen m1, m2 im Kopfbereich eines Sitzplatzes des Kraftfahrzeugs, insbesondere des Fahrersitzplatzes, ausgeordnet ist, also beispielhaft liegt dieser Schnittpunkt im Kopfbereich des Fahrersitzplatzes. Die erste und die zweite Kamera (NIR), (FIR) sind dabei so angeordnet, dass ihre Objektive/ Linsen auf /angrenzend an eine gemeinsamen Außenfläche des Gehäuses 1 angeordnet sind, wobei diese Außenfläche beispielgemäß nicht plan ausgebildet ist, dies aber alternativ beispielhaft sein kann.The detection system includes, for example, a first camera (NIR) and a second camera (FIR), the first camera (NIR) being designed as a near-infrared camera and the second camera (FIR) being designed as a thermal imaging camera, and a common signal processing device (SigV), wherein the first and second cameras (NIR), (FIR) and the common signal processing device (SigV) in a common one Housing are arranged. These are the first and second cameras (NIR), (FIR) designed and arranged in such a way that the distance (d) between the first (NIR) and second (FIR) cameras, each with regard to their center (a, b) of the outer Lens area/lens area is less than 5cm. The central axes m1, m2 of their detection and/or the angle between the two central detection axes of the two cameras have an angle or intersection angle of essentially 30° to one another. The detection system is, for example, designed and arranged and aligned in the vehicle in such a way that the area of the intersection of the two central axes m1, m2 is arranged in the head area of a seat of the motor vehicle, in particular the driver's seat, so for example this intersection is in the head area of the driver's seat. The first and second cameras (NIR), (FIR) are arranged in such a way that their objectives/lenses are arranged on/adjacent to a common outer surface of the housing 1, this outer surface not being flat, but this could alternatively be an example can.

Claims (8)

Erfassungssystem für den Innenraum eines Kraftfahrzeugs, umfassend wenigstens eine erste Kamera (NIR) und eine zweite Kamera (FIR), wobei die erste und die zweite Kamera (NIR, FIR) so ausgebildet und angeordnet sind, dass die Erfassungsachse (m1) der ersten Kamera (NIR) relativ zur Erfassungsachse (m2) der zweiten Kamera (FIR) einen Winkel (α) von mindestens 10° aufweist, dadurch gekennzeichnet, dass die erste Kamera (NIR) als Nahinfrarotkamera ausgebildet ist und die zweite Kamera (FIR) als Wärmebildkamera ausgebildet ist.Detection system for the interior of a motor vehicle, comprising at least a first camera (NIR) and a second camera (FIR), the first and second cameras (NIR, FIR) being designed and arranged such that the detection axis (m1) of the first camera (NIR) has an angle (α) of at least 10° relative to the detection axis (m2) of the second camera (FIR), characterized in that the first camera (NIR) is designed as a near-infrared camera and the second camera (FIR) is designed as a thermal imaging camera is. Erfassungssystem nach Anspruch 1, dadurch gekennzeichnet, dass wobei die erste Kamera (NIR) und die zweite Kamera (FIR) in einem gemeinsamen Gehäuse (1) angeordnet sind.detection system Claim 1 , characterized in that the first camera (NIR) and the second camera (FIR) are arranged in a common housing (1). Erfassungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Abstand (d) zwischen der ersten (NIR) und zweiten (FIR) Kamera, insbesondere jeweils hinsichtlich ihres Mittelpunkts (a, b) der äußeren Objektivfläche/ Linsenfläche einen Abstand (d) von weniger als 5cm aufweist.Detection system according to one of the preceding claims, characterized in that the distance (d) between the first (NIR) and second (FIR) cameras, in particular with respect to their center (a, b) of the outer lens surface/lens surface, is a distance (d) of less than 5cm. Erfassungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste und die zweite Kamera (NIR, FIR) im Wesentlichen fest und unbeweglich angeordnet sind.Detection system according to one of the preceding claims, characterized in that the first and second cameras (NIR, FIR) are arranged essentially fixed and immovable. Erfassungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste oder die zweite Kamera (NIR, FIR) im und/oder an einem Armaturenbrett des Kraftfahrzeugs angeordnet ist und die zweite oder die erste Kamera (FIR, NIR), also insbesondere die andere Kamera, in und/oder an einem Innenraumspiegel oder in und/oder an einem Dachhimmel und/oder in und/oder an einer A-Säule im Innenraum des Kraftfahrzeugs angeordnet ist.Detection system according to one of the preceding claims, characterized in that the first or the second camera (NIR, FIR) is arranged in and/or on a dashboard of the motor vehicle and the second or the first camera (FIR, NIR), i.e. in particular the other Camera is arranged in and/or on an interior mirror or in and/or on a headliner and/or in and/or on an A-pillar in the interior of the motor vehicle. Erfassungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste und die zweite Kamera (NIR, FIR) auf eine gemeinsame Zone und/oder im Wesentlichen auf einen gemeinsamen Punkt ausgerichtet sind, insbesondere den Kopfbereich eines Sitzplatzes des Kraftfahrzeugs, insbesondere des Fahrersitzplatzes.Detection system according to one of the preceding claims, characterized in that the first and second cameras (NIR, FIR) are aligned with a common zone and/or substantially with a common point, in particular the head area of a seat of the motor vehicle, in particular the driver's seat. Erfassungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste und die zweite Kamera (NIR, FIR) gemeinsam kalibriert sind, insbesondere mittels einer gemeinsamen Signalverarbeitungseinrichtung (SigV), zweckmäßigerweise sind die erste und die zweite Kamera (NIR, FIR) sowie die Signalverarbeitungseinrichtung (SigV) in dem gemeinsamen Gehäuse (1) angeordnet.Detection system according to one of the preceding claims, characterized in that the first and the second camera (NIR, FIR) are calibrated together, in particular by means of a common signal processing device (SigV), expediently the first and the second camera (NIR, FIR) as well as the Signal processing device (SigV) arranged in the common housing (1). Verwendung des Erfassungssystem nach einem der vorhergehenden Ansprüche in einem Kraftfahrzeug zur Überwachung des Zustands des Fahrers oder eines Passagiers.Use of the detection system according to one of the preceding claims in a motor vehicle to monitor the condition of the driver or a passenger.
DE102022206389.9A 2022-06-24 2022-06-24 Detection system for monitoring the condition of the driver of a motor vehicle Pending DE102022206389A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102022206389.9A DE102022206389A1 (en) 2022-06-24 2022-06-24 Detection system for monitoring the condition of the driver of a motor vehicle
PCT/DE2023/200123 WO2023246991A1 (en) 2022-06-24 2023-06-21 Detection system for monitoring the state of the driver of a motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022206389.9A DE102022206389A1 (en) 2022-06-24 2022-06-24 Detection system for monitoring the condition of the driver of a motor vehicle

Publications (1)

Publication Number Publication Date
DE102022206389A1 true DE102022206389A1 (en) 2024-01-04

Family

ID=87158391

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022206389.9A Pending DE102022206389A1 (en) 2022-06-24 2022-06-24 Detection system for monitoring the condition of the driver of a motor vehicle

Country Status (2)

Country Link
DE (1) DE102022206389A1 (en)
WO (1) WO2023246991A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013002687A1 (en) 2013-02-15 2014-08-21 Audi Ag Passenger car e.g. taxi has display units that are coupled to camera and provided in passenger car corresponding to vehicle longitudinal direction at the region before rear portion, to display the images of camera
DE102021102309B3 (en) 2021-02-02 2022-02-17 Ford Global Technologies Llc Monitoring unit for a vehicle interior

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6442942B2 (en) * 2014-09-11 2018-12-26 株式会社デンソー Driver status determination device
JP6624169B2 (en) * 2017-07-21 2019-12-25 株式会社デンソー Imaging device and display device for vehicle
US11046327B2 (en) * 2019-04-09 2021-06-29 Fotonation Limited System for performing eye detection and/or tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013002687A1 (en) 2013-02-15 2014-08-21 Audi Ag Passenger car e.g. taxi has display units that are coupled to camera and provided in passenger car corresponding to vehicle longitudinal direction at the region before rear portion, to display the images of camera
DE102021102309B3 (en) 2021-02-02 2022-02-17 Ford Global Technologies Llc Monitoring unit for a vehicle interior

Also Published As

Publication number Publication date
WO2023246991A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
EP1797534B1 (en) Method for detecting an optical structure
EP2730092B1 (en) System and method for camera calibration
EP1330132A2 (en) Method and apparatus for occlusion detection in image sensor systems
DE102011113191B4 (en) Method and device for determining an articulation angle between a vehicle and a trailer
EP3710288B1 (en) Method and trailer-coupling assistance for assisting in the coupling process of a motor vehicle reversing towards a trailer
EP3256345B1 (en) Driver assistance system
DE102016002289A1 (en) Method for observing a driver of a vehicle
DE102007025147B4 (en) Lane departure warning and / or lane departure warning system
EP2208168B1 (en) Method and device for detecting the course of a traffic lane
DE102022206389A1 (en) Detection system for monitoring the condition of the driver of a motor vehicle
DE102011114583A1 (en) Stereo image reproduction system for use in operation microscope of stereo microscopy system, has adjusting device for adapting distance between eyepieces to eye distance of viewer, and control unit adjusting distance between images
EP3268928B1 (en) Method for combining two images of vehicle surroundings of a vehicle, and corresponding device
DE29811086U1 (en) Device for detecting influences affecting the visual quality for driving a motor vehicle
DE202007002448U1 (en) Vision enhancement device for e.g. personal motor vehicle, has attachment device for attachment of detection module to body of motor vehicle, and display device provided for representation of images detected by two image detection devices
DE102019000293A1 (en) Dynamic trailer monitoring process
DE102017009935B4 (en) Exterior mirror for a vehicle
DE102021205993A1 (en) Method for operating a headlight system of a motor vehicle
DE102013210591A1 (en) MOTION RECOGNITION OF A VEHICLE BY MULTIPLE CAMERAS
WO2008106943A1 (en) Armored, particularly military vehicle
DE102022206390A1 (en) Method and vehicle control system for setting comfortable temperatures
EP3540507A1 (en) Imaging apparatus and method for taking an image of a document and use thereof
DE102016011174A1 (en) Method for operating an assistance system for a vehicle
DE102017010307A1 (en) Method for detecting an environment of a vehicle
DE102012000630A1 (en) Obstacle detecting system for detecting obstacle during parking of car, has image capturing device including two cameras, and image processing unit detecting obstacle based on image information captured by two cameras
DE102021114995A1 (en) Sensor arrangement for a vehicle and vehicle with such a sensor arrangement

Legal Events

Date Code Title Description
R163 Identified publications notified