DE102022114753B3 - Interior monitoring device, method and vehicle - Google Patents
Interior monitoring device, method and vehicle Download PDFInfo
- Publication number
- DE102022114753B3 DE102022114753B3 DE102022114753.3A DE102022114753A DE102022114753B3 DE 102022114753 B3 DE102022114753 B3 DE 102022114753B3 DE 102022114753 A DE102022114753 A DE 102022114753A DE 102022114753 B3 DE102022114753 B3 DE 102022114753B3
- Authority
- DE
- Germany
- Prior art keywords
- time
- lighting
- illumination
- control unit
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims description 18
- 238000005286 illumination Methods 0.000 claims abstract description 85
- 230000005540 biological transmission Effects 0.000 claims abstract description 35
- 238000012544 monitoring process Methods 0.000 claims abstract description 24
- 230000001360 synchronised effect Effects 0.000 claims abstract description 11
- 238000011161 development Methods 0.000 description 11
- 230000018109 developmental process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 108010066114 cabin-2 Proteins 0.000 description 5
- 230000001934 delay Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 101000707534 Homo sapiens Serine incorporator 1 Proteins 0.000 description 1
- 101000707474 Homo sapiens Serine incorporator 2 Proteins 0.000 description 1
- 101001026573 Homo sapiens cAMP-dependent protein kinase type I-alpha regulatory subunit Proteins 0.000 description 1
- 102100031707 Serine incorporator 1 Human genes 0.000 description 1
- 102100037490 cAMP-dependent protein kinase type I-alpha regulatory subunit Human genes 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/22—Status alarms responsive to presence or absence of persons
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Arrangements Of Lighting Devices For Vehicle Interiors, Mounting And Supporting Thereof, Circuits Therefore (AREA)
Abstract
Die Erfindung betrifft eine Innenraumüberwachungsvorrichtung (3) zur Überwachung einer Fahrgastkabine (2) eines Fahrzeugs (1), wobei die Innenraumüberwachungsvorrichtung (3) zumindest zwei Kameraeinheiten (4) aufweist, die zur Aufnahme von Überwachungsbildern jeweiliger vorbestimmter Bereiche in der Fahrgastkabine (2) eingerichtet sind, und eine Beleuchtungseinrichtung (5), die dazu eingerichtet ist, Belichtungspulse zur Ausleuchtung der Fahrgastkabine (2) in die Fahrgastkabine (2) auszugeben. Es ist vorgesehen, dass eine Steuereinheit (6) der Innenraumüberwachungsvorrichtung (3) dazu eingerichtet ist, die jeweiligen Aussendezeitpunkte (Tsi, Tse1, Tse2) in Abhängigkeit von Verzögerungszeiten (tdi, tde1,tde2) derart festzulegen, dass Anfangszeitpunkte (Tte1, Tte2) jeweiliger Belichtungszeiten (te1, te2) der Kameraeinheiten (4) und ein Anfangszeitpunkt (Tti) einer Beleuchtungszeit (ti) der Beleuchtungseinrichtung (5) synchron sind. Die Steuereinheit (6) der Innenraumüberwachungsvorrichtung (3) ist dazu eingerichtet, die jeweiligen Aufnahmesignale (19) und das Beleuchtungssignal (20) zu den jeweiligen Aussendezeitpunkten (Tsi, Tse1, Tse2) zu versenden.The invention relates to an interior monitoring device (3) for monitoring a passenger cabin (2) of a vehicle (1), the interior monitoring device (3) having at least two camera units (4) which are set up to record surveillance images of respective predetermined areas in the passenger cabin (2). and an illumination device (5) which is set up to emit exposure pulses for illuminating the passenger cabin (2) into the passenger cabin (2). A control unit (6) of the interior monitoring device (3) is set up to define the respective transmission times (Tsi, Tse1, Tse2) as a function of delay times (tdi, tde1, tde2) in such a way that start times (Tte1, Tte2) respective exposure times (te1, te2) of the camera units (4) and a start time (Tti) of an illumination time (ti) of the illumination device (5) are synchronous. The control unit (6) of the interior monitoring device (3) is set up to send the respective recording signals (19) and the lighting signal (20) at the respective transmission times (Tsi, Tse1, Tse2).
Description
Die Erfindung betrifft eine Innenraumüberwachungsvorrichtung zur Überwachung einer Fahrgastkabine eines Fahrzeugs, ein Verfahren zum Betreiben einer Innenraumüberwachungsvorrichtung sowie ein Fahrzeug, umfassend eine Innenraumüberwachungsvorrichtung.The invention relates to an interior monitoring device for monitoring a passenger cabin of a vehicle, a method for operating an interior monitoring device, and a vehicle comprising an interior monitoring device.
Zur Überwachung von Fahrzeuginsassen in einer Fahrgastkabine eines Fahrzeugs ist es verbreitet, Innenraumüberwachungsvorrichtungen in der Fahrgastkabine anzuordnen. Die Innenraumüberwachungsvorrichtungen sind dazu eingerichtet, die Fahrzeuginsassen durch eine oder mehrere Sensoreinheiten, insbesondere Kameraeinheiten zu überwachen, um beispielsweise einen Gesundheitszustand oder eine Anwesenheit eines Fahrzeuginsassen zu erfassen. Kameraeinheiten der Innenraumüberwachungsvorrichtungen können zu diesem Zweck anlassbezogen oder in vorbestimmten Abständen Überwachungsbilder der Fahrgastkabine aufnehmen. Die Kameraeinheiten erfassen hierbei Überwachungsbilder im Infrarotbereich. Für eine zuverlässige Auswertung der Überwachungsbilder ist es erforderlich, dass diese unter vorteilhaften Lichtverhältnissen erfasst werden. Aus diesem Grund ist es verbreitet, die zumindest eine Kameraeinheit mit einer zugehörigen Beleuchtungseinheit auszustatten, welche elektromagnetische Strahlen im entsprechenden Wellenbereich ausgibt. Diese kann allgemein oder bei vorbestimmten Lichtverhältnissen einen Belichtungsimpuls in einen zu erfassenden Bereich der Fahrgastkabine aussenden, um eine ausreichende Ausleuchtung des Bereiches während der Aufnahme der Überwachungsbilder sicherzustellen.In order to monitor vehicle occupants in a passenger cabin of a vehicle, it is common to arrange interior monitoring devices in the passenger cabin. The interior monitoring devices are set up to monitor the vehicle occupants using one or more sensor units, in particular camera units, in order to record a state of health or the presence of a vehicle occupant, for example. For this purpose, camera units of the interior monitoring devices can record monitoring images of the passenger cabin on an event-related basis or at predetermined intervals. The camera units capture surveillance images in the infrared range. For a reliable evaluation of the surveillance images, it is necessary for them to be captured under favorable lighting conditions. For this reason, it is common to equip the at least one camera unit with an associated lighting unit, which emits electromagnetic rays in the corresponding wave range. This can emit an exposure pulse in general or under predetermined lighting conditions into an area of the passenger cabin to be detected in order to ensure sufficient illumination of the area during the recording of the monitoring images.
Eine Überwachung des gesamten Fahrgastinnenraums durch eine Innenraumüberwachungsvorrichtung, welche nur eine einzige Kameraeinheit aufweist, kann für bestimmte Anwendungszwecke möglicherweise nicht eine gewünschte Qualität der Überwachungsbilder bereitstellen. Daher kann es erforderlich sein, mehrere Kameraeinheiten in der Fahrgastkabine anzuordnen, welche jeweilige Überwachungsbereiche überwachen. In diesem Fall ist es erforderlich, die jeweiligen Überwachungsbereiche der verschiedenen Kameraeinheiten ausreichend zu beleuchten.Monitoring the entire passenger compartment using an interior monitoring device which has only a single camera unit may not be able to provide a desired quality of the monitoring images for certain application purposes. It may therefore be necessary to arrange multiple camera units in the passenger cabin, which monitor respective monitored areas. In this case it is necessary to adequately illuminate the respective surveillance areas of the various camera units.
Dabei können mehrere Probleme auftreten. Ein Problem besteht darin, dass die Beleuchtungseinheiten der jeweiligem Kameraeinheiten unter Umständen nicht allein in der Lage ist, den vorbestimmten Überwachungsbereiche in einem ausreichenden Ausmaß auszuleuchten. Ein weiteres Problem besteht in der Synchronisation der Ausgabe der Beleuchtungssignale durch die Überwachungsbereiche. Gewöhnlicherweise werden Überwachungsbilder in vorbestimmten Abständen mit vorgegebenen Belichtungszeiten erstellt. Während der Belichtungszeiten werden durch die zugehörigen Beleuchtungseinheiten die Belichtungsimpulse ausgegeben, um den jeweiligen Bereich auszuleuchten. Bei einer Vielzahl an Kameraeinheiten mit eigenen Beleuchtungseinheiten kann es zu Überlappungen der Beleuchtungszeiten verschiedener Beleuchtungseinheiten kommen. Dadurch können ungewollte Effekte wie Überbelichtungen oder Blendungseffekte in einzelnen Überwachungsbildern kommen. Durch die Verwendung jeweiliger Beleuchtungseinheiten kann eine Anzahl der in einem vorbestimmten Zeitraum ausgegebenen Belichtungsimpulse mit einer Anzahl der verwendeten Kameraeinheiten zunehmen. Eine Zunahme der ausgesandten Belichtungsimpulse kann unangenehme Auswirkungen auf Fahrzeuginsassen haben, da beispielsweise eine durch die Belichtungsimpulse entstehende Trockenheit der Augen zunehmen kann und ein Energieverbrauch erhöht sein kann.Several problems can arise with this. One problem is that the lighting units of the respective camera units may not be able to illuminate the predetermined surveillance areas to a sufficient extent on their own. Another problem is the synchronization of the output of the lighting signals by the surveillance areas. Usually, surveillance images are created at predetermined intervals with predetermined exposure times. During the exposure times, the exposure pulses are output by the associated lighting units in order to illuminate the respective area. If there are a large number of camera units with their own lighting units, the lighting times of different lighting units may overlap. This can result in unwanted effects such as overexposure or glare in individual surveillance images. By using respective lighting units, a number of exposure pulses output in a predetermined period of time can increase with a number of camera units used. An increase in the emitted exposure pulses can have unpleasant effects on vehicle occupants, since, for example, dryness of the eyes caused by the exposure pulses can increase and energy consumption can be increased.
Innenraumüberwachungsvorrichtungen sind in den folgenden Druckschriften offenbart.Interior monitoring devices are disclosed in the following references.
Die
Die
Die
Die
Es ist eine Aufgabe der Erfindung, eine Innenraumüberwachungsvorrichtung bereitzustellen, welche eine zuverlässige Ausleuchtung von Erfassungsbereichen jeweiliger Kameraeinheiten ermöglicht.It is an object of the invention to provide an interior surveillance device that enables reliable illumination of detection areas of respective camera units.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Merkmale der abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren offenbart.The object is solved by the subject matter of the independent patent claims. Advantageous developments of the invention are disclosed by the features of the dependent patent claims, the following description and the figures.
Ein erster Aspekt der Erfindung betrifft eine Innenraumüberwachungsvorrichtung zur Überwachung einer Fahrgastkabine eines Fahrzeugs umfasst. Die Innenraumüberwachungsvorrichtung umfasst zumindest zwei Kameraeinheiten, die zur Aufnahme von Überwachungsbildern jeweiliger vorbestimmter Bereiche in der Fahrgastkabine eingerichtet sind. Mit anderen Worten weist die Innenraumüberwachungsvorrichtung die zumindest zwei Kameraeinheiten auf. Dabei ist jeder der Kameraeinheiten ein jeweiliger Bereich der Fahrgastkabine zugewiesen, welcher durch die jeweilige Kameraeinheit durch eine Aufnahme von Überwachungsbildern überwacht wird. Es kann beispielsweise vorgesehen sein, dass eine jeweilige der Kameraeinheiten auf einen jeweiligen Sitzplatz in der Fahrgastkabine ausgerichtet ist oder die zumindest zwei Kameraeinheiten auf einen Fahrer des Fahrzeugs ausgerichtet sind, wobei sich ein Aufnahmewinkel der jeweiligen Kameraeinheiten voneinander unterscheiden kann. Durch eine Aufnahme eines identischen Überwachungsbereiches durch die zwei Kameraeinheiten kann eine Genauigkeit der Überwachung durch eine Zusammenführung der Überwachungsbilder in einer Sensordatenfusion erhöht werden. Die Innenraumüberwachungsvorrichtung weist eine Beleuchtungseinrichtung auf, die dazu eingerichtet ist, Belichtungsimpulse zur Ausleuchtung der Bereiche in die Fahrgastkabine auszugeben. Mit anderen Worten ist in der Fahrgastkabine die Beleuchtungseinrichtung der Innenraumüberwachungsvorrichtung angeordnet. Die Beleuchtungseinrichtung ist dazu vorgesehen, die vorbestimmten Bereiche der jeweiligen Kameraeinheiten mittels der Belichtungspulse auszuleuchten, um ausreichende Lichtverhältnisse in den jeweiligen Bereichen während der Belichtungszeiten der Kameraeinheiten sicherzustellen. Die Beleuchtungseinrichtung kann beispielsweise LEDs oder andere Leuchtmittel als Beleuchtungseinheiten umfassen, welche beispielsweise elektromagnetische Wellen im Infrarotbereich abgeben können. Die Innenraumüberwachungsvorrichtung weist eine Steuereinheit auf, die dazu eingerichtet ist, jeweilige Aufnahmesignale an die zumindest zwei Kameraeinheiten zu versenden, um eine Aufnahme eines jeweiligen Überwachungsbildes des Bereichs durch eine jeweilige der zumindest zwei Kameraeinheiten zu bewirken. Mit anderen Worten sind die zumindest zwei Kameraeinheiten dazu eingerichtet, die durch die Steuereinheit ausgesandten Aufnahmesignale zu empfangen und bei einem Empfang der Aufnahmesignale ein jeweiliges Überwachungsbild ihres jeweiligen Bereichs aufzuzeichnen. Die Steuereinheit ist dazu eingerichtet, ein Beleuchtungssignal an die Beleuchtungseinrichtung zu versenden, um eine Ausgabe des Belichtungspulses zu bewirken. Mit anderen Worten ist die Beleuchtungseinrichtung dazu eingerichtet, den Belichtungspuls auszugeben, wenn durch die Beleuchtungseinrichtung das durch die Steuereinheit ausgesandte Beleuchtungssignal empfangen wird.A first aspect of the invention relates to an interior monitoring device for monitoring a passenger cabin of a vehicle. The interior monitoring device includes at least two camera units that are set up to record monitoring images of respective predetermined areas in the passenger cabin. In other words, the interior monitoring device has the at least two camera units. In this case, each of the camera units is assigned a respective area of the passenger cabin, which is monitored by the respective camera unit by recording surveillance images. Provision can be made, for example, for each of the camera units to be aligned with a respective seat in the passenger cabin or for the at least two camera units to be aligned with a driver of the vehicle, with a recording angle of the respective camera units being able to differ from one another. By recording an identical surveillance area with the two camera units, the accuracy of the surveillance can be increased by combining the surveillance images in a sensor data fusion. The interior monitoring device has an illumination device that is set up to emit exposure pulses for illuminating the areas in the passenger cabin. In other words, the lighting device of the interior monitoring device is arranged in the passenger cabin. The lighting device is provided to illuminate the predetermined areas of the respective camera units by means of the exposure pulses in order to ensure sufficient lighting conditions in the respective areas during the exposure times of the camera units. The lighting device can, for example, comprise LEDs or other light sources as lighting units, which can, for example, emit electromagnetic waves in the infrared range. The interior monitoring device has a control unit which is set up to send respective recording signals to the at least two camera units in order to cause a respective surveillance image of the area to be recorded by a respective one of the at least two camera units. In other words, the at least two camera units are set up to receive the recording signals sent out by the control unit and to record a respective surveillance image of their respective area when the recording signals are received. The control unit is set up to send an illumination signal to the illumination device in order to cause the exposure pulse to be output. In other words, the lighting device is set up to output the exposure pulse when the lighting device receives the lighting signal emitted by the control unit.
Es ist vorgesehen, dass in der Steuereinheit jeweilige Kameraverzögerungszeiten der Kameraeinheiten gespeichert sind, wobei durch die jeweiligen Kameraverzögerungszeiten ein Zeitraum zwischen einem Aussendezeitpunkt des jeweiligen Aufnahmesignals zu der jeweiligen Kameraeinheit durch die Steuereinheit und einem Anfangszeitpunkt einer Belichtungszeit der jeweiligen Kameraeinheit beschrieben ist. Mit anderen Worten kommt es zu einer Verzögerung der Aufnahme des Überwachungsbilds durch die jeweilige Kameraeinheit, welche auf eine Übermittlungszeit des jeweiligen Aufnahmesignals zu der Kameraeinheit und eine Verarbeitungszeit des Aufnahmesignals durch die Kameraeinheit zurückzuführen sein kann. Die Kameraverzögerungszeit erstreckt sich von dem Zeitpunkt der Aussendung des jeweiligen Aufnahmesignals zu der jeweiligen Kameraeinheit durch die Steuereinheit bis zum Zeitpunkt eines Anfangs der Belichtungszeit der jeweiligen Kameraeinheit. Die Kameraverzögerungszeit der jeweiligen Kameraeinheit ist dabei in der Steuereinheit gespeichert. Die Kameraverzögerungszeit kann beispielsweise mittels eines Simulationsverfahrens oder einer Messung festgestellt worden und in der Steuereinheit hinterlegt worden sein. In der Steuereinheit ist eine Beleuchtungsverzögerungszeit der Beleuchtungseinrichtung gespeichert, wobei durch die Beleuchtungsverzögerungszeit der Beleuchtungseinrichtung ein Zeitraum zwischen einem Aussendezeitpunkt des Beleuchtungssignals zu der Beleuchtungseinrichtung durch die Steuereinheit und einem Anfangszeitpunkt einer Beleuchtungszeit der Beleuchtungseinrichtung beschrieben ist. Mit anderen Worten kommt es auch bei der Aussendung des Beleuchtungssignals durch die Steuereinheit zu einer Verzögerung bis die Beleuchtungszeit anfängt. Die Verzögerung kann ebenfalls durch den Versandzeitraum des Beleuchtungssignals von der Steuereinheit zur Beleuchtungseinrichtung, ein Verarbeitungszeitraum durch die Beleuchtungseinrichtung und/oder auf eine Vorwärmzeit des Leuchtmittels zurückzuführen sein. Auch die Beleuchtungsverzögerungszeit kann durch Simulationen oder durch experimentelle Messungen ermittelt und in der Steuereinheit gespeichert sein.Provision is made for the respective camera delay times of the camera units to be stored in the control unit, with the respective camera delay times describing a period of time between a transmission time of the respective recording signal to the respective camera unit by the control unit and a start time of an exposure time of the respective camera unit. In other words, there is a delay in the recording of the surveillance image by the respective camera unit, which is due to a transmission time of the respective recording signal to the camera unit and a processing time of the recording signal by the camera unit. The camera delay time extends from the time at which the respective recording signal is sent to the respective camera unit by the control unit up to the time at which the exposure time of the respective camera unit begins. The camera delay time of the respective camera unit is stored in the control unit. The camera delay time can be determined, for example, using a simulation method or a measurement and stored in the control unit. A lighting delay time of the lighting device is stored in the control unit, the lighting delay time of the lighting device describing a period between the time at which the lighting signal is transmitted to the lighting device by the control unit and a starting time of a lighting time of the lighting device. In other words, there is also a delay in the transmission of the lighting signal by the control unit until the lighting time begins. The delay can also be due to the time taken for the lighting signal to be sent from the control unit to the lighting device, a processing time by the lighting device and/or a preheating time for the lighting means. The lighting delay time can also be determined by simulations or by experimental measurements and stored in the control unit.
Durch die in der Steuereinheit hinterlegten Kameraverzögerungszeiten und der hinterlegten Beleuchtungsverzögerungszeit ist es möglich zu ermitteln, zu welchem Zeitpunkt ab nach dem Versand eines jeweiligen Signals die Belichtungszeit beziehungsweise die Beleuchtungszeit beginnt.The camera delay times and the lighting delay time stored in the control unit make it possible to determine at what point in time after the transmission of a respective signal the exposure time or the lighting time begins.
Die Steuereinheit ist dazu eingerichtet, die jeweiligen Aussendezeitpunkte in Abhängigkeit der Verzögerungszeiten derart festzulegen, dass die Anfangszeitpunkte der jeweiligen Belichtungszeiten der Kameraeinheiten und der Anfangszeitpunkt der Beleuchtungszeit der Belichtungseinrichtung synchron sind. The control unit is set up to define the respective transmission times as a function of the delay times in such a way that the start times of the respective exposure times of the camera units and the start time of the lighting time of the exposure device are synchronous.
Mit anderen Worten ist die Steuereinheit dazu eingerichtet, die Aussendezeitpunkte zu ermitteln, zu denen das Beleuchtungssignal und die Aufnahmesignale ausgesandt werden müssen, damit die Belichtungszeiten der Kameraeinheiten und die Beleuchtungszeit der Beleuchtungseinrichtung zeitgleich anfangen. Die Steuereinheit ist dazu eingerichtet, die jeweiligen Aufnahmesignale und das Beleuchtungssignal zu den jeweiligen Aussendezeitpunkten zu versenden.In other words, the control unit is set up to determine the transmission times at which the illumination signal and the recording signals must be transmitted so that the exposure times of the camera units and the illumination time of the illumination device start at the same time. The control unit is set up to send the respective recording signals and the illumination signal at the respective transmission times.
Durch die Erfindung ergibt sich der Vorteil, dass die Bereiche der zumindest zwei Kameraeinheiten durch einen Belichtungspuls beleuchtet werden. Dadurch ergibt sich der Vorteil, dass weniger Beleuchtungspulse zur Beleuchtung der jeweiligen Bereiche ausgestrahlt werden müssen, als bei einer Bereitstellung separater Belichtungspulse.The invention results in the advantage that the areas of the at least two camera units are illuminated by an exposure pulse. This results in the advantage that fewer illumination pulses have to be emitted to illuminate the respective areas than when separate illumination pulses are provided.
Alternativ oder zusätzlich dazu ist die Steuereinheit dazu eingerichtet, die Beleuchtungszeit und/oder die Belichtungszeiten in Abhängigkeit der Verzögerungszeiten derart zu wählen, dass sich die jeweiligen Belichtungszeiten zumindest über einen vorbestimmten Überlappungszeitraum mit der Beleuchtungszeit überlappen. Mit anderen Worten ist die Steuereinheit dazu eingerichtet, mittels der gespeicherten Verzögerungszeiten zu ermitteln, zu welchem Zeitraum die Belichtungszeiten der jeweiligen Kameraeinheiten und die Beleuchtungszeit der Beleuchtungseinrichtung anfangen. Damit eine Aufnahme einer gewünschten Qualität bereitgestellt werden kann, kann es erforderlich sein, dass zumindest der vorbestimmte Überlappungszeitraum der Belichtungszeit beleuchtet ist. Je nach Dauer der Verzögerung können die Anfangszeitpunkte der Belichtungszeiten und der Beleuchtungszeiten auseinander fallen, so dass manche Belichtungszeiten früher anfangen als andere Belichtungszeiten. Um sicherzustellen, dass der vorbestimmte Überlappungszeitraum bereitgestellt wird, kann durch die Steuereinheit die Beleuchtungszeit durch die Beleuchtungseinrichtung oder die Belichtungszeiten der jeweiligen Kameraeinheiten derart gewählt werden, dass die vorbestimmte Überlappungszeit für alle Kameraeinheiten bereitgestellt wird.Alternatively or additionally, the control unit is set up to select the illumination time and/or the exposure times as a function of the delay times in such a way that the respective exposure times overlap with the illumination time at least over a predetermined overlap period. In other words, the control unit is set up to use the stored delay times to determine the time period at which the exposure times of the respective camera units and the lighting time of the lighting device begin. In order to be able to provide a recording of a desired quality, it may be necessary for at least the predetermined overlapping period of the exposure time to be illuminated. Depending on the length of the delay, the start times of the exposure times and the lighting times can differ, so that some exposure times start earlier than other exposure times. In order to ensure that the predetermined overlapping period is provided, the lighting time by the lighting device or the exposure times of the respective camera units can be selected by the control unit in such a way that the predetermined overlapping time is provided for all camera units.
Durch die Erfindung ergibt sich der Vorteil, dass durch eine Beleuchtungseinrichtung eine ausreichende Beleuchtung der Bereiche der jeweiligen Kameraeinheiten sichergestellt wird.The advantage of the invention is that an illumination device ensures adequate illumination of the areas of the respective camera units.
Die Erfindung umfasst auch Weiterbildungen, durch die sich weitere Vorteile ergeben.The invention also includes developments that result in further advantages.
Eine Weiterbildung der Erfindung sieht vor, dass die Beleuchtungszeit und die jeweiligen Belichtungszeiten gleich lang sind. Mit anderen Worten ist die Länge der Beleuchtungszeit identisch mit der Länge der jeweiligen Belichtungszeiten. Durch die Weiterbildung ergibt sich der Vorteil, dass die Beleuchtungszeit nicht länger ist als nötig und somit Energie eingespart werden kann.A development of the invention provides that the illumination time and the respective exposure times are of the same length. In other words, the length of the illumination time is identical to the length of the respective exposure times. The further development results in the advantage that the lighting time is not longer than necessary and energy can thus be saved.
Eine Weiterbildung der Erfindung sieht vor, dass sich die Belichtungszeiten voneinander unterscheiden. Mit anderen Worten ist es vorgesehen, dass sich die Längen der jeweiligen Belichtungszeiten der Kameraeinheiten voneinander unterscheiden. Dadurch ergibt sich der Vorteil, dass verschiedene Lichtstärken der Kameraeinheiten oder verschiedene Beleuchtungscharakteristika bei der Beleuchtung der jeweiligen Bereiche berücksichtigt werden können.A development of the invention provides that the exposure times differ from one another. In other words, it is provided that the lengths of the respective exposure times of the camera units differ from one another. This has the advantage that different light intensities of the camera units or different lighting characteristics can be taken into account when lighting the respective areas.
Eine Weiterbildung der Erfindung sieht vor, dass die Beleuchtungseinrichtung mehrere Beleuchtungseinheiten umfasst, die einen synchronen Beleuchtungszeitraum aufweisen. Mit anderen Worten ist es vorgesehen, dass die Beleuchtungseinrichtung den Beleuchtungspuls durch mehrere Beleuchtungseinheiten abgibt, welche beispielsweise an unterschiedlichen Orten in der Fahrgastkabine verbaut sein können. Die Beleuchtungseinrichtung ist dabei derart gestaltet, dass Laufzeitunterschiede von Signalen zur Ausgabe des Beleuchtungspulses kompensiert werden, so dass Beleuchtungszeiträume der einzelnen Beleuchtungseinheiten synchron sind. Durch die Weiterbildung ergibt sich der Vorteil, dass eine synchrone Ausleuchtung der Fahrgastkabine durch die Beleuchtungseinrichtung sichergestellt ist.A further development of the invention provides that the lighting device comprises a number of lighting units which have a synchronous lighting period. In other words, it is provided that the lighting device emits the lighting pulse through a number of lighting units, which can be installed at different locations in the passenger cabin, for example. The lighting device is designed in such a way that differences in transit time of signals for outputting the lighting pulse are compensated for, so that the lighting periods of the individual lighting units are synchronous. The further development results in the advantage that synchronous illumination of the passenger cabin is ensured by the lighting device.
Eine Weiterbildung der Erfindung sieht vor, dass die Beleuchtungseinrichtung zur Ausgabe des Beleuchtungspulses im Infrarotbereich eingerichtet ist. Mit anderen Worten ist es vorgesehen, dass die Beleuchtungseinrichtung zur Abgabe von Infrarotstrahlung eingerichtet ist. Bei der Infrarotstrahlung handelt es sich um elektromagnetische Strahlung mit einer Wellenlänge zwischen 780 nm und 1 mm.A development of the invention provides that the lighting device is set up to output the lighting pulse in the infrared range. In other words, it is provided that the lighting device is set up to emit infrared radiation. Infrared radiation is electromagnetic radiation with a wavelength between 780 nm and 1 mm.
Die Erfindung betrifft in einem zweiten Aspekt ein Verfahren zum Betreiben einer Innenraumüberwachungsvorrichtung. Es ist vorgesehen, dass durch eine Steuereinheit der Innenraumüberwachungsvorrichtung jeweilige Aussendezeitpunkte zum Aussenden von jeweiligen Aufnahmesignalen an zumindest zwei Kameraeinheiten und zum Aussenden eines Beleuchtungssignals an eine Beleuchtungseinrichtung festgelegt werden. Es ist vorgesehen, dass die Aussendezeitpunkte in Abhängigkeit jeweiliger Kameraverzögerungszeiten der jeweiligen Kameraeinheiten, welche einen Zeitraum zwischen einem Aussendezeitpunkt des jeweiligen Aufnahmesignals zu der jeweiligen Kameraeinheit durch die Steuereinheit und einem Anfangszeitpunkt einer Belichtungszeit der jeweiligen Kameraeinheit beschreiben und einer Beleuchtungsverzögerungszeit der Beleuchtungseinrichtung, welche einen Zeitraum zwischen einem Aussendezeitpunkt des Beleuchtungssignals zu der Beleuchtungseinrichtung durch die Steuereinheit und einem Anfangszeitpunkt einer Beleuchtungszeit der Beleuchtungseinrichtung beschreibt, ermittelt wird, so dass die Anfangszeitpunkte der jeweiligen Belichtungszeiten der Kameraeinheiten und der Anfangszeitpunkt der Beleuchtungszeit der Beleuchtungseinrichtung synchron sind. Durch die Steuereinheit werden die jeweiligen Aufnahmesignale und das Beleuchtungssignal zu den jeweiligen Aussendezeitpunkten versandt. Die jeweiligen Aufnahmesignale werden durch die zumindest zwei Kameraeinheiten empfangen, wodurch eine Aufnahme von Überwachungsbildern jeweiliger vorbestimmter Bereiche in der Fahrgastkabine bewirkt wird. Das Beleuchtungssignal wird durch die Beleuchtungseinrichtung empfangen, wodurch eine Ausgabe eines Belichtungspulses zur Ausleuchtung der Fahrgastkabine in die Fahrgastkabine ausgegeben wird.In a second aspect, the invention relates to a method for operating an interior monitoring device. Provision is made for a control unit of the interior monitoring device to specify the respective transmission times for the transmission of respective recording signals to at least two camera units and for the transmission of a lighting signal to a lighting device. Provision is made for the transmission times to be determined as a function of the respective camera delay times of the respective camera units, which describe a time period between a transmission time of the respective recording signal to the respective camera unit by the control unit and a start time of an exposure time of the respective camera unit, and a lighting delay time of the lighting device, which describes a time period between a transmission time of the illumination signal to the illumination device by the control unit and a starting time of a lighting time of the lighting device is determined, so that the starting times of the respective exposure times of the camera units and the starting time of the lighting time of the lighting device are synchronous. The respective recording signals and the illumination signal are sent by the control unit at the respective transmission times. The respective recording signals are received by the at least two camera units, as a result of which monitoring images of respective predetermined areas in the passenger cabin are recorded. The illumination signal is received by the illumination device, thereby outputting an illumination pulse for illuminating the passenger cabin into the passenger cabin.
Alternativ dazu ist es vorgesehen, dass durch die Steuereinheit der Innenraumüberwachungsvorrichtung eine Beleuchtungszeit und/oder eine Belichtungszeit festgelegt werden. Die Beleuchtungszeit und die jeweiligen Belichtungszeiten werden in Abhängigkeit jeweiliger Kameraverzögerungszeiten der jeweiligen Kameraeinheiten ermittelt. Die jeweiligen Kameraverzögerungszeiten beschreiben einen Zeitraum zwischen einem Aussendezeitpunkt des jeweiligen Aufnahmesignals zu der jeweiligen Kameraeinheit durch die Steuereinheit und einem Anfangszeitpunkt einer Belichtungszeit der jeweiligen Kameraeinheit. Die Ermittlung der jeweiligen Beleuchtungszeit und der jeweiligen Belichtungszeiten erfolgt auch in Abhängigkeit einer Beleuchtungsverzögerungszeit der Beleuchtungseinrichtung, welche einen Zeitraum zwischen einem Aussendezeitpunkt des Beleuchtungssignals zu der Beleuchtungseinrichtung durch die Steuereinheit und einem Anfangszeitpunkt einer Beleuchtungszeit der Beleuchtungseinrichtung beschreibt. Die Beleuchtungszeit und die jeweiligen Belichtungszeiten werden derart gewählt, dass sich die jeweiligen Belichtungszeiten zumindest über einen vorbestimmten Überlappungszeitraum mit der Beleuchtungszeit überlappen. Durch die Steuereinheit werden die jeweiligen Aufnahmesignale, umfassend die jeweiligen Belichtungszeiten und das Beleuchtungssignal, umfassend die Beleuchtungszeit, versandt. Die jeweiligen Aufnahmesignale werden durch die zumindest zwei Kameraeinheiten empfangen, wodurch eine Aufnahme von Überwachungsbildern jeweiliger bestimmter Bereiche in der Fahrgastkabine bewirkt wird. Das Beleuchtungssignal wird durch die Beleuchtungseinrichtung empfangen, wodurch eine Ausgabe eines Belichtungspulses zur Ausleuchtung der Fahrgastkabine in die Fahrgastkabine ausgegeben wird.As an alternative to this, provision is made for a lighting time and/or an exposure time to be defined by the control unit of the interior monitoring device. The lighting time and the respective exposure times are determined as a function of the respective camera delay times of the respective camera units. The respective camera delay times describe a period of time between a transmission time of the respective recording signal to the respective camera unit by the control unit and a start time of an exposure time of the respective camera unit. The respective lighting time and the respective exposure times are also determined as a function of a lighting delay time of the lighting device, which describes a time period between the time at which the lighting signal is transmitted to the lighting device by the control unit and a starting time of a lighting time of the lighting device. The illumination time and the respective exposure times are selected in such a way that the respective exposure times overlap with the illumination time at least over a predetermined overlap period. The respective recording signals, including the respective exposure times and the illumination signal, including the illumination time, are sent by the control unit. The respective recording signals are received by the at least two camera units, as a result of which monitoring images of respective specific areas in the passenger cabin are recorded. The illumination signal is received by the illumination device, thereby outputting an illumination pulse for illuminating the passenger cabin into the passenger cabin.
Ein dritter Aspekt der Erfindung betrifft ein Fahrzeug, dass eine Innenraumüberwachungsvorrichtung gemäß dem ersten Aspekt umfasst.A third aspect of the invention relates to a vehicle that includes an interior monitoring device according to the first aspect.
Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.For use cases or use situations that can result from the method and that are not explicitly described here, it can be provided that an error message and/or a request for input of user feedback is issued and/or which a standard setting and/or a predetermined initial state is set.
Die Steuereinheit kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.The control unit can have a data processing device or a processor device that is set up to carry out an embodiment of the method according to the invention. For this purpose, the processor device can have at least one microprocessor and/or at least one microcontroller and/or at least one FPGA (Field Programmable Gate Array) and/or at least one DSP (Digital Signal Processor). Furthermore, the processor device can have program code which is set up to carry out the embodiment of the method according to the invention when executed by the processor device. The program code can be stored in a data memory of the processor device.
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Verfahrens sowie des erfindungsgemäßen Fahrzeugs, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen der erfindungsgemäßen Innenraumüberwachungsvorrichtung beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens sowie des erfindungsgemäßen Fahrzeugs hier nicht noch einmal beschrieben.The invention also includes developments of the method according to the invention and of the vehicle according to the invention, which have features as have already been described in connection with the developments of the interior monitoring device according to the invention. For this reason, the corresponding developments of the method according to the invention and of the vehicle according to the invention are not described again here.
Das erfindungsgemäße Fahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.The vehicle according to the invention is preferably designed as a motor vehicle, in particular as a passenger car or truck, or as a passenger bus or motorcycle.
Als eine weitere Lösung umfasst die Erfindung auch ein computerlesbares Speichermedium, umfassend Befehle, die bei der Ausführung durch einen Computer oder einen Computerverbund diesen veranlassen, eine Ausführungsform des erfindungsgemäßen Verfahrens auszuführen. Das Speichermedium kann z.B. zumindest teilweise als ein nicht-flüchtiger Datenspeicher (z.B. als eine Flash-Speicher und/oder als SSD - solid state drive) und/oder zumindest teilweise als ein flüchtiger Datenspeicher (z.B. als ein RAM - random access memory) ausgestaltet sein. Durch den Computer oder Computerverbund kann eine Prozessorschaltung mit zumindest einem Mikroprozessor bereitgestellt sein. Die Befehle können als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache (z.B. C) bereitgestellt sein.As a further solution, the invention also comprises a computer-readable storage medium, comprising instructions which, when executed by a computer or a computer network, cause this to execute an embodiment of the method according to the invention. The storage medium can e.g. at least partially as a non-volatile data memory (e.g. as a flash memory and/or as an SSD - solid state drive) and/or at least partially as a volatile data memory (e.g. as a RAM - random access memory). . A processor circuit with at least one microprocessor can be provided by the computer or computer network. The instructions may be provided in binary or assembler and/or programming language (e.g., C) source code.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.The invention also includes the combinations of features of the described embodiments. The invention also includes implementations that each have a combination of the features of several of the described embodiments, provided that the embodiments were not described as mutually exclusive.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
-
1 eine schematische Darstellung eines Fahrzeugs; -
2 eine schematische Darstellung eines zeitlichen Ablaufs einer Durchführung eines Verfahrens; und -
3 eine schematische Darstellung eines zeitlichen Ablaufs einer Durchführung eines Verfahrens.
-
1 a schematic representation of a vehicle; -
2 a schematic representation of a time sequence of an implementation of a method; and -
3 a schematic representation of a time sequence of an implementation of a method.
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention that are to be considered independently of one another and that each also develop the invention independently of one another. Therefore, the disclosure is also intended to encompass combinations of the features of the embodiments other than those illustrated. Furthermore, the described embodiments can also be supplemented by further features of the invention that have already been described.
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.In the figures, the same reference symbols designate elements with the same function.
Mit der Zunahme der Überwachungsaufgaben werden mehrere Kameraeinheiten in der Fahrgastkabine benötigt. Um den Überwachungsalgorithmen gute Überwachungsbilder zur Verfügung zu stellen, müssen die von den Kameraeinheiten in den Überwachungsbildern erfassten Bereiche beleuchtet werden. Die Ausleuchtung durch verschiedene, nicht synchronisierte Beleuchtungseinheiten verschiedener Kameraeinheiten mindert die Qualität des Bildmaterials und der daraus berechneten Überwachungssignale.With the increase in surveillance tasks, multiple camera units are required in the passenger cabin. In order to provide the surveillance algorithms with good surveillance images, the areas captured by the camera units in the surveillance images must be illuminated. The illumination by different, non-synchronized lighting units of different camera units reduces the quality of the image material and the surveillance signals calculated from it.
Nach dem gegenwärtigen Stand der Technik ist es deshalb verbreitet, nur eine einzige Kameraeinheit mit einer zugeordneten Beleuchtungseinheit für die Überwachung der gesamten Fahrgastkabine zu verwenden. Jedoch reicht ein durch eine einzige Kameraeinheit bereitgestellter Erfassungsbereich nicht zur Überwachung aller Überwachungsbereiche, die für komplexe Funktionen im Fahrzeug überwacht werden müssen aus. Im Stand der Technik ist es üblich, neben der Innenraumkamera weitere Sensortypen zu verwenden und die technischen Fähigkeiten der Kamera wie Sichtfeld, Beleuchtungsstärke, Auflösung und/oder Rechenleistung zu erhöhen.According to the current state of the art, it is therefore common to use only a single camera unit with an associated lighting unit for monitoring the entire passenger cabin. However, a detection area provided by a single camera unit is not sufficient for monitoring all of the monitoring areas that need to be monitored for complex functions in the vehicle. In the prior art, it is customary to use other sensor types in addition to the interior camera and to increase the technical capabilities of the camera, such as field of view, illuminance, resolution and/or computing power.
Eine Innenraumüberwachungsvorrichtung mit mehreren Kameraeinheiten könnte eine, in der gesamten Fahrgastkabine verteilte Beleuchtungseinrichtung umfassen, die allen Kameraeinheiten zugeteilt sein kann. Die Lichtimpulse müssen hierfür mit den Belichtungszeiten der Kameraeinheiten synchronisiert sein. Um dies zu erreichen, kann die Beleuchtungseinrichtung und alle Kameraeinheiten von einer Steuereinheit der Innenraumüberwachungsvorrichtung im Fahrzeug gesteuert werden. Aufgrund von Verzögerungen bei der Kommunikation durch unterschiedliche Kabellängen zwischen den Kameraeinheiten und der Steuereinheit sowie durch Signalverarbeitungsvorgänge wie Serialisierung/Deserialisierung erreichen die Aufnahmesignale zum Einleiten der Belichtungszeiten die verschiedenen Kameraeinheiten mit Verzögerungen, so dass die Belichtungszeiten der Kameraeinheiten von der Beleuchtungszeit abweichen können. Um dies zu vermeiden, muss die Zeit, die benötigt wird, um jede Kameraeinheiten zu erreichen, für jedes Fahrzeugmodell, in welchem die Innenraumüberwachungsvorrichtung eingebaut ist, geschätzt oder gemessen werden. Das Aufnahmesignal, das die Einleitung der jeweiligen Belichtungszeit anfordert, muss für jede Kameraeinheit konfigurierbar sein, und die Konfiguration muss die Übertragungszeit berücksichtigen. Die Übertragungszeiten, müssen bei der Wahl der Aussendezeitpunkte der Aufnahmesignale berücksichtigt werden, damit die Startzeitpunkte der Belichtungszeiten der Kameraeinheiten übereinstimmen. Entsprechend muss auch die Verzögerungszeit bei der Wahl des Zeitpunkts der Versendung des Beleuchtungssignals berücksichtigt werden, damit der Startzeitpunkt der Beleuchtungszeit für die Beleuchtungseinrichtung mit den Startzeitpunkten der Belichtungszeiten der Kameraeinheiten übereinstimmt.An interior monitoring device with multiple camera units could include a lighting device distributed throughout the passenger cabin, which can be assigned to all camera units. For this purpose, the light pulses must be synchronized with the exposure times of the camera units. In order to achieve this, the lighting device and all camera units can be controlled by a control unit of the interior monitoring device in the vehicle. Due to delays in communication due to different cable lengths between the camera units and the control unit, as well as signal processing operations such as serialization/deserialization, the recording signals for initiating the exposure times reach the various camera units with delays, so that the exposure times of the camera units can differ from the lighting time. To avoid this, the time required to reach each camera unit must be estimated or measured for each vehicle model in which the interior monitoring device is installed. The recording signal requesting the initiation of the respective exposure time must be configurable for each camera unit and the configuration must take the transmission time into account. The transmission times must be taken into account when selecting the transmission times for the recording signals so that the start times of the exposure times of the camera units match. Correspondingly, the delay time must also be taken into account when selecting the point in time for sending the illumination signal, so that the start point in time for the illumination time for the lighting device matches the start points in time for the exposure times of the camera units.
Für eine Innenraumüberwachungsvorrichtung mit n Kameraeinheiten folgt somit
Die Belichtungszeit te jedes Bildsensors hat die gleiche Länge und ist gleich der Beleuchtungszeit ti. Eine Alternative zur Synchronisierung der Belichtungszeiten der Bildsensoren könnte darin bestehen, die Dauer der Belichtungszeit (te) aller Bildsensoren (i) der n Kameras zu verlängern, um die maximale Verzögerung bei den Übertragungszeiten zwischen den n Kameras im System zu berücksichtigen.
Eine weitere Alternative zur Synchronisierung der Belichtungszeiten der Bildsensoren könnte darin bestehen, die Dauer der Beleuchtungszeit ti zu verlängern, um die maximale Verzögerung bei den Übertragungszeiten zwischen den n Kameras im System zu berücksichtigen.
Eine solche Innenraumüberwachungsvorrichtung hat jedoch einen höheren Stromverbrauch und kann aufgrund der höheren Beleuchtungsleistung, die im Cockpit abgegeben wird, über einen längeren Zeitraum ein Unbehagen in den Augen verursachen.However, such an interior monitoring device consumes more power and may cause eye discomfort for a longer period of time due to the higher lighting power emitted in the cockpit.
Die Kernideen der Erfindung umfassen somit eine Verwendung einer Beleuchtungsquelle für mehrere Kameraeinheiten und eine Synchronisierung der Belichtungszeiten mehrerer Kameraeinheiten mit einem externen Beleuchtungsimpuls.The core ideas of the invention thus include using an illumination source for multiple camera units and synchronizing the exposure times of multiple camera units with an external illumination pulse.
Die Innenraumüberwachungsvorrichtung kann für Sicherheitsfunktionen wie die Überwachung der Fahrgastkabine vor, bei und nach einem Unfall verwendet werden. Die Innenraumüberwachungsvorrichtung ermöglicht eine Verbesserung des Verständnisses des Insassenkontextes für mehr Komfort und Personalisierung sowie eine Erhöhung der Genauigkeit der Insassenidentifikation und -authentifizierung auf der Grundlage von 3D-DatenThe interior monitoring device can be used for safety functions such as monitoring the passenger cabin before, during and after an accident. The interior monitoring device enables an improvement in the understanding of the occupant context for greater convenience and personalization, as well as an increase in the accuracy of occupant identification and authentication based on 3D data
Die Innenraumüberwachungsvorrichtung ermöglicht auch eine Erhöhung der Sicherheit und des Komforts in anderen Verkehrsmitteln, wie Flugzeugen, Schiffen oder Zügen. Die Innenraumüberwachungsvorrichtung kann auch für eine genauere Erkennung von Szenen in der virtuellen Realität und in Computerspielen ermöglichen.The interior monitoring device also makes it possible to increase safety and comfort in other means of transport, such as airplanes, ships or trains. The indoor monitoring device can also allow for more accurate recognition of scenes in virtual reality and computer games.
Insgesamt zeigen die Beispiele, wie eine Innenraumüberwachungsvorrichtung, welche mehrere Kameraeinheiten umfasst, bereitgestellt werden kann.Overall, the examples show how an interior surveillance device that includes multiple camera units can be provided.
Claims (6)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022112504.1 | 2022-05-18 | ||
DE102022112504 | 2022-05-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102022114753B3 true DE102022114753B3 (en) | 2023-08-03 |
Family
ID=87161058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102022114753.3A Active DE102022114753B3 (en) | 2022-05-18 | 2022-06-10 | Interior monitoring device, method and vehicle |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102022114753B3 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2743143A1 (en) | 2011-08-10 | 2014-06-18 | Honda Motor Co., Ltd. | Vehicle occupant detection device |
DE102015222861A1 (en) | 2015-11-19 | 2017-05-24 | Robert Bosch Gmbh | A lighting device for illuminating an interior of a vehicle, control unit for controlling at least one lighting device and driver observation system for a vehicle |
US20210176403A1 (en) | 2017-12-18 | 2021-06-10 | Seeing Machines Limited | High performance imaging system using a dielectric metasurface |
US20210329157A1 (en) | 2020-04-21 | 2021-10-21 | Ambarella International Lp | 940nm led flash synchronization for dms and oms |
-
2022
- 2022-06-10 DE DE102022114753.3A patent/DE102022114753B3/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2743143A1 (en) | 2011-08-10 | 2014-06-18 | Honda Motor Co., Ltd. | Vehicle occupant detection device |
DE102015222861A1 (en) | 2015-11-19 | 2017-05-24 | Robert Bosch Gmbh | A lighting device for illuminating an interior of a vehicle, control unit for controlling at least one lighting device and driver observation system for a vehicle |
US20210176403A1 (en) | 2017-12-18 | 2021-06-10 | Seeing Machines Limited | High performance imaging system using a dielectric metasurface |
US20210329157A1 (en) | 2020-04-21 | 2021-10-21 | Ambarella International Lp | 940nm led flash synchronization for dms and oms |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE10310767B4 (en) | monitor | |
EP1952752B2 (en) | Endoscope system | |
EP1595391A1 (en) | Device and method for producing images | |
DE102013019210A1 (en) | Lighting device for the passenger compartment of a motor vehicle and method for controlling the lighting device | |
DE2514477A1 (en) | AIMING DEVICE | |
EP3790768B1 (en) | Device and method for operating an object detection system for the passenger compartment of a motor vehicle, and a motor vehicle | |
DE102014009143B4 (en) | Motor vehicle camera device with controllable active illumination, motor vehicle with a camera device and method for generating camera images | |
DE102014213456A1 (en) | Monitoring a signal transmission from a recording device to an output device | |
DE102020115779A1 (en) | Imaging control device | |
EP1575808B1 (en) | Image generator | |
DE102005028490C5 (en) | camera system | |
DE102018125091A1 (en) | Device for image frame detection, detection of frozen image frames, systems for detection of frozen image frames, method and vehicle | |
DE102016003147B4 (en) | Lighting system with a lighting device and sensor device for detecting a movement sequence | |
DE102018220424A1 (en) | CAMERA SYSTEM | |
DE102014118387A1 (en) | Detecting device for detecting a gesture and / or a viewing direction of an occupant of a motor vehicle by synchronous control of lighting units, operating arrangement, motor vehicle and method | |
DE102022114753B3 (en) | Interior monitoring device, method and vehicle | |
DE102005020950B4 (en) | Active night vision system with fully synchronized light source and receiver | |
DE112020003760T5 (en) | SIGNAL PROCESSING DEVICE, SIGNAL PROCESSING METHOD AND IMAGING DEVICE | |
DE102019213607A1 (en) | 3D display in digital vehicle rearview mirror | |
DE102018219106A1 (en) | VEHICLE CONTROL | |
DE102021000508A1 (en) | Method for calibrating a gated camera, control device for carrying out such a method, calibration device with such a control device and motor vehicle with such a calibration device | |
DE102016011246A1 (en) | A method of monitoring a condition of at least one occupant of a vehicle | |
EP3126866B1 (en) | Acquisition device preferably for use in a vehicle and vehicle | |
DE102009045558A1 (en) | camera system | |
DE102008031697B4 (en) | Device and method for object identification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: H04N0005232000 Ipc: H04N0023600000 |
|
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |