DE102022121614A1 - METHOD AND SYSTEM FOR DETECTING AN INTERIOR CONFIGURATION OF A VEHICLE - Google Patents
METHOD AND SYSTEM FOR DETECTING AN INTERIOR CONFIGURATION OF A VEHICLE Download PDFInfo
- Publication number
- DE102022121614A1 DE102022121614A1 DE102022121614.4A DE102022121614A DE102022121614A1 DE 102022121614 A1 DE102022121614 A1 DE 102022121614A1 DE 102022121614 A DE102022121614 A DE 102022121614A DE 102022121614 A1 DE102022121614 A1 DE 102022121614A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- interior
- configuration
- view
- movable component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 5
- 238000002366 time-of-flight method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/0153—Passenger detection systems using field detection presence sensors
- B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01554—Seat position sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Ein Verfahren zum Erkennen einer Konfiguration eines Innenraums (2) eines Fahrzeugs (1). Bei dem Verfahren werden mittels zumindest einer Bilderfassungseinrichtung (3) Bilddaten erfasst, wobei die Bilddaten eine Ansicht des Innenraums (2) des Fahrzeugs (1) repräsentieren, wobei die Ansicht zumindest einen feststehenden Teil (6, 7, 15) des Fahrzeugs (1) und zumindest eine bewegliche Komponente (9, 10, 11, 12, 13, 14) des Innenraums (2) des Fahrzeugs (1) jeweils zumindest teilweise enthält. Die Bilddaten werden ausgewertet. Dabei wird der zumindest eine feststehende Teil (6, 7, 15) des Fahrzeugs (1) erkannt, um die Ansicht einem entsprechenden Bereich des Innenraums (2) des Fahrzeugs (1) zuzuordnen. Außerdem wird eine Konfiguration der zumindest einen beweglichen Komponente (9, 10, 11, 12, 13, 14) des Innenraums (2) in dem der Ansicht zugeordneten Bereich des Innenraums (2) des Fahrzeugs (1) erkannt. A method for recognizing a configuration of an interior (2) of a vehicle (1). In the method, image data is captured using at least one image capture device (3), the image data representing a view of the interior (2) of the vehicle (1), the view representing at least a fixed part (6, 7, 15) of the vehicle (1). and at least partially contains at least one movable component (9, 10, 11, 12, 13, 14) of the interior (2) of the vehicle (1). The image data is evaluated. The at least one fixed part (6, 7, 15) of the vehicle (1) is recognized in order to assign the view to a corresponding area of the interior (2) of the vehicle (1). In addition, a configuration of the at least one movable component (9, 10, 11, 12, 13, 14) of the interior (2) is recognized in the area of the interior (2) of the vehicle (1) assigned to the view.
Description
Die vorliegende Erfindung betrifft ein Verfahren sowie ein System zum Erkennen einer Konfiguration eines Innenraums eines Fahrzeugs. Insbesondere basiert die Erkennung der Innenraumkonfiguration auf Bilddaten, die mittels einer Bilderfassungseinrichtung, wie einer Kamera, im Innenraum des Fahrzeugs erfasst werden.The present invention relates to a method and a system for recognizing a configuration of an interior of a vehicle. In particular, the recognition of the interior configuration is based on image data that is captured in the interior of the vehicle using an image capture device, such as a camera.
Es kann in verschiedenen Situationen in einem Fahrzeug erforderlich oder wünschenswert sein, eine Konfiguration des Innenraums festzustellen. Insbesondere können die Sitze eines Fahrzeugs verstellt werden, es können die Sitzlehnen nach hinten gestellt werden oder es können Tische oder andere bewegliche Komponenten ausgeklappt oder ausgefahren werden. Mit der Umsetzung von Level 3 bis Level 5 Fahrerassistenzfunktionen (insbesondere bei Level 4 oder Level 5) können während der Fahrt auch weitere Variationen von Sitzeinstellungen möglich sein, beispielsweise könnten die Sitze zum Fahrzeuginneren gedreht werden. Dadurch bedingt müssen je nach Konfiguration der Innenraumkomponenten bestimmte Airbags ausgelöst bzw. unterdrückt werden. Zum Beispiel muss der Frontairbag bei gedrehten Vordersitzen deaktiviert werden. Bei zurückgelegter Sitzlehne muss beispielsweise ein anderer Airbag aktiviert werden als bei gerader Sitzlehneneinstellung. Die Erkennung dieser Fahrzeuginnenraumkonfiguration benötigt üblicherweise in jeder beweglichen Innenraumkomponente einen Sensor, wie einen Positionssensor (z.B. Hall-Sensor oder Potentiometer), um die Position der Innenraumkomponenten, wie auch ein Einrasten von Komponenten zu erkennen (z.B. bei Sitzdrehung, Umklappen von Lehnen etc.).It may be necessary or desirable to determine an interior configuration in various situations in a vehicle. In particular, the seats of a vehicle can be adjusted, the seat backs can be moved backwards, or tables or other movable components can be folded out or extended. With the implementation of
Eine Erkennung von Veränderungen im Innenraum eines Fahrzeugs, beispielweise auch eine Erkennung von Sitzplatzbelegungen kann kamerabasiert erfolgen. In vielen verschiedenen technischen Anwendungen stellt sich die Aufgabe, Bilddaten, also Daten die ein Bild oder eine Abfolge von Bildern, wie etwa ein Video, repräsentieren, dahingehend zu analysieren, ob und gegebenenfalls welche Objekte in dem bzw. den Bildern abgebildet sind. Auch das Erkennen von Bewegungen oder Veränderungen solcher Objekte auf Basis solcher Bilder bzw. Bilddaten sind regelmäßig von Interesse. Entsprechende Kameras können dazu fest im Innenraum eines Fahrzeugs moniert sein, um eine definierte Ansicht des Innenraums zu erfassen. Entsprechende Bilddaten können dann ausgewertet werden. Eine Kamera kann beispielsweise im Armaturenbrett vorgesehen sein, wo Teile des Innenraums jedoch durch Teile des Fahrzeugs oder Fahrzeuginsassen verdeckt sein können. Sichtbare, im Innenraum eines Fahrzeugs angebrachte Kameras sind jedoch oftmals kundenseitig nicht erwünscht.Detection of changes in the interior of a vehicle, for example detection of seat occupancy, can be camera-based. In many different technical applications, the task is to analyze image data, i.e. data that represents an image or a sequence of images, such as a video, to determine whether and, if so, which objects are depicted in the image(s). Detecting movements or changes in such objects based on such images or image data is also regularly of interest. Corresponding cameras can be permanently installed in the interior of a vehicle in order to capture a defined view of the interior. Corresponding image data can then be evaluated. For example, a camera can be provided in the dashboard, where parts of the interior can, however, be obscured by parts of the vehicle or vehicle occupants. However, visible cameras installed in the interior of a vehicle are often not desired by customers.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, die Erkennung einer Konfiguration eines Innenraums eines Fahrzeugs weiter zu verbessern. Insbesondere soll die Erkennung ohne spezielle Sensorik in den einzelnen beweglichen Komponenten im Innenraum des Fahrzeugs erfolgen.The present invention is based on the object of further improving the recognition of a configuration of an interior of a vehicle. In particular, the detection should take place without special sensors in the individual moving components in the interior of the vehicle.
Die Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.The solution to this problem is achieved in accordance with the teaching of the independent claims. Various embodiments and developments of the invention are the subject of the subclaims.
Ein erster Aspekt der Erfindung betrifft ein, insbesondere computerimplementiertes, Verfahren zum Erkennen einer Konfiguration eines Innenraums eines Fahrzeugs. Bei dem Verfahren werden mittels zumindest einer Bilderfassungseinrichtung Bilddaten erfasst, wobei die Bilddaten eine Ansicht des Innenraums des Fahrzeugs repräsentieren, wobei die Ansicht zumindest einen feststehenden Teil des Fahrzeugs und zumindest eine bewegliche Komponente des Innenraums des Fahrzeugs jeweils zumindest teilweise enthält. Die Bilddaten werden ausgewertet. Dabei wird der zumindest eine feststehende Teil des Fahrzeugs erkannt, um die Ansicht einem entsprechenden Bereich des Innenraums des Fahrzeugs zuzuordnen. Außerdem wird eine Konfiguration der zumindest einen beweglichen Komponente des Innenraums in dem der Ansicht zugeordneten Bereich des Innenraums des Fahrzeugs erkannt.A first aspect of the invention relates to a method, in particular a computer-implemented one, for recognizing a configuration of an interior of a vehicle. In the method, image data is captured by means of at least one image capture device, the image data representing a view of the interior of the vehicle, the view each at least partially containing at least a fixed part of the vehicle and at least one movable component of the interior of the vehicle. The image data is evaluated. The at least one fixed part of the vehicle is recognized in order to assign the view to a corresponding area of the interior of the vehicle. In addition, a configuration of the at least one movable component of the interior is recognized in the area of the interior of the vehicle associated with the view.
Das vorgenannte Verfahren nach dem ersten Aspekt beruht folglich insbesondere darauf, dass Bilddaten ausgewertet werden, die mittels einer Bilderfassungseinrichtung, wie einer Kamera erfasst werden. Die Bilderfassungseinrichtung nimmt eine Ansicht des Innenraums auf, aus der eine Konfiguration einer beweglichen Komponente im Innenraum erkannt werden kann. Es kann eine zuverlässige Erkennung der Konfiguration der beweglichen Komponente erreicht werden, indem auch ein feststehender Teil des Fahrzeugs erkannt wird. Die Bildauswertung kann sich an dem feststehenden Teil des Fahrzeugs orientieren.The aforementioned method according to the first aspect is therefore based in particular on evaluating image data that is captured using an image capture device, such as a camera. The image capture device records a view of the interior from which a configuration of a movable component in the interior can be recognized. Reliable detection of the configuration of the moving component can be achieved by also detecting a stationary part of the vehicle. The image evaluation can be based on the stationary part of the vehicle.
Beim Auswerten der Bilddaten wird die von der Bilderfassungseinrichtung aufgenommene Ansicht verwendet, wobei z.B. mit einem Machine-Learning oder einem klassischen Bilderkennungsansatz die Konfiguration der einzelnen Komponenten erkannt werden kann. Dabei kann das Verfahren auf feststehende Teile des Fahrzeugs und damit unveränderliche Teile zurückgreifen und auf die Konfiguration der beweglichen Komponente(n) schließen. Es sind keine speziellen Sensoren (z.B. Hall-Sensoren) im Innenraum bzw. in den einzelnen beweglichen Komponenten des Innenraums, beispielsweise in den Sitzen notwendig. Da das Verfahren feststehende Teile des Fahrzeugs mit einbezieht, sind beispielsweise auch keine extra Messmarkierungen an den beweglichen Komponenten im Innenraum oder anderswo im Innenraum des Fahrzeugs notwendig.When evaluating the image data, the view recorded by the image capture device is used, with the configuration of the individual components being able to be recognized, for example using machine learning or a classic image recognition approach. The method can rely on fixed parts of the vehicle and thus unchangeable parts and draw conclusions about the configuration of the moving component(s). No special sensors (e.g. Hall sensors) are necessary in the interior or in the individual moving components of the interior, for example in the seats. Since the method involves fixed parts of the vehicle, there are no extra measurement marks, for example ments on the moving components in the interior or elsewhere in the interior of the vehicle are necessary.
Der hier verwendete Begriff „Fahrzeug“ bezieht sich insbesondere auf einen Pkw, einschließlich aller Arten von Kraftfahrzeugen, Hybrid- und batteriebetriebenen Elektrofahrzeugen sowie Fahrzeuge wie Vans, Busse, Lkw, Lieferwagen und dergleichen.As used herein, the term “vehicle” specifically refers to a passenger car, including all types of motor vehicles, hybrid and battery-powered electric vehicles, as well as vehicles such as vans, buses, trucks, delivery trucks and the like.
Unter dem Begriff „Konfiguration eines Innenraums eines Fahrzeugs“ (gleichbedeutend mit „Innenraumkonfiguration eines Fahrzeugs“, „Konfiguration eines Fahrzeuginnenraums“ oder „Fahrzeuginnenraumkonfiguration“), wie hierin verwendet, ist insbesondere eine Anordnung von Innenraumkomponenten, insbesondere einschließlich ihrer Position und Orientierung im Raum, d.h. in einem Fahrzeugkoordinatensystem, zu verstehen. Dies kann insbesondere ihre absolute Position und/oder Orientierung im Raum und ihre relative Position und/oder Orientierung bezüglich anderer Komponenten des Fahrzeugs bzw. des Fahrzeuginnenraums mit einschließen. Der Begriff kann die Konfiguration einer einzelnen Komponente sowie auch einer Mehrzahl von Komponenten beinhalten.The term “configuration of an interior of a vehicle” (equivalent to “interior configuration of a vehicle”, “configuration of a vehicle interior” or “vehicle interior configuration”), as used herein, is in particular an arrangement of interior components, in particular including their position and orientation in space, i.e. in a vehicle coordinate system. This can in particular include their absolute position and/or orientation in space and their relative position and/or orientation with respect to other components of the vehicle or the vehicle interior. The term can include the configuration of a single component as well as a plurality of components.
Der hier verwendete Begriff „Bilderfassungseinrichtung“ bezieht sich insbesondere auf eine Kamera, insbesondere eine Digitalkamera. Die Kamera kann Standbilder (Fotos) oder bewegte Bilder (Videos) aufnehmen. Die Bilderfassungseinrichtung kann ein derartiges Bild erfassen oder aufnehmen und entsprechende Bilddaten ausgeben.The term “image capture device” used here refers in particular to a camera, in particular a digital camera. The camera can capture still images (photos) or moving images (videos). The image capture device can capture or record such an image and output corresponding image data.
Der Begriff „Ansicht“, wie hierin verwendet, bezieht sich insbesondere auf ein Sichtfeld der Bilderfassungseinrichtung. Mit anderen Worten, die Ansicht zeigt denjenigen Bereich des Fahrzeuginnenraums, der mittels der Bilderfassungseinrichtung aufgenommen werden kann. Die Ansicht kann sich beispielsweise ändern, wenn die Bilderfassungs-einrichtung bewegt wird. Die Ansicht ist einem Bereich des Innenraums des Fahrzeugs zugeordnet, nämlich demjenigen Bereich, welcher in der Ansicht sichtbar ist. Die Ansicht kann zweidimensional oder dreidimensional sein.The term “view” as used herein refers in particular to a field of view of the image capture device. In other words, the view shows that area of the vehicle interior that can be recorded using the image capture device. The view can change, for example, when the image capture device is moved. The view is assigned to an area of the interior of the vehicle, namely the area that is visible in the view. The view can be two-dimensional or three-dimensional.
Der Begriff „feststehender Teil (des Fahrzeugs)“, wie hierin verwendet, bezieht sich insbesondere auf solche Teile des Fahrzeugs, die nicht verändert oder bewegt werden können. Dies können beispielsweise Teile der Karosserie des Fahrzeugs, wie die A-Säule oder B-Säule des Fahrzeugs sein. Auch können Teile des Innenraums feststehend sein, wie die Mittelkonsole oder auch feste Strukturen oder Elemente am Boden oder der Innenverkleidung.The term “fixed part (of the vehicle)” as used herein refers in particular to those parts of the vehicle that cannot be changed or moved. These can be, for example, parts of the vehicle body, such as the A-pillar or B-pillar of the vehicle. Parts of the interior can also be fixed, such as the center console or fixed structures or elements on the floor or the interior paneling.
Der Begriff „bewegliche Komponente (des Innenraums des Fahrzeugs)“, wie hierin verwendet, bezieht sich insbesondere auf Komponenten des Innenraums, welche insbesondere durch Bedienung oder Betätigung (manuell oder automatisch) im Innenraum bewegt werden können, d.h. deren Position und/oder Orientierung im Raum veränderbar ist, insbesondere relativ zu feststehenden Teilen des Fahrzeugs. Dies kann auch Veränderungen beinhalten, die die Form der Komponente betreffen.The term “movable component (of the interior of the vehicle)”, as used herein, refers in particular to components of the interior which can be moved in the interior in particular by operation or actuation (manually or automatically), i.e. their position and/or orientation in the interior Space can be changed, in particular relative to fixed parts of the vehicle. This may also include changes affecting the shape of the component.
Die hierein gegebenenfalls verwendeten Begriffe „umfasst“, „beinhaltet“, „schließt ein“, „weist auf“, „hat“, „mit“, oder jede andere Variante davon sollen eine nicht ausschließliche Einbeziehung abdecken. So ist beispielsweise ein Verfahren oder eine Vorrichtung, die eine Liste von Elementen umfasst oder aufweist, nicht notwendigerweise auf diese Elemente beschränkt, sondern kann andere Elemente einschließen, die nicht ausdrücklich aufgeführt sind oder die einem solchen Verfahren oder einer solchen Vorrichtung inhärent sind.The terms “comprises,” “includes,” “includes,” “has,” “has,” “with,” or any other variation thereof, as may be used herein, are intended to cover non-exclusive inclusion. For example, a method or device that includes or has a list of elements is not necessarily limited to those elements, but may include other elements that are not expressly listed or that are inherent to such method or device.
Ferner bezieht sich „oder“, sofern nicht ausdrücklich das Gegenteil angegeben ist, auf ein inklusives oder und nicht auf ein exklusives „oder“. Zum Beispiel wird eine Bedingung A oder B durch eine der folgenden Bedingungen erfüllt: A ist wahr (oder vorhanden) und B ist falsch (oder nicht vorhanden), A ist falsch (oder nicht vorhanden) und B ist wahr (oder vorhanden), und sowohl A als auch B sind wahr (oder vorhanden).Furthermore, unless expressly stated to the contrary, “or” refers to an inclusive or and not an exclusive “or”. For example, a condition A or B is satisfied by one of the following conditions: A is true (or present) and B is false (or absent), A is false (or absent) and B is true (or present), and both A and B are true (or present).
Die Begriffe „ein“ oder „eine“, wie sie hier verwendet werden, sind im Sinne von „ein/eine oder mehrere“ definiert. Die Begriffe „ein anderer“ und „ein weiterer“ sowie jede andere Variante davon sind im Sinne von „zumindest ein Weiterer“ zu verstehen.The terms “a” or “an” as used herein are defined to mean “one or more”. The terms “another” and “another” as well as any other variant thereof are to be understood in the sense of “at least one further”.
Der Begriff „Mehrzahl“, wie er hier verwendet wird, ist im Sinne von „zwei oder mehr“ zu verstehen.The term “plural” as used herein is to be understood in the sense of “two or more”.
Unter dem Begriff „konfiguriert“ oder „eingerichtet“ eine bestimmte Funktion zu erfüllen, (und jeweiligen Abwandlungen davon) ist im Sinne der Erfindung zu verstehen, dass die entsprechende Vorrichtung bereits in einer Ausgestaltung oder Einstellung vorliegt, in der sie die Funktion ausführen kann oder sie zumindest so einstellbar - d.h. konfigurierbar - ist, dass sie nach entsprechender Einstellung die Funktion ausführen kann. Die Konfiguration kann dabei beispielsweise über eine entsprechende Einstellung von Parametern eines Prozessablaufs oder von Schaltern oder ähnlichem zur Aktivierung bzw. Deaktivierung von Funktionalitäten bzw. Einstellungen erfolgen. Insbesondere kann die Vorrichtung mehrere vorbestimmte Konfigurationen oder Betriebsmodi aufweisen, so dass das Konfigurieren mittels einer Auswahl einer dieser Konfigurationen bzw. Betriebsmodi erfolgen kann.For the purposes of the invention, the term “configured” or “set up” to fulfill a specific function (and respective modifications thereof) means that the corresponding device is already in a configuration or setting in which it can carry out the function or it is at least so adjustable - ie configurable - that it can carry out the function after the appropriate setting. The configuration can be carried out, for example, by appropriately setting parameters of a process flow or switches or the like to activate or deactivate functionalities or settings. In particular, the device can have several predetermined configurations or operating modes, so that configuring can be done by selecting one of these configurations or operating modes.
Nachfolgend werden bevorzugte Ausführungsformen des Verfahrens beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der Erfindung kombiniert werden können.Preferred embodiments of the method are described below, which can be combined in any way with each other and with the other aspects of the invention described, unless this is expressly excluded or is technically impossible.
Bei einigen Ausführungsformen umfasst die erkannte Konfiguration der zumindest einen beweglichen Komponente eine absolute Position und Orientierung der beweglichen Komponente in dem der Ansicht zugeordneten Bereich des Innenraums des Fahrzeugs bezüglich eines dreidimensionalen Koordinatensystems. Mit anderen Worten, eine bewegliche Komponente kann im Fahrzeuginnenraum bezüglich sechs Freiheitsgraden bestimmt werden. Dies umfasst Verschiebungen entlang dreier Achsen, beispielsweise einer x-, y- und z-Achse in einem orthogonalen Koordinatensystem, wie einem Fahrzeugkoordinatensystem, sowie Rotationen um diese drei Achsen. Es kann dadurch eine genaue Erkennung der Konfiguration der beweglichen Komponente bereitgestellt werden.In some embodiments, the recognized configuration of the at least one movable component includes an absolute position and orientation of the movable component in the area of the interior of the vehicle associated with the view with respect to a three-dimensional coordinate system. In other words, a moving component can be determined in the vehicle interior with respect to six degrees of freedom. This includes translations along three axes, such as an x, y, and z axis in an orthogonal coordinate system, such as a vehicle coordinate system, as well as rotations about these three axes. This can provide accurate recognition of the configuration of the movable component.
Bei einigen Ausführungsformen umfasst die erkannte Konfiguration der zumindest einen beweglichen Komponente eine relative Position und Orientierung der beweglichen Komponente bezüglich zumindest eines feststehenden Teils des Fahrzeugs. Eine vorteilhafte Erkennung der Konfiguration der beweglichen Komponente kann bereitgestellt werden, wenn die Konfiguration relativ zu feststehenden Teilen des Fahrzeugs erkannt wird. Beispielsweise kann so festgestellt werden, wie weit eine geneigte Sitzlehne von einer (geschlossenen) Tür, einer Innenverkleidung oder dem Armaturenbrett des Fahrzeugs entfernt ist.In some embodiments, the recognized configuration of the at least one movable component includes a relative position and orientation of the movable component with respect to at least a stationary part of the vehicle. Advantageous recognition of the configuration of the movable component can be provided when the configuration is recognized relative to stationary parts of the vehicle. For example, it can be determined how far a tilted seat back is from a (closed) door, an interior panel or the dashboard of the vehicle.
Bei einigen Ausführungsformen umfasst die bewegliche Komponente zumindest einen Sitz des Fahrzeugs, wobei die erkannte Konfiguration zumindest eines aus einer Sitzposition, Sitzrotation und einer Neigung (bzw. einem Neigungswinkel) einer Lehne des Sitzes umfasst. Die Sitze eines Fahrzeugs lassen sich üblicherweise verstellen. Dies betrifft insbesondere den Fahrersitz und den Beifahrersitz. Beispielsweise kann ein Sitz verschiebbar und in der Höhe verstellbar sein. Auch kann die Sitzlehne verstellt werden. Im Kontext des autonomen Fahrens kann es auch möglich sein, die Sitze, insbesondere den Fahrersitz und Beifahrersitz, zu drehen oder zu schwenken, so dass sie in Richtung der Fahrzeugmitte bzw. entgegen der Fahrtrichtung weisen. Das Erkennen einer solchen Konfiguration kann für gewisse Fahrzeugfunktionen, wie unten näher erläutert, von Bedeutung sein. Es kann auch von Interesse sein, zu erkennen, ob die Lehne einer Rückbank umgeklappt ist, sei es ganz oder teilweise. Wie die Vordersitze können in einigen Fahrzeugen auch die Rücksitze entsprechend verstellbar sein.In some embodiments, the movable component includes at least one seat of the vehicle, wherein the recognized configuration includes at least one of a seating position, seat rotation, and a tilt (or tilt angle) of a back of the seat. The seats of a vehicle can usually be adjusted. This particularly applies to the driver's seat and the passenger seat. For example, a seat can be movable and adjustable in height. The seat back can also be adjusted. In the context of autonomous driving, it may also be possible to rotate or pivot the seats, in particular the driver's seat and front passenger seat, so that they point towards the center of the vehicle or against the direction of travel. Detecting such a configuration may be important for certain vehicle functions, as explained in more detail below. It may also be of interest to see whether the backrest of a rear seat is folded down, either fully or partially. Like the front seats, the rear seats in some vehicles can also be adjusted accordingly.
Bei einigen Ausführungsformen umfasst die bewegliche Komponente zumindest ein Zubehörteil des Fahrzeugs, wobei die erkannte Konfiguration eine Position und/oder Orientierung des Zubehörteils im Innenraum des Fahrzeugs umfasst. Neben den Sitzen können auch weitere Komponenten im Innenraum beweglich sein, was ebenfalls für das Steuern einer Fahrzeugfunktion relevant sein kann, beispielsweise wenn die bewegliche Zubehörkomponente für eine bestimmte Fahrzeugfunktion im Weg sein kann. Es kann sich beispielsweise um Zubehörteile von Sitzen, wie eine Armlehne eines Sitzes oder eine bewegliche Fußstütze, einen schwenkbaren oder klappbaren Tisch, ein schwenkbares oder klappbares Display, oder andere bewegliche Zubehörteile handeln.In some embodiments, the movable component includes at least one accessory of the vehicle, wherein the recognized configuration includes a position and/or orientation of the accessory within the interior of the vehicle. In addition to the seats, other components in the interior can also be movable, which can also be relevant for controlling a vehicle function, for example if the movable accessory component can get in the way for a specific vehicle function. For example, they can be accessories of seats, such as an armrest of a seat or a movable footrest, a swivel or foldable table, a swivel or foldable display, or other movable accessories.
Bei einigen Ausführungsformen erfolgt durch das Erkennen des zumindest einen feststehenden Teils eine Kalibrierung der Bilderfassungseinrichtung. Dies ist insbesondere dann vorteilhaft, wenn die Bilderfassungseinrichtung beweglich ist und nicht über einen eigenen Positionssensor verfügt. Eine (Auto-)Kalibrierung kann dann einfach anhand des Bildes erfolgen, welches die Bilderfassungseinrichtung aufnimmt, da die Konfiguration von den feststehenden Teilen des Fahrzeugs unveränderlich und bekannt ist, beispielsweise die Position, Orientierung, Form und dergleichen.In some embodiments, the image capture device is calibrated by recognizing the at least one fixed part. This is particularly advantageous if the image capture device is movable and does not have its own position sensor. An (auto) calibration can then simply be carried out based on the image that the image capture device records, since the configuration of the stationary parts of the vehicle is unchangeable and known, for example the position, orientation, shape and the like.
Bei einigen Ausführungsformen wird durch das Erkennen des zumindest einen feststehenden Teils eine Position und/oder Orientierung der Bilderfassungseinrichtung im Innenraum des Fahrzeugs bestimmt. Dies kann auch der Kalibrierung dienen. Beispielsweise kann so auf einfache Weise eine Nullstellung der Bilderfassungseinrichtung bestimmt werden, um die Erkennung der Konfiguration der beweglichen Komponenten im Fahrzeuginnenraum zu erleichtern.In some embodiments, recognizing the at least one fixed part determines a position and/or orientation of the image capture device in the interior of the vehicle. This can also be used for calibration. For example, a zero position of the image capture device can be determined in a simple manner in order to make it easier to recognize the configuration of the movable components in the vehicle interior.
Bei einigen Ausführungsformen umfasst das Verfahren ein Abgleichen der Bilddaten mit (dreidimensionalen) Konstruktionsdaten Fahrzeugs, insbesondere des Innenraums des Fahrzeugs. Dies können beispielsweise CAD-Daten des Fahrzeugs sein. Diese Daten sind bekannt und können ein dreidimensionales Modell des Fahrzeugs repräsentieren. Durch einen Abgleich dieses bekannten Modells des Fahrzeugs mit den Bilddaten können auf einfache Weise feststehende Teile des Fahrzeugs und auch bewegliche Komponenten erkannt werden, auch wenn diese beispielsweise nicht vollständig in der Ansicht enthalten sind. Bei den beweglichen Komponenten kann insbesondere berücksichtigt werden, dass diese nicht beliebig beweglich sind, sondern nur in einem vorgegebenen Bereich. Beispielsweise lässt sich ein Sitz üblicherweise nicht beliebig verschieben, sondern nur über eine gewisse Strecke. Auch kann eine Sitzlehne üblicherweise nur in einem bestimmten Winkelbereich bewegt werden. Dies kann derartigen Konstruktionsdaten entnommen werden.In some embodiments, the method includes comparing the image data with (three-dimensional) construction data of the vehicle, in particular the interior of the vehicle. This can be, for example, CAD data of the vehicle. This data is known and can represent a three-dimensional model of the vehicle. By comparing this known model of the vehicle with the image data, stationary parts of the vehicle and also moving components can be easily recognized, even if these are not completely included in the view, for example. Particular consideration can be given to the moving components that these cannot be moved arbitrarily, but only within a specified area. For example, a seat usually cannot be moved arbitrarily, but only over a certain distance. A seat back can usually only be moved within a certain angular range. This can be seen from such design data.
Bei einigen Ausführungsformen wird abhängig von der erkannten Konfiguration der zumindest einen beweglichen Komponente zumindest eine Signalquelle angesteuert, um die Signalquelle zu veranlassen, in Abhängigkeit von der Ansteuerung ein definiertes Signal auszugeben. Dadurch kann eine Fahrzeugfunktion ausgeführt, aktiviert oder deaktiviert werden. Beispielsweise kann abhängig von der Konfiguration der zumindest einen beweglichen Komponente bestimmt werden, ob ein bestimmter Airbag im Crashfall ausgelöst bzw. unterdrückt wird. Beispielsweise kann ein Fahrerairbag deaktiviert werden, wenn der Fahrersitz gedreht wird. Es kann auch möglich sein, einen bestimmten Airbag zu deaktivieren, wenn beispielsweise ein Display ausgeklappt wird, sodass es in den Auslösebereich des Airbags gelangt. Umgekehrt kann ein solcher Airbag aktiviert werden, wenn das Display wieder eingeklappt wird. Ein weiteres Beispiel kann die Steuerung einer Fahrzeuglüftung sein, die abhängig von der Konfiguration der Sitze erfolgt.In some embodiments, at least one signal source is activated depending on the recognized configuration of the at least one movable component in order to cause the signal source to output a defined signal depending on the activation. This allows a vehicle function to be executed, activated or deactivated. For example, depending on the configuration of the at least one movable component, it can be determined whether a specific airbag is triggered or suppressed in the event of a crash. For example, a driver's airbag can be deactivated when the driver's seat is rotated. It may also be possible to deactivate a specific airbag, for example if a display is folded out so that it comes into the deployment area of the airbag. Conversely, such an airbag can be activated when the display is folded back in. Another example could be the control of vehicle ventilation, which depends on the configuration of the seats.
Bei einigen Ausführungsformen enthält die Ansicht mehrere bewegliche Komponenten des Innenraums des Fahrzeugs jeweils zumindest teilweise, wobei eine Konfiguration aller der in der Ansicht enthaltenen beweglichen Komponenten erkannt wird. Die beweglichen Komponenten können dabei ganz oder auch nur teilweise in der Ansicht enthalten sein. Auf diese Weise kann umfassend auf mehrere Änderungen der Konfiguration beweglicher Komponenten im Innenraum reagiert werden. Vorzugsweise enthält die Ansicht alle beweglichen Komponenten (jeweils zumindest teilweise), die für eine bestimmte Fahrzeugfunktion, beispielsweise für das Ansteuern von Airbags, relevant sind. So kann einfach eine gesamte Konfiguration des Fahrzeuginnenraums erkannt werden, ohne dass weitere Sensoren notwendig sind.In some embodiments, the view includes a plurality of movable components of the interior of the vehicle, each at least in part, recognizing a configuration of all of the movable components included in the view. The moving components can be completely or only partially included in the view. In this way, multiple changes in the configuration of moving components in the interior can be comprehensively responded to. The view preferably contains all moving components (each at least partially) that are relevant for a specific vehicle function, for example for activating airbags. This means that an entire configuration of the vehicle interior can be easily recognized without the need for additional sensors.
Ein zweiter Aspekt der Erfindung betrifft ein System zur Datenverarbeitung, aufweisend zumindest einen Prozessor, der so konfiguriert ist, dass er das Verfahren nach dem ersten Aspekt der Erfindung ausführt. Das System weist des Weiteren zumindest eine Bilderfassungseinrichtung auf, welche in einem Innenraum eines Fahrzeugs angebracht und eingerichtet ist, eine Ansicht des Innenraums des Fahrzeugs zu erfassen.A second aspect of the invention relates to a system for data processing, comprising at least one processor configured to carry out the method according to the first aspect of the invention. The system further has at least one image capture device, which is mounted in an interior of a vehicle and is set up to capture a view of the interior of the vehicle.
Bei einigen Ausführungsformen ist die Bilderfassungseinrichtung in einer beweglichen Komponente des Innenraums des Fahrzeugs angeordnet. Dies erlaubt eine flexible Gestaltung des Innenraums. Die Bilderfassungseinrichtung muss nicht in einer festen Position angeordnet sein. Insbesondere durch die Bildauswertung wie oben beschrieben, kann eine Konfiguration einer beweglichen Komponente im Fahrzeuginnenraum auch zuverlässig erkannt werden, wenn die Bilderfassungseinrichtung beweglich ist.In some embodiments, the image capture device is arranged in a movable component of the interior of the vehicle. This allows flexible design of the interior. The image capture device does not have to be arranged in a fixed position. In particular, through the image evaluation as described above, a configuration of a movable component in the vehicle interior can also be reliably recognized if the image capture device is movable.
Bei einigen Ausführungsformen ist die Bilderfassungseinrichtung in einem Innenspiegel des Fahrzeugs angeordnet. Die Anordnung im Innenspiegel ist vorteilhaft, da so eine gute Übersicht über den Innenraum (von vorne oben) erreicht werden kann. Insbesondere wird der Sichtbereich nicht verdeckt, z.B. durch das Lenkrad oder Fahrzeuginsassen, wenn die Bilderfassungseinrichtung beispielsweise im Armaturenbrett angeordnet wäre. Auch kann die Bilderfassungseinrichtung so versteckt angeordnet werden und ist für die Fahrzeuginsassen nicht störend. Bei einer Bewegung des Innenspiegels kann das Verfahren dennoch zuverlässig ausgeführt werden, wie oben erläutert.In some embodiments, the image capture device is arranged in an interior mirror of the vehicle. The arrangement in the interior mirror is advantageous because it allows a good overview of the interior (from the front above). In particular, the viewing area is not obscured, for example by the steering wheel or vehicle occupants, if the image capture device were arranged, for example, in the dashboard. The image capture device can also be arranged hidden and is not disturbing for the vehicle occupants. If the interior mirror moves, the method can still be carried out reliably, as explained above.
Bei einigen Ausführungsformen ist die Bilderfassungseinrichtung eine 2D-Kamera oder eine 3D-Kamera. Entsprechend wird eine zweidimensionale bzw. dreidimensionale Ansicht erfasst. Es kann sich insbesondere um eine Infrarotkamera oder eine Time-of-Flight-Kamera (TOF-Kamera) handeln. Für eine Infrarotkamera (IR oder NIR) kann eine entsprechende Infrarot-Lichtquelle vorgesehen werden, so dass das Verfahren auch bei Dunkelheit zuverlässig ausgeführt werden kann. Bei Verwendung einer TOF-Kamera kann mittels eines Lichtlaufzeitverfahrens eine dreidimensionale Ansicht des Innenraums insbesondere mittels eines PMD-Sensors erfasst werden. Dadurch können Veränderungen der Konfiguration des Innenraums beispielsweise durch Bestimmen von Abständen auf genaue Weise erfasst werden. Es versteht sich, dass die Bilderfassungseinrichtung auch eine Kamera sein kann, welche mit sichtbarem Licht (Tageslicht), insbesondere im RGB-Farbraum arbeitet. Die Bilderfassungseinrichtung kann insbesondere eine Weitwinkelkamera sein, um einen möglichst großen Bereich des Innenraums als Ansicht zu erhalten.In some embodiments, the image capture device is a 2D camera or a 3D camera. Accordingly, a two-dimensional or three-dimensional view is captured. In particular, it can be an infrared camera or a time-of-flight camera (TOF camera). A corresponding infrared light source can be provided for an infrared camera (IR or NIR), so that the method can be carried out reliably even in the dark. When using a TOF camera, a three-dimensional view of the interior can be captured using a time-of-flight method, in particular using a PMD sensor. This allows changes in the configuration of the interior to be accurately recorded, for example by determining distances. It goes without saying that the image capture device can also be a camera that works with visible light (daylight), in particular in the RGB color space. The image capture device can in particular be a wide-angle camera in order to obtain a view of the largest possible area of the interior.
Ein dritter Aspekt der Erfindung betrifft ein Computerprogramm mit Instruktionen, die bei ihrer Ausführung auf einem System nach dem zweiten Aspekt dieses veranlassen, das Verfahren nach dem ersten Aspekt auszuführen.A third aspect of the invention relates to a computer program with instructions which, when executed on a system according to the second aspect, cause the system to carry out the method according to the first aspect.
Das Computerprogramm kann insbesondere auf einem nichtflüchtigen Datenträger gespeichert sein. Bevorzugt ist dies ein Datenträger in Form eines optischen Datenträgers oder eines Flashspeichermoduls. Dies kann vorteilhaft sein, wenn das Computerprogramm als solches unabhängig von einer Prozessorplattform gehandelt werden soll, auf der das ein bzw. die mehreren Programme auszuführen sind. In einer anderen Implementierung kann das Computerprogramm als eine Datei auf einer Datenverarbeitungseinheit, insbesondere auf einem Server vorliegen, und über eine Datenverbindung, beispielsweise das Internet oder eine dedizierte Datenverbindung, wie etwa ein proprietäres oder lokales Netzwerk, herunterladbar sein. Zudem kann das Computerprogramm eine Mehrzahl von zusammenwirkenden einzelnen Programmodulen aufweisen.The computer program can in particular be stored on a non-volatile data carrier. This is preferably a data carrier in the form an optical disk or a flash memory module. This can be advantageous if the computer program as such is to be handled independently of a processor platform on which the one or more programs are to be executed. In another implementation, the computer program can be present as a file on a data processing unit, in particular on a server, and can be downloaded via a data connection, for example the Internet or a dedicated data connection, such as a proprietary or local network. In addition, the computer program can have a plurality of interacting individual program modules.
Das System nach dem zweiten Aspekt kann entsprechend einen Programmspeicher aufweisen, in dem das Computerprogramm abgelegt ist. Alternativ kann das System auch eingerichtet sein, über eine Kommunikationsverbindung auf ein extern, beispielsweise auf einem oder mehreren Servern oder anderen Datenverarbeitungseinheiten verfügbares Computerprogramm zuzugreifen, insbesondere um mit diesem Daten auszutauschen, die während des Ablaufs des Verfahrens bzw. Computerprogramms Verwendung finden oder Ausgaben des Computerprogramms darstellen.The system according to the second aspect can accordingly have a program memory in which the computer program is stored. Alternatively, the system can also be set up to access a computer program available externally, for example on one or more servers or other data processing units, via a communication connection, in particular in order to exchange data with it that are used during the course of the method or computer program or outputs of the computer program represent.
Die in Bezug auf den ersten Aspekt der Erfindung erläuterten Merkmale und Vorteile gelten entsprechend auch für die weiteren Aspekte der Erfindung. Dies gilt ebenso für die in Bezug auf den zweiten Aspekt der Erfindung erläuterten Merkmale und Vorteile.The features and advantages explained in relation to the first aspect of the invention also apply accordingly to the further aspects of the invention. This also applies to the features and advantages explained in relation to the second aspect of the invention.
Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden detaillierten Beschreibung im Zusammenhang mit den Zeichnungen.Further advantages, features and possible applications of the present invention emerge from the following detailed description in conjunction with the drawings.
Dabei zeigt:
-
1 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform; und -
2 eine Ansicht eines Fahrzeuginnenraums.
-
1 a flowchart of a method according to an embodiment; and -
2 a view of a vehicle interior.
In den Figuren werden durchgängig dieselben Bezugszeichen für dieselben oder einander entsprechenden Elemente der Erfindung verwendet.In the figures, the same reference numerals are used throughout for the same or corresponding elements of the invention.
In
In einem Schritt S1 wird zunächst eine Ansicht des Innenraums 2 mit einer Kamera 3 aufgenommen und entsprechende Bilddaten zur weiteren Verarbeitung durch das System erfasst. Die Kamera kann eine Infrarotkamera mit einer entsprechenden Infrarotlichtquelle sein, was die Ausführung im Dunkeln ermöglicht. Die Kamera 3 kann auch eine 3D-Kamera, wie eine TOF-Kamera sein, welche eine dreidimensionale Ansicht des Fahrzeuginnenraums 2 liefert.In a step S1, a view of the interior 2 is first recorded with a
Die Kamera 3 kann in einem Innenspiegel 4 des Fahrzeugs 1 angeordnet sein. So kann die Kamera 3 diskret im Innenraum 2 angeordnet werden. Da der Innenspiegel 4 üblicherweise beweglich ist, erfolgt eine Kalibrierung der Kamera 3. Dazu ist vorgesehen, dass die aufgenommene Ansicht des Innenraums 2 auch feststehende Teile des Fahrzeugs erfasst. Dies können Teile der Karosserie oder Innenverkleidung sein, wie beispielsweise die A-Säule 7, die B-Säule 8 oder die Mittelkonsole 15.The
Die Ansicht enthält zudem bewegliche Komponenten des Fahrzeuginnenraums 2, deren Konfiguration bestimmt werden soll. Dies können die Sitze des Fahrzeugs sein, wie der Fahrersitz 11, der Beifahrersitz 12, und Rücksitze 13, 14. Die Position und/oder Orientierung der Sitze 11, 12, 13, 14 kann veränderbar sein, einschließlich beispielsweise der Neigung der jeweiligen Sitzlehnen. Bewegliche Komponenten des Innenraums 2 können auch Zubehörteile im Innenraum 2 sein, wie beispielsweise ein klappbares Display 9 oder ein klappbarer Tisch 10.The view also contains movable components of the vehicle interior 2, the configuration of which is to be determined. These may be the seats of the vehicle, such as the driver's seat 11, the passenger seat 12, and rear seats 13, 14. The position and/or orientation of the seats 11, 12, 13, 14 may be changeable, including, for example, the inclination of the respective seat backs. Movable components of the interior 2 can also be accessories in the interior 2, such as a foldable display 9 or a foldable table 10.
In einem Schritt S2 werden die Bilddaten ausgewertet. Dabei werden die feststehenden Teile und beweglichen Komponenten in der Ansicht erkannt. Beispielsweise mit Hilfe von CAD-Daten kann anhand der feststehenden Teile, wie der A-Säule 7, der B-Säule 8 oder der Mittelkonsole 15 die Position und Orientierung der Kamera 3 im Fahrzeugkoordinatensystem auf einfache Weise bestimmt werden. Aus der Ansicht können dann durch weitere Bildauswertung, beispielsweise durch Computervision (d.h. maschinellem Sehen) oder durch einfache Bilderkennung, die Konfiguration der beweglichen Komponenten erkannt werden, d.h. der Sitze 11, 12, 13, 14 oder weiteren Komponenten, wie dem Display 9 oder dem Tisch 10 (Schritt S3).In a step S2, the image data is evaluated. The fixed parts and moving components are recognized in the view. For example, with the help of CAD data, the position and orientation of the
Abhängig von der erkannten Innenraumkonfiguration können dann verschiedene Fahrzeugfunktionen angesteuert werden (Schritt S4). Insbesondere können bestimmte Airbags aktiviert oder deaktiviert werden.Depending on the detected interior configuration, various vehicle functions can then be controlled (step S4). In particular, certain airbags can be activated or deactivated.
Während vorhergehend wenigstens eine beispielhafte Ausführungsform beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtlimitierende Beispiele darstellen, und es nicht beabsichtigt ist, dadurch den Umfang, die Anwendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorhergehende Beschreibung dem Fachmann eine Anleitung zur Implementierung mindestens einer beispielhaften Ausführungsform liefern, wobei sich versteht, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der in einer beispielhaften Ausführungsform beschriebenen Elemente vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird.While at least one exemplary embodiment has been described above, it should be noted that a large number of variations exist. It should also be noted that the exemplary embodiments described are only non-limiting examples and are not intended to limit the scope, applicability, or configuration of the devices and methods described herein. Rather, the foregoing description will provide guidance to those skilled in the art for implementing at least one exemplary embodiment, with the understanding that various changes in the operation and arrangement of the elements described in an exemplary embodiment may be made without departing from that set forth in the appended claims the specified subject matter and its legal equivalents are deviated from.
BEZUGSZEICHENLISTEREFERENCE SYMBOL LIST
- 100100
- Verfahren zur Erkennung einer Fahrzeuginnenraumkonfiguration Method for recognizing a vehicle interior configuration
- 11
- Fahrzeugvehicle
- 22
- FahrzeuginnenraumVehicle interior
- 33
- Kameracamera
- 44
- InnenspiegelInterior mirror
- 55
- Prozessorprocessor
- 66
- SpeicherStorage
- 77
- feststehender Fahrzeugteil (A-Säule)fixed vehicle part (A-pillar)
- 88th
- feststehender Fahrzeugteil (B-Säule)fixed vehicle part (B-pillar)
- 99
- klappbares Displayfoldable display
- 1010
- klappbarer Tischfolding table
- 1111
- FahrersitzDriver's seat
- 1212
- BeifahrersitzPassenger seat
- 1313
- Rücksitz linksBack seat on the left
- 1414
- Rücksitz rechtsBack seat on the right
- 1515
- MittelkonsoleCenter console
Claims (15)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022121614.4A DE102022121614A1 (en) | 2022-08-26 | 2022-08-26 | METHOD AND SYSTEM FOR DETECTING AN INTERIOR CONFIGURATION OF A VEHICLE |
PCT/EP2023/062742 WO2024041766A1 (en) | 2022-08-26 | 2023-05-12 | Method and system for identifying an interior space configuration of a vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022121614.4A DE102022121614A1 (en) | 2022-08-26 | 2022-08-26 | METHOD AND SYSTEM FOR DETECTING AN INTERIOR CONFIGURATION OF A VEHICLE |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102022121614A1 true DE102022121614A1 (en) | 2024-02-29 |
Family
ID=86424796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102022121614.4A Pending DE102022121614A1 (en) | 2022-08-26 | 2022-08-26 | METHOD AND SYSTEM FOR DETECTING AN INTERIOR CONFIGURATION OF A VEHICLE |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102022121614A1 (en) |
WO (1) | WO2024041766A1 (en) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19904737A1 (en) | 1999-02-05 | 2000-08-10 | Volkswagen Ag | Interior sensing arrangement for position parameters in motor vehicle has relatively large light generator/evaluation unit mounted separately from sensor elements in suitably large vol. |
WO2002040320A1 (en) | 2000-11-14 | 2002-05-23 | Siemens Aktiengesellschaft | Method and device for determining whether the interior of a vehicle is occupied |
EP1323591A2 (en) | 2001-11-29 | 2003-07-02 | DaimlerChrysler AG | Method of monitoring the interior of a vehicle and vehicle with at least one camera in the interior |
WO2007003556A1 (en) | 2005-07-05 | 2007-01-11 | Robert Bosch Gmbh | Vehicle system |
DE102010044174A1 (en) | 2010-08-12 | 2012-02-16 | Johnson Controls Gmbh | Method for seat load detection in vehicle interior, involves recording image that is deposited as reference image of vehicle seats arranged in vehicle interior in unoccupied state by image capturing unit |
DE102012208644A1 (en) | 2011-11-23 | 2013-05-23 | Johnson Controls Gmbh | Device and method for adjusting a seating position |
DE102015010243A1 (en) | 2015-08-04 | 2016-03-17 | Daimler Ag | Seat system for a vehicle, in particular a passenger car |
DE102018106687A1 (en) | 2017-03-22 | 2018-09-27 | Ford Global Technologies, Llc | MONITORING A VEHICLE CABIN |
DE102020203147A1 (en) | 2019-07-22 | 2021-01-28 | Brose Fahrzeugteile SE & Co. Kommanditgesellschaft, Coburg | Vehicle with an electronic detection device for positioning an adjustable interior object on an interior surface of the vehicle |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008001136A (en) * | 2006-06-20 | 2008-01-10 | Takata Corp | Vehicle occupant seat detection system, operating device control system, and vehicle |
US10726310B2 (en) * | 2018-03-31 | 2020-07-28 | Veoneer Us Inc. | Deployment zone definition and associated restraint control |
US20190299895A1 (en) * | 2018-03-31 | 2019-10-03 | Veoneer Us Inc. | Snapshot of interior vehicle environment for occupant safety |
US11281209B2 (en) * | 2019-12-19 | 2022-03-22 | Zf Friedrichshafen Ag | Vehicle vision system |
-
2022
- 2022-08-26 DE DE102022121614.4A patent/DE102022121614A1/en active Pending
-
2023
- 2023-05-12 WO PCT/EP2023/062742 patent/WO2024041766A1/en unknown
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19904737A1 (en) | 1999-02-05 | 2000-08-10 | Volkswagen Ag | Interior sensing arrangement for position parameters in motor vehicle has relatively large light generator/evaluation unit mounted separately from sensor elements in suitably large vol. |
WO2002040320A1 (en) | 2000-11-14 | 2002-05-23 | Siemens Aktiengesellschaft | Method and device for determining whether the interior of a vehicle is occupied |
EP1323591A2 (en) | 2001-11-29 | 2003-07-02 | DaimlerChrysler AG | Method of monitoring the interior of a vehicle and vehicle with at least one camera in the interior |
WO2007003556A1 (en) | 2005-07-05 | 2007-01-11 | Robert Bosch Gmbh | Vehicle system |
DE102010044174A1 (en) | 2010-08-12 | 2012-02-16 | Johnson Controls Gmbh | Method for seat load detection in vehicle interior, involves recording image that is deposited as reference image of vehicle seats arranged in vehicle interior in unoccupied state by image capturing unit |
DE102012208644A1 (en) | 2011-11-23 | 2013-05-23 | Johnson Controls Gmbh | Device and method for adjusting a seating position |
DE102015010243A1 (en) | 2015-08-04 | 2016-03-17 | Daimler Ag | Seat system for a vehicle, in particular a passenger car |
DE102018106687A1 (en) | 2017-03-22 | 2018-09-27 | Ford Global Technologies, Llc | MONITORING A VEHICLE CABIN |
DE102020203147A1 (en) | 2019-07-22 | 2021-01-28 | Brose Fahrzeugteile SE & Co. Kommanditgesellschaft, Coburg | Vehicle with an electronic detection device for positioning an adjustable interior object on an interior surface of the vehicle |
Also Published As
Publication number | Publication date |
---|---|
WO2024041766A1 (en) | 2024-02-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102015103279B4 (en) | Autonomous vehicle with reconfigurable interior | |
DE102009031809B4 (en) | Method and device for measuring the environment of a motor vehicle | |
DE102018204053A1 (en) | Method for operating an interior of a motor vehicle | |
DE102017117243A1 (en) | ENVIRONMENT MONITORING DEVICE | |
DE102018108060A1 (en) | VEHICLE SIDE MIRROR AUTOMATION | |
DE10158415A1 (en) | Method for monitoring the interior of a vehicle, as well as a vehicle with at least one camera in the vehicle interior | |
DE112018007120B4 (en) | physique determination device and physique determination method | |
DE102014223098A1 (en) | AUTONOMOUS VEHICLE WITH RECONFIGURABLE SITTING | |
DE102014223094A1 (en) | AUTONOMOUS VEHICLE WITH RECONFIGURABLE SITTING | |
DE102019125627B4 (en) | interior monitoring device | |
DE102017200287A1 (en) | Vehicle seat arrangement and stowage procedure | |
DE102014223192A1 (en) | Autonomous vehicle with reconfigurable seats | |
EP3167427A1 (en) | Merging of partial images to form an image of surroundings of a mode of transport | |
DE102012203491A1 (en) | Electronic rearview mirror system for viewing rear region behind motor car by vehicle driver, has computer evaluating image of rear region to determine portion of mirror image picture, and electronic display displaying evaluated image | |
DE102013217081B4 (en) | Device and method for position detection | |
DE102018220146A1 (en) | VEHICLE AND METHOD FOR CONTROLLING THE SAME | |
DE102018117548A1 (en) | SAFETY ILLUSTRATION FOR RESETTING A VEHICLE | |
DE102021212088A1 (en) | REAR VIEW CAMERA SYSTEM FOR A TRAILER HITCH SYSTEM | |
DE102016210088B3 (en) | Method and device for representing an environment of a motor vehicle | |
DE102016217037B4 (en) | Method for operating a display device of a motor vehicle with a digital display surface and motor vehicle | |
DE102020100879A1 (en) | VEHICLE FOOT REFLECTOR | |
DE102022121614A1 (en) | METHOD AND SYSTEM FOR DETECTING AN INTERIOR CONFIGURATION OF A VEHICLE | |
DE10234824B4 (en) | Device for monitoring a person or an object in the vehicle interior | |
DE102021112630B4 (en) | Vision-based airbag release | |
WO2021233654A1 (en) | Vehicle and method for adjusting a position of a display in the vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified |