DE102016213667A1 - Method for operating a driver assistance system to assist an occupant in the operation of vehicle systems and motor vehicle - Google Patents
Method for operating a driver assistance system to assist an occupant in the operation of vehicle systems and motor vehicle Download PDFInfo
- Publication number
- DE102016213667A1 DE102016213667A1 DE102016213667.4A DE102016213667A DE102016213667A1 DE 102016213667 A1 DE102016213667 A1 DE 102016213667A1 DE 102016213667 A DE102016213667 A DE 102016213667A DE 102016213667 A1 DE102016213667 A1 DE 102016213667A1
- Authority
- DE
- Germany
- Prior art keywords
- gesture
- sub
- radar
- area
- occupant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000009471 action Effects 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims abstract description 19
- 230000033001 locomotion Effects 0.000 claims description 14
- 239000004065 semiconductor Substances 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000035515 penetration Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 230000001960 triggered effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 15
- 210000003414 extremity Anatomy 0.000 description 9
- 230000008901 benefit Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 229910001218 Gallium arsenide Inorganic materials 0.000 description 1
- 229910000577 Silicon-germanium Inorganic materials 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011896 sensitive detection Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000003319 supportive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/146—Instrument input by gesture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/146—Instrument input by gesture
- B60K2360/1464—3D-gesture
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Verfahren zum Betrieb eines Fahrerassistenzsystems (18) zur Unterstützung eines Insassen bei der Bedienung von Fahrzeugsystemen (20, 21) in einem Innenraum (3) des Kraftfahrzeugs (4), wobei mittels wenigstens eines Radarsensors (1, 11) wenigstens eine vorbestimmte Geste detektiert wird, der eine Systemaktion zugeordnet ist, und bei detektierter Geste die Systemaktion ausgeführt wird, wobei in dem Erfassungsbereich (2,12) des wenigstens einen Radarsensors (1, 11) mehrere, insbesondere disjunkte Unterbereiche (9, 10, 15, 16) dreidimensional definiert werden, wobei jedem Unterbereich (9, 10, 15, 16) wenigstens eine eine Geste mit zugeordneter Systemaktion beschreibende Gesteninformation zugeordnet wird und bei der Auswertung der Radardaten des Radarsensors (1, 11) nur Radardaten des zugeordneten Unterbereichs (9, 10, 15, 16) zur Detektion einer dem Unterbereich (9, 10, 15, 16) zugeordneten Geste ausgewertet werden.Method for operating a driver assistance system (18) for assisting an occupant in the operation of vehicle systems (20, 21) in an interior (3) of the motor vehicle (4), wherein at least one predetermined gesture is detected by means of at least one radar sensor (1, 11) in which a system action is assigned, and when the gesture is detected, the system action is carried out, wherein in the detection area (2, 12) of the at least one radar sensor (1, 11) three, more specifically, disjoint subregions (9, 10, 15, 16) are defined in three dimensions wherein each sub-area (9, 10, 15, 16) is assigned at least one gesture information describing a gesture with assigned system action and in the evaluation of the radar data of the radar sensor (1, 11) only radar data of the associated sub-area (9, 10, 15, 16) are evaluated for detecting a gesture associated with the sub-area (9, 10, 15, 16).
Description
Die Erfindung betrifft ein Verfahren zum Betrieb eines Fahrerassistenzsystems zur Unterstützung eines Insassen bei der Bedienung von Fahrzeugsystemen in einem Innenraum des Kraftfahrzeugs, wobei mittels wenigstens eines Radarsensors wenigstens eine vorbestimmte Geste detektiert wird, der eine Systemaktion zugeordnet ist, und bei detektierter Geste die Systemaktion ausgeführt wird. Daneben betrifft die Erfindung ein Kraftfahrzeug.The invention relates to a method for operating a driver assistance system for assisting an occupant in the operation of vehicle systems in an interior of the motor vehicle, wherein at least one predetermined gesture is detected by means of at least one radar sensor, which is associated with a system action, and the detected system gesture, the system action is executed , In addition, the invention relates to a motor vehicle.
Die Verwendung von Radarsensoren in Kraftfahrzeugen ist im Stand der Technik bereits weitgehend bekannt. Radarsensoren werden heutzutage meist als Umfeldsensoren für einen mittleren und größeren Distanzbereich eingesetzt, um andere Verkehrsteilnehmer oder größere Objekte in Distanz, Winkel und Relativgeschwindigkeit bestimmen zu können. Derartige Radardaten können in Umfeldmodelle eingehen oder auch unmittelbar Fahrzeugsystemen zur Verfügung gestellt werden. Nutzen aus Radardaten ziehen im bekannten Stand der Technik beispielsweise Längsführungssysteme, wie ACC, oder auch Sicherheitssysteme. Auch die Nutzung von Radarsensoren im Innenraum des Kraftfahrzeugs wurde bereits vorgeschlagen.The use of radar sensors in motor vehicles is already widely known in the art. Radar sensors are nowadays usually used as environment sensors for a medium and large distance range in order to determine other road users or larger objects in distance, angle and relative speed. Such radar data can enter into environmental models or even be made available to vehicle systems directly. Benefits of radar data draw in the prior art, for example, longitudinal guidance systems, such as ACC, or security systems. The use of radar sensors in the interior of the motor vehicle has already been proposed.
Radarsensoren herkömmlicher Bauart weisen meist eine größere Ausdehnung auf und sind eher klobig, nachdem die Antennen sowie die unmittelbar an der Antenne benötigten Elektronikkomponenten, also das Radar-Frontend, in einem Gehäuse integriert sind. Hauptsächlich bilden die Elektronikkomponenten dabei den Radar-Transceiver, der eine Frequenzsteuerung (üblicherweise umfassend eine Phasenregelschleife – PLL), Mischeinrichtungen, einem Low Noise Amplifier (LNA) und dergleichen enthält, oft werden jedoch auch Steuermodule und digitale Signalverarbeitungskomponenten antennennah realisiert, beispielweise um bereits aufbereitete Sensordaten, beispielsweise Objektlisten, auf einen angeschlossenen Bus, beispielsweise einen CAN-Bus, geben zu können.Radar sensors of conventional design usually have a greater extent and are rather clunky, after the antennas and the electronic components required directly on the antenna, so the radar front end, are integrated in a housing. Mainly the electronic components thereby form the radar transceiver, which contains a frequency control (usually comprising a phase-locked loop - PLL), mixing devices, a low noise amplifier (LNA) and the like, but often also control modules and digital signal processing components are realized close to the antenna, for example already processed Sensor data, such as object lists, on a connected bus, such as a CAN bus to give.
Die Realisierung von Radarkomponenten auf Halbleiterbasis erwies sich lange Zeit als schwierig, da teure Spezialhalbleiter, insbesondere GaAs, benötigt wurden. Es wurden kleinere Radarsensoren vorgeschlagen, deren gesamtes Radar-Frontend auf einem einzigen Chip in SiGe-Technologie realisiert ist, ehe auch Lösungen in der CMOS-Technologie bekannt wurden. Solche Lösungen sind Ergebnis der Erweiterung der CMOS-Technologie auf Hochfrequenzanwendungen, was oft auch als RF-CMOS bezeichnet wird. Ein solcher CMOS-Radarchip ist äußerst kleinbauend realisiert und nutzt keine teuren Spezialhalbleiter, bietet also vor allem in der Herstellung deutliche Vorteile gegenüber anderen Halbleitertechnologien. Eine beispielhafte Realisierung eines 77 GHz-Radar-Transceivers als ein CMOS-Chip ist in dem
Nachdem zudem vorgeschlagen wurde, den Chip und die Antenne in einem gemeinsamen Package zu realisieren, ist ein äußerst kostengünstiger kleiner Radarsensor möglich, der Bauraumanforderungen deutlich besser erfüllen kann und aufgrund der kurzen Signalwege auch ein sehr niedriges Signal-Zu-Rausch-Verhältnis aufweist sowie für hohe Frequenzen und größere, variable Frequenzbandbreiten geeignet ist. Daher lassen sich derartige, kleinbauende Radarsensoren auch für Kurzreichweiten-Anwendungen, beispielsweise im Bereich von 30 cm bis 10 m, einsetzen. After it has also been proposed to realize the chip and the antenna in a common package, a very low cost small radar sensor is possible, which can meet the space requirements significantly better and due to the short signal paths also has a very low signal-to-noise ratio and for high frequencies and larger, variable frequency bandwidths is suitable. Therefore, such small-sized radar sensors can also be used for short-range applications, for example in the range of 30 cm to 10 m.
Es wurde auch bereits vorgeschlagen, einen solchen CMOS-Transceiver-Chip und/oder ein Package mit CMOS-Transceiver-Chip und Antenne auf einer gemeinsamen Leiterplatte mit einem digitalen Signalverarbeitungsprozessor (DSP-Prozessor) vorzusehen oder die Funktionen des Signalverarbeitungsprozessors ebenso in den CMOS-Transceiver-Chip zu integrieren. Eine ähnliche Integration ist für Steuerungsfunktionen möglich.It has also been proposed to provide such a CMOS transceiver chip and / or a package with CMOS transceiver chip and antenna on a common circuit board with a digital signal processing processor (DSP processor) or the functions of the signal processing processor in the CMOS Integrate transceiver chip. Similar integration is possible for control functions.
In der Radarsignalverarbeitung wird üblicherweise zwischen Abstands-, Geschwindigkeits- und Winkel-Trennfähigkeit unterschieden, wobei die Trennfähigkeit üblicherweise auch als Auflösung interpretiert wird. Dabei hängt die Abstandsauflösung von der verwendeten Frequenzbandbreite ab, die Geschwindigkeitsauflösung von der Messdauer und die Winkelauflösung von der Aperture der Antenne. Je mehr Radardaten jedoch vorliegen beziehungsweise je mehr Objekte unterschieden werden können, desto aufwendiger wird auch die Auswertung der Radardaten. In radar signal processing, a distinction is usually made between distance, speed and angle separation capability, the separation capability usually also being interpreted as resolution. The distance resolution depends on the frequency bandwidth used, the speed resolution of the measurement duration and the angular resolution of the aperture of the antenna. However, the more radar data available or the more objects can be distinguished, the more complex the evaluation of the radar data.
Insbesondere wird dort vorgeschlagen, die Bilddaten mit einer oder mehreren Radar-Einrichtungen aufzunehmen, um die Lage beziehungsweise Bewegung der oberen Extremitäten dreidimensional im Raum erfassen zu können. Der Erfassungsbereich der Sensorvorrichtung umfasst wenigstens einen Teil des Innenraums. In particular, there is proposed to record the image data with one or more radar devices in order to detect the position or movement of the upper extremities three-dimensionally in space. The detection range of the sensor device comprises at least a part of the interior space.
Mit der Verwendung hochauflösender, insbesondere auf CMOS-Technologie basierender Radarsensoren wird eine immer bessere Unterscheidbarkeit und Nachverfolgbarkeit der oberen Extremitäten und ihrer Bestandteile, insbesondere auch der Finger, ermöglicht. Gerade bei größeren Erfassungsbereichen von Radarsensoren im Innenraum eines Kraftfahrzeugs und einer Vielzahl möglicher Gesten zur Bedienung von Fahrzeugsystemen entsteht ein wachsender Auswertungsaufwand, der zu einer langsamen Reaktion derartig unterstützender Fahrerassistenzsysteme und/oder zur Fehlererkennung von Gesten bei einer Ausdünnung der Radardaten führen kann. Ein weiteres Problem liegt darin, dass eine Geste nur einer einzigen, bestimmten Aktion eines Fahrzeugsystems zugeordnet werden kann. Schließlich ist bei auf bildbasierten Sensorvorrichtungen basierenden Daten nachteilhaft, dass diese bei dunklem Innenraum des Kraftfahrzeugs nicht mehr sicherstellend funktionieren. The use of high-resolution radar sensors, based in particular on CMOS technology, makes it possible to achieve greater and better distinguishability and traceability of the upper extremities and their components, in particular the fingers. Especially with larger detection ranges of radar sensors in the interior of a motor vehicle and a variety of possible gestures for operating vehicle systems creates a growing evaluation effort that can lead to a slow reaction of such supportive driver assistance systems and / or error detection of gestures at a thinning of the radar data. Another problem is that a gesture can only be assigned to a single, specific action of a vehicle system. Finally, in the case of data based on image-based sensor devices, it is disadvantageous that they no longer function in a safe manner in the case of the dark interior of the motor vehicle.
Der Erfindung liegt daher die Aufgabe zugrunde, eine effektive Möglichkeit zur schnellen, robusten und insbesondere auch kontextsensitiven Erkennungen von Gesten im Innenraum eines Kraftfahrzeugs anzugeben. The invention is therefore based on the object to provide an effective way for fast, robust and especially context-sensitive detection of gestures in the interior of a motor vehicle.
Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass in dem Erfassungsbereich des wenigstens einen Radarsensors mehrere, insbesondere disjunkte Unterbereiche dreidimensional definiert werden, wobei jedem Unterbereich wenigstens eine eine Geste mit zugeordneter Systemaktion beschreibende Gesteninformation zugeordnet wird und bei der Auswertung der Radardaten des Radarsensors nur Radardaten des zugeordneten Unterbereichs zur Detektion einer dem Unterbereich zugeordneten Geste ausgewertet werden.To achieve this object, the invention provides that in the detection area of the at least one radar sensor several, in particular disjoint sub-areas are defined three-dimensionally, wherein each sub-area is assigned at least one gesture information describing a gesture with associated system action and in the evaluation the radar data of the radar sensor only radar data of the associated sub-range for detecting a gesture associated with the sub-area are evaluated.
Die Erfindung schlägt mithin vor, Unterbereiche des Erfassungsbereichs des wenigstens einen Radarsensors zu definieren, in denen eine Geste, der eine Aktion zugeordnet ist, sozusagen „gültig“ ist, um damit die Menge der auszuwertenden Radardaten deutlich zu reduzieren und eben auf diese Unterbereiche einzuschränken, was die den Unterbereichen zugeordneten Gesten angeht. Das bedeutet, die radarbasierte Detektion einer Geste wird auf den der Geste zugeordneten Unterbereich fokussiert, während der restliche Erfassungsbereich für diese spezifische Geste nicht relevant ist. Das ermöglicht es, eine bestimmte Geste nur in wenigstens einem vordefinierten Unterbereich zu detektieren, was es insbesondere auch möglich macht, eine Art kontextsensitive Gestenauswertung zu realisieren. Dabei wird nicht nur die Geste an sich dem Unterbereich zugeordnet, sondern immer eine Gesteninformation enthalten eine zugeordnete Systemaktion, so dass zwar dieselbe Geste mit mehreren Unterbereichen zugeordnet sein kann, hieraus jedoch üblicherweise unterschiedliche Systemaktionen folgen.The invention therefore proposes to define subregions of the detection range of the at least one radar sensor in which a gesture associated with an action is, as it were, "valid" in order to significantly reduce the amount of radar data to be evaluated and restrict it to these subregions, as far as the gestures associated with the subregions are concerned. That is, the radar-based detection of a gesture is focused on the subarea associated with the gesture, while the remainder of the coverage is not relevant to that particular gesture. This makes it possible to detect a specific gesture only in at least one predefined subarea, which makes it possible, in particular, to realize a type of context-sensitive gesture evaluation. Not only is the gesture per se assigned to the subarea, but gesture information always includes an associated system action, so that although the same gesture can be associated with multiple subareas, this usually follows different system actions.
Dabei sei darauf hingewiesen, dass im Rahmen der vorliegenden Erfindung bevorzugt hochauflösende Radarsensoren in Halbleitertechnologie, insbesondere CMOS-Technologie, verwendet werden, nachdem diese nicht nur im Innenraum des Kraftfahrzeugs einfach und unsichtbar hinter Verkleidungsteilen verbaut werden können, da sie äußerst kleinbauend realisiert werden, sondern zudem durch die hohe Auflösung die Möglichkeit gegeben ist, auch äußerst kleine Unterbereiche genau zu definieren und abzugrenzen. It should be noted that within the scope of the present invention preferably high-resolution radar sensors in semiconductor technology, in particular CMOS technology, are used, after they can be installed not only in the interior of the motor vehicle simple and invisible behind trim parts, since they are realized extremely compact, but In addition, due to the high resolution, it is possible to precisely define and delimit even extremely small subareas.
Es sei ferner angemerkt, dass es selbstverständlich möglich ist, einem Unterbereich auch mehrere Gesteninformationen und somit mehrere Gesten zuzuordnen, so dass beispielsweise einem auf die Bedienung des Fensterhebers bezogenen Unterbereich beispielsweise Gesteninformationen zugeordnet werden können, in denen eine erste Geste einem Öffnen des Fensters als Systemaktion, eine zweite Geste einem Anhalten der aktuellen Bewegung und eine dritte Geste einem Schließen des Fensters als Systemaktion zugeordnet sind. Zudem ist es möglich, einen Teil dieser Gesten, beispielsweise die erste und die dritte Geste, auch in einem anderen, beispielsweise einer Klimaanlage, zugeordneten Unterbereich zu verwenden, im Beispiel insbesondere, um eine Temperaturstufe nach oben oder nach unten zu schalten.It should also be noted that it is of course possible to assign a subarea also a plurality of gesture information and thus multiple gestures, so that, for example, a related to the operation of the window sub-area gesture information can be assigned, in which a first gesture opening the window as a system action , a second gesture associated with stopping the current motion and a third gesture closing the window as a system action. In addition, it is possible to use part of these gestures, for example the first and the third gesture, also in another, for example an air conditioning, associated subarea, in the example, in particular, to switch a temperature level upwards or downwards.
Die Verwendung von Radarsensoren, insbesondere nur der Radardaten der Radarsensoren, erlaubt es ferner, die Gestenerkennung unabhängig von der Helligkeit im Innenraum des Kraftfahrzeugs zu realisieren. Denn ist es im Innenraum des Kraftfahrzeugs dunkel, wird der Fahrer durch die Suche bestimmter Bedienelemente gegebenenfalls abgelenkt, was ungewollt im Hinblick auf seine Kontrolle der Verkehrssituation sein kann. In solchen Fällen kann die Radartechnologie ohne Abhängigkeit von der Umgebungshelligkeit den Fahrer beziehungsweise allgemein Insassen unterstützen und bestimmte Gesten in bestimmten Unterbereichen richtig deuten, wobei die Aufmerksamkeit des Fahrers weiterhin auf die Straße konzentriert sein kann. The use of radar sensors, in particular only the radar data of the radar sensors, also makes it possible to realize the gesture recognition regardless of the brightness in the interior of the motor vehicle. Because it is dark in the interior of the vehicle, the driver is distracted by the search of certain controls, if necessary, which may be unintentional in terms of its control of the traffic situation. In such cases, radar technology, without depending on the ambient brightness, can assist the driver or general occupants and correctly interpret certain gestures in certain sub-areas, with the driver's attention still being concentrated on the road.
Die Zuordnung zwischen Gesteninformationen und Unterbereichen, mithin das Mapping von Gesten zu Unterbereichen, kann in einer Speichereinrichtung eines Steuergeräts des Fahrerassistenzsystems abgelegt sein, wobei es sich hierbei auch um ein zentrales Steuergerät, das auch weiteren Fahrzeugsystemen zugeordnet ist, handeln kann. The association between gesture information and sub-areas, thus the mapping of gestures to sub-areas, can be in one Storage device of a control device of the driver assistance system to be stored, which may also be a central control unit, which is also associated with other vehicle systems act.
Es sei noch darauf hingewiesen, dass im Rahmen der vorliegenden Erfindung durchaus auch mehrere Radarsensoren, also wenigstens zwei Radarsensoren, eingesetzt werden können, um beispielsweise Abschattungsproblematiken und dergleichen innerhalb des Kraftfahrzeugs zu vermeiden.It should be pointed out that within the scope of the present invention quite a number of radar sensors, that is to say at least two radar sensors, can be used, for example to avoid shading problems and the like within the motor vehicle.
In einer besonders vorteilhaften Weiterbildung der vorliegenden Erfindung ist vorgesehen, dass wenigstens ein Teil der Unterbereiche räumlich zugeordnet zu einer Bedieneinrichtung zur berührungsgebundenen Auslösung wenigstens einer der wenigstens einen Systemaktion der wenigstens einen zugeordneten Geste definiert sind. Insbesondere können die Unterbereiche so definiert sein, dass sie einen Bereich vor der entsprechenden Bedieneinrichtung umfassen, so dass eine intuitive Zuordnung gegeben ist und die Gesten leicht als Ersatz zur Betätigung von Bedienelementen der Bedieneinrichtung eingesetzt werden können, um so beispielsweise in der Dunkelheit eine verbesserte Auslösung von Systemaktionen zu erlauben.In a particularly advantageous embodiment of the present invention, it is provided that at least part of the subregions are spatially assigned to an operating device for the contact-triggered triggering of at least one of the at least one system action of the at least one associated gesture. In particular, the subregions may be defined to include an area in front of the corresponding operator device so that an intuitive association is provided and the gestures can be easily substituted for operation of operator controls, such as improved triggering in the dark to allow system actions.
Eine besonders bevorzugte Weiterbildung sieht in diesem Kontext vor, dass der Bedieneinrichtung ein insbesondere optisches und/oder akustisches Anzeigemittel, insbesondere eine LED, zugeordnet ist, welches in Abhängigkeit wenigstens einer aus den Radardaten ermittelten Statusinformation zur Gestendetektion in dem der Bedieneinrichtung zugeordneten Unterbereich betrieben wird. Auf diese Weise existiert eine Art von Feedback an den Insassen, was die Gestenbedienung angeht, insbesondere auch dahingehend, ob er sich im korrekten Unterbereich befindet. Das Anzeigemittel stellt also eine Art Kontrollmechanismus dar, der dem Insassen in Form einer insbesondere optischen und/oder akustischen Rückmeldung bestätigt, in welchem Unterbereich die gestengebende Extremität (Arm, Hand, Kopf, ...) sich befindet. So hat der Insasse die Sicherheit, dass er die richtigen Fahrzeugsysteme steuert beziehungsweise die richtigen Gesten verwendet. Dabei sei angemerkt, dass es grundsätzlich denkbar ist, haptische Rückmeldungen zu geben, wenn ein entsprechendes haptisches Anzeigemittel, welches auf den Unterbereich hinweist, verfügbar ist.A particularly preferred development provides in this context that the operating device is associated with a particular optical and / or acoustic display means, in particular an LED, which is operated in dependence of at least one of the radar data determined status information for gesture detection in the operating area associated sub-area. In this way, there is a kind of feedback to the occupants in terms of the gesture operation, in particular, whether it is in the correct sub-area. The display means thus represents a type of control mechanism which confirms the occupant in the form of a particular optical and / or acoustic feedback in which subsection the gesture-giving extremity (arm, hand, head, ...) is located. The inmate has the certainty that he controls the right vehicle systems or uses the right gestures. It should be noted that it is basically conceivable to provide haptic feedback if a corresponding haptic display means, which points to the subregion, is available.
Konkret kann vorzugsweise bei Vorliegen einer aus den Radardaten detektierten, eine einem Unterbereich zugewandte Trajektorie der Hand eines Insassen anzeigenden Trajektorieninformation und/oder bei Vorliegen einer den Nichtablauf einer Zeitspanne seit einem aus den Radardaten detektierten Eindringen der Hand des Insassen in den Unterbereich anzeigenden Eindringinformation ein Vorbereitungshinweis mittels des dem Unterbereich zugeordneten Anzeigemittels angezeigt werden und/oder bei innerhalb eines Unterbereichs befindlicher Hand eines Insassen und/oder Vorliegen einer die Auswertebereitschaft für Radardaten des Unterbereichs, insbesondere den Ablauf der Zeitspanne, anzeigenden Auswertungsinformation ein Bereitschaftshinweis mittels des dem Unterbereich zugeordneten Anzeigemittels angezeigt werden und/oder nach Detektion einer einem Unterbereich zugeordneten Geste in dem Unterbereich ein Bestätigungshinweis mittels des dem Unterbereich zugeordneten Anzeigemittels angezeigt werden und/oder bei Detektion einer keiner einem Unterbereich zugeordneten Geste entsprechenden Bewegung der Hand eines Insassen in dem Unterbereich in den Radardaten und/oder nicht vorliegender Auswertebereitschaft trotz im Unterbereich befindlicher Hand ein Fehlerhinweis mittels des dem Unterbereich zugeordneten Anzeigemittels angezeigt wird. Diese Ausgestaltungen lassen sich auch auf andere gestengebende Extremitäten (Gestengeber) übertragen. Es sind mithin verschiedene Statusinformationen denkbar, wobei das Anzeigemittel bevorzugt deaktiviert ist, wenn sich der Gestengeber, insbesondere die Hand, überhaupt nicht im entsprechenden Unterbereich befindet. Concretely, in the presence of a trajectory information indicating a subarea of the hand of an occupant and / or in the presence of a penetrating information indicating the non-expiration of a time since the penetration of the hand of the occupant into the subarea detected from the radar data are displayed by means of the sub-area associated with the display means and / or displayed within a sub-area hand of an occupant and / or presence of an evaluation readiness for radar data of the sub-area, in particular the expiry of the period indicating evaluation information a standby indication by means of the sub-area associated display means and / or, after detecting a gesture associated with a sub-area in the sub-area, a confirmation message is displayed by means of the display means associated with the sub-area, and or upon detection of a gesture which does not correspond to a sub-area, movement of the hand of an occupant in the sub-area in the radar data and / or non-existent readiness for analysis despite an indication of an error message by means of the sub-area-associated display means. These embodiments can also be transferred to other gesture-giving extremities (gesture). Consequently, different status information is conceivable, wherein the display means is preferably deactivated when the gesture transmitter, in particular the hand, is not at all in the corresponding subarea.
Insbesondere in dem Fall, in dem eine Trajektorie des Gestengebers, insbesondere der Hand des Insassen, aus den Radardaten bestimmt wird, die auf einen Unterbereich zielt, ist es zweckmäßig, wenn bereits vor Erreichen des Unterbereichs durch den Gestengeber das Vorbereitungssignal gegeben wird, welches dem Insassen anzeigt, ob er den korrekten Unterbereich mit dem Gestengeber anstrebt. Dabei ist es in diesem Kontext besonders bevorzugt, wenn zur Detektion der Zuwendung der Trajektorie zu einem Unterbereich eine gemessene Trajektorie in die Zukunft prädiziert wird. Eine solche Vorausberechnung, mithin Extrapolation, der Trajektorie ermöglicht eine besonders verlässliche Zuordnung eines Unterbereichs als Trajektorienziel.In particular, in the case where a trajectory of the gesture giver, in particular the hand of the occupant, is determined from the radar data aiming at a sub-area, it is expedient if the preparatory signal is given already before reaching the sub-area by the gesture giver Inmate indicates whether he is aiming for the correct sub-area with the gesture generator. It is particularly preferred in this context if a measured trajectory is predicted for the future in order to detect the allocation of the trajectory to a subarea. Such a precalculation, thus extrapolation, of the trajectory enables a particularly reliable assignment of a subarea as trajectory target.
Besonders zweckmäßig ist auch die Nutzung eines Bereitschaftshinweises, so dass dem Insassen bewusst gemacht wird, für welchen Unterbereich und insbesondere für welches Fahrzeugsystem beziehungsweise welche Bedieneinrichtung er gerade Gesten ausführen kann, welche dann auch tatsächlich in den Radardaten detektiert werden können. Erfolgreich detektierte Gesten können über einen entsprechenden Bestätigungshinweis quittiert werden; nicht erkannte Gesten können zu einer Ausgabe eines Fehlerhinweises führen, was auch dann zweckmäßig ist, wenn aus anderen Gründen eine Auswertung für den Unterbereich gerade nicht möglich erscheint, beispielsweise aufgrund eines Defekts im Fahrerassistenzsystem und/oder aufgrund einer eingetretenen Abschattung.It is also particularly expedient to use a standby indication, so that the occupant is made aware of which subarea and, in particular, for which vehicle system or which operator device he can execute gestures, which can then actually be detected in the radar data. Successfully detected gestures can be acknowledged via a corresponding confirmation message; Unrecognized gestures can lead to an output of an error indication, which is also expedient if, for other reasons, an evaluation for the subarea just does not seem possible, for example due to a defect in the driver assistance system and / or due to shadowing that has occurred.
Eine zweckmäßige Weiterbildung sieht vor, dass bei wenigstens einer LED als Anzeigemittel verschiedene Farben für die Hinweise verwendet werden und/oder bei nicht vorliegendem auszugebendem Hinweis die LED ausgeschaltet ist und/oder der Vorbereitungshinweis durch ein weißes Leuchten und/oder der Bereitschaftshinweis durch ein grünes Leuchten und/oder der Bestätigungshinweis durch ein blaues Leuchten und/oder der Fehlerhinweis durch ein rotes Leuchten ausgegeben wird. Bewegt sich beispielsweise die Hand eines Insassen in Richtung eines Türgriffs als Bedieneinrichtung, kann eine im Türgriff integrierte kleine LED beispielsweise zunächst weiß leuchten, so dass der Insasse die Sicherheit hat, dass er den Türgriff tätigen wird. Nach sehr kurzer Zeit, beispielsweise nach Eintritt der Hand in den zugeordneten Unterbereich, leuchtet die kleine LED grün, dem Insassen signalisierend, dass das Fahrerassistenzsystem bereit ist, Gesten zu empfangen beziehungsweise zu interpretieren und entsprechende Systemaktionen, beispielsweise das Öffnen der Tür, durchzuführen. Eine derartige Rückmeldung an den Insassen kann, wie bereits dargelegt wurde, auch mit Akustik, Haptik oder in beliebiger Kombination realisiert werden. An expedient development provides that at least one LED as a display means different colors are used for the hints and / or not present to be issued hint the LED is turned off and / or the preparation note by a white lights and / or standby notice by a green glow and / or the confirmation message is output by a blue light and / or the error message by a red light. If, for example, the hand of an occupant moves in the direction of a door handle as an operating device, a small LED integrated in the door handle can, for example, first be illuminated in white, so that the occupant has the security that he will make the door handle. After a very short time, for example after the hand has entered the assigned sub-area, the small LED lights green, signaling to the occupant that the driver assistance system is ready to receive or interpret gestures and to perform corresponding system actions, for example opening the door. Such feedback to the occupants can, as already stated, also be realized with acoustics, haptics or in any combination.
Es kann vorgesehen sein, dass wenigstens zwei Unterbereiche unmittelbar und/oder mit weniger als einem vorbestimmten Abstand aneinander anschließen. Häufig kommt es vor, dass beispielsweise Bedieneinrichtungen mehrerer Fahrzeugsysteme nebeneinander angeordnet sind, um die Bedienelemente möglichst im Zugriffsbereich des Fahrers (oder Insassen) anzuordnen. Ordnet man solchen Bedieneinrichtungen Unterbereiche zu, können diese auch benachbart angeordnet sein. Allerdings lässt sich dieses Konzept auch allgemein erweitern, denn wenn schon Bedieneinrichtungen in der Reichweite des Fahrers (bzw. Insassen) häufig nahe beieinander platziert werden, ist dies auch für exaktere Unterbereiche denkbar, wobei es wesentlich ist, wenn mehrere Unterbereiche nah beieinander sind, dass eine Geste in einem bestimmten Unterbereich keine Systemaktion in einem anderen, benachbarten Unterbereich hervorrufen darf. In diesem Kontext ist es äußerst nützlich, wenn die zuvor bereits beschriebenen Anzeigemittel eingesetzt werden, um unbeabsichtigte Fehlauslösungen in benachbarten Unterbereichen zu vermeiden, nachdem dem Insassen ein Überwachungsmechanismus zur Verfügung gestellt wird.It can be provided that at least two subregions adjoin one another directly and / or with less than a predetermined distance. It often happens that, for example, operating devices of several vehicle systems are arranged next to one another in order to arrange the operating elements as far as possible in the access area of the driver (or occupant). If subregions are assigned to such operating devices, they can also be arranged adjacent. However, this concept can also be extended in general, because if operating devices within the range of the driver (or occupants) are often placed close to each other, this is also conceivable for more precise sub-areas, wherein it is essential, if several sub-areas are close to each other a gesture in a given subarea must not cause a system action in another, adjacent subarea. In this context, it is extremely useful if the previously described display means are used to avoid unintentional false triggering in adjacent sub-areas after a monitoring mechanism is provided to the occupant.
Es kann vorgesehen sein, dass in Form wenigstens einer Bewegungstrajektorie einer Hand und/oder wenigstens eines Fingers und/oder einer Bewegungsgeschwindigkeit und/oder einer Bewegungsrichtung und/oder wenigstens einer Stellung einer Hand und/oder eines Fingers definierte Gesten verwendet werden. Ersichtlich besteht eine Vielzahl von Möglichkeiten, Gesten zu definieren und ihre Detektion zu ermöglichen, nachdem die Radardaten hochauflösender Radarsensoren die entsprechende gestengebende Extremität und ihre Bewegung äußerst genau erfassen können. Grundsätzliche Möglichkeiten zur Gestenerkennung wurden im Stand der Technik bereits weitgehend beschrieben und sollen im Rahmen dieser Beschreibung daher nicht im Detail dargelegt werden. It can be provided that gestures defined in the form of at least one movement trajectory of a hand and / or at least one finger and / or a movement speed and / or a movement direction and / or at least one position of a hand and / or a finger are used. Clearly, there are a variety of ways to define gestures and enable their detection after the radar data from high-resolution radar sensors can accurately detect the corresponding gesture-giving extremity and its motion. Basic possibilities for gesture recognition have already been extensively described in the prior art and should therefore not be described in detail in the context of this description.
Es ist ferner, wie bereits erwähnt, zweckmäßig, wenn die Unterbereiche, die Gesteninformation sowie ihre Zuordnung zu Unterbereichen in einer Speichereinrichtung des Fahrerassistenzsystems gespeichert werden, insbesondere einer Speichereinrichtung des Steuergeräts des Fahrerassistenzsystems, das das erfindungsgemäße Verfahren durchführt. Beispielsweise kann eine Datenbank oder eine Look-up-Tabelle verwendet werden. It is also, as already mentioned, expedient if the sub-areas, the gesture information and their assignment to sub-areas are stored in a memory device of the driver assistance system, in particular a memory device of the control device of the driver assistance system, which performs the inventive method. For example, a database or look-up table can be used.
Eine besonders zweckmäßige Weiterbildung der vorliegenden Erfindung sieht vor, dass die Gestenerkennungsfunktion, also die Unterstützungsfunktion, automatisch aktiviert wird, wenn ein Lichtsensor die Unterschreitung einer Mindesthelligkeit im Innenraum des Kraftfahrzeugs misst. Wie bereits erwähnt wurde, ist die hier beschriebene Unterstützungsfunktion bei der Bedienung von Fahrzeugsystemen besonders vorteilhaft, wenn es innerhalb des Kraftfahrzeugs dunkel ist und Bedienelemente beziehungsweise Bedieneinrichtungen im allgemeinen gegebenenfalls schlecht zu erkennen sind. Mithin kann vorgesehen sein, dass sich, insbesondere nach Anwahl einer entsprechenden Option durch einen Bediener, die Unterstützungsfunktion selbst aktiviert, sobald ein gewisser Mangel an Helligkeit innerhalb des Innenraums des Kraftfahrzeugs vorhanden ist, so dass dem Insassen die nutzbringende Unterstützung in den Situationen automatisch zuteilwird, in denen er sie am meisten benötigt. A particularly expedient development of the present invention provides that the gesture recognition function, ie the assistance function, is automatically activated when a light sensor measures the undershooting of a minimum brightness in the interior of the motor vehicle. As already mentioned, the assistance function described here is particularly advantageous when operating vehicle systems when it is dark inside the motor vehicle and operating elements or operating devices are generally possibly difficult to recognize. Thus, it can be provided that, in particular after selection of a corresponding option by an operator, the support function activates itself as soon as there is a certain lack of brightness within the interior of the motor vehicle, so that the occupant automatically receives the useful support in the situations, where he needs them most.
Wie bereits erwähnt, ist es im Rahmen der vorliegenden Erfindung bevorzugt, hochauflösende, auf Halbleitertechnologie, insbesondere CMOS-Technologie basierende Radarsensoren zu verwenden, so dass insbesondere vorgesehen sein kann, dass ein einen als Halbleiterchip, insbesondere CMOS-Chip, realisierten Radartransceiver aufweisender Radarsensor verwendet wird. Eine hinsichtlich der Baugröße und des Signal-zu-Rausch-Verhältnisses noch deutlich verbesserte Ausgestaltung ergibt sich, wenn neben dem Radartransceiver auch eine Steuereinheit und/oder eine digitale Signalverarbeitungskomponente des Radarsensors durch den Halbleiterchip realisiert werden und/oder der Halbleiterchip und eine Antennenanordnung des Radarsensors als ein Package realisiert sind. Somit werden die Fortschritte in der Radartechnologie, wie sie auch eingangs dargelegt worden sind, genutzt, um eine besonders vorteilhafte Ausgestaltung des erfindungsgemäßen Fahrerassistenzsystems zu realisieren. As already mentioned, it is preferred in the context of the present invention to use high-resolution radar sensors based on semiconductor technology, in particular CMOS technology, so that it can be provided in particular that a radar sensor having a radar transceiver realized as a semiconductor chip, in particular a CMOS chip, is used becomes. A significantly improved in terms of size and the signal-to-noise ratio embodiment is obtained when in addition to the radar transceiver and a control unit and / or a digital signal processing component of the radar sensor are realized by the semiconductor chip and / or the semiconductor chip and an antenna assembly of the radar sensor realized as a package. Thus, the advances in radar technology, as they have been outlined above, are used to realize a particularly advantageous embodiment of the driver assistance system according to the invention.
Neben dem Verfahren betrifft die Erfindung auch ein Kraftfahrzeug, aufweisend wenigstens einen wenigstens einen Teil des Innenraums erfassenden Radarsensor und ein Fahrerassistenzsystem zur Unterstützung eines Insassen bei der Bedienung von Fahrzeugsystemen in dem Innenraum, wobei das Fahrerassistenzsystem ein zur Durchführung des erfindungsgemäßen Verfahrens ausgebildetes Steuergerät umfasst. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf das erfindungsgemäße Kraftfahrzeug übertragen, so dass auch mit diesen die bereits genannten Vorteile erhalten werden können. In addition to the method, the invention also relates to a motor vehicle, comprising at least one at least a part of the interior sensing radar sensor and a driver assistance system to assist an occupant in the operation of vehicle systems in the interior, wherein the driver assistance system comprises a trained for performing the method according to the invention control unit. All statements relating to the method according to the invention can be analogously transferred to the motor vehicle according to the invention, so that even with these already mentioned advantages can be obtained.
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnung. Dabei zeigen:Further advantages and details of the present invention will become apparent from the embodiments described below and with reference to the drawing. Showing:
Gemäß dem im Hinblick auf
Der wenigstens eine Radarsensor ist in Halbleitertechnologie, hier konkret CMOS-Technologie, realisiert und weist einen Halbleiterchip auf, der neben dem Radartransceiver auch eine digitale Signalverarbeitungskomponente und eine Steuereinheit des Radarsensors realisiert und mit einer Antennenanordnung des Radarsensors zu einem Package zusammengefasst ist. Der wenigstens eine Radarsensor liefert somit hochauflösende Daten, die eine Zuordnung zu Unterbereichen und eine hochgenaue Gestenauswertung ermöglichen. In einem Schritt S1 werden mittels des wenigstens einen Radarsensors Radardaten im Erfassungsbereich aufgenommen. In einem Schritt S2 erfolgt eine erste Auswertung der Radardaten, vorliegend insbesondere im Hinblick auf die Erkennung und die Position gestengebender Extremitäten von Insassen im Erfassungsbereich. The at least one radar sensor is realized in semiconductor technology, in this case specifically CMOS technology, and has a semiconductor chip which, in addition to the radar transceiver, also realizes a digital signal processing component and a control unit of the radar sensor and is combined with an antenna arrangement of the radar sensor to form a package. The at least one radar sensor thus provides high-resolution data that allow an assignment to sub-areas and a high-precision gesture evaluation. In a step S1, radar data is recorded in the detection area by means of the at least one radar sensor. In a step S2, a first evaluation of the radar data, in this case in particular with regard to the detection and the position of gesture-giving limbs of occupants in the detection area, takes place.
In einem Schritt S3 wird dann überprüft, ob sich eine gestengebende Extremität, wobei im Folgenden beispielhaft die Hand mit deren Fingern als gestengebende Extremität betrachtet werden wird, innerhalb eines der definierten Unterbereiche des Erfassungsbereichs befindet. In a step S3, it is then checked whether a gesture-giving limb, wherein in the following example the hand with its fingers will be regarded as a gesture-giving limb, is located within one of the defined subregions of the detection area.
Ist dies nicht der Fall, kann in einer ersten Ausführungsform wieder mit Schritt S1 fortgefahren werden; hier soll jedoch eine optionale, zweckmäßige Ausführungsform genauer diskutiert werden, in der dann mit einem Schritt S4 fortgefahren wird. In diesem Schritt S4 werden die Radardaten, gegebenenfalls auch zuvor aufgenommene Radardaten, ausgewertet, um die Trajektorie einer nicht in einem der Unterbereiche befindlichen Hand eines Insassen zu ermitteln und in die Zukunft zu prädizieren.If this is not the case, step S1 can be continued in a first embodiment; however, an optional, expedient embodiment will be discussed in more detail here, in which case a step S4 is continued. In this step S4, the radar data, possibly also previously recorded radar data, are evaluated in order to determine the trajectory of a hand of an occupant not located in one of the subregions and to predict it in the future.
In einem Schritt S5 wird dann überprüft, ob sich einer der Unterbereiche mit hinreichender Sicherheit, wozu ein Verlässlichkeitswert ermittelt werden kann, als Zielbereich der Trajektorie bestimmen lässt. Ist dies nicht der Fall, wird wieder mit Schritt S1 fortgefahren, ist dies jedoch der Fall, wird in Schritt S6 ausgenutzt, dass den Unterbereichen, die im Übrigen räumlich Bedieneinrichtungen für die Fahrzeugsysteme zugeordnet sind, auch Anzeigemittel, hier in Form einer LED, zugeordnet sind. Die LED des Unterbereichs, der als Zielbereich der Trajektorie ausgemacht wurde, leuchtet zur Ausgabe eines Vorbereitungshinweises im Schritt S6 weiß, solange der Unterbereich als Zielbereich der Trajektorie ausgemacht wird und gleichzeitig die Hand noch nicht in diesen Unterbereich eingedrungen ist. In a step S5 it is then checked whether one of the subareas can be determined with sufficient certainty, for which a reliability value can be determined, as the target area of the trajectory. If this is not the case, the process continues with step S1, but if this is the case, it is utilized in step S6 that display means, here in the form of an LED, are also assigned to the subregions, which are also spatially assigned operating devices for the vehicle systems are. The LED of the sub-area which has been designated as the target area of the trajectory lights up white for outputting a preparation notice in step S6 as long as the sub-area is identified as the target area of the trajectory and at the same time the hand has not yet entered this sub-area.
Es sei noch darauf hingewiesen, dass selbstverständlich im Rahmen der vorliegenden Erfindung im allgemeinen Nachverfolgungsalgorithmen und dergleichen eingesetzt werden können, die die Auswertung neuer Radardaten auf Auswertungsergebnissen vorheriger Radardaten basieren, so dass selbstverständlich nicht jedes Mal eine komplett neue Auswertung hinsichtlich der gestengebenden Extremitäten und dergleichen erfolgen muss.It should be noted that, of course, in the context of the present invention, generally tracking algorithms and the like can be used which base the evaluation of new radar data on evaluation results of previous radar data, so that, of course, not every time a completely new evaluation with respect to the gesture-giving extremities and the like got to.
Wurde im Schritt S3 festgestellt, dass sich wenigstens eine der detektierten Hände in einem der Unterbereiche befindet, werden die Radardaten im Schritt S7 weiter ausgewertet, gegebenenfalls auch unter Einbeziehung von zu vorherigen Zeitpunkten aufgenommenen Radardaten, um die Bewegung der Hand und/oder ihrer Finger, die Stellung und dergleichen als Gestendaten zu ermitteln, die mit den die Gesten für den Unterbereich beschreibenden Gesteninformationen verglichen werden können.If it has been determined in step S3 that at least one of the detected hands is located in one of the subregions, the radar data is stored in the subregion Step S7 is further evaluated, if necessary also including radar data recorded at previous times, in order to determine the movement of the hand and / or its fingers, the position and the like as gesture data which can be compared with the gesture information describing the gestures for the sub-area.
Dabei wird in Schritt S8 jedoch zunächst überprüft, ob überhaupt eine Geste vorliegt oder sich die Hand gar ohne Durchführung einer Geste einfach nur im Unterbereich befindet beziehungsweise eine Geste noch nicht hinreichend abgeschlossen ist. Ist dies der Fall, wird das bereits erwähnte Anzeigemittel, die LED, für diesen Unterbereich in einem Schritt S9 in einen grünen Leuchtzustand versetzt. Sie gibt somit einen Bereitschaftshinweis aus, der dem Insassen anzeigt, dass er mit der Hand nun Gesten vollführen kann, um entsprechende Eingaben vorzunehmen und Systemaktionen auszulösen. However, in step S8, it is first checked whether there is any gesture at all, or if the hand is simply in the lower area without a gesture being carried out, or if a gesture has not yet been sufficiently completed. If this is the case, the already mentioned display means, the LED, for this sub-area is set to a green lighting state in a step S9. It thus issues a readiness alert, indicating to the occupant that he can now perform gestures with his hand to make appropriate inputs and trigger system actions.
In einem Schritt S10 werden die Gestendaten mit den zulässige Gesten für den Unterbereich beschreibenden Gesteninformationen vergleichen. Entspricht die Bewegung beziehungsweise Stellung der Hand keiner dieser für den Unterbereich vorbestimmten Gesten, leuchtet die LED in einem Schritt S11 rot, um anzuzeigen, dass ein fehlerhafter Bedienversuch vorlag. Wurde jedoch eine Geste erkannt, wird in einem Schritt S12 ein Bestätigungshinweis ausgegeben, in dem die LED für eine bestimmte Zeitspanne blau leuchtet, und es wird die der Geste gemäß den Gesteninformationen zugeordnete Systemaktion für diesen Unterbereich durchgeführt, beispielsweise das Ansteuern eines Fensterhebers zum Öffnen eines Fensters oder dergleichen.In a step S10, the gesture data is compared with the allowable gestures for the sub-area descriptive gesture information. If the movement or position of the hand does not correspond to any of these gestures predetermined for the subrange, the LED lights red in a step S11 to indicate that a faulty operating attempt was present. However, if a gesture has been detected, a confirmation message is issued in step S12, in which the LED glows blue for a certain period of time, and the system action associated with the gesture according to the gesture information is performed for that subarea, for example, driving a window opener Window or the like.
In jedem Fall werden während aktiver Unterstützungsfunktion dann kontinuierlich weiter durch die Radardaten die Bewegungen gestengebender Extremitäten überwacht, so dass in jedem Fall wieder mit Schritt S1 fortgefahren wird, der Aufnahme neuer, aktueller Radardaten. Die Unterstützungsfunktion des hier beschriebenen Fahrerassistenzsystems kann manuell durch einen Insassen aktiviert werden, bevorzugt wird diese Gestenerkennungsfunktion jedoch automatisch aktiviert, wenn ein Lichtsensor die Unterschreitung einer Mindesthelligkeit im Innenraum des Kraftfahrzeugs misst.In any case, during active assistance function, the radar data continues to monitor the movements of gesture-giving extremities so that, in any case, step S1 is continued, recording new, up-to-date radar data. The assistance function of the driver assistance system described here can be activated manually by an occupant, but this gesture recognition function is preferably activated automatically when a light sensor measures the undershooting of a minimum brightness in the interior of the motor vehicle.
Dabei sei noch angemerkt, dass eine Vielzahl von Fahrzeugsystemen beziehungsweise fahrzeugseitigen Vorrichtungen auf diese Weise grundsätzlich ansteuerbar ist. Beispiele umfassen eine Multimediaeinrichtung, eine Telekommunikationseinrichtung, eine Navigationseinrichtung, eine Klimaanlage, eine Beleuchtungseinrichtung für den Innenraum des Kraftfahrzeugs, eine Beleuchtungseinrichtung für den Außenbereich des Kraftfahrzeugs, eine Einrichtung zum Verstellen von Sitzen, eine Einrichtung zum Verstellen von Spiegeln, eine Einrichtung zum Öffnen und Schließen von Fenstern des Kraftfahrzeugs, eine Einrichtung zum Öffnen und Schließen von Türen des Kraftfahrzeugs und/oder eine Einrichtung zum Aussenden eines Funksignals zum Öffnen und Schließen von einer/einem sich außerhalb des Kraftfahrzeugs befindlichen Tür/Tor sein. Die Systemaktionen können ein Aktivieren, Deaktivieren, Einstellen und/oder Verstellen des Fahrzeugsystems und/oder eine Eingabe von Informationen in das Fahrzeugsystem umfassen. It should also be noted that a plurality of vehicle systems or vehicle-mounted devices in this way is basically controllable. Examples include a multimedia device, a telecommunication device, a navigation device, an air conditioner, a lighting device for the interior of the motor vehicle, a lighting device for the exterior of the motor vehicle, a device for adjusting seats, a device for adjusting mirrors, a device for opening and closing of windows of the motor vehicle, a device for opening and closing doors of the motor vehicle and / or a device for transmitting a radio signal for opening and closing of a / located outside the motor vehicle door / gate. The system actions may include activating, deactivating, adjusting and / or adjusting the vehicle system and / or inputting information into the vehicle system.
Mithin sind die auch in
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102013012466 A1 [0008] DE 102013012466 A1 [0008]
Zitierte Nicht-PatentliteraturCited non-patent literature
- Artikel von Jri Lee et al., „A Fully Integrated 77-GHz FMCW Radar Transceiver in 65-nm CMOS Technology“, IEEE Journal of Solid State Circuits 45 (2010), S. 2746–2755 [0004] Article by Jri Lee et al., "A Fully Integrated 77GHz FMCW Radar Transceiver in 65nm CMOS Technology", IEEE Journal of Solid State Circuits 45 (2010), pp. 2746-2755 [0004]
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102016213667.4A DE102016213667B4 (en) | 2016-07-26 | 2016-07-26 | Method for operating a driver assistance system to support an occupant in operating vehicle systems and motor vehicles |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102016213667.4A DE102016213667B4 (en) | 2016-07-26 | 2016-07-26 | Method for operating a driver assistance system to support an occupant in operating vehicle systems and motor vehicles |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE102016213667A1 true DE102016213667A1 (en) | 2018-02-01 |
| DE102016213667B4 DE102016213667B4 (en) | 2022-11-10 |
Family
ID=60950980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102016213667.4A Active DE102016213667B4 (en) | 2016-07-26 | 2016-07-26 | Method for operating a driver assistance system to support an occupant in operating vehicle systems and motor vehicles |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102016213667B4 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110779148A (en) * | 2019-11-14 | 2020-02-11 | 宁波奥克斯电气股份有限公司 | Millimeter wave-based interesting control method and device for air conditioner and air conditioner |
| DE102019104527A1 (en) * | 2019-02-22 | 2020-08-27 | Bayerische Motoren Werke Aktiengesellschaft | DEVICE AND METHOD FOR CONTROLLING A VEHICLE AND VEHICLE |
| WO2020187397A1 (en) | 2019-03-19 | 2020-09-24 | HELLA GmbH & Co. KGaA | A method for a detection and classification of gestures using a radar system |
| DE102019130943A1 (en) * | 2019-11-15 | 2021-05-20 | Faurecia Autositze Gmbh | Gesture recognition device and vehicle seat with a gesture recognition device |
| WO2022179964A1 (en) * | 2021-02-25 | 2022-09-01 | Saint-Gobain Glass France | Laminate pane system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102013012466A1 (en) | 2013-07-26 | 2015-01-29 | Audi Ag | Operating system and method for operating a vehicle-side device |
| DE102014118796A1 (en) * | 2013-12-26 | 2015-07-02 | Visteon Global Technologies, Inc. | Planar field activation system and method for a gesture-based control system |
| US20160098088A1 (en) * | 2014-10-06 | 2016-04-07 | Hyundai Motor Company | Human machine interface apparatus for vehicle and methods of controlling the same |
-
2016
- 2016-07-26 DE DE102016213667.4A patent/DE102016213667B4/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102013012466A1 (en) | 2013-07-26 | 2015-01-29 | Audi Ag | Operating system and method for operating a vehicle-side device |
| DE102014118796A1 (en) * | 2013-12-26 | 2015-07-02 | Visteon Global Technologies, Inc. | Planar field activation system and method for a gesture-based control system |
| US20160098088A1 (en) * | 2014-10-06 | 2016-04-07 | Hyundai Motor Company | Human machine interface apparatus for vehicle and methods of controlling the same |
Non-Patent Citations (1)
| Title |
|---|
| Artikel von Jri Lee et al., „A Fully Integrated 77-GHz FMCW Radar Transceiver in 65-nm CMOS Technology", IEEE Journal of Solid State Circuits 45 (2010), S. 2746–2755 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102019104527A1 (en) * | 2019-02-22 | 2020-08-27 | Bayerische Motoren Werke Aktiengesellschaft | DEVICE AND METHOD FOR CONTROLLING A VEHICLE AND VEHICLE |
| WO2020187397A1 (en) | 2019-03-19 | 2020-09-24 | HELLA GmbH & Co. KGaA | A method for a detection and classification of gestures using a radar system |
| CN113646729A (en) * | 2019-03-19 | 2021-11-12 | 海拉有限双合股份公司 | Method for detecting and classifying gestures using a radar system |
| DE112019007053T5 (en) | 2019-03-19 | 2022-01-27 | HELLA GmbH & Co. KGaA | Method for detection and classification of gestures using a radar system |
| CN110779148A (en) * | 2019-11-14 | 2020-02-11 | 宁波奥克斯电气股份有限公司 | Millimeter wave-based interesting control method and device for air conditioner and air conditioner |
| DE102019130943A1 (en) * | 2019-11-15 | 2021-05-20 | Faurecia Autositze Gmbh | Gesture recognition device and vehicle seat with a gesture recognition device |
| WO2022179964A1 (en) * | 2021-02-25 | 2022-09-01 | Saint-Gobain Glass France | Laminate pane system |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102016213667B4 (en) | 2022-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102016213667A1 (en) | Method for operating a driver assistance system to assist an occupant in the operation of vehicle systems and motor vehicle | |
| DE102016003308B3 (en) | Method for operating a driver assistance system of a motor vehicle and motor vehicle | |
| EP2746805B1 (en) | Ultrasonic surveillance system for the interior of a motor vehicle | |
| DE102017121834A1 (en) | SYSTEM AND METHOD FOR DETERMINING THE LOCATION OF A MOBILE DEVICE RELATIVE TO THE VEHICLE CABIN | |
| DE102011087347B4 (en) | Method for controlling at least one actuator based on changes in the signal propagation time of at least one ultrasonic sensor | |
| DE102017124731A1 (en) | METHOD AND DEVICE FOR DETECTING THE DOOR CONDITION | |
| DE102011122180A1 (en) | Method for detecting an actuating movement for an actuating device of a motor vehicle trim element and actuating device of a motor vehicle trim element | |
| DE102012101898B4 (en) | Vehicle control device | |
| EP3215866B1 (en) | Radar sensor for the use on a movable part of a vehicle, vehicle and method for the operation of a radar sensor | |
| DE102018213626A1 (en) | Method for identifying a person in an environment around a motor vehicle and motor vehicle | |
| DE102016125371A1 (en) | System for detecting a gesture of a user in a vehicle | |
| EP3136123A1 (en) | Method for assigning predetermined mounting positions to automotive radar sensors mounted at respective positions | |
| WO2017134060A1 (en) | Method for operating a driver assistance system of a motor vehicle and motor vehicle | |
| DE102014011121A1 (en) | Motor vehicle with a collision protection system for at least one door | |
| DE102016211495A1 (en) | Control device for a motor vehicle | |
| DE102018200814B3 (en) | Method for operating a fully automatic guidance of a motor vehicle trained vehicle guidance system of the motor vehicle and motor vehicle | |
| DE102015004468A1 (en) | Method for operating a driver assistance system and motor vehicle | |
| DE102016204274A1 (en) | System and method for detecting a user input gesture | |
| DE102016003934A1 (en) | Method for navigating a motor vehicle in a navigation environment and navigation markers | |
| DE102015007034A1 (en) | Method for operating a parking assistance system of a motor vehicle and motor vehicle | |
| DE102017216567A1 (en) | Procedure for determining an area map in a motor vehicle and motor vehicle | |
| EP3564699B1 (en) | Method for determining an absolute velocity of a further road user and motor vehicle | |
| EP3059606A1 (en) | Method for determining traffic density information in a motor vehicle and motor vehicle | |
| DE102016001104B4 (en) | Method for operating a transmission system in a motor vehicle and motor vehicle | |
| DE102015009308B4 (en) | Method for operating a driver assistance system and motor vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R016 | Response to examination communication | ||
| R016 | Response to examination communication | ||
| R018 | Grant decision by examination section/examining division | ||
| R020 | Patent grant now final |