DE102011118551A1 - Method for supporting autonomous or semi-autonomous driving maneuver e.g. off-parking maneuver, of motor car, involves using assistance system when recognizing presence of termination condition in form of user action - Google Patents
Method for supporting autonomous or semi-autonomous driving maneuver e.g. off-parking maneuver, of motor car, involves using assistance system when recognizing presence of termination condition in form of user action Download PDFInfo
- Publication number
- DE102011118551A1 DE102011118551A1 DE102011118551A DE102011118551A DE102011118551A1 DE 102011118551 A1 DE102011118551 A1 DE 102011118551A1 DE 102011118551 A DE102011118551 A DE 102011118551A DE 102011118551 A DE102011118551 A DE 102011118551A DE 102011118551 A1 DE102011118551 A1 DE 102011118551A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- assistance system
- autonomous
- driving maneuver
- maneuver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012545 processing Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 9
- 230000006378 damage Effects 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 7
- 208000027418 Wounds and injury Diseases 0.000 claims description 2
- 208000014674 injury Diseases 0.000 claims description 2
- 230000004075 alteration Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 206010000210 abortion Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/007—Switching between manual and automatic parameter input, and vice versa
- B60W2050/0072—Controller asks driver to take over
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
Description
Die Erfindung betrifft ein Verfahren und eine Vorrichtung für ein Assistenzsystem, das zur Durchführung eines autonomen oder teilautonomen Fahrmanövers eines Fahrzeugs dient, beispielsweise ein Parkassistenzsystem in einem Fahrzeug.The invention relates to a method and a device for an assistance system, which is used to carry out an autonomous or semi-autonomous driving maneuver of a vehicle, for example a parking assistance system in a vehicle.
Seit einigen Jahren werden in Fahrzeugen vermehrt optische Sensorsysteme eingesetzt, insbesondere Kameras zur Erfassung des Fahrzeugumfeldes. Mittels spezieller elektronischer Einrichtungen und Software können diese Systeme verschiedene fahrerunterstützende Funktionen übernehmen, weshalb derartige Systeme auch unter der Bezeichnung Assistenzsysteme bzw. Fahrerassistenzsysteme bekannt sind. Einige dieser Assistenzsysteme sind bereits in der Lage autonome oder teilautonome Fahrmanöver durchzuführen, beispielsweise Einpark- und/oder Ausparkmanöver.For some years, vehicles have increasingly used optical sensor systems, in particular cameras for detecting the vehicle environment. By means of special electronic devices and software, these systems can take over various driver-supporting functions, which is why such systems are also known as assistance systems or driver assistance systems. Some of these assistance systems are already able to perform autonomous or semi-autonomous driving maneuvers, such as parking and / or parking maneuvers.
Ein System zur Einparkunterstützung ist beispielsweise aus der
Die Steuersignale können als Lenkhinweise dem Fahrer angezeigt oder wenigstens einem Steuersystem zugeführt werden, um ein halbautomatisches oder vollautomatisches Fahren des Fahrzeugs auf die Parkfläche zu realisieren.The control signals can be displayed as steering instructions to the driver or at least fed to a control system in order to realize a semi-automatic or fully automatic driving of the vehicle on the parking area.
Für Assistenzsysteme zur Durchführung autonomer oder teilautonomer Fahrmanöver können heutzutage Sensorsystem eingesetzt, die in der Lage sind die gesamte Fahrzeugumgebung zu erfassen, im Sinne einer 360°-Sicht bzw. im Sinne einer Rundumsicht um das Fahrzeug, und mit dessen Ausgangssignalen in Form von detektierten Objekten rund um das Fahrzeug Fahrerassistenzfunktionen durchgeführt werden können. Die
Systeme wie in der
Gerade bei Assistenzsystemen, die zur Durchführung von autonomen oder teilautonomen Fahrmanövern dienen, beispielsweise von Einpark- oder Ausparkmanöver, liegt eine hohe Prozessverantwortung bei diesen Systemen. Es muss insbesondere zu jeder Zeit während eines autonomen oder teilautonomen Fahrmanövers sichergestellt sein, dass andere Verkehrsteilnehmer (z. B. Passanten) nicht gefährdet werden und dass keine Schäden am eigenen oder an anderen Fahrzeugen entstehen. Darüber hinaus besteht, insbesondere bei autonomen geführten Fahrzeugen, eine erhöhte Diebstahlgefahr, da beispielsweise eine Person in das während eines autonomen Fahrmanövers fremdgestartete Fahrzeug einsteigen und damit wegfahren könnte.Particularly with assistance systems which serve to carry out autonomous or semi-autonomous driving maneuvers, for example of parking or parking maneuvers, there is a high degree of process responsibility in these systems. In particular, at any time during an autonomous or semi-autonomous maneuver, it must be ensured that other road users (eg passers-by) are not endangered and that no damage is caused to their own vehicle or to other vehicles. In addition, there is an increased risk of theft, in particular in autonomous guided vehicles, since, for example, a person could get into the vehicle that had been started by a third-party during an autonomous driving maneuver and thus could drive away.
Der Erfindung liegt demnach die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung für ein Assistenzsystem zur Durchführung von autonomen und teilautonomen Fahrmanövern anzugeben, wobei sichergestellt ist, dass die hohen Anforderungen, betreffend die Prozessverantwortung des Assistenzsystems, erfüllt werden und eine Gefährdung für Mensch, Material und Umwelt sowie die Gefahr eines Diebstahls des Fahrzeugs, während der Durchführung des jeweiligen Fahrmanövers, weitgehend ausgeschlossen sind.The invention is therefore based on the object of specifying a method and an apparatus for an assistance system for performing autonomous and semi-autonomous driving maneuvers, wherein it is ensured that the high requirements regarding the process responsibility of the assistance system, are met and endanger human beings, material and Environment as well as the risk of theft of the vehicle during the execution of the respective driving maneuver, are largely excluded.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen nach Anspruch 1 und durch eine Vorrichtung mit den Merkmalen nach Anspruch 9 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen, wobei auch Kombinationen und Weiterbildungen einzelner Merkmale miteinander denkbar sind. This object is achieved by a method having the features of claim 1 and by a device having the features of claim 9. Advantageous embodiments and further developments are the subject of dependent claims, wherein combinations and developments of individual features are conceivable with each other.
Ein wesentlicher Gedanke der Erfindung besteht darin, bei einem Assistenzsystem, welches vorzugsweise ein TopView-System zur Durchführung eines autonomen oder teilautonomen Fahrmanövers nutzt, sicherzustellen, dass das autonome oder teilautonome Fahrmanöver bei Bedarf sowie insbesondere zu jedem Zeitpunkt während der Durchführung abgebrochen werden kann bzw. automatisch abgebrochen wird. Hierzu werden erfindungsgemäß verschiedene Abbruchbedingungen bzw. Abbruchkriterien definiert, wobei bei Vorliegen wenigstens einer der Abbruchbedingungen das Assistenzsystem in einen sicheren Zustand überführt wird. Bei den Abbruchbedingungen kann es sich dabei um einen definierten Bedienereingriff und/oder um eine bestimmte Betriebsbedingung des Fahrzeugs und/oder eine Betriebsbedingung in der Fahrzeugumgebung bzw. um eine Änderung einer oder mehrerer der Betriebsbedingungen handeln.An essential idea of the invention is to ensure in an assistance system, which preferably uses a TopView system for carrying out an autonomous or semi-autonomous driving maneuver, that the autonomous or partially autonomous driving maneuver can be aborted if necessary and in particular at any time during the execution or is automatically canceled. For this purpose, different termination conditions or termination criteria are defined according to the invention, wherein, if at least one of the termination conditions is present, the assistance system is transferred to a safe state. The termination conditions may be a defined operator intervention and / or a specific operating condition of the vehicle and / or an operating condition in the vehicle environment or a change of one or more of the operating conditions.
Bevorzugt wird im Rahmen des erfindungsgemäßen Verfahrens und bei der erfindungsgemäßen Vorrichtung (bzw. dem erfindungsgemäßen Assistenzsystem) das von einem TopView-System aus mehreren Einzelbildern generierte Gesamtbild der Fahrzeugumgebung, neben dessen Verarbeitung zur Durchführung des Fahrmanövers (z. B. Ableitung von Steuerbefehlen für das Fahrmanöver), genutzt, um zumindest eine der definierten Abbruchbedingungen zu ermitteln. Alternativ und/oder zusätzlich können auch Informationen fahrzeuginterner Sensoren zur Ermittlung zumindest einer der Abbruchbedingungen verwendet werden, beispielsweise auch eine oder mehrere Innenraumkameras. Ein wesentlicher Vorteil der Erfindung besteht darin, insbesondere bei Einsatz des erfindungsgemäßen Verfahrens bzw. bei Ausgestaltung der erfindungsgemäßen Vorrichtung mit einem TopView-System, dass sich anhand des Gesamtbildes der Fahrzeugumgebung Abbruchbedingungen, insbesondere Gefahren oder kritische Situationen während eines autonomen oder teilautonomen Fahrmanövers, die einen Abbruch eines Fahrmanövers erforderlich machen, besser und schneller erkennen lassen. Durch die Verwendung von Bilddaten eines TopView-Systems kann dynamischer und flexibler auf die jeweils vorliegenden Umweltbedingungen bzw. auf kritische Situationen reagiert werden.In the context of the method according to the invention and in the device according to the invention (or the assistance system according to the invention), the overall image of the vehicle environment generated by a TopView system of several individual images is preferred, in addition to its processing for carrying out the driving maneuver (eg derivation of control commands for the vehicle Driving maneuver), used to determine at least one of the defined termination conditions. Alternatively and / or additionally, information from in-vehicle sensors can also be used to determine at least one of the termination conditions, for example also one or more interior cameras. A significant advantage of the invention is, in particular when using the method according to the invention or when designing the device according to the invention with a TopView system that based on the overall picture of the vehicle environment demolition conditions, especially hazards or critical situations during an autonomous or semi-autonomous maneuver, the one Demolition of a driving maneuver required, better and faster to recognize. By using image data of a TopView system, it is possible to respond more dynamically and flexibly to the prevailing environmental conditions or to critical situations.
Das erfindungsgemäße Verfahren kommt bevorzugt bei einem Assistenzsystem zum Einsatz, das zur Durchführung eines autonomen oder teilautonomen Fahrmanövers eines Fahrzeugs dient.The method according to the invention is preferably used in an assistance system which serves to carry out an autonomous or semi-autonomous driving maneuver of a vehicle.
Unter autonomen oder teilautonomen Fahrmanöver kann grundsätzlich jedes Fahrmanöver eines Fahrzeugs verstanden werden, bei dem eine, mehrere oder alle Steuerungs- und Regelungsaufgaben, die ansonsten, d. h. bei manueller Durchführung des jeweiligen Fahrmanövers, vom Fahrzeugführer durchgeführt werden müssten, vom Assistenzsystem übernommen werden. Damit kann es sich bei den Fahrmanövern insbesondere auch um vollständig automatisierte Fahrmanöver handeln, die durchgeführt werden, ohne dass der Fahrer und/oder andere Personen im Fahrzeug sitzen. Das erfindungsgemäße Verfahren kommt dabei bevorzugt bei einem Assistenzsystem zum Einsatz, dass zur Durchführung eines autonomen oder teilautonomen Einpark- oder Ausparkmanövers dient. Unter einem teilautonomen Fahrmanöver kann in diesem Fall ein Einpark- und/oder Ausparkmanöver verstanden werden, bei dem das Assistenzsystem eine oder mehrere Regelungs- und Steuerungsaufgaben übernimmt, z. B. die Steuerung und Regelung der Fahrzeugbremse(n) und/oder der Fahrzeuglenkung. Unter einem autonomen Fahrmanöver ist in dem Fall vorzugweise ein Fahrmanöver zu verstehen, bei dem sämtliche Steuerungs- und Regelungsaufgaben vom Assistenzsystem übernommen werden, die erforderlich sind, um das Fahrzeug aus einer IST-Position in eine SOLL-Position (z. B. Parkposition) zu bewegen, bevorzugt einschließlich der Regelung/Steuerung der Fahrzeugbeschleunigung (Gas).Autonomous or semi-autonomous driving maneuvers can in principle be understood as any driving maneuver of a vehicle in which one, several or all control and regulation tasks which are otherwise, d. H. manual implementation of the respective driving maneuver, would have to be carried out by the driver, be taken over by the assistance system. Thus, the driving maneuvers may in particular also be completely automated driving maneuvers that are carried out without the driver and / or other persons sitting in the vehicle. The method according to the invention is preferably used in an assistance system which serves to carry out an autonomous or semi-autonomous parking or parking maneuver. Under a partially autonomous driving maneuver can be understood in this case a parking and / or Ausparkmanöver in which the assistance system performs one or more regulatory and control tasks, eg. As the control and regulation of the vehicle brake (s) and / or the vehicle steering. In this case, an autonomous driving maneuver is preferably to be understood as a driving maneuver in which all control and regulating tasks are performed by the assistance system which are required in order to move the vehicle from an ACTUAL position to a DESIRED position (eg parking position). Preferably, including control of vehicle acceleration (gas).
Das Assistenzsystem, bei dem das erfindungsgemäße Verfahren zum Einsatz kommt, umfasst vorzugsweise ein Kamerasystem, mittels dem aus einer Fahrzeugumgebung Bilddaten erzeugt und zur Durchführung des Fahrmanövers verarbeitet werden. Die Erzeugung der Bilddaten erfolgt dabei bevorzugt mittels mehrerer Kameras, die auf unterschiedliche Bereiche der Fahrzeugumgebung ausgerichtet sind. Die Bilddaten können hierbei mittels Bildverarbeitungseinrichtungen geeignet verarbeitet werden, beispielsweise derart, dass aus den Bilddaten Objekte wie andere Fahrzeuge und Hindernisse erkannt, die Abstände zu den erkannten Objekten ermittelt, die Länge und Tiefe einer Parklücke berechnet und anhand dieser Informationen das notwendige Fahrmanöver einschließlich der erforderlichen Lenkwinkel abgeleitet werden. Zum Erkennen von Objekten und Hindernissen sowie zum Berechnen der Länge und Tiefe der Parklücke können alternativ oder zusätzlich zum Kamerasystem auch weitere Sensoren eingesetzt werden, wie z. B. Ultraschall-, Radar-, Lidar- und Lasersensoren.The assistance system in which the method according to the invention is used preferably comprises a camera system by means of which image data are generated from a vehicle environment and processed to carry out the driving maneuver. The generation of the image data is preferably carried out by means of several cameras, which are aligned to different areas of the vehicle environment. In this case, the image data can be suitably processed by means of image processing devices, for example such that objects such as other vehicles and obstacles are detected from the image data, the distances to the detected objects are determined, the length and depth of a parking space calculated and the necessary driving maneuver including the required driving maneuver based on this information Steering angles are derived. To detect objects and obstacles and to calculate the length and depth of the parking space, other sensors can be used as an alternative or in addition to the camera system, such. B. ultrasonic, radar, lidar and laser sensors.
Erfindungsgemäß wird das Assistenzsystem, bei der Durchführung eines autonomen oder teilautonomen Fahrmanövers, insbesondere dann in einen sicheren Zustand überführt, wenn erkannt wird, dass wenigstens eine bestimmte Abbruchbedingung vorliegt.According to the invention, the assistance system, in the implementation of an autonomous or semi-autonomous driving maneuver, especially in one transferred state when it is detected that at least one particular termination condition exists.
Bei der wenigstens einen Abbruchbedingung kann es sich dabei erfindungsgemäß um einen definierten Bedienereingriff und/oder um eine bestimmte Betriebsbedingung bzw. um die Änderung einer Betriebsbedingung handeln sowie insbesondere um einen Bedienereingriff und/oder die Änderung einer Betriebsbedingung während der Durchführung des jeweiligen Fahrmanövers.According to the invention, the at least one termination condition can be a defined operator intervention and / or a specific operating condition or the change of an operating condition, and in particular an operator intervention and / or the change of an operating condition during execution of the respective driving maneuver.
Unter Bedienereingriff ist vorzugsweise ein Eingriff eines Bedieners zu verstehen, beispielsweise des Fahrzeugführers, in das Fahrmanöver bzw. während des Fahrmanövers.Operator intervention is preferably an intervention of an operator to understand, for example, the driver, in the driving maneuver or during the driving maneuver.
Unter Betriebsbedingungen können bestimmte Betriebszustände des Fahrzeugs, die beispielsweise über fahrzeuginterne Sensoren erfasst werden, und/oder bestimmte Zustände in der Fahrzeugumgebung, die beispielsweise über am Fahrzeug angeordnete Umfeldsensoren, z. B. Kameras, erfasst werden, verstanden werden.Under operating conditions certain operating conditions of the vehicle, which are detected for example via in-vehicle sensors, and / or certain conditions in the vehicle environment, for example, on the vehicle surrounding environment sensors, eg. As cameras are detected are understood.
Zu den definierten Abbruchbedingung im Rahmen des erfindungsgemäßen Verfahrens gehören insbesondere auch Beschränkungen, die eine sichere und korrekte Durchführung des jeweiligen autonomen oder teilautonomen Fahrmanövers durch das Assistenzsystem beeinträchtigen können, insbesondere visuelle Beschränkungen für das Kamerasystem und/oder Beschränkungen für das Assistenzsystem bzw. für das Fahrmanöver. Mit einer sicheren Durchführung ist dabei insbesondere eine Durchführung des Fahrmanövers gemeint, bei der Schäden am Fahrzeug sowie Gefährdungen von Mensch und Umwelt, insbesondere von Personen, weitgehend ausgeschlossen werden können. Unter einer korrekten Durchführung kann eine Durchführung des Fahrmanövers verstanden werden, unter Einhaltung der jeweils berechneten Steuerungs- und Regelungsgrößen. Unter einer visuellen Einschränkung des Kamerasystems ist insbesondere eine Einschränkung des Kamerasystems zu verstehen, bei der eine zuverlässige Erkennung von Objekten (Fahrzeuge, Hindernisse, Personen, etc.) nicht mehr sichergestellt ist. Die wenigstens eine Beschränkung kann beispielsweise mittels Bildverarbeitung von mittels eines Kamerasystems gewonnen Bilddaten und/oder aus den Informationen fahrzeuginterner Sensoren erkannt werden.The defined termination condition within the scope of the method according to the invention also includes, in particular, restrictions which may impair the safe and correct execution of the respective autonomous or semi-autonomous maneuver by the assistance system, in particular visual restrictions on the camera system and / or restrictions on the assistance system or on the maneuver , With a safe implementation is meant in particular an implementation of the maneuver, in which damage to the vehicle and hazards to man and the environment, in particular of persons, can be largely excluded. A correct implementation can be understood to mean a performance of the driving maneuver, in compliance with the respectively calculated control and regulation variables. A visual restriction of the camera system is in particular a restriction of the camera system to understand in which a reliable detection of objects (vehicles, obstacles, people, etc.) is no longer ensured. The at least one restriction can be detected, for example, by means of image processing of image data obtained by means of a camera system and / or from the information of in-vehicle sensors.
Bei dem Bedienereingriff, als erfindungsgemäße Abbruchbedingung, handelt es sich in einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens um eine Betätigung eines Schalter, der zum Abbruch des jeweiligen Fahrmanövers dient, und/oder um einen Abbruch einer Betätigung eines Schalter, der zum Auslösen des jeweiligen Fahrmanövers dient, durch einen Bediener.In the operator intervention, as a termination condition according to the invention, in a preferred embodiment of the method according to the invention is an operation of a switch, which serves to cancel the respective driving maneuver, and / or a termination of an operation of a switch, which serves to trigger the respective driving maneuver , by a server.
Der Schalter kann sowohl im Innenraum als auch außen am Fahrzeug angeordnet sein.The switch can be arranged both in the interior and on the outside of the vehicle.
In einer vorteilhaften Ausgestaltung ist der Schalter zum Abbruch bzw. zu Auslösen des jeweiligen autonomen oder teilautonomen Fahrmanövers auf einer Fernbedienung, beispielsweise auf einer Fernbedienung zur Steuerung eines autonomen Einparkmanövers, oder am Fahrzeugschlüssel angeordnet. Das Assistenzsystem kann in dem Fall beispielsweise derart ausgebildet sein, dass das autonome Einparkmanöver nur solange durchgeführt wird, solange der Schalter auf der Fernbedienung oder am Fahrzeugschlüssel durch einen Bediener, z. B. den Fahrzeugführer, gedrückt wird. Lässt der Bediener den Schalter los, d. h. bricht er die Betätigung des Schalters ab, wird das Fahrmanöver unterbrochen und das Assistenzsystem wird erfindungsgemäß in einen sicheren Zustand überführt. In diesem Fall würde der Schalter insbesondere die Funktion eines Totmannschalters aufweisen.In an advantageous embodiment, the switch for aborting or triggering the respective autonomous or semi-autonomous driving maneuver is arranged on a remote control, for example on a remote control for controlling an autonomous parking maneuver, or on the vehicle key. The assistance system can be designed in such a case, for example, that the autonomous parking maneuver is carried out only as long as the switch on the remote control or the vehicle key by an operator, eg. B. the driver is pressed. If the operator releases the switch, d. H. If he aborts the operation of the switch, the driving maneuver is interrupted and the assistance system according to the invention is transferred to a safe state. In this case, the switch would in particular have the function of a deadman switch.
Erfindungsgemäß kann es sich bei dem Bediener, der den Bedienereingriff als erfindungsgemäße Abbruchbedingung durchführt, um eine beliebige Person im Fahrzeug (Fahrzeuginsassen) oder in der Fahrzeugumgebung (z. B. Passanten) handeln.According to the invention, the operator performing the operator intervention as a termination condition according to the invention can be any person in the vehicle (vehicle occupant) or in the vehicle environment (eg passers-by).
In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens handelt es sich bei dem Bedienereingriff, als erfindungsgemäße Abbruchbedingung, um das Öffnen zumindest einer Tür, zumindest einer Motorhaube und/oder zumindest eines Kofferraums des Fahrzeugs und/oder um das Betätigen eines Pedals (z. B. Brems-, Gas-, Kupplungspedal), eines Fensterhebers und/oder eines Lenkrads des Fahrzeugs, insbesondere während der Durchführung des Fahrmanövers durch einen Bediener. Bevorzugt wird dabei das Assistenzsystem sofort in einen sicheren Zustand überführt, sobald festgestellt wird, dass einer der genannten Bedienereingriffe erfolgt ist. Die Feststellung kann insbesondere mittels fahrzeuginterner Sensoren (z. B. Sensoren an Türverrieglungen und am Motorhaubenschloss etc.) erfolgen. Besonders vorteilhaft an dieser Ausgestaltung ist, dass ein Abbruch des jeweils durchgeführten autonomen oder teilautonomen Fahrmanövers zu jeder Zeit und insbesondere durch jede Person, die sich im Fahrzeug oder in der Nähe des Fahrzeugs befindet, möglich ist. Der Abbruch kann insbesondere unabhängig von speziellen Bedienvorrichtungen (z. B. einer Fernbedienung) und intuitiv erfolgen, was besonders in Paniksituationen von Vorteil ist. Ein weiterer Vorteil bei dieser bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens ist die Tatsache, dass Bedienereingriffe, insbesondere das Öffnen von Türen des Fahrzeugs, wodurch Gefahren bezüglich Beschädigungen des Fahrzeug und Verletzungen von Personen entstehen würden, vorzugsweise zu einem sofortigen Abbruch des Fahrmanövers führen. Das Öffnen einer Fahrzeugtür als Abbruchbedingung kann dabei zudem dem Schutz vor einem Diebstahl des Fahrzeug dienen, insbesondere zur Vermeidung, dass während eines autonomen Einparkmanövers eine fremde Person in das Fahrzeug einsteigt und damit wegfährt.In an advantageous embodiment of the method according to the invention, the operator intervention, as a termination condition according to the invention, is the opening of at least one door, at least one bonnet and / or at least one trunk of the vehicle and / or the actuation of a pedal (eg brake -, gas, clutch pedal), a window lift and / or a steering wheel of the vehicle, in particular during the execution of the driving maneuver by an operator. In this case, the assistance system is preferably immediately transferred to a safe state as soon as it is determined that one of the named operator interventions has taken place. The determination can be carried out in particular by means of in-vehicle sensors (eg sensors on door locks and on the bonnet lock, etc.). A particular advantage of this embodiment is that a termination of each performed autonomous or semi-autonomous driving maneuver at any time and in particular by any person who is in the vehicle or in the vicinity of the vehicle, is possible. In particular, the interruption can take place independently of special operating devices (eg a remote control) and intuitively, which is particularly advantageous in panic situations. Another advantage of this preferred embodiment of the method according to the invention is the fact that operator intervention, in particular the opening of doors of the vehicle, which risks with respect to damage to the vehicle and injury to persons, preferably lead to an immediate termination of the maneuver. The opening of a vehicle door as a termination condition can also serve to protect against theft of the vehicle, in particular to avoid that during an autonomous Einparkmanövers a stranger enters the vehicle and thus drives away.
Bei der erfindungsgemäßen Abbruchbedingung kann es sich in einer vorteilhaften Ausgestaltung des erfindungsgemäßen weiterhin um eine bestimmte Betriebsbedingung des Fahrzeugs und/oder der Fahrzeugumgebung handeln bzw. um die Änderung einer dieser Betriebsbedingungen, wobei es sich hierbei bevorzugt um wenigstens einer der folgenden Betriebsbedingungen handelt:
- – Fahrzeuggeschwindigkeit während des Fahrmanövers
- – Öffnungszustand des Kofferraums des Fahrzeug
- – Öffnungszustand der Motorhaube des Fahrzeugs
- – Öffnungszustand einer oder mehrerer Türen des Fahrzeugs
- – Öffnungszustand eines oder mehrerer Fenster des Fahrzeugs
- – Betriebszustand einer oder mehrerer Fahrzeugleuchten
- – Fahrzeugspiegel ausgeklappt
- – Fahrzeugspiegel angeklappt
- – Erfasste Personen im Fahrzeuginnenraum
- – Erkannte Personen in unmittelbarer Nähe des Fahrzeugs
- - Vehicle speed during the maneuver
- - Opening state of the trunk of the vehicle
- - Opening state of the hood of the vehicle
- - Opening state of one or more doors of the vehicle
- - Opening state of one or more windows of the vehicle
- - Operating status of one or more vehicle lights
- - Vehicle mirror unfolded
- - Vehicle mirror folded
- - Detected persons in the vehicle interior
- - Detected persons in the immediate vicinity of the vehicle
Soll das autonome oder teilautonome Fahrmanöver nur mit einer bestimmten Höchstgeschwindigkeit durchgeführt werden können, beispielsweise mit einer Fahrzeuggeschwindigkeit von 10 km/h bzw. mit Schrittgeschwindigkeit, und/oder soll das Fahrmanöver sowohl vorwärts als auch rückwärts nur in der ersten Gangstufe durchgeführt werden können, dann kann das Assistenzsystem erfindungsgemäß dann in einen sicheren Zustand überführt, wenn erkannt wird, dass die vorgegebene Höchstgeschwindigkeit und/oder die erste Gangstufe überschritten wird.If the autonomous or teilautonome driving maneuver can be performed only with a certain maximum speed, for example, with a vehicle speed of 10 km / h or with walking speed, and / or the driving maneuver both forward and backward can be performed only in the first gear, then can the assistance system according to the invention then transferred to a safe state, if it is detected that the predetermined maximum speed and / or the first gear is exceeded.
Soll das autonome und/oder teilautonome Fahrmanöver stets mit eingeschalteter Fahrzeugbeleuchtung und/oder mit eingeschalteter Blinklichtanlage durchgeführt werden, beispielsweise um andere Verkehrsteilnehmer auf das Fahrzeug und das jeweils durchgeführte Fahrmanöver aufmerksam zu machen bzw. um andere Verkehrsteilnehmer zu warnen, kann das Assistenzsystem erfindungsgemäß dann in einen sicheren Zustand überführt, wenn erkannt wird, dass eine oder mehrere Fahrzeugbeleuchten bzw. Lichtsignaleinrichtungen des Fahrzeugs defekt (Betriebszustand einer oder mehrerer Fahrzeugleuchten = defekt) sind.If the autonomous and / or partially autonomous driving maneuver should always be carried out with the vehicle lighting switched on and / or with the flashing light system switched on, for example in order to alert other road users to the vehicle and the driving maneuver that has been carried out or to warn other road users, the assistance system can then be embodied according to the invention a safe state transferred when it is detected that one or more vehicle lights or light signal devices of the vehicle are defective (operating state of one or more vehicle lights = defective).
Insbesondere wenn das autonome oder teilautonome Fahrmanöver mittels eines Kamerasystems, z. B. ein TopView-System, erfolgt, kann durch eine oder mehrere geöffnete Fahrzeugtüren sowie durch einen geöffneten Kofferraum und/oder durch eine geöffnete Motorhaube das Sichtfeld einer oder mehrerer Kameras des Kamerasystems beeinträchtigt sein. Eine oder mehrere geöffnete Fahrzeugtüren, ein geöffneter Kofferraum und/oder ausgeklappte Fahrzeugspiegel können während eines autonomen oder teilautonomen Fahrmanövers zudem dazu führen, dass die betreffenden Fahrzeugteile mit Objekten in der Fahrzeugumgebung kollidieren, was Schäden am eigenen und an anderen Fahrzeugen verursachen kann. Sind eine oder mehrere Kameras des Kamerasystems z. B. in die Fahrzeugspiegel des Fahrzeugs integriert, oder sind Kameras des Kamerasystems in der Nähe von Seitenspiegeln des Fahrzeugs angeordnet, können angeklappte Seitenspiegel dazu führen, dass die Ausrichtung von Kameras des Kamerasystems nichtmehr einer korrekten Ausrichtung entspricht und/oder dass das Sichtfeld der Kameras durch die Spiegel beeinträchtigt bzw. verdeckt ist. Mittels einer Kamera oder mittels einer anderen Sensoreinrichtung erkannte Personen die sich in unmittelbarer Nähe des Fahrzeugs befinden, d. h. beispielsweise innerhalb des Bewegungsraumes bzw. auf dem geplanten Fahrweg des Fahrzeugs während des autonomen oder teilautonomen Fahrmanövers oder innerhalb eines bestimmten Abstand zum Fahrzeug, oder mittels Sitzbelegungssensoren erkannte Personen, die sich während eines autonomen oder teilautonomen Fahrmanövers im Fahrzeuginnenraum aufhalten, können ebenfalls die sichere Durchführung des Fahrmanövers gefährden. Die Erfassung von Personen im Fahrzeuginnenraum kann beispielsweise mittels Sitzbelegungserkennung, Innenraumkameras und/oder mittels Ultraschallwarnanlage erfolgen. Jede der genannten Betriebsbedingungen kann somit dazu führen, dass ein autonomes oder teilautonomes Fahrmanöver nicht sicher durchgeführt werden kann. Gemäß einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird daher das Assistenzsystem in einen sicheren Zustand überführt, wenn wenigstens eine der genannten Betriebsbedingungen erkannt wird bzw. wenn erkannt wird, dass sich wenigstens eine der genannten Betriebsbedingungen während des Fahrmanövers ändert.In particular, when the autonomous or teilautonome driving maneuver by means of a camera system, for. As a TopView system, can be affected by one or more open vehicle doors and by an open trunk and / or by an open hood the field of view of one or more cameras of the camera system. One or more open vehicle doors, an open trunk, and / or unfolded vehicle mirrors may also cause the subject vehicle parts to collide with objects in the vehicle environment during an autonomous or semi-autonomous maneuver, which may cause damage to one's own and other vehicles. Are one or more cameras of the camera system z. B. integrated into the vehicle mirror of the vehicle, or cameras of the camera system are arranged in the vicinity of side mirrors of the vehicle, hinged side mirrors can cause the alignment of cameras of the camera system no longer corresponds to a correct orientation and / or the field of view of the cameras the mirror is impaired or hidden. By means of a camera or by means of another sensor device recognized persons who are in the immediate vicinity of the vehicle, d. H. For example, within the movement space or on the planned path of the vehicle during the autonomous or semi-autonomous maneuver or within a certain distance from the vehicle, or detected by seat occupancy sensors people who are in an autonomous or semi-autonomous driving maneuver in the vehicle interior, also the safe implementation of Endanger driving maneuvers. The detection of persons in the vehicle interior can be done for example by means of seat occupancy detection, interior cameras and / or by means of ultrasonic warning system. Each of these operating conditions can thus lead to an autonomous or partially autonomous driving maneuver can not be performed safely. According to a preferred embodiment of the method according to the invention, therefore, the assistance system is transferred to a safe state if at least one of said operating conditions is detected or if it is detected that at least one of said operating conditions changes during the driving maneuver.
Insbesondere durch die Überwachung der Änderung der Betriebsbedingung betreffend den Öffnungszustand von Fahrzeugtüren und der Änderung der erkannten Sitzbelegung bzw. der erfassten Personen im Fahrzeuginnenraum, wird ein Diebstahlschutz realisiert, da in dem Falle erkannt und das Fahrzeug bzw. das Assistenzsystem in einen sicheren Zustand überführt werden würde, wenn eine Person während eines autonomen Fahrmanövers unerlaubt in das Fahrzeug einsteigt. Die Erfassung von Personen im Fahrzeuginnenraum kann beispielsweise auch mittels eines Bewegungssensors, z. B. einer Ultraschall-Diebsstahlwarnanlage, erfolgen.In particular, by monitoring the change of the operating condition regarding the opening state of vehicle doors and the change of the detected seat occupancy or the detected persons in the vehicle interior, a theft protection is realized, as detected in the case and the vehicle or the assistance system in a safe condition would be transferred if a person enters the vehicle unauthorized during an autonomous maneuver. The detection of persons in the vehicle interior, for example, by means of a motion sensor, for. As an ultrasonic thief warning, done.
Bei Ausgestaltung des Assistenzsystems in Verbindung mit einem TopView-System kann hierzu das generierte Gesamtbild der Fahrzeugumgebung mittels entsprechender Bildverarbeitungseinrichtungen geeignet verarbeitet werden, z. B. mittels Bilderkennungsverfahren, Mustervergleich/Mustererkennung etc. Gemäß einer optionalen Ausgestaltung kann das Vorliegen der wenigstens einen Betriebsbedingung bzw. die Änderung wenigstens einer der Betriebsdeinungen auch mittels fahrzeuginterner Sensorinformationen erkannt werden. Im Fall der vorangehend genannten Betriebsbedingungen, bei denen erfindungsgemäß eine Beschränkung vorliegen kann, können hierzu beispielsweise fahrzeuginterne Sensoren genutzt werden, insbesondere Signale von Sensoren, die ohnehin im Fahrzeug vorhanden sind und die Informationen beispielsweise über den Öffnungszustand der Fahrzeugtüren, Kofferraum und oder über den Zustand des Motorhaubenschlosses liefern und/oder beispielsweise Signale von Sitzbelegungssensoren (z. B. Sitzmattensensoren) und Gurtschlössern.When designing the assistance system in conjunction with a TopView system, the generated overall image of the vehicle environment can be suitably processed for this purpose by means of appropriate image processing devices, for. Example, by means of image recognition method, pattern matching / pattern recognition, etc. According to an optional embodiment, the presence of at least one operating condition or the change of at least one of the Betriebsdeinungen can also be detected by means of in-vehicle sensor information. In the case of the above-mentioned operating conditions, in which there may be a restriction according to the invention, for example vehicle-internal sensors can be used, in particular signals from sensors that are already present in the vehicle and the information about the opening state of the vehicle doors, boot and / or the state the hood lock supply and / or for example signals from seat occupancy sensors (eg seat mat sensors) and belt buckles.
Das erfindungsgemäße Verfahren kommt bevorzugt bei einem Assistenzsystem zum Einsatz, bei dem ein Kamerasystem zur Durchführung des autonomen und/oder teilautonomen Fahrmanövers eingesetzt wird bzw. bei dem zur Durchführung des jeweiligen Fahrmanövers Bilddaten ausgewertet werden, die mittels einer oder mehrerer am Fahrzeug angeordneter Kameras erfasst werden. Insbesondere für den Fall das für die Durchführung des Fahrmanövers eines oder mehrere Kameras eingesetzt werden, kann es sich bei der Änderung wenigstens einer Betriebsbindungen, bei denen das Assistenzsystem bzw. das Fahrzeug in einen sicheren Zustand überführt wird, um eine Änderung wenigstens einer der folgenden Betriebsbedingungen
- – Qualität der erfassten Bilddaten
- – Ausleuchtung eines oder mehrerer Erfassungsbereiche der einen oder mehreren Kameras
- – Ausrichtung der einen oder mehreren Kameras
- - Quality of captured image data
- - Illumination of one or more detection areas of the one or more cameras
- - Alignment of the one or more cameras
Eine Änderung, insbesondere eine Verschlechterung der Qualität der mittels der einen oder der mehreren Kameras erfassten Bilddaten kann dazu führen, dass das jeweilige Fahrmanöver nicht mehr sicher durchgeführt werden kann. Bei zur geringer Ausleuchtung einer oder mehrerer Bereiche der Umgebung des Fahrzeugs, die mittels der einen oder mehreren Kameras erfasst werden, sowie bei einer Dejustage der einen oder mehreren Kameras, kann zudem die korrekte und sichere Durchführung des jeweiligen Fahrmanövers gefährdet sein. Daher wird das Assistenzsystem erfindungsgemäß bei Erkennen einer solchen Bedingung bevorzugt einen sicheren Zustand überführt.A change, in particular a deterioration in the quality of the image data acquired by means of the one or more cameras, may mean that the respective driving maneuver can no longer be carried out safely. In addition, for the low illumination of one or more areas of the surroundings of the vehicle, which are detected by means of the one or more cameras, as well as a maladjustment of the one or more cameras, the correct and safe execution of the respective driving maneuver may be endangered. Therefore, the assistance system according to the invention is preferably transferred to a secure state upon detection of such a condition.
Bei dem Kamerasystem des Assistenzsystems handelt es sich in einer bevorzugten Ausgestaltung um ein System, bei dem mittels mehrerer Kameras Einzelbilder aus verschiedenen Bereichen der Fahrzeugumgebung erfasst und die Einzelbilder bzw. die erfassten Bilddaten mittels Bildverarbeitungsmittel geeignet transformiert, um hierdurch ein Gesamtbild der Fahrzeugumgebung zu generieren. Bei dem Kamerasystem handelt es sich damit vorzugsweise um ein TopView-System.In a preferred embodiment, the camera system of the assistance system is a system in which individual images from different areas of the vehicle environment are captured by means of several cameras and the individual images or the acquired image data are suitably transformed by image processing means, thereby generating an overall image of the vehicle environment. The camera system is thus preferably a TopView system.
Gemäß einer bevorzugten Ausführung des erfindungsgemäßen Verfahrens wird dabei sowohl zur Durchführung des autonomen oder teilautonomen Fahrmanövers, d. h. insbesondere zur Ableitung der Steuerungs- und Regelungsgrößen für das Fahrmanöver, als auch zur Erkennung der wenigstens einen Abbruchbedingung, das mittels des TopView-Systems generierte Gesamtbild der Fahrzeugumgebung verarbeitet. Besonders vorteilhaft an dieser Ausgestaltung des Verfahrens ist die Tatsache, dass mittels des Gesamtbildes der Fahrzeugumgebung alle Bereiche um Umfeld des Fahrzeugs hinsichtlich einer vorliegenden Abbruchbedingung untersucht werden können, und dass aufgrund der generierten Rundumsicht besser, schneller und dynamischer bzw. flexibler auf verschiedene auftretende Gefahren oder kritische Situationen vor und/oder während der Durchführung des Fahrmanövers reagiert werden kann.According to a preferred embodiment of the method according to the invention is thereby both for performing the autonomous or semi-autonomous driving maneuver, d. H. in particular for deriving the control and regulation variables for the driving maneuver, as well as for recognizing the at least one termination condition, which processes the overall image of the vehicle environment generated by the TopView system. Particularly advantageous in this embodiment of the method is the fact that by means of the overall image of the vehicle environment all areas around the vehicle environment can be examined for a given termination condition, and that due to the generated all-round better, faster and more dynamic or more flexible to various dangers occurring or critical situations before and / or during the execution of the driving maneuver can be responded.
Eine Abbruchbedingung, insbesondere bei einem Assistenzsystem das ein Kamerasystem zur Durchführung des autonomen und/oder teilautonomen Fahrmanövers verwendet, kann in einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens weiterhin dann vorliegen, wenn wenigstens ein Bereich der mittels des Kamerasystems erfassten Fahrzeugumgebung keine Ausleuchtung aufweist oder eine Ausleuchtung, die unterhalb eines bestimmten Helligkeitsschwellwertes liegt. Keine oder eine zu geringe Ausleuchtung von Bereichen der Fahrzeugumgebung können beispielsweise bei Fahrmanövern auftreten, die am Abend oder bei Nacht und/oder in Garagen durchgeführt werden. Vorzugsweise wird im Rahmen des erfindungsgemäßen Verfahrens zunächst versucht mittels Beleuchtungseinrichtungen des Fahrzeugs, z. B. durch Ansteuerung der Fahrzeugscheinwerfer oder durch das Einschalten von am Fahrzeug angeordneten Zusatzleuchten die betreffenden Bereiche gezielt auszuleuchten. Ist die Beschränkung, insbesondere trotz gezielter Beleuchtung, weiterhin gegeben, wird das Assistenzsystem erfindungsgemäß in einen sicheren Zustand überführt.An abort condition, in particular in an assistance system which uses a camera system for carrying out the autonomous and / or partially autonomous maneuvering, can furthermore be present in an advantageous embodiment of the method according to the invention if at least one area of the vehicle environment detected by the camera system has no illumination or illumination, which is below a certain brightness threshold. No or too little illumination of areas of the vehicle environment, for example, occur in driving maneuvers that are performed in the evening or at night and / or in garages. Preferably, within the scope of the method according to the invention, attempts are initially made by means of lighting devices of the vehicle, for. B. by driving the vehicle headlights or by switching on arranged on the vehicle auxiliary lights targeted to illuminate the areas concerned. If the restriction continues to exist, in particular despite targeted illumination, the assistance system according to the invention is transferred to a safe state.
Eine Abbruchbedingung im Sinne des erfindungsgemäßen Verfahrens, insbesondere bei einem Assistenzsystem das ein Kamerasystem zur Durchführung eines autonomen und/oder teilautonomen Fahrmanövers verwendet, kann insbesondere dann vorliegen, wenn eine Ausrichtung wenigstens einer Kamera des Kamerasystems des Assistenzsystems von einer definierten Ausrichtung abweicht. Unter der definierten Ausrichtung ist dabei vorzugsweise eine Ausrichtung einer Kamera zu verstehen, gemäß Ausrichtung bei Werkseinstellung bzw. bei einer korrekten Justierung des Kamerasystems. A termination condition in the sense of the method according to the invention, in particular in an assistance system which uses a camera system for carrying out an autonomous and / or semi-autonomous driving maneuver, can be present in particular if an alignment of at least one camera of the camera system of the assistance system deviates from a defined orientation. Under the defined orientation is preferably an orientation of a camera to understand, according to alignment at factory settings or with a correct adjustment of the camera system.
Insbesondere bei TopView-Systeme mit mehreren einzelnen Kameras, die jeweils auf unterschiedliche Bereiche der Fahrzeugumgebung ausgerichtet sind, kann der Umstand, dass eine der Kameras nicht mehr ordnungsgemäß ausgerichtet ist, dazu führen, dass blinde Ecken/Stellen bzw. tote Winkel im generierten Gesamtbild der Fahrzeugumgebung entstehen. In den toten Winkeln können Objekte infolge nichtmehr zuverlässig erkannt werden, wodurch eine sichere und korrekte Durchführung des jeweiligen autonomen oder teilautonomen Fahrmanövers nicht mehr hinreichend sichergestellt ist. Erfindungsgemäß wird insbesondere für den Fall, dass eine Ausrichtung wenigstens einer Kamera des Kamerasystems von einer definierten Ausrichtung abweicht, das Assistenzsystem in einen sicheren Zustand überführt. Die Abweichung kann dabei direkt aus dem generierten Gesamtbild der Fahrzeugumgebung z. B. mittels Bildverarbeitung erkannt werden.Especially in the case of TopView systems with several individual cameras, which are each aligned with different areas of the vehicle environment, the fact that one of the cameras is no longer properly aligned can lead to blind corners / spots or blind spots in the generated overall image Vehicle environment arise. In the blind spots, objects can no longer be reliably detected as a result of which reliable and correct implementation of the respective autonomous or partially autonomous driving maneuver is no longer adequately ensured. According to the invention, the assistance system is transferred to a safe state, in particular in the event that an alignment of at least one camera of the camera system deviates from a defined orientation. The deviation can be directly from the generated overall image of the vehicle environment z. B. be recognized by image processing.
In einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens können zur Ermittlung, ob wenigstens eine der erfindungsgemäßen Abbruchbedingungen vorliegt, Signale von fahrzeuginternen Sensoren ausgewertet werden. Dabei können vorzugweise sämtliche bekannt bzw. sämtliche in einem Fahrzeug angeordnet Sensoren zur Erfassung dessen Betriebszustand mit dem Assistenzsystem verbunden sein. Darunter fallen beispielweise Sensoren an Fahrzeugpedalen, Lenkrad, Türschlössern, etc.In a preferred embodiment of the method according to the invention, to determine whether at least one of the termination conditions according to the invention is present, signals from in-vehicle sensors can be evaluated. In this case, preferably all known or all sensors arranged in a vehicle for detecting its operating state can be connected to the assistance system. These include, for example, sensors on vehicle pedals, steering wheel, door locks, etc.
Das erfindungsgemäße Verfahren kommt vorzugsweise bei einem Assistenzsystem zum Einsatz, das zur Durchführung eines autonomen Einparkmanövers dient, bei dem sich keine Insassen im Fahrzeug befinden. Insbesondere bei einem derartigen Fahrmanöver liegt eine besonders hohe Prozessverantwortung bei dem Assistenzsystem selbst und es müssen geeignete Abbruchbedingungen definiert sein, um das Fahrmanöver bei Bedarf automatisch oder durch Bedienereingriff abbrechen zu können.The method according to the invention is preferably used in an assistance system which serves to carry out an autonomous parking maneuver in which there are no occupants in the vehicle. Particularly in the case of such a driving maneuver, the assistance system itself has a particularly high degree of process responsibility and suitable termination conditions must be defined in order to be able to stop the driving maneuver automatically or by operator intervention if necessary.
Die Überführung des Assistenzsystems in einen sicheren Zustand, führt bevorzugt dazu, dass das Assistenzsystem das Fahrzeug in den Stillstand überführt, vorzugsweise durch Ansteuerung der Fahrzeugbremse(n) durch das Assistenzsystem.The transfer of the assistance system into a safe state preferably leads to the assistance system transferring the vehicle to a standstill, preferably by activating the vehicle brake (s) by the assistance system.
Die Überführung des Assistenzsystems in einen sicheren Zustand, kann insbesondere auch die Überführung des Assistenzsystems und/oder des Fahrzeugs in einen definierten Ausgangszustand umfassen. Hierbei kann das Fahrzeug beispielsweise in eine Ausgangsposition, insbesondere in dessen Ausgangsposition vor der Einleitung des autonomen oder teilautonomen Fahrmanövers, gebracht werden. Die Überführung des Assistenzsystems in einen Ausgangszustand kann beispielsweise auch darin bestehen, eine oder mehrere Kameras des Kamerasystems in eine definierte Ausrichtung (Normalausrichtung) zu überführen bzw. die Kameras des Kamerasystems automatisch (neu) zu justieren, insbesondere für den Fall, dass es sich bei der erkannten Abbruchbedingung um eine Dejustage des Kamerasystems handelt. Weiterhin können bei der Überführung des Fahrzeugs und/oder des Assistenzsystems in einen definierten Ausgangszustand die Fahrzeugspiegel des Fahrzeugs in eine für das Fahrmanöver erforderliche Position gebracht werden und oder es können die Fahrzeugtüren und/oder der Kofferraum des Fahrzeugs automatisch geschlossen werden. Wird bei der Überführung des Assistenzsystems in den sicheren Zustand das Fahrzeug in eine Ausgangsposition überführt, erfolgt die Überführung des Fahrzeugs vorzugsweise entlang des Weges bzw. entlang der Trajektorie, die das Fahrzeug während des Fahrmanövers bereits zurückgelegt hat. Das bedeutet, dass das Fahrzeug den während des Fahrmanövers zurückgelegten Weg in umgekehrter Reihenfolge zurücklegt.The transfer of the assistance system into a safe state can in particular also include the transfer of the assistance system and / or the vehicle into a defined initial state. In this case, the vehicle may, for example, be brought into an initial position, in particular in its starting position before the initiation of the autonomous or semi-autonomous driving maneuver. The transfer of the assistance system into an initial state can, for example, also consist of converting one or more cameras of the camera system into a defined orientation (normal orientation) or automatically (re) adjusting the cameras of the camera system, in particular in the case that it is the detected termination condition is a misalignment of the camera system. Furthermore, when transferring the vehicle and / or the assistance system into a defined initial state, the vehicle mirrors of the vehicle can be brought into a position required for the driving maneuver and / or the vehicle doors and / or the boot of the vehicle can be automatically closed. If, during the transfer of the assistance system into the safe state, the vehicle is transferred to a starting position, the transfer of the vehicle preferably takes place along the path or along the trajectory which the vehicle has already traveled during the driving maneuver. This means that the vehicle travels in reverse order during the driving maneuver.
In einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird dem Fahrer des Fahrzeugs das Vorliegen einer Abbruchbedingung und/oder die Überführung des Assistenzsystems in den sicheren Zustand signalisiert. Die Signalisierung kann beispielsweise mittels akustischer, optischer und haptischer Signale erfolgen, wobei sowohl vorhandene Signaleinrichtungen im Fahrzeug, z. B. Hupe und (Warn-)Blinker, oder zusätzliche am/im Fahrzeug angeordnete Signaleinrichtungen verwendet werden können.In a preferred embodiment of the inventive method, the driver of the vehicle is signaled the presence of a termination condition and / or the transfer of the assistance system in the safe state. The signaling can be done for example by means of acoustic, optical and haptic signals, wherein both existing signal devices in the vehicle, eg. As horn and (warning) turn signals, or additional arranged on / in the vehicle signaling devices can be used.
Das erfindungsgemäße Assistenzsystem ist bevorzugt in einem Fahrzeug angeordnet und dient zur Durchführung eines autonomen oder teilautonomen Fahrmanövers des Fahrzeugs, insbesondere eines Einpark- und/oder Ausparkmanövers. Das Assistenzsystem umfasst insbesondere ein Kamerasystem, das mittels mehrerer Kameras Einzelbilder aus verschiedenen Bereichen einer Fahrzeugumgebung erfasst und mittels Bildverarbeitungsmittel geeignet transformiert, um hierdurch ein Gesamtbild der Fahrzeugumgebung zu generieren. Bei dem Kamerasystem handelt es sich vorzugsweise um ein TopView-System. Zur Durchführung des Fahrmanövers und zur Ermittlung, ob wenigstens eine Abbruchbedingung vorliegt, wird vorzugsweise das Gesamtbild der Fahrzeugumgebung verarbeitet. Das Assistenzsystem ist bevorzugt weiterhin derart ausgestaltet, dass bei Vorliegen wenigstens einer Abbruchbedingung bei einem autonomen oder teilautonomen Fahrmanöver (d. h. vor und/oder während des Fahrmanövers) das Assistenzsystem in einen sicheren Zustand überführt wird.The assistance system according to the invention is preferably arranged in a vehicle and serves for carrying out an autonomous or semi-autonomous driving maneuver of the vehicle, in particular a parking and / or parking maneuver. In particular, the assistance system comprises a camera system which captures individual images from different areas of a vehicle environment by means of a plurality of cameras and transforms them suitably by means of image processing means, in order thereby to generate an overall image of the vehicle surroundings. The camera system is preferably a TopView System. In order to carry out the driving maneuver and to determine whether at least one abort condition is present, the overall image of the vehicle environment is preferably processed. The assistance system is preferably further configured such that in the presence of at least one termination condition in an autonomous or semi-autonomous driving maneuver (ie, before and / or during the driving maneuver), the assistance system is transferred to a safe state.
In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Assistenzsystems ist das Assistenzsystem zur Ermittlung der wenigstens einen Abbruchbedingung zusätzlich mit fahrzeuginternen Sensoren verbunden (z. B. Türöffnungssensoren, Sitzbelegungssensoren, Geschwindigkeitssensoren), welche Informationen über Betriebsbedingungen des Fahrzeugs liefern.In an advantageous embodiment of the assistance system according to the invention, the assistance system for determining the at least one termination condition is additionally connected to in-vehicle sensors (eg door opening sensors, seat occupancy sensors, speed sensors) which provide information about operating conditions of the vehicle.
Weitere Vorteile sowie optionale Ausgestaltungen des erfindungsgemäßen Verfahrens und des erfindungsgemäßen Assistenzsystems gehen aus den nachfolgenden Ausführungsbeispielen hervor.Further advantages and optional embodiments of the method according to the invention and of the assistance system according to the invention will be apparent from the following exemplary embodiments.
Das erfindungsgemäße Verfahren kann beispielsweise bei einem Assistenzsystem eines Fahrzeugs zum Einsatz kommen, dass zur Durchführung eines autonomen Einparkmanövers dient. Das Assistenzsystem kann in dem Fall derart ausgebildet sein bzw. das Fahrmanöver kann in dem Fall derart durchgeführt werden, dass das Fahrzeug zunächst in der Nähe einer Parklücke bzw. gewünschten Parkposition abgestellt wird, die Insassen daraufhin das Fahrzeug verlassen und das Fahrzeug anschließend automatisch eingeparkt wird, z. B. durch Auslösung bzw. Starten des Fahrmanövers mittels einer Funkfernbedienung. Derartige Systeme werden auch als Remote Controlled Parking Systeme, oder kurz RCP-System bezeichnet. Hierzu muss das Assistenzsystem in der Lange sein, eigenständig den Motor des Fahrzeugs zu starten, Gangstufen einzulegen, die Fahrzeugumgebung und Hindernisse bzw. Objekte in der Fahrzeugumgebung zu erfassen sowie selbstständig das Fahrzeug zu beschleunigen und zu bremsen. Der Einparkvorgang kann dabei in unbekannte Parkflächen sowohl quer als auch längs zu einer Fahrbahn erfolgen, wobei Objekte wie andere Fahrzeuge und Hindernisse erkannt, die Abstände zu den erkannten Objekten ermittelt, die Länge und Tiefe der Parklücke berechnet und anhand dieser Informationen das notwendige Fahrmanöver einschließlich der erforderlichen Lenkwinkel abgeleitet werden. Zum Erkennen von Objekten und Hindernissen sowie zum Berechnen der Länge und Tiefe der Parklücke können dabei sowohl ein Kamerasystem als auch andere Sensoren, wie z. B. Ultraschall-, Radar-, Lidar- und Lasersensoren, eingesetzt werden.The method according to the invention can be used, for example, in an assistance system of a vehicle that serves to carry out an autonomous parking maneuver. The assistance system can be designed in such a case or the driving maneuver can be carried out in such a case that the vehicle is first parked in the vicinity of a parking space or desired parking position, the passengers then leave the vehicle and the vehicle is then automatically parked , z. B. by triggering or starting the driving maneuver by means of a radio remote control. Such systems are also referred to as remote controlled parking systems, or RCP system for short. For this purpose, the assistance system must be in the long run to independently start the engine of the vehicle, engage gear ratios, detect the vehicle environment and obstacles or objects in the vehicle environment and independently accelerate the vehicle and brakes. The parking process can take place in unknown parking areas both transversely and longitudinally to a roadway, objects such as other vehicles and obstacles detected, determines the distances to the detected objects, the length and depth of the parking space calculated and based on this information the necessary driving maneuver including required steering angle are derived. To detect objects and obstacles and to calculate the length and depth of the parking space can be both a camera system and other sensors, such. As ultrasonic, radar, lidar and laser sensors are used.
Gemäß dem erfindungsgemäßen Verfahren für das Assistenzsystem verschiedene Abbruchbedingungen bzw. Abbruchkriterien definiert um ein gefahrloses und insbesondere unfallfreies Rangieren in eine Parklücke zu ermöglichen.In accordance with the method according to the invention for the assistance system, different termination conditions or termination criteria are defined in order to enable safe and in particular accident-free maneuvering into a parking space.
Im Folgenden werden bevorzugte Abbruchbedingungen, die im Rahmen des erfindungsgemäßen Verfahrens einzeln und/oder in beliebiger Kombination zur Anwendung kommen können, kurz erläutert sowie deren Vorteile beschrieben.In the following, preferred termination conditions that can be used individually and / or in any combination within the scope of the method according to the invention are briefly explained and their advantages described.
Im Rahmen des erfindungsgemäßen Verfahrens soll ein automatisches Einparkmanöver beispielsweise nur solange möglich sein, solange ein Bediener einen Schalter einer Fernbedienung zum Auslösen bzw. Starten des Einparkmanövers gedrückt hält. Ein Abbruch der Betätigung des Schalters stellt in diesem Fall eine Abbruchbedingung dar und das Assistenzsystem würde erfindungsgemäß in einen sicheren Zustand überführt werden, sobald der Bediener den Schalter nicht mehr betätigt. Mit dem aktiven Betätigen bzw. Drücken des Schalters an der Fernbedienung wird dabei die Verantwortung der Kontrolle über das autonome Fahrmanöver an den Bediener, z. B. Fahrzeugführer, übergeben.In the context of the method according to the invention, for example, an automatic parking maneuver should only be possible as long as an operator keeps a switch of a remote control pressed to trigger or start the parking maneuver. A termination of the operation of the switch in this case represents a termination condition and the assistance system according to the invention would be transferred to a safe state as soon as the operator no longer actuates the switch. By actively pressing or pressing the switch on the remote control, the responsibility of controlling the autonomous driving maneuver to the operator, e.g. B. driver, handed over.
Soll im Rahmen des erfindungsgemäßen Verfahrens beispielsweise sichergestellt sein, dass die Geschwindigkeit des Fahrzeugs während des autonomen Einparkmanövers auf Schrittgeschwindigkeit, beispielsweise auf eine Geschwindigkeit von 10 km/h beschränkt ist, und soll vom Assistenzsystem vor- und rückwärts jeweils nur eine Gangstufe eingelegt werden können, dann können erfindungsgemäß das Überschreiten einer bestimmten Fahrzeuggeschwindigkeit sowie das Einlegen einer höheren Gangstufe Abbruchbedingungen darstellen, bei denen das Assistenzsystem in einen sicheren Zustand überführt wird. Mit einer niedrigen Geschwindigkeit, z. B. < 10 km/h, kann die Unfallschwere im Falle eines Systemversagens reduziert werden. Außerdem kann bei niedrigen Geschwindigkeitsbereichen der Zeitversatz zwischen Objekterkennung, Objektklassifizierung und Aktuatorreaktion (insbesondere der Reaktion von Lenkung, Gas, Bremse und/oder Zündung) vom Assistenzsystem besser kompensiert werden.Should be ensured in the context of the inventive method, for example, that the speed of the vehicle during the autonomous Einparkmanövers is limited to walking speed, for example, to a speed of 10 km / h, and the assistance system forward and backward only one gear, respectively, can be inserted Then, according to the invention, the exceeding of a certain vehicle speed as well as the setting of a higher gear stage can represent termination conditions in which the assistance system is transferred to a safe state. At a low speed, z. B. <10 km / h, the severity of accidents can be reduced in the event of a system failure. In addition, at low speed ranges, the time offset between object detection, object classification, and actuator response (especially the response of steering, throttle, brake, and / or ignition) can be better compensated by the assistance system.
Mit dem erfindungsgemäßen Verfahren kann beispielsweise weiterhin sichergestellt sein, dass sich während des autonomen Einparkmanövers keine Insassen im Fahrzeug befinden. Hierzu kann über eine im Fahrzeug angeordnete Sitzbelegungserkennung, z. B. mittels drucksensitiver Sitzmatten, mittels einer Innenraumkamera und/oder mittels Bewegungsdetektoren im Fahrzeug, erkannt werden, ob sich Insassen im Fahrzeug befinden. Das Erkennen einer oder mehrere Personen im Fahrzeug stellt in diesem Fall eine erfindungsgemäße Abbruchbedingung dar. Werden einer oder mehrere Insassen im Fahrzeug erkannt, wird das Fahrmanöver dabei vorzugsweise sofort abgebrochen und das Assistenzsystem wird in einen sicheren Zustand überführt, beispielsweise durch Abbremsen des Fahrzeugs in den Stillstand und durch Ausschalten des Fahrzeugmotors. Ein wesentlicher Gedanke ist dabei, dass von Personen, die sich während eines autonomen Fahrmanövers innerhalb des Fahrzeugs befinden, eine Gefährdung ausgehen kann, und dass diese Gefährdung von einer Umfeldsensorik allein und/oder von einer außenstehenden Person, die das Fahrmanöver beispielsweise mittels einer Fernbedienung steuert, nicht immer zuverlässig erkannt wird. Durch die vorangehend beschriebene Abbruchbedingung kann zudem ein gewisser Diebstahlschutz während eines autonomen Fahrmanövers gewährleistet werden, insbesondere da niemand während des Fahrmanövers in das fremdgestartete Fahrzeug einsteigen und damit wegfahren kann.With the method according to the invention, for example, it can furthermore be ensured that there are no occupants in the vehicle during the autonomous parking maneuver. For this purpose, via a vehicle seat occupancy detection, z. B. by means of pressure-sensitive seat mats, by means of an interior camera and / or by means of motion detectors in the vehicle, be recognized whether occupants are in the vehicle. The recognition of one or more persons in the vehicle in this case constitutes an inventive If one or more occupants are detected in the vehicle, the driving maneuver is preferably aborted immediately and the assistance system is transferred to a safe state, for example by braking the vehicle to a standstill and switching off the vehicle engine. An essential idea is that of persons who are in an autonomous driving maneuver inside the vehicle can pose a threat, and that this threat of an environment sensor alone and / or by an outside person who controls the driving maneuver, for example by means of a remote control , is not always reliably detected. By the abort condition described above also a certain theft protection can be ensured during an autonomous maneuver, especially since no one during the driving maneuver in the foreign-launched vehicle and thus can drive away.
In einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens soll insbesondere sichergestellt sein, dass das Fahrmanöver jederzeit mittels Bedienereingriffe abgebrochen werden kann. Hierzu können verschiedene Eingriffe in das Fahrmanöver bzw. in den Betriebszustand des Fahrzeugs als Abbruchbedingungen festgelegt sein, z. B. das Öffnen einer Fahrzeugtür, Motorhaube, eines Kofferraums, einer Fahrzeugscheibe (z. B. durch Bedienen von Fensterhebern), das Betätigen von Fahrzeugpedalen, eine Betätigung des Lenkrads oder die Betätigung anderer Bedienelementen des Fahrzeugs, wobei bei Vorliegen zumindest einer dieser Bedingungen das Fahrzeug bzw. das Assistenzsystem erfindungsgemäß in einen sicheren Zustand überführt wird. Besonders vorteilhaft bei den vorangehend beschrieben Abbruchbedingungen ist die Tatsache, dass eine Person durch einen intuitiven Eingriff in den Betriebszustand des Fahrzeugs, das Fahrmanöver zu jedem Zeitpunkt abbrechen kann.In a preferred embodiment of the method according to the invention, in particular, it should be ensured that the driving maneuver can be stopped at any time by means of operator intervention. For this purpose, various interventions in the driving maneuver or in the operating state of the vehicle can be defined as termination conditions, eg. For example, the opening of a vehicle door, bonnet, a trunk, a vehicle window (eg by operating window regulators), the operation of vehicle pedals, an operation of the steering wheel or the operation of other controls of the vehicle, wherein at least one of these conditions Vehicle or the assistance system according to the invention is transferred to a safe state. Particularly advantageous in the abort conditions described above is the fact that a person can break off the driving maneuver at any time by an intuitive intervention in the operating state of the vehicle.
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102009057837 A1 [0003] DE 102009057837 A1 [0003]
- DE 102006036933 A1 [0005, 0006] DE 102006036933 A1 [0005, 0006]
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102011118551.1A DE102011118551C5 (en) | 2011-11-16 | 2011-11-16 | Method and device for an assistance system in a vehicle for carrying out an autonomous or partially autonomous driving maneuver |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102011118551.1A DE102011118551C5 (en) | 2011-11-16 | 2011-11-16 | Method and device for an assistance system in a vehicle for carrying out an autonomous or partially autonomous driving maneuver |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| DE102011118551A1 true DE102011118551A1 (en) | 2013-05-16 |
| DE102011118551B4 DE102011118551B4 (en) | 2017-12-07 |
| DE102011118551C5 DE102011118551C5 (en) | 2021-07-29 |
Family
ID=48145126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102011118551.1A Active DE102011118551C5 (en) | 2011-11-16 | 2011-11-16 | Method and device for an assistance system in a vehicle for carrying out an autonomous or partially autonomous driving maneuver |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102011118551C5 (en) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140371972A1 (en) * | 2011-09-01 | 2014-12-18 | Valeo Schalter Und Sensoren Gmbh | Method for carrying out a parking process for a vehicle and driver assistance device |
| EP2848488A1 (en) * | 2013-09-12 | 2015-03-18 | Volvo Car Corporation | Method and arrangement for handover warning in a vehicle having autonomous driving capabilities |
| DE102013217081A1 (en) | 2013-08-27 | 2015-03-19 | Volkswagen Aktiengesellschaft | Device and method for position detection |
| WO2015085338A1 (en) * | 2013-12-13 | 2015-06-18 | Fts Computertechnik Gmbh | Method and device for observing the environment of a vehicle |
| CN104973058A (en) * | 2014-04-14 | 2015-10-14 | Zf腓德烈斯哈芬股份公司 | Method for freeing a vehicle by rocking when the vehicle got stuck |
| DE102014208665A1 (en) * | 2014-05-08 | 2015-11-12 | Continental Teves Ag & Co. Ohg | Control method, control device and vehicle |
| DE102014213197A1 (en) | 2014-07-08 | 2016-01-14 | Robert Bosch Gmbh | Method and device for carrying out an autonomous driving maneuver of a vehicle |
| DE102014011596A1 (en) | 2014-08-01 | 2016-02-04 | Audi Ag | Motor vehicle with a driver assistance device and a control device and method for operating a control device for a driver assistance device |
| DE102015208068A1 (en) * | 2015-04-30 | 2016-11-03 | Robert Bosch Gmbh | Control of an autonomously acting motor vehicle |
| US9555805B2 (en) | 2014-04-14 | 2017-01-31 | Zf Friedrichshafen Ag | Method for freeing a vehicle by rocking when the vehicle got stuck |
| DE102015121113A1 (en) * | 2015-12-04 | 2017-06-08 | Valeo Schalter Und Sensoren Gmbh | Method for the autonomous parking of a motor vehicle with interior monitoring, driver assistance system and motor vehicle |
| US9707965B2 (en) | 2014-04-14 | 2017-07-18 | Zf Friedrichshafen Ag | Method for freeing a motor vehicle by rocking |
| US9738283B2 (en) | 2014-04-14 | 2017-08-22 | Zf Friedrichshafen Ag | Method for freeing a vehicle by rocking |
| DE102016208900A1 (en) * | 2016-05-23 | 2017-11-23 | Volkswagen Aktiengesellschaft | Method and device for starting an automatic parking operation |
| CN110027549A (en) * | 2018-01-12 | 2019-07-19 | 现代自动车株式会社 | Safety control device and method for autonomous shutdown system |
| DE102014009007B4 (en) | 2013-09-04 | 2020-07-30 | Mando Corporation | Parking assistance device and method |
| CN112272620A (en) * | 2018-02-21 | 2021-01-26 | 奥特莱德科技公司 | System and method for automated handling and processing of automotive trucks and tractor-trailers |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102006036933A1 (en) | 2006-08-08 | 2008-02-14 | Bayerische Motoren Werke Ag | Producing complete image on vehicle driver display from overlapping camera images, employs coarse camera-specific calibration and fine photometric matching techniques |
| DE102007027438A1 (en) * | 2007-06-14 | 2008-12-18 | Valeo Schalter Und Sensoren Gmbh | Method for controlling parking aid system, involves detecting parking area operating automatically, semiautomatically or by driver and locating optimal parking position in parking area outside central parking position |
| DE102008051982A1 (en) * | 2008-10-16 | 2009-06-10 | Daimler Ag | Vehicle e.g. hybrid vehicle, maneuvering method, involves releasing parking brake, transferring forward- or backward driving position in automatic transmission, and regulating speed of vehicle by parking brake |
| DE102009050399A1 (en) * | 2009-10-22 | 2011-05-05 | Audi Ag | Method for controlling the operation of a fully automatic, designed for independent vehicle management driver assistance system of a motor vehicle and motor vehicle |
| DE102009057837A1 (en) | 2009-12-10 | 2011-06-16 | Continental Teves Ag & Co. Ohg | Method for parking assistance in parking area of vehicle garage, involves evaluating surrounding image with character recognition method according to identification mark arranged on garage rear wall after identification of garage doorway |
| DE102010007899A1 (en) * | 2010-02-13 | 2011-08-18 | Audi Ag, 85057 | motor vehicle |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003205763A (en) | 2002-01-11 | 2003-07-22 | Toyota Motor Corp | Travel controller |
| DE102006004772B4 (en) | 2006-02-02 | 2022-02-10 | Robert Bosch Gmbh | Driver assistance system and method for its control |
| JP2008201178A (en) | 2007-02-16 | 2008-09-04 | Toyota Motor Corp | Parking assist device |
| DE102007062698A1 (en) | 2007-12-27 | 2009-07-02 | Volkswagen Ag | Method and device for traction aid for a motor vehicle driver |
| DE102008014969B4 (en) | 2008-03-19 | 2023-01-12 | Bayerische Motoren Werke Aktiengesellschaft | Procedure for parking assistance |
| DE102008024929A1 (en) | 2008-05-23 | 2009-11-26 | Wabco Gmbh | Driver assistance system |
| DE102008057671A1 (en) | 2008-11-17 | 2009-07-02 | Daimler Ag | Vehicle's e.g. commercial passenger car, surrounding area monitoring method, involves illuminating vehicle and/or surrounding area of vehicle depending on captured real illumination in overall image |
| DE102010001368A1 (en) | 2010-01-29 | 2011-08-04 | Robert Bosch GmbH, 70469 | Method for assisting a driver of a motor vehicle |
-
2011
- 2011-11-16 DE DE102011118551.1A patent/DE102011118551C5/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102006036933A1 (en) | 2006-08-08 | 2008-02-14 | Bayerische Motoren Werke Ag | Producing complete image on vehicle driver display from overlapping camera images, employs coarse camera-specific calibration and fine photometric matching techniques |
| DE102007027438A1 (en) * | 2007-06-14 | 2008-12-18 | Valeo Schalter Und Sensoren Gmbh | Method for controlling parking aid system, involves detecting parking area operating automatically, semiautomatically or by driver and locating optimal parking position in parking area outside central parking position |
| DE102008051982A1 (en) * | 2008-10-16 | 2009-06-10 | Daimler Ag | Vehicle e.g. hybrid vehicle, maneuvering method, involves releasing parking brake, transferring forward- or backward driving position in automatic transmission, and regulating speed of vehicle by parking brake |
| DE102009050399A1 (en) * | 2009-10-22 | 2011-05-05 | Audi Ag | Method for controlling the operation of a fully automatic, designed for independent vehicle management driver assistance system of a motor vehicle and motor vehicle |
| DE102009057837A1 (en) | 2009-12-10 | 2011-06-16 | Continental Teves Ag & Co. Ohg | Method for parking assistance in parking area of vehicle garage, involves evaluating surrounding image with character recognition method according to identification mark arranged on garage rear wall after identification of garage doorway |
| DE102010007899A1 (en) * | 2010-02-13 | 2011-08-18 | Audi Ag, 85057 | motor vehicle |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140371972A1 (en) * | 2011-09-01 | 2014-12-18 | Valeo Schalter Und Sensoren Gmbh | Method for carrying out a parking process for a vehicle and driver assistance device |
| US9969385B2 (en) * | 2011-09-01 | 2018-05-15 | Valeo Schalter Und Sensoren Gmbh | Method for carrying out a parking process for a vehicle and driver assistance device |
| DE102013217081A1 (en) | 2013-08-27 | 2015-03-19 | Volkswagen Aktiengesellschaft | Device and method for position detection |
| DE102014009007C5 (en) | 2013-09-04 | 2023-11-23 | Hl Klemove Corp. | Parking assistance device and method |
| DE102014009007B4 (en) | 2013-09-04 | 2020-07-30 | Mando Corporation | Parking assistance device and method |
| EP2848488A1 (en) * | 2013-09-12 | 2015-03-18 | Volvo Car Corporation | Method and arrangement for handover warning in a vehicle having autonomous driving capabilities |
| US9235211B2 (en) | 2013-09-12 | 2016-01-12 | Volvo Car Corporation | Method and arrangement for handover warning in a vehicle having autonomous driving capabilities |
| EP2848488B1 (en) | 2013-09-12 | 2017-08-23 | Volvo Car Corporation | Method and arrangement for handover warning in a vehicle having autonomous driving capabilities |
| WO2015085338A1 (en) * | 2013-12-13 | 2015-06-18 | Fts Computertechnik Gmbh | Method and device for observing the environment of a vehicle |
| US9898670B2 (en) | 2013-12-13 | 2018-02-20 | Fts Computertechnik Gmbh | Method and device for observing the environment of a vehicle |
| US9738283B2 (en) | 2014-04-14 | 2017-08-22 | Zf Friedrichshafen Ag | Method for freeing a vehicle by rocking |
| US9555805B2 (en) | 2014-04-14 | 2017-01-31 | Zf Friedrichshafen Ag | Method for freeing a vehicle by rocking when the vehicle got stuck |
| CN104973058A (en) * | 2014-04-14 | 2015-10-14 | Zf腓德烈斯哈芬股份公司 | Method for freeing a vehicle by rocking when the vehicle got stuck |
| US9707965B2 (en) | 2014-04-14 | 2017-07-18 | Zf Friedrichshafen Ag | Method for freeing a motor vehicle by rocking |
| DE102014207117A1 (en) * | 2014-04-14 | 2015-10-15 | Zf Friedrichshafen Ag | Method for releasing a stalled vehicle |
| CN104973058B (en) * | 2014-04-14 | 2019-12-17 | Zf腓德烈斯哈芬股份公司 | method for releasing a trapped vehicle |
| DE102014207117B4 (en) | 2014-04-14 | 2019-05-16 | Zf Friedrichshafen Ag | Method for releasing a stalled vehicle |
| DE102014208665A1 (en) * | 2014-05-08 | 2015-11-12 | Continental Teves Ag & Co. Ohg | Control method, control device and vehicle |
| DE102014213197A1 (en) | 2014-07-08 | 2016-01-14 | Robert Bosch Gmbh | Method and device for carrying out an autonomous driving maneuver of a vehicle |
| DE102014011596B4 (en) | 2014-08-01 | 2019-04-18 | Audi Ag | Motor vehicle with a driver assistance device and a control device and method for operating a control device for a driver assistance device |
| DE102014011596A1 (en) | 2014-08-01 | 2016-02-04 | Audi Ag | Motor vehicle with a driver assistance device and a control device and method for operating a control device for a driver assistance device |
| CN107531284A (en) * | 2015-04-30 | 2018-01-02 | 罗伯特·博世有限公司 | Method and apparatus for automating valet parking service |
| EP3288816B1 (en) * | 2015-04-30 | 2020-06-10 | Robert Bosch GmbH | Automated valet parking method and device |
| DE102015208068A1 (en) * | 2015-04-30 | 2016-11-03 | Robert Bosch Gmbh | Control of an autonomously acting motor vehicle |
| US10730556B2 (en) | 2015-04-30 | 2020-08-04 | Robert Bosch Gmbh | Automated valet parking method and device |
| DE102015121113A1 (en) * | 2015-12-04 | 2017-06-08 | Valeo Schalter Und Sensoren Gmbh | Method for the autonomous parking of a motor vehicle with interior monitoring, driver assistance system and motor vehicle |
| DE102016208900A1 (en) * | 2016-05-23 | 2017-11-23 | Volkswagen Aktiengesellschaft | Method and device for starting an automatic parking operation |
| CN110027549A (en) * | 2018-01-12 | 2019-07-19 | 现代自动车株式会社 | Safety control device and method for autonomous shutdown system |
| CN112272620A (en) * | 2018-02-21 | 2021-01-26 | 奥特莱德科技公司 | System and method for automated handling and processing of automotive trucks and tractor-trailers |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102011118551B4 (en) | 2017-12-07 |
| DE102011118551C5 (en) | 2021-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102011118551B4 (en) | Method and device for an assistance system in a vehicle for carrying out an autonomous or semi-autonomous driving maneuver | |
| EP2753532B1 (en) | Method and device for an assist system in a vehicle for carrying out an autonomous or semi-autonomous driving maneuver | |
| EP2841325B1 (en) | Method to autonomously park a vehicle, system to carry out said method, as well as a vehicle including said system | |
| DE102010063006A1 (en) | Comfort feature in a driver assistance system with front camera | |
| DE102011106247B4 (en) | Method for controlling a reversible belt tensioner of a safety belt in a motor vehicle | |
| DE102014118113A1 (en) | VEHICLE CONTROL | |
| DE102012022150A1 (en) | Motor vehicle and method for operating a motor vehicle | |
| DE102014013692A1 (en) | Method for performing an automatic parking operation and driver assistance device | |
| DE112017007082T5 (en) | OPERATIONAL SWITCH SUPPORT DEVICE AND OPERATING SWITCH SUPPORT PROCESS | |
| DE102013224810A1 (en) | System for monitoring an interior of a vehicle | |
| DE102016201522A1 (en) | Method for reducing the risk of collision, safety system and vehicle | |
| EP3409551A1 (en) | Method and device for supporting a vehicle occupant located in a vehicle | |
| WO2019201382A1 (en) | Method, device and means of transport for an automated starting up of a means of transport at a light signal system | |
| DE102014115706A1 (en) | vehicle control | |
| DE102014220713A1 (en) | Method and device for adjusting an exterior mirror | |
| DE102016216465A1 (en) | METHOD AND OBSTACLE ASSISTANCE DEVICE FOR AUTOMATIC ACTIVATION OF A OBSTACLE DETECTION DEVICE OF A MOTOR VEHICLE | |
| DE102021000247A1 (en) | Method for operating an area lighting device of a vehicle | |
| EP2143618A1 (en) | Method for controlling a parking assistance system for vehicles | |
| DE102011014706A1 (en) | Method for assisting driver of vehicle by triggered pedestrian protection unit, involves determining past and current driving course during operation of vehicle by detecting signals of vehicle sensor | |
| DE102015007179A1 (en) | Environment detection device for a motor vehicle | |
| DE102010053293A1 (en) | Driver assistance system for motor vehicle, particularly safety vehicle, comprises sensor for detecting sensor data of environment of motor vehicle | |
| DE102017211243B4 (en) | Method and device for monitoring the interior of a motor vehicle | |
| DE102006051400A1 (en) | Remote controlling system for use with park system of motor vehicle, has vehicle transmitting information to radio remote control after reception of control instructions, if vehicle cannot execute control instruction | |
| DE102016009554A1 (en) | Method for monitoring a vehicle | |
| DE102016217676B4 (en) | Device for a vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R016 | Response to examination communication | ||
| R016 | Response to examination communication | ||
| R018 | Grant decision by examination section/examining division | ||
| R026 | Opposition filed against patent | ||
| R006 | Appeal filed | ||
| R008 | Case pending at federal patent court | ||
| R011 | All appeals rejected, refused or otherwise settled | ||
| R034 | Decision of examining division/federal patent court maintaining patent in limited form now final | ||
| R206 | Amended patent specification | ||
| R081 | Change of applicant/patentee |
Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE Free format text: FORMER OWNER: CONTINENTAL TEVES AG & CO. OHG, 60488 FRANKFURT, DE |