EP2229594A1 - Verfahren und vorrichtung zum anzeigen der umgebung eines fahrzeugs - Google Patents
Verfahren und vorrichtung zum anzeigen der umgebung eines fahrzeugsInfo
- Publication number
- EP2229594A1 EP2229594A1 EP08870110A EP08870110A EP2229594A1 EP 2229594 A1 EP2229594 A1 EP 2229594A1 EP 08870110 A EP08870110 A EP 08870110A EP 08870110 A EP08870110 A EP 08870110A EP 2229594 A1 EP2229594 A1 EP 2229594A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- vehicle
- detection sensor
- image
- environmental
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
- B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9314—Parking operations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
- G01S2015/933—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past
- G01S2015/935—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past for measuring the contour, e.g. a trajectory of measurement points, representing the boundary of the parking space
Definitions
- the invention relates to a method for displaying the surroundings of a vehicle, in particular a motor vehicle, by means of at least one display device of the vehicle, wherein the environment is detected as at least one detection sensor as an environment image while driving or when the vehicle is stationary.
- the invention relates to a device for displaying the environment of a vehicle, in particular a motor vehicle, with at least one display device associated with the vehicle and at least one detection sensor for detecting an environmental image of the environment while driving or at a standstill of the vehicle.
- Methods and devices of the type mentioned are known from the prior art. Often these are used in conjunction with parking systems of motor vehicles, in which the driver to facilitate the parking on a display device of the vehicle, the closer environment are represented by color representation of the critical distances to the vehicle.
- the next environment of the vehicle is detected by means of a detection sensor, wherein only the currently detected objects or contours of these objects in the area before and / or behind the vehicle, which are detected directly by the one or more detection sensors are displayed. In particular, only the nearest object, but not an object located behind this closest object, is displayed or detected.
- Published patent application DE 10 2004 027 640 A1 discloses such a method or such a device in which, while the vehicle is moving past a parking space, it is moved by means of the parking space Detection sensor is measured so that a schematic environment image of the contour of the parking space can be obtained.
- the published patent application DE 197 41 896 A1 further discloses a device for displaying the surroundings of a vehicle of the type mentioned above, which has a (picture) camera with which also distance data can be transmitted to recorded pixels to the control unit, whereby the on a display unit represented environment of the vehicle not only the nearest, but also behind it objects can represent.
- this requires a high computing power and also allows only the representation of the currently captured by the camera environment image / area of the environment.
- the inventive method provides that by means of the detection sensor of a certain area of the environment in different
- Vehicle positions are determined in each case an environmental image and / or by at least two spaced detection sensors of the specific environmental area respectively at least one environmental image is determined, wherein each of the environmental images obtained a composite environment image and displayed by means of the display device. It is therefore provided on the one hand that in each case an environmental image is determined in different vehicle positions by means of a detection sensor, for example during the drive of the vehicle, by a specific environmental region.
- the surrounding area By detecting the particular surrounding area from two different vehicle positions by means of the detection sensor, the surrounding area is "viewed" from different angles / perspectives, thereby creating different environmental images capturing the surrounding area from different sides, from which a composite environmental image is obtained
- the surrounding area By viewing the surrounding area from different angles, it is possible to detect not only nearest but also underlying objects and display them accordingly by means of the display device of the vehicle Alternatively or in addition
- environmental images are acquired from different "angles" by means of at least two detection sensors arranged at a distance from one another.
- the advantage of using a plurality of detection sensors is that the environmental image composed of the environmental images can also be obtained when the vehicle is at a standstill.
- the composite environment image advantageously results in a map of the surroundings, which reproduces the surroundings of the vehicle in great detail, preferably in a plan view of the vehicle.
- Ultrasonic sensor used.
- ultrasonic sensors are used for all detection sensors of the vehicle.
- Ultrasonic sensors are known in today's parking systems state of the art, so here on the one hand not to be discussed in more detail, and on the other hand it is clear that the use of such detection sensors is simple and inexpensive.
- the distance to an object can be detected or determined directly. Contours of the object in the detection area can also be detected and determined by means of a plurality of ultrasonic sensors.
- a short-range radar sensor a lidar sensor or a so-called range imager is used as the detection sensor.
- a lidar sensor a so-called range imager is used as the detection sensor.
- the speed, the steering angle and / or the yaw angle of the vehicle are taken into account when obtaining the composite environment image or the environment map. This makes it possible to clearly detect the environmental images acquired by the detection sensor or by the detection sensors
- a door opening assistant When obtaining a composite environment image while driving the vehicle, it is also advantageous that objects which are located on one side of the vehicle in the environment can also be recognized and taken into account, for example, by a door opening assistant, so that a driver points out, for example, after a parking operation is that a particular door should not be opened because there is a risk of collision with an adjacent object.
- a door opening assistant would require a detection sensor arranged on the door.
- this can be dispensed with by means of the method according to the invention since the composite environment image represents the surroundings of the vehicle and not only the currently detected surrounding area.
- the speed, the steering angle and / or the yaw angle of the vehicle are detected by means of sensors, which are preferably already present in the vehicle. This allows a particularly cost-effective determination of the speed, the steering angle and / or the yaw angle.
- the speed is advantageously detected by means of one or more radar speed sensors.
- At least one detection sensor is aligned substantially perpendicular to the longitudinal axis of the vehicle.
- Usually four detection sensors are mounted in the front and / or rear of the vehicle, which are aligned substantially forward or backward. When detecting the environment of the vehicle while driving, these are also sufficient to detect laterally arranged to the vehicle objects.
- At standstill of the vehicle it is however advantageous if in addition at least one detection sensor is aligned on at least one side of the vehicle substantially perpendicular to the longitudinal axis of the vehicle. As a result, even when the vehicle is stationary, objects located next to the vehicle can be detected and displayed to the driver by means of the display device.
- Viewing the surrounding area from different angles can, as already stated, determine not only distances to objects but also the shape of the objects. Thus, for example, be differentiated between a continuous wall and a post or a post row.
- a trajectory is displayed as a function of the current steering angle in the composite environment image.
- This trajectory indicates the route of the vehicle along which the vehicle would move at the current steering angle.
- a SoII-T is displayed, which specifies the driver of the vehicle a driving distance, for example, to reach a parking position.
- the driver is additionally made aware by acoustic and / or haptic warning signals on detected by the detection sensor or by the detection sensors objects.
- objects detected in the surroundings of the vehicle are marked differently graphically, in particular color, as a function of their risk factor.
- objects that are not obstructive become black
- objects that are detected / detected as an obstacle, but are not in a critical area turn green
- objects that are in a critical area but are still far away are yellow
- Objects that require the driver to intervene to avoid a collision orange
- objects with which a collision is imminent shown in red.
- the composite environment image can also be used for autonomous or semi-autonomous parking operations.
- the composite environment image is supplemented by (video) images of at least one reversing camera and / or side camera of the vehicle.
- video images of at least one reversing camera and / or side camera of the vehicle.
- the driver of the vehicle has access to the composite environment image / the environment map and additionally an actual video image of the environment or an environmental region.
- the composite environment image is stored after a parking operation.
- parking out the stored environmental image can then be used again, so that the driver, even before he has moved the vehicle, already the environment map of the environment of the vehicle is available.
- new and / or missing objects are marked differently graphically, in particular color. Particular preference is given to displaying missing objects by means of a dashed contour line.
- objects and / or surrounding areas are graphically marked, preferably in color, which can not be verified. Here, the driver of the vehicle is prompted to check these objects / surrounding areas themselves.
- the advantageous method for displaying the surroundings of a vehicle can be used, for example, when maneuvering in narrow streets, driveways or parking garages.
- a complete all-round view of the vehicle is obtained from the environmental images as a composite environment image.
- the detection sensors are arranged and aligned at corresponding locations of the vehicle.
- the device according to the invention for displaying the surroundings of a vehicle is characterized in that the display device is associated with at least one computing unit, the detected by the detection sensor in at least two different vehicle positions environmental images of a certain environmental area and / or two spaced apart on the vehicle detection sensors detected environmental images of the particular environmental area joins together to form a composite environment image and displayed by the display device.
- At least one detection sensor is designed as an ultrasonic sensor.
- all detection sensors are designed as ultrasonic sensors.
- At least one detection sensor is arranged aligned substantially perpendicular to the longitudinal axis of the vehicle.
- this detection sensor is arranged directly in the region of a door of the vehicle or on the door.
- the display device and / or the
- Computing unit is connected to at least one rear view camera and / or at least one side camera / are.
- the computing unit is expediently assigned one or more sensors for detecting the speed, the steering angle and / or the yaw angle of the vehicle.
- FIGS. 1 A and 1 B show a current traffic situation and an environmental image composed according to the advantageous method
- FIG. 1A shows a top view of a traffic situation with a vehicle 1 located on a road 2.
- the road 2 has on its - viewed in the direction of travel of the vehicle 1 - right side on a side strip or parking strip 3, on which a vehicle 4 is parked.
- the parking strip 3 is bounded on its right side by a curb 5.
- the driver of the vehicle 1 now wants to park in the parking space between the parked vehicle 4 and the bollard 7.
- a respective environmental image 10 is determined by a specific surrounding area of the vehicle 1 in different vehicle positions of the vehicle 1. This can be done, for example, when driving past the parking space formed between the parked vehicle 4 and the bollard 7.
- the detection sensor is corresponding to the vehicle 1, in particular vertically to the longitudinal axis of the vehicle 1, to order.
- at least two detection sensors arranged at a distance from one another and arranged on the vehicle 1, in each case at least one environmental image, preferably simultaneously, is determined from the determined environmental region.
- a composite environmental image 10 is obtained in each case and, as shown in FIG. 1B, displayed by means of the display device.
- the environment image 10 shows the vehicle 1 in a plan view, or in the so-called bird-view representation.
- dashed lines 11 a driving tube or a trajectory 13 is shown, which indicates the way that the vehicle 1 would drive with a current steering angle during a backward movement.
- the environment of the vehicle 1 is shown only schematically in FIG. 1B as in the prior art, the contours of the nearest objects or obstacles being indicated.
- an obstacle area 12 which is composed of the vehicle 4, the curb 5 and the bollard 7, as shown in Figure 1 A, as a contiguous area, advantageously shown in yellow.
- FIG. 2A shows the traffic situation from FIG. 1A at a later point in time at which the driver has moved the vehicle 1 backwards obliquely into the parking space between the vehicle 4 and the bollard 7.
- the vehicle 1 is now partly already in the parking space.
- FIG. 2B shows a composite environmental image 15 which was obtained according to the advantageous method. Shown is the vehicle 1 in a plan view (bird-view view).
- the advantageous method it is possible to determine the shape of the object 6 or of the bollard 7 by viewing from different perspectives and correspondingly as in the figure 2B, to display. The object 6 is thus displayed separately from the obstacle area 12 shown in FIG. 1B.
- the object 8 is also shown in orange, since it is indeed in the currently available driving tube or in the currently present trajectory 13, but the distance to the vehicle 1 is not critical.
- the intersecting region 16 overlapping with the trajectory 13 is marked in color in the surrounding image 15. The driver can now distinguish between next and behind objects as well as recognize the shape of objects.
- ultrasonic sensors are used as detection sensors.
- detection sensors 18 and a display device 19 representing the composite environment image 15 are illustrated by way of example for illustration purposes in FIG. 2A. In this case, an arithmetic unit 20 composing the surroundings images is integrated into the display device 19.
- FIG. 3A shows the traffic situation from the preceding FIGS. 1A and 2A at an even later point in time when the vehicle 1 is in a parking position in the parking space between the vehicle 4 and the bollard 7.
- the vehicle 1 stands with its rear area close to the bollard 7 or the object 6 and with a passenger door 17 at the height of the object 8 and the post 9.
- FIG. 3B shows the environmental image 15 corresponding to the traffic situation shown in FIG. 3A at the even later point in time.
- the object 8 and the object 6 are displayed in red, since they are located very close to the vehicle, ie in a critical area.
- the proximity of the vehicle increases its risk factor, thereby changing the color from the previously uncritical orange to red.
- the object 6 or the bollard 7 is therefore shown red, or recorded as high risk, since it / he is in the current trajectory 13 or in the Ride of the vehicle 1 is located.
- the object 8 or the post 9, however, has a high risk because it is close to the door of the passenger 17.
- the driver and / or the passenger should be made aware by means of the display or the composite environment image 15 that the door 17 should not be opened or can not be opened.
- the door can just be opened so far that it does not collide with the object 8 or post 9.
- the composite environment image 15 (dynamic 2D image), which represents an environment map of the entire vicinity of the vehicle
- a driver of the vehicle 1 can be visually assisted, in particular during parking operations or when maneuvering in close proximity.
- the steering angle, the yaw angle and / or the speed of the vehicle are advantageously detected.
- the driver may easily avoid collisions and / or risks in maneuvering and / or parking due to the information provided to him by the display.
- the determined when parking, composite environmental image 15 is stored and used again when you parked. In this case, advantageously, a verification and plausibility check by means of a new detection of the environment should be performed.
- the vehicle 1 is typically equipped with ten or twelve ultrasonic sensors, with four detection sensors or ultrasonic sensors being provided on the front and rear of the vehicle as the basis of a standard parking system.
- at least one detection sensor is provided on each side of the vehicle.
- the number of rear, front and side detection sensors can be varied. Whereby with increasing number the detail accuracy of the environment picture increases.
- the advantageous method makes it possible by detecting a specific environmental region of the environment Different perspectives determining the shape of objects, as well as the detection of several consecutively arranged objects (multi-target capability).
- the surroundings of the vehicle 1 are expediently divided into a plurality of different contiguous or partially overlapping surrounding areas, the division depending on the arrangement, number and orientation of the detection sensors, and subsequently after detection of the respective surrounding area be brought together from different perspectives to the composite environment image.
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zum Anzeigen der Umgebung eines Fahrzeugs, insbesondere Kraftfahrzeugs, mittels mindestens einer Anzeigeeinrichtung des Fahrzeugs, wobei die Umgebung während der Fahrt oder im Stillstand des Fahrzeugs von mindestens einem Erfassungssensor als Umgebungsbild erfasst wird. Es ist vorgesehen, dass mittels des Erfassungssensors von einem bestimmten Umgebungsbereich in unterschiedlichen Fahrzeugpositionen jeweils ein Umgebungsbild ermittelt und/oder mittels mindestens zweier zueinander beabstandeten Erfassungssensoren von dem bestimmten Umgebungsbereich jeweils mindestens ein Umgebungsbild ermittelt wird, wobei aus den Umgebungsbildern ein zusammengesetztes Umgebungsbild gewonnen und mittels der Anzeigeeinrichtung angezeigt wird. Weiter betrifft die Erfindung eine Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs.
Description
Beschreibung
Titel Verfahren und Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs
Die Erfindung betrifft ein Verfahren zum Anzeigen der Umgebung eines Fahrzeugs, insbesondere Kraftfahrzeugs, mittels mindestens einer Anzeigeeinrichtung des Fahrzeugs, wobei die Umgebung während der Fahrt oder im Stillstand des Fahrzeugs von mindestens einem Erfassungssensor als Umgebungsbild erfasst wird.
Ferner betrifft die Erfindung eine Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs, insbesondere Kraftfahrzeugs, mit mindestens einer dem Fahrzeug zugeordneten Anzeigeeinrichtung und mindestens einem Erfassungssensor zur Erfassung eines Umgebungsbildes der Umgebung während der Fahrt oder im Stillstand des Fahrzeugs.
Stand der Technik
Verfahren und Vorrichtungen der eingangs genannten Art sind aus dem Stand der Technik bekannt. Häufig werden diese in Zusammenhang mit Einparksystemen von Kraftfahrzeugen verwendet, bei denen dem Fahrer zum Erleichtern des Einparkvorgangs auf einer Anzeigeeinrichtung des Fahrzeugs die nähere Umgebung durch farbliche Darstellung der kritischen Abstände zu dem Fahrzeug dargestellt werden. Dazu wird die nächste Umgebung des Fahrzeugs mittels eines Erfassungssensors erfasst, wobei nur die momentan erfassten Objekte beziehungsweise Konturen dieser Objekte im Bereich vor und/oder hinter dem Fahrzeug, die unmittelbar von dem einen oder von mehreren Erfassungssensoren erfasst werden, dargestellt werden. Insbesondere wird nur das nächstgelegene Objekt, jedoch nicht ein sich hinter diesem nächstgelegenen Objekt befindliches Objekt dargestellt oder erfasst. Aus der Offenlegungsschrift DE 10 2004 027 640 A1 geht ein derartiges Verfahren beziehungsweise eine derartige Vorrichtung hervor, bei der während der Fahrt des Fahrzeugs beim Vorbeifahren an einer Parklücke diese mittels des
Erfassungssensors vermessen wird, sodass ein schematisches Umgebungsbild der Kontur der Parklücke gewonnen werden kann. Aus der Offenlegungsschrift DE 197 41 896 A1 geht weiterhin eine Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs der eingangs genannten Art hervor, die eine (Bild-)Kamera aufweist, mit der auch Entfernungsdaten zu aufgenommenen Bildpunkten an die Steuereinheit übermittelt werden können, wodurch die auf einer Anzeigeeinheit dargestellte Umgebung des Fahrzeugs nicht nur die nächstliegenden, sondern auch dahinter liegende Objekte darstellen kann. Dies erfordert jedoch eine hohe Rechenleistung und erlaubt ebenfalls lediglich die Darstellung des von der Kamera aktuell erfassten Umgebungsbildes/Bereiches der Umgebung.
Offenbarung der Erfindung
Das erfindungsgemäße Verfahren sieht vor, dass mittels des Erfassungssensors von einem bestimmten Umgebungsbereich in unterschiedlichen
Fahrzeugpositionen jeweils ein Umgebungsbild ermittelt und/oder mittels mindestens zwei zueinander beabstandeten Erfassungssensoren von dem bestimmten Umgebungsbereich jeweils mindestens ein Umgebungsbild ermittelt wird, wobei aus den Umgebungsbildern jeweils ein zusammengesetztes Umgebungsbild gewonnen und mittels der Anzeigeeinrichtung angezeigt wird. Es ist also zum Einen vorgesehen, dass in unterschiedlichen Fahrzeugpositionen mittels eines Erfassungssensors, zum Beispiel während der Fahrt des Fahrzeugs, von einem bestimmten Umgebungsbereich jeweils ein Umgebungsbild ermittelt wird. Dadurch, dass der bestimmte Umgebungsbereich aus zwei unterschiedlichen Fahrzeugpositionen heraus mittels des Erfassungssensors erfasst wird, wird der Umgebungsbereich aus unterschiedlichen Winkeln/Perspektiven „betrachtet", wodurch unterschiedliche, den Umgebungsbereich von unterschiedlichen Seiten erfassende Umgebungsbilder erstellt werden. Aus diesen wird dann ein zusammengesetztes Umgebungsbild gewonnen, indem die Informationen, die den Umgebungsbildern jeweils entnommen werden können, zu einem Umgebungsbild zusammengesetzt werden. Durch Betrachtung des Umgebungsbereichs aus unterschiedlichen Blickwinkeln ist es hierbei möglich, nicht nur nächstliegende, sondern auch dahinter liegende Objekte zu erfassen und entsprechend mittels der Anzeigeeinrichtung des Fahrzeugs darzustellen. Alternativ oder zusätzlich dazu
ist vorgesehen, dass im Stillstand und/oder während der Fahrt des Fahrzeugs von dem bestimmten Umgebungsbereich Umgebungsbilder aus unterschiedlichen „Blickwinkeln" mittels mindestens zwei zueinander beabstandet angeordneten Erfassungssensoren erfasst werden. Dies hat den gleichen Effekt, wie die oben beschriebene Erfassung des Umgebungsbereichs aus zwei unterschiedlichen Fahrzeugpositionen mittels eines Erfassungssensors, zum Beispiel während der Fahrt. Die Verwendung mehrerer Erfassungssensoren hat hierbei den Vorteil, dass das aus den Umgebungsbildern zusammengesetzte Umgebungsbild auch im Stillstand des Fahrzeugs gewonnen werden kann. Darüber hinaus kann das zusammengesetzte Umgebungsbild wesentlich schneller gewonnen werden, da der bestimmte Umgebungsbereich aus unterschiedlichen Perspektiven gleichzeitig erfasst werden kann. Mittels mehrerer Erfassungssensoren ist es darüber hinaus möglich, auf einfache Art und Weise die aktuelle Umgebung des Fahrzeugs sowohl mit nächstliegenden, als auch mit dahinter liegenden Objekten darzustellen. Das zusammengesetzte Umgebungsbild ergibt vorteilhafterweise eine Umgebungskarte, die die Umgebung des Fahrzeugs besonders detailgetreu, bevorzugt in einer Draufsicht auf das Fahrzeug wiedergibt.
Nach einer Weiterbildung der Erfindung wird als Erfassungssensor ein
Ultraschall-Sensor verwendet. Bevorzugt werden Ultraschall-Sensoren für alle Erfassungssensoren des Fahrzeugs verwendet. Ultraschall-Sensoren sind bei heute bekannten Parksystemen Stand der Technik, sodass hier zum Einen nicht näher darauf eingegangen werden soll, und zum Anderen klar ist, dass die Verwendung derartiger Erfassungssensoren sich einfach und kostengünstig gestaltet. Mittels eines Ultraschall-Sensors kann insbesondere direkt die Entfernung zu einem Objekt erfasst beziehungsweise ermittelt werden. Mittels mehrerer Ultraschall-Sensoren sind auch Konturen des Objekts im Erfassungsbereich erfassbar und ermittelbar.
Alternativ dazu ist vorgesehen, dass als Erfassungssensor ein Short-Range- Radarsensor, ein Lidar-Sensor oder ein sogenannter Range-Imager verwendet wird. Sind mehrere Erfassungssensoren vorgesehen, so ist es auch denkbar, eine Kombination aus den oben genannten Erfassungssensoren zu verwenden.
Vorteilhafterweise werden bei der Gewinnung des zusammengesetzten Umgebungsbilds beziehungsweise der Umgebungskarte die Geschwindigkeit, der Lenkwinkel und/oder der Gierwinkel des Fahrzeugs berücksichtigt. Hierdurch ist es möglich, die von dem Erfassungssensor beziehungsweise von den Erfassungssensoren erfassten Umgebungsbilder eindeutig in einem
Koordinatensystem in Bezug auf das Fahrzeug auszurichten und entsprechend zusammenzusetzen. Beim Gewinnen eines zusammengesetzten Umgebungsbildes während der Fahrt des Fahrzeugs ist es vorteilhaft, dass auch Objekte, die sich an einer Seite des Fahrzeugs in der Umgebung befinden, ebenfalls erkannt und beispielsweise von einem Türöffnungsassistenten berücksichtigt werden können, sodass ein Fahrer nach einem Einparkvorgang beispielsweise darauf hingewiesen wird, dass eine bestimmte Tür nicht geöffnet werden sollte, da eine Kollisionsgefahr mit einem sich daneben befindlichen Objekt besteht. Im einfachsten Fall wäre für einen derartigen Türöffnungsassistenten ein an der Tür angeordneter Erfassungssensor notwendig. Mittels des erfindungsgemäßen Verfahrens kann dies jedoch entfallen, da das zusammengesetzte Umgebungsbild die Umgebung des Fahrzeugs und nicht nur den momentan erfassten Umgebungsbereich darstellt.
Zweckmäßigerweise werden die Geschwindigkeit, der Lenkwinkel und/oder der Gierwinkel des Fahrzeugs mittels Sensoren erfasst, die vorzugsweise bereits im Fahrzeug vorhanden sind. Hierdurch wird eine besonders kostengünstige Bestimmung der Geschwindigkeit, des Lenkwinkels und/oder des Gierwinkels ermöglicht.
Die Geschwindigkeit wird vorteilhafterweise mittels eines oder mehrerer Radardrehzahlsensoren erfasst.
Mit Vorteil ist vorgesehen, dass mindestens ein Erfassungssensor im Wesentlichen senkrecht zur Längsachse des Fahrzeugs ausgerichtet wird. Üblicherweise werden im Front- und/oder Heckbereich des Fahrzeugs je vier Erfassungssensoren angebracht, die im Wesentlichen nach vorne oder nach hinten ausgerichtet sind. Bei einer Erfassung der Umgebung des Fahrzeugs während der Fahrt reichen diese auch aus, um seitlich zu dem Fahrzeug angeordnete Objekte zu erfassen. Im Stillstand des Fahrzeugs, ist es jedoch
vorteilhaft, wenn zusätzlich mindestens ein Erfassungssensor an zumindest einer Seite des Fahrzeugs im Wesentlichen senkrecht zur Längsachse des Fahrzeugs ausgerichtet wird. Hierdurch können auch im Stillstand des Fahrzeugs Objekte, die sich neben dem Fahrzeug befinden, erfasst und dem Fahrer mittels der Anzeigeeinrichtung angezeigt werden. Grundsätzlich ist es natürlich denkbar, die Anzahl der verwendeten Erfassungssensoren zu erhöhen, um ein noch detaillierteres Umgebungsbild zu erhalten. Ebenfalls ist auch eine Reduzierung von Erfassungssensoren möglich. Bei der Verwendung von Ultraschall-Sensoren werden die Abstände zu Objekten in bekannter Weise, mittels Triangulation benachbarter Sensorsignale berechnet. Durch das
Betrachten des Umgebungsbereichs aus verschiedenen Blickwinkeln lassen sich, wie bereits gesagt, nicht nur Abstände zu Objekten sondern auch die Form der Objekte ermitteln. So kann beispielsweise zwischen einer durchgängigen Mauer und einem Pfosten oder einer Pfostenreihe differenziert werden.
Nach einer Weiterbildung der Erfindung wird eine Trajektorie in Abhängigkeit des aktuellen Lenkwinkels in dem zusammengesetzten Umgebungsbild angezeigt. Diese Trajektorie zeigt die Fahrstrecke des Fahrzeugs an, entlang welcher sich das Fahrzeug bei dem aktuellen Lenkwinkel bewegen würde. Zusätzlich oder alternativ wird mittels der Anzeigeeinrichtung in Abhängigkeit von dem gewonnenen Umgebungsbild eine SoII-T rajektorie angezeigt, die dem Fahrer des Fahrzeugs eine Fahrstrecke, beispielsweise zum Erreichen einer Parkposition, vorgibt. Natürlich ist es auch denkbar, dass der Fahrer zusätzlich durch akustische und/oder haptische Warnsignale auf von dem Erfassungssensor beziehungsweise von den Erfassungssensoren erfasste Objekte aufmerksam gemacht wird.
Vorteilhafterweise werden in der Umgebung des Fahrzeugs erfasste Objekte in Abhängigkeit ihres Risikofaktors unterschiedlich grafisch, insbesondere farblich gekennzeichnet. So werden beispielsweise Objekte, die kein Hindernis darstellen, schwarz, Objekte, die als Hindernis erkannt/erfasst werden, sich aber nicht in einem kritischen Bereich befinden, grün, Objekte, die sich in einem kritischen Bereich, jedoch noch weit entfernt befinden, gelb, Objekte, die ein Eingreifen des Fahrers zur Vermeidung einer Kollision erfordern, orange, und Objekte, mit denen eine Kollision bevorsteht, rot dargestellt.
Vorteilhafterweise kann das zusammengesetzte Umgebungsbild auch für autonome oder semi-autonome Einparkvorgänge benutzt werden.
Nach einer vorteilhaften Weiterbildung der Erfindung wird das zusammengesetzte Umgebungsbild durch (Video-)Bilder von mindesten einer Rückfahrkamera und/oder Seitenkamera des Fahrzeugs ergänzt. So steht dem Fahrer des Fahrzeugs zum Einen das zusammengesetzte Umgebungsbild/die Umgebungskarte und zusätzlich ein tatsächliches Videobild der Umgebung beziehungsweise eines Umgebungsbereichs zur Verfügung.
Bevorzugt wird das zusammengesetzte Umgebungsbild nach einem Einparkvorgang gespeichert. Bei einem Ausparken kann das gespeicherte Umgebungsbild dann wieder verwendet werden, sodass dem Fahrer, noch bevor er das Fahrzeug bewegt hat, bereits die Umgebungskarte der Umgebung des Fahrzeugs zur Verfügung steht. Da sich die Umgebung jedoch in der Zwischenzeit verändert haben kann, wird zweckmäßigerweise das gespeicherte Umgebungsbild mit einem aktuellen zusammengefassten Umgebungsbild verglichen, um neue und/oder fehlende Objekte in der Umgebung zu ermitteln. Bevorzugt erfolgt dies mittels der mindestens zwei zueinander beabstandeten Erfassungssensoren im Stillstand des Fahrzeugs, wobei ebenfalls ein Gewinnen des aktuell zusammengefassten Umgebungsbildes mittels eines Erfassungssensors, wie oben beschrieben, denkbar ist.
Weiterhin ist vorgesehen, dass neue und/oder fehlende Objekte unterschiedlich grafisch, insbesondere farblich gekennzeichnet werden. Besonders bevorzugt werden fehlende Objekte mittels einer gestrichelten Konturlinie angezeigt. Bevorzugt werden ebenfalls Objekte und/oder Umgebungsbereiche grafisch, vorzugsweise farblich gekennzeichnet, die nicht verifiziert werden können. Hier wird der Fahrer des Fahrzeugs dazu aufgefordert, diese Objekte/Umgebungsbereiche selbst zu überprüfen.
Das vorteilhafte Verfahren zum Anzeigen der Umgebung eines Fahrzeugs kann beispielweise beim Manövrieren in engen Gassen, Einfahrten oder Parkhäusern verwendet werden.
Besonders bevorzugt wird aus den Umgebungsbildern eine vollständige Rundumsicht-Darstellung des Fahrzeugs als zusammengesetztes Umgebungsbild gewonnen. Die Erfassungssensoren werden dazu an entsprechenden Stellen des Fahrzeugs angeordnet und ausgerichtet.
Die erfindungsgemäße Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs ist dadurch gekennzeichnet, dass der Anzeigeeinrichtung zumindest eine Recheneinheit zugeordnet ist, die von dem Erfassungssensor in mindestens zwei unterschiedlichen Fahrzeugpositionen erfasste Umgebungsbilder eines bestimmten Umgebungsbereichs und/oder von zwei zueinander beabstandet an dem Fahrzeug angeordneten Erfassungssensoren erfasste Umgebungsbilder des bestimmten Umgebungsbereichs zu einem zusammengesetzten Umgebungsbild zusammenfügt und mittels der Anzeigeeinrichtung anzeigt.
Vorteilhafterweise ist mindestens ein Erfassungssensor als Ultraschall-Sensor ausgebildet. Besonders bevorzugt sind alle Erfassungssensoren als Ultraschall- Sensoren ausgebildet.
Vorteilhafterweise ist mindestens ein Erfassungssensor im Wesentlichen senkrecht zur Längsachse des Fahrzeugs ausgerichtet angeordnet. Besonders bevorzugt ist dieser Erfassungssensor im Bereich einer Tür des Fahrzeugs oder an der Tür direkt angeordnet.
Weiterhin ist vorgesehen, dass die Anzeigeeinrichtung und/oder die
Recheneinheit mit mindestens einer Rückfahrkamera und/oder mindestens einer Seitenkamera verbunden ist/sind.
Zweckmäßigerweise sind der Recheneinheit ein oder mehrere Sensoren zur Erfassung der Geschwindigkeit, des Lenkwinkels und/oder des Gierwinkels des Fahrzeugs zugeordnet.
Kurze Beschreibung der Zeichnungen
Im Folgenden soll die Erfindung anhand mehrerer Zeichnungen näher erläutert werden. Dazu zeigen
Figuren 1 A und 1 B eine aktuelle Verkehrssituation sowie ein nach dem vorteilhaften Verfahren zusammengesetztes Umgebungsbild,
Figuren 2A und 2B die Verkehrssituation zu einem späteren Zeitpunkt sowie das entsprechend zusammengesetzte Umgebungsbild und
Figuren 3A und 3B die Verkehrssituation zu einem noch späteren Zeitpunkt sowie ein entsprechendes zusammengesetztes Umgebungsbild.
Ausführungsform(en) der Erfindung
Die Figur 1 A zeigt in einer Draufsicht eine Verkehrsituation mit einem Fahrzeug 1 , das sich auf einer Straße 2 befindet. Die Straße 2 weist auf ihrer - in Fahrtrichtung des Fahrzeugs 1 gesehenen - rechten Seite einen Seitenstreifen beziehungsweise Parkstreifen 3 auf, auf dem ein Fahrzeug 4 geparkt steht. Der Parkstreifen 3 wird auf seiner rechten Seite durch einen Bordstein 5 begrenzt. Beabstandet zu dem parkenden Fahrzeug 4 ist auf dem Parkstreifen 3 ein Objekt 6, das als Poller 7 ausgebildet ist, nahe zu der Straße 2 angeordnet. Zwischen dem parkenden Fahrzeug 4 und dem Poller 7 ist auf der dem Parkstreifen 3 gegenüberliegenden Seite des Borsteins 5 ein Objekt 8, das als Pfosten 9, beispielsweise einer Straßenlaterne, ausgebildet ist, nahe zu dem Bordstein 5 angeordnet. Der Fahrer des Fahrzeugs 1 möchte nun in die Parklücke, zwischen dem parkenden Fahrzeug 4 und dem Poller 7 einparken.
Die Figur 1 B zeigt die Anzeige einer Anzeigeeinrichtung zum Anzeigen der Umgebung des Fahrzeugs 1. Mittels eines Erfassungssensors wird von einem bestimmten Umgebungsbereich des Fahrzeugs 1 in unterschiedlichen Fahrzeugpositionen des Fahrzeugs 1 jeweils ein Umgebungsbild 10 ermittelt. Dies kann beispielsweise beim Vorbeifahren an der zwischen dem parkenden Fahrzeug 4 und dem Poller 7 gebildeten Parklücke erfolgen. Hierzu ist der Erfassungssensor entsprechend an dem Fahrzeug 1 , insbesondere senkrecht
zur Längsachse des Fahrzeugs 1 , anzuordnen. Zusätzlich oder alternativ wird mittels mindestens zweier zueinander beabstandeten Erfassungssensoren, die an dem Fahrzeug 1 angeordnet sind, von dem bestimmten Umgebungsbereich jeweils mindestens ein Umgebungsbild, bevorzugt gleichzeitig ermittelt. Aus den Umgebungsbildern des einen Erfassungssensors oder der mindestens zwei Erfassungssensoren wird jeweils ein zusammengesetztes Umgebungsbild 10 gewonnen und, wie in der Figur 1 B dargestellt, mittels der Anzeigeeinrichtung angezeigt. Das Umgebungsbild 10 zeigt das Fahrzeug 1 in einer Draufsicht, beziehungsweise in der sogenannten Bird-View-Darstellung. Mittels gestrichelter Linien 11 ist ein Fahrschlauch beziehungsweise eine Trajektorie 13 dargestellt, die den Weg angibt, den das Fahrzeug 1 mit einem aktuellen Lenkwinkel bei einer Rückwärtsbewegung fahren würde. Die Umgebung des Fahrzeugs 1 wird in der Figur 1 B wie im Stand der Technik nur schematisch dargestellt, wobei die Konturen der nächstliegenden Objekte beziehungsweise Hindernisse angedeutet werden. So wird ein Hindernisbereich 12, der sich aus dem Fahrzeug 4, dem Bordstein 5 und dem Poller 7, wie in der Figur 1 A dargestellt, zusammensetzt, als ein zusammenhängender Bereich, vorteilhafterweise in gelber Farbe, dargestellt. Ein vorstehender Abschnitt des Bereichs, der den Poller 7 berücksichtigt, wird von der Trajektorie 13 geschnitten und liegt daher im Fahrschlauch beziehungsweise auf Kollisionskurs mit dem Fahrzeug 1. Daher wird dieser Überschneidungsbereich 14 vorteilhafterweise in einer anderen Farbe, vorzugsweise orange, dargestellt. Mit dem vorteilhaften Verfahren, wie oben beschrieben, ist jedoch eine noch detailgetreuere Darstellung beziehungsweise Anzeige der Umgebung des Fahrzeugs 1 möglich. Diese wird nun in Bezug auf die Figuren 2A bis 3B näher erläutert.
Die Figur 2A zeigt die Verkehrssituation aus der Figur 1 A zu einem späteren Zeitpunkt, zu dem der Fahrer das Fahrzeug 1 rückwärts schräg in die Parklücke zwischen dem Fahrzeug 4 und Poller 7 bewegt hat. Das Fahrzeug 1 steht nun teilweise bereits in der Parklücke. Die Figur 2B zeigt dazu ein zusammengesetztes Umgebungsbild 15, das gemäß dem vorteilhaften Verfahren gewonnen wurde. Dargestellt ist das Fahrzeug 1 in einer Draufsicht (Bird-View-Darstellung). Durch das vorteilhafte Verfahren ist es möglich, die Form des Objekts 6 beziehungsweise des Pollers 7 durch die Betrachtung aus unterschiedlichen Perspektiven zu ermitteln und entsprechend wie in der Figur
2B dargestellt, anzuzeigen. Das Objekt 6 ist somit getrennt von dem in der Figur 1 B dargestellten Hindernisbereich 12 angezeigt. Die Figur 2B zeigt den übrigen Hindernisbereich 12 - mit Ausnahme des Objekts 6 - weiterhin an, wobei nunmehr auch der Pfosten 9 beziehungsweise das Objekt 8, der/das sich jenseits des Bordsteins 5 befindet, angezeigt wird. Vorteilhafterweise wird das Objekt 8 ebenfalls orange dargestellt, da es sich zwar in dem aktuell vorliegenden Fahrschlauch beziehungsweise in der aktuell vorliegenden Trajektorie 13 befindet, aber die Entfernung zum Fahrzeug 1 noch unkritisch ist. Ebenso wird der sich mit der Trajektorie 13 überschneidende Überschneidungsbereich 16 in dem Umgebungsbild 15 farblich markiert. Der Fahrer kann nun zwischen nächsten und dahinter liegenden Objekten unterscheiden, sowie die Form von Objekten erkennen. Dies wird durch das vorteilhafte, oben beschriebene Zusammensetzen von den von dem jeweiligen Umgebungsbereich erfassten Umgebungsbildern möglich. Vorteilhafterweise werden als Erfassungssensoren hierbei Ultraschall-Sensoren verwendet. In der Figur 2A sind hierzu Erfassungssensoren 18 sowie eine das zusammengesetzte Umgebungsbild 15 darstellende Anzeigeeinrichtung 19 beispielhaft zur Veranschaulichung dargestellt. In die Anzeigeeinrichtung 19 ist hierbei eine die Umgebungsbilder zusammensetzende Recheneinheit 20 integriert.
Die Figur 3A zeigt die Verkehrssituation aus den vorhergehenden Figuren 1 A und 2A zu einem noch späteren Zeitpunkt, zu dem das Fahrzeug 1 in der Parklücke zwischen dem Fahrzeug 4 und dem Poller 7 in einer Parkposition steht. Das Fahrzeug 1 steht dabei mit seinem Heckbereich nahe an dem Poller 7 beziehungsweise dem Objekt 6 und mit einer Beifahrertür 17 auf Höhe des Objekts 8 beziehungsweise des Pfostens 9.
Die Figur 3B zeigt das Umgebungsbild 15 entsprechend der in der Figur 3A dargestellten Verkehrssituation zu dem noch späteren Zeitpunkt. Hierbei werden das Objekt 8 und das Objekt 6 rot dargestellt, da sie sich sehr nah an dem Fahrzeug, also in einem kritischen Bereich befinden. Durch die Nähe des Fahrzeugs wird ihr Risikofaktor erhöht, und dadurch die Farbe von dem vorher unkritischen Orange zu Rot geändert. Dabei wird das Objekt 6 beziehungsweise der Poller 7 deshalb rot dargestellt, beziehungsweise als hohes Risiko erfasst, da es/er sich in der aktuellen Trajektorie 13 beziehungsweise in dem
Fahrschlauch des Fahrzeugs 1 befindet. Das Objekt 8 beziehungsweise der Pfosten 9 weist hingegen deshalb ein hohes Risiko auf, weil es/er sich nahe zu der Tür des Beifahrers 17 befindet. Hierdurch soll der Fahrer und/oder der Beifahrer mittels der Anzeige beziehungsweise dem zusammengesetzten Umgebungsbild 15 darauf aufmerksam gemacht werden, dass die Tür 17 nicht geöffnet werden sollte beziehungsweise nicht geöffnet werden kann. Als Sicherheitsmaßnahme ist es hierbei denkbar, die Tür 17 automatisch zu verriegeln oder mittels haptischer und/oder akustischer Signale die Aufmerksamkeit des Fahrers und/oder des Beifahrers auf das Risiko durch das Objekt 8 hinzuweisen. Weiterhin ist es denkbar, dass die Tür gerade so weit geöffnet werden kann, dass sie nicht mit dem Objekt 8 beziehungsweise Pfosten 9 kollidiert.
Durch das zusammengesetzte Umgebungsbild 15 (dynamisches 2D-BiId), das eine Umgebungskarte der gesamten näheren Umgebung des Fahrzeugs darstellt, kann ein Fahrer des Fahrzeugs 1 insbesondere bei Einparkvorgängen oder beim Rangieren in enger Umgebung visuell unterstützt werden. Zur Positionierung der erfassten Hindernisse/Objekte zu dem Fahrzeug 1 auf der Anzeigeeinrichtung 19 werden vorteilhafterweise der Lenkwinkel, der Gierwinkel und/oder die Geschwindigkeit des Fahrzeugs erfasst. Der Fahrer kann aufgrund der ihm durch die Anzeige bereitgestellten Informationen leicht Kollisionen und/oder Risiken beim Rangieren und/oder Einparken aus dem Weg gehen. Vorteilhafterweise wird das beim Einparken ermittelte, zusammengesetzte Umgebungsbild 15 abgespeichert und beim Ausparken wieder verwendet. Wobei hierbei vorteilhafterweise eine Verifizierung und Plausibilisierung mittels einer erneuten Erfassung der Umgebung durchgeführt werden sollte. Das Fahrzeug 1 wird typischerweise mit zehn oder zwölf Ultraschallsensoren ausgestattet, wobei als Basis eines Standardparksystems jeweils vier Erfassungssensoren beziehungsweise Ultraschall-Sensoren vorne und hinten an dem Fahrzeug vorgesehen sind. Zusätzlich ist es vorteilhaft, wenn an jeder Seite des Fahrzeugs zumindest je ein Erfassungssensor vorgesehen wird. Grundsätzlich kann jedoch die Anzahl der hinteren, vorderen und seitlichen Erfassungssensoren variiert werden. Wobei mit zunehmender Anzahl die Detailgenauigkeit des Umgebungsbildes steigt. Insgesamt ermöglicht das vorteilhafte Verfahren durch das Erfassen eines bestimmten Umgebungsbereichs der Umgebung aus
unterschiedlichen Perspektiven das Bestimmen der Form von Objekten, sowie das Erfassen mehrerer hintereinander angeordneter Objekte (Mehrzielfähigkeit). Bezogen auf das vorliegende Ausführungsbeispiel der Figuren 1A bis 3B wird die Umgebung des Fahrzeugs 1 zweckmäßigerweise in mehrere unterschiedliche aneinander grenzende oder sich teilweise überlappende Umgebungsbereiche eingeteilt, wobei die Einteilung abhängig von Anordnung, Anzahl und Ausrichtung der Erfassungssensoren ist, und anschließend nach Erfassung des jeweiligen Umgebungsbereichs aus unterschiedlichen Perspektiven zu dem zusammengesetzten Umgebungsbild zusammengeführt werden.
Claims
1. Verfahren zum Anzeigen der Umgebung eines Fahrzeugs, insbesondere Kraftfahrzeugs, mittels mindestens einer Anzeigeeinrichtung des Fahrzeugs, wobei die Umgebung während der Fahrt oder im Stillstand des Fahrzeugs von mindestens einem Erfassungssensor als Umgebungsbild erfasst wird, dadurch gekennzeichnet, dass mittels des Erfassungssensors von einem bestimmten Umgebungsbereich in unterschiedlichen Fahrzeugpositionen jeweils ein Umgebungsbild ermittelt und/oder mittels mindestens zweier zueinander beabstandeten
Erfassungssensoren von dem bestimmten Umgebungsbereich jeweils mindestens ein Umgebungsbild ermittelt wird, wobei aus den Umgebungsbildern ein zusammengesetztes Umgebungsbild gewonnen und mittels der Anzeigeeinrichtung angezeigt wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass als Erfassungssensor ein Ultraschall-Sensor verwendet wird.
3. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass als Erfassungssensor ein Short-Range-Radarsensor, ein Lidar-Sensor oder ein Range-Imager verwendet wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Gewinnung des zusammengesetzten Umgebungsbildes die Geschwindigkeit, der Lenkwinkel und/oder der
Gierwinkel des Fahrzeugs berücksichtigt werden.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Geschwindigkeit mittels eines oder mehrerer Raddrehzahlsensoren erfasst wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mindestens ein Erfassungssensor im Wesentlichen senkrecht zur Längsachse des Fahrzeugs ausgerichtet wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Trajektorie in Abhängigkeit des aktuellen Lenkwinkel in dem zusammengesetzten Umgebungsbild angezeigt wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in der Umgebung erfasste Objekte in Abhängigkeit ihres Risikofaktors unterschiedlich grafisch, insbesondere farblich gekennzeichnet werden.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zusammengesetzte Umgebungsbild für autonome oder semi-autonome Einparkvorgänge benutzt wird.
10.Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zusammengesetzte Umgebungsbild durch
Bilder von mindestens einer Rückfahrkamera und/oder einer Seitenkamera ergänzt wird.
11.Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das aktuelle zusammengesetzte Umgebungsbild nach einem Einparkvorgang gespeichert wird.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das gespeicherte Umgebungsbild mit einem aktuellen zusammengefassten Umgebungsbild verglichen wird, um neue und/oder fehlende Objekte in der Umgebung zu ermitteln.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein neues und/oder fehlendes Objekt grafisch, insbesondere farblich gekennzeichnet wird.
14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das gespeicherte und mit neuen und/oder fehlenden Objekten ergänzte Umgebungsbild für Ausparkvorgänge benutzt wird.
15. Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs, insbesondere Kraftfahrzeugs, mit mindestens einer dem Fahrzeug zugeordneten Anzeigeeinrichtung zum Anzeigen der Umgebung und mindestens einem Erfassungssensor zur Erfassung eines Umgebungsbildes während der
Fahrt oder im Stillstand des Fahrzeugs, dadurch gekennzeichnet, dass der Anzeigeeinrichtung (19) zumindest eine Recheneinheit (20) zugeordnet ist, die von dem Erfassungssensor (18) in mindestens zwei unterschiedlichen Fahrzeugpositionen erfasste Umgebungsbilder eines bestimmten Umgebungsbereichs und/oder von zwei zueinander beabstandet an dem Fahrzeug (1 ) angeordneten Erfassungssensoren (18) erfasste Umgebungsbilder des bestimmten Umgebungsbereichs zu einem zusammengesetzten Umgebungsbild (10, 15) zusammenfügt und mittels der Anzeigeeinrichtung (19) anzeigt.
16. Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, dass mindestens ein Erfassungssensor (18) als Ultraschall-Sensor (21 ) ausgebildet ist.
17. Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, dass mindestens ein Erfassungssensor (18) als Short-Range-Radarsensor, Lidar-Senosr oder Range-Imager ausgebildet ist.
18. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mindestens ein Erfassungssensor (18) insbesondere an einer Seite des Fahrzeugs (1 ) im Wesentlichen senkrecht zur Längsachse des Fahrzeugs (1 ) ausgerichtet angeordnet ist.
19. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzeigeeinrichtung (19) und/oder die
Recheneinheit (20) mit mindestens einer Seitenkamera und/oder mindestens einer Rückfahrkamera verbunden ist/sind.
20. Vorrichtung nach einem der vorhergehenden Ansprüche, gekennzeichnet durch einen oder mehrere Raddrehzahlsensoren zur Erfassung der Geschwindigkeit des Fahrzeugs (1 ).
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102008003662A DE102008003662A1 (de) | 2008-01-09 | 2008-01-09 | Verfahren und Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs |
PCT/EP2008/065239 WO2009086967A1 (de) | 2008-01-09 | 2008-11-10 | Verfahren und vorrichtung zum anzeigen der umgebung eines fahrzeugs |
Publications (1)
Publication Number | Publication Date |
---|---|
EP2229594A1 true EP2229594A1 (de) | 2010-09-22 |
Family
ID=40419178
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP08870110A Withdrawn EP2229594A1 (de) | 2008-01-09 | 2008-11-10 | Verfahren und vorrichtung zum anzeigen der umgebung eines fahrzeugs |
Country Status (6)
Country | Link |
---|---|
US (1) | US20100329510A1 (de) |
EP (1) | EP2229594A1 (de) |
CN (1) | CN101910866A (de) |
DE (1) | DE102008003662A1 (de) |
RU (1) | RU2010133248A (de) |
WO (1) | WO2009086967A1 (de) |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009028760A1 (de) * | 2009-08-20 | 2011-02-24 | Robert Bosch Gmbh | Verfahren zur Prüfung der Umgebung eines Kraftfahrzeugs |
DE102009028832A1 (de) * | 2009-08-24 | 2011-03-03 | Robert Bosch Gmbh | Verfahren zur Kennzeichnung historischer Daten in Fahrzeugumgebungskarten |
DE102010010912A1 (de) * | 2010-03-10 | 2010-12-02 | Daimler Ag | Fahrerassistenzvorrichtung mit optischer Darstellung erfasster Objekte |
JP5062498B2 (ja) * | 2010-03-31 | 2012-10-31 | アイシン・エィ・ダブリュ株式会社 | 風景マッチング用参照データ生成システム及び位置測位システム |
JP5057183B2 (ja) * | 2010-03-31 | 2012-10-24 | アイシン・エィ・ダブリュ株式会社 | 風景マッチング用参照データ生成システム及び位置測位システム |
CN101833092B (zh) * | 2010-04-27 | 2012-07-04 | 成都捌零科技有限公司 | 车辆360度障碍无死角智能检测与预警方法 |
DE102010031672A1 (de) | 2010-07-22 | 2012-01-26 | Robert Bosch Gmbh | Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs |
DE102010051206A1 (de) * | 2010-11-12 | 2012-05-16 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung |
GB2491560B (en) * | 2011-05-12 | 2014-12-03 | Jaguar Land Rover Ltd | Monitoring apparatus and method |
DE102011102744A1 (de) * | 2011-05-28 | 2012-11-29 | Connaught Electronics Ltd. | Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, Kraftfahrzeug sowie System mit einem Kraftfahrzeug und einer separaten Recheneinrichtung |
FR2979299B1 (fr) * | 2011-08-31 | 2014-09-12 | Peugeot Citroen Automobiles Sa | Dispositif de traitement pour estimer une trajectoire future d'un vehicule, associee a une couleur fonction d'un niveau de risque de collision estime, pour un systeme d'aide a la conduite |
DE102011112149A1 (de) * | 2011-09-01 | 2013-03-07 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Durchführen eines Parkvorgangs eines Fahrzeugs sowie Fahrerassistenzeinrichtung |
KR101316501B1 (ko) * | 2011-10-14 | 2013-10-10 | 현대자동차주식회사 | 메쉬형 공간 해석기법을 이용한 주차 공간 탐지방법 및 그 시스템 |
DE102011086433A1 (de) * | 2011-11-16 | 2013-05-16 | Robert Bosch Gmbh | Gedächtnisbehaftetes Manövrierassistenzsystem |
DE102011121285A1 (de) * | 2011-12-15 | 2013-06-20 | Gm Global Technology Operations, Llc | Einparkhilfe |
JP5857224B2 (ja) * | 2012-03-30 | 2016-02-10 | パナソニックIpマネジメント株式会社 | 駐車支援装置、及び駐車支援方法 |
DE102012012265A1 (de) | 2012-06-20 | 2013-12-24 | Audi Ag | Verfahren zum Betrieb eines Kraftfahrzeugs umfassend ein Einparkassistenzsystem |
DE102012015922A1 (de) * | 2012-08-10 | 2014-02-13 | Daimler Ag | Verfahren zum Durchführen eines Parkvorgangs eines Fahrzeugs mittels eines Fahrerassistenzsystems |
WO2014028872A2 (en) * | 2012-08-17 | 2014-02-20 | Marquet Louis D | Systems and methods to enhance operational planning |
DE102012214959B4 (de) | 2012-08-23 | 2019-03-28 | Robert Bosch Gmbh | Verfahren zur Kollisionsvermeidung oder zur Verminderung von Unfallschäden und Fahrerassistenzsystem |
KR101401399B1 (ko) * | 2012-10-12 | 2014-05-30 | 현대모비스 주식회사 | 주차 지원 장치 및 방법과 이를 이용한 주차 지원 시스템 |
JP5935655B2 (ja) * | 2012-10-24 | 2016-06-15 | 株式会社デンソー | 情報表示装置 |
DE102012022276A1 (de) * | 2012-11-14 | 2014-05-28 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Warnung vor Querverkehr bei Ausparksituationen |
US10093247B2 (en) | 2013-05-23 | 2018-10-09 | GM Global Technology Operations LLC | Enhanced front curb viewing system |
US9013286B2 (en) * | 2013-09-23 | 2015-04-21 | Volkswagen Ag | Driver assistance system for displaying surroundings of a vehicle |
CN103616675A (zh) * | 2013-11-04 | 2014-03-05 | 法雷奥汽车内部控制(深圳)有限公司 | 一体化倒车雷达及其控制方案 |
CN103675827A (zh) * | 2013-11-18 | 2014-03-26 | 法雷奥汽车内部控制(深圳)有限公司 | 车载雷达探测虚拟全景*** |
CN104730514A (zh) * | 2013-12-19 | 2015-06-24 | 青岛盛嘉信息科技有限公司 | 一种四轮测距装置 |
US20150286878A1 (en) | 2014-04-08 | 2015-10-08 | Bendix Commercial Vehicle Systems Llc | Generating an Image of the Surroundings of an Articulated Vehicle |
US10328932B2 (en) | 2014-06-02 | 2019-06-25 | Magna Electronics Inc. | Parking assist system with annotated map generation |
JP6528382B2 (ja) * | 2014-10-22 | 2019-06-12 | 株式会社Soken | 車両用障害物検出装置 |
US9725040B2 (en) | 2014-10-28 | 2017-08-08 | Nissan North America, Inc. | Vehicle object detection system |
US9834141B2 (en) | 2014-10-28 | 2017-12-05 | Nissan North America, Inc. | Vehicle object detection system |
US9880253B2 (en) | 2014-10-28 | 2018-01-30 | Nissan North America, Inc. | Vehicle object monitoring system |
FR3031707B1 (fr) * | 2015-01-16 | 2018-06-29 | Renault S.A.S. | Procede et dispositif d'aide a la manœuvre en marche arriere d'un vehicule automobile |
CN107531182B (zh) * | 2015-08-27 | 2023-10-27 | Jvc 建伍株式会社 | 车辆用显示装置以及车辆用显示方法 |
US10179590B2 (en) | 2015-09-10 | 2019-01-15 | Ford Global Technologies, Llc | Park out assist |
US20170102451A1 (en) * | 2015-10-12 | 2017-04-13 | Companion Bike Seat | Methods and systems for providing a personal and portable ranging system |
CN105427671A (zh) * | 2015-12-20 | 2016-03-23 | 李俊娇 | 一种基于雷达探测的雾区辅助行驶装置 |
CN109416257B (zh) * | 2016-06-27 | 2020-07-07 | 御眼视觉技术有限公司 | 检测主车辆行驶道路的***和方法、导航主车辆的***及计算机可读介质 |
DE102016011915A1 (de) | 2016-10-05 | 2017-06-01 | Daimler Ag | Verfahren zur Anzeige einer Umgebung eines Fahrzeuges |
EP3532866A1 (de) | 2016-10-28 | 2019-09-04 | PPG Industries Ohio, Inc. | Beschichtungen zur erhöhung der entfernungen zur nahinfrarotdetektion |
US11392133B2 (en) | 2017-06-06 | 2022-07-19 | Plusai, Inc. | Method and system for object centric stereo in autonomous driving vehicles |
CN108099905B (zh) * | 2017-12-18 | 2020-08-18 | 深圳大学 | 车辆偏航检测方法、***及机器视觉*** |
WO2019133786A1 (en) * | 2017-12-29 | 2019-07-04 | General Electric Company | Sonic pole position triangulation in a lighting system |
DE102018214875A1 (de) * | 2018-08-31 | 2020-03-05 | Audi Ag | Verfahren und Anordnung zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs und Fahrzeug mit einer solchen Anordnung |
US11561329B2 (en) | 2019-01-07 | 2023-01-24 | Ppg Industries Ohio, Inc. | Near infrared control coating, articles formed therefrom, and methods of making the same |
DE102019123778A1 (de) * | 2019-09-05 | 2021-03-11 | Valeo Schalter Und Sensoren Gmbh | Darstellen einer Fahrzeugumgebung zum Bewegen des Fahrzeugs zu einer Zielposition |
CN111198385A (zh) * | 2019-12-26 | 2020-05-26 | 北京旷视机器人技术有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
EP4194883A1 (de) * | 2021-12-09 | 2023-06-14 | Aptiv Technologies Limited | Vorrichtung und verfahren zur bestimmung von objekten um ein fahrzeug herum |
CN117455792B (zh) * | 2023-12-25 | 2024-03-22 | 武汉车凌智联科技有限公司 | 一种车辆内置360度全景影像合成处理方法 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3844340A1 (de) * | 1988-12-30 | 1990-07-05 | Licentia Gmbh | Einparkhilfe |
DE19741896C2 (de) | 1997-09-23 | 1999-08-12 | Opel Adam Ag | Vorrichtung zur bildlichen Darstellung von Bereichen der Umgebung eines Kraftfahrzeugs |
DE60003750T2 (de) * | 1999-04-28 | 2004-06-03 | Matsushita Electric Industrial Co., Ltd., Kadoma | Einparkhilfe-Assistenz-Vorrichtung |
US6483429B1 (en) * | 1999-10-21 | 2002-11-19 | Matsushita Electric Industrial Co., Ltd. | Parking assistance system |
JP2002036991A (ja) * | 2000-07-27 | 2002-02-06 | Honda Motor Co Ltd | 駐車支援装置 |
JP3750512B2 (ja) * | 2000-10-12 | 2006-03-01 | 日産自動車株式会社 | 車両用周辺障害物検出装置 |
JP4765213B2 (ja) * | 2001-07-19 | 2011-09-07 | 日産自動車株式会社 | 車両用駐車支援装置 |
DE10220426A1 (de) * | 2002-05-08 | 2003-11-20 | Valeo Schalter & Sensoren Gmbh | Verfahren zum Betreiben eines Parkhilfesystems und Parkhilfesystem |
DE10257722A1 (de) * | 2002-12-11 | 2004-07-01 | Robert Bosch Gmbh | Einparkhilfe |
JP2005025692A (ja) * | 2003-07-04 | 2005-01-27 | Suzuki Motor Corp | 車両用情報提供装置 |
DE10331948A1 (de) * | 2003-07-15 | 2005-02-24 | Valeo Schalter Und Sensoren Gmbh | Verfahren und System zur Unterstützung des Manövrierens von Fahrzeugen |
JP3931857B2 (ja) * | 2003-07-23 | 2007-06-20 | トヨタ自動車株式会社 | 駐車支援装置及び後退支援装置 |
DE102004027640A1 (de) | 2004-06-05 | 2006-06-08 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum unterstützten Einparken eines Kraftfahrzeuges |
US7106183B2 (en) * | 2004-08-26 | 2006-09-12 | Nesa International Incorporated | Rearview camera and sensor system for vehicles |
JP4724522B2 (ja) * | 2004-10-28 | 2011-07-13 | 株式会社デンソー | 車両周囲視界支援システム |
JP4604703B2 (ja) * | 2004-12-21 | 2011-01-05 | アイシン精機株式会社 | 駐車補助装置 |
DE102005027165B4 (de) * | 2005-06-13 | 2024-01-25 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Ausgabe von Einparkhinweisen |
JP2007030700A (ja) * | 2005-07-27 | 2007-02-08 | Aisin Seiki Co Ltd | 駐車支援装置 |
JP4882302B2 (ja) * | 2005-07-28 | 2012-02-22 | 株式会社アドヴィックス | 駐車支援制御装置および駐車支援制御システム |
JP4622806B2 (ja) * | 2005-10-27 | 2011-02-02 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
JP4414959B2 (ja) * | 2005-11-16 | 2010-02-17 | アイシン精機株式会社 | 駐車支援装置 |
DE102005061909A1 (de) * | 2005-12-23 | 2007-07-05 | Volkswagen Ag | Parklenkassistenzsystem und Verfahren zum Betreiben eines Parklenkassistenzsystems |
JP4769625B2 (ja) * | 2006-04-25 | 2011-09-07 | トヨタ自動車株式会社 | 駐車支援装置及び駐車支援方法 |
JP5309442B2 (ja) * | 2006-05-29 | 2013-10-09 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
US7970535B2 (en) * | 2006-07-04 | 2011-06-28 | Denso Corporation | Drive assist system |
US8332097B2 (en) * | 2007-12-14 | 2012-12-11 | Denso International America, Inc. | Method of detecting an object near a vehicle |
-
2008
- 2008-01-09 DE DE102008003662A patent/DE102008003662A1/de not_active Withdrawn
- 2008-11-10 RU RU2010133248/11A patent/RU2010133248A/ru unknown
- 2008-11-10 CN CN2008801244345A patent/CN101910866A/zh active Pending
- 2008-11-10 US US12/735,164 patent/US20100329510A1/en not_active Abandoned
- 2008-11-10 EP EP08870110A patent/EP2229594A1/de not_active Withdrawn
- 2008-11-10 WO PCT/EP2008/065239 patent/WO2009086967A1/de active Application Filing
Non-Patent Citations (1)
Title |
---|
See references of WO2009086967A1 * |
Also Published As
Publication number | Publication date |
---|---|
US20100329510A1 (en) | 2010-12-30 |
RU2010133248A (ru) | 2012-02-20 |
WO2009086967A1 (de) | 2009-07-16 |
DE102008003662A1 (de) | 2009-07-16 |
CN101910866A (zh) | 2010-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2229594A1 (de) | Verfahren und vorrichtung zum anzeigen der umgebung eines fahrzeugs | |
EP2766237B1 (de) | Vorrichtung zur unterstützung eines fahrers beim fahren eines fahrzeugs oder zum autonomen fahren eines fahrzeugs | |
EP1147032B1 (de) | Einrichtung zur überwachung der umgebung eines einparkenden fahrzeugs | |
DE102008036009B4 (de) | Verfahren zum Kollisionsschutz eines Kraftfahrzeugs und Parkhausassistent | |
EP2493745B1 (de) | Verfahren zur unterstützung beim ausparken | |
EP2594461B1 (de) | Verfahren zum Erkennen einer Parklücke für ein Kraftfahrzeug, Parkhilfesystem und Kraftfahrzeug mit einem Parkhilfesystem | |
DE102015202435A1 (de) | Fahrzeugsteuersystem zum Ausrichten einer induktiven Ladeverbindung | |
DE102008004633A1 (de) | Verfahren und Vorrichtung zur Erkennung und/oder Vermessung einer Parklücke | |
EP2982572B1 (de) | Verfahren zum unterstützen eines fahrers eines kraftfahrzeugs beim ausparken, fahrerassistenzsystem und kraftfahrzeug | |
EP1642768A1 (de) | Verfahren zur Anzeige eines Fahrzeugfahrraums | |
DE102010051206A1 (de) | Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung | |
DE102009024083A1 (de) | Verfahren zum Durchführen eines zumindest semi-autonomen Parkvorgangs eines Fahrzeugs und Parkassistenzsystem für ein Fahrzeug | |
EP2643188A1 (de) | Verfahren und vorrichtung zum unterstützen eines fahrers eines kraftfahrzeugs beim ausparken aus einer parklücke und kraftfahrzeug | |
EP1874611A1 (de) | Verfahren und vorrichtung zur auswertung von abstandsmessdaten eines abstandsmesssystems eines kraftfahrzeugs | |
DE102006051977B4 (de) | Parkassistenzsystem | |
DE102009046726A1 (de) | Auswahl einer Parklücke aus mehreren erkannten Parklücken | |
WO2006069973A1 (de) | Verfahren zum ermitteln der befahrbarkeit einer parklücke und einparkhilfeeinrichtung | |
WO2011138164A1 (de) | Verfahren zum betreiben eines fahrerassistenzsystems eines fahrzeugs, fahrerassistenzsystem und fahrzeug | |
DE102009046674A1 (de) | Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs und Vorrichtung hierzu | |
WO2012003942A2 (de) | Verfahren und vorrichtung zur fahrerunterstützung beim fahren und/oder rangieren eines fahrzeugs | |
WO2012171740A1 (de) | Nachrüstsatz für Parkführung | |
EP2493746B1 (de) | Verfahren zur unterstützung eines fahrers beim einparken | |
DE102010034142A1 (de) | Verfahren zum Unterstützen eines Fahrers beim Führen eines Kraftfahrzeugs und Fahrerassistenzsystem | |
DE102010000964A1 (de) | Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeuges | |
DE102010001288A1 (de) | Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs beim Einparken |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20100809 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR |
|
AX | Request for extension of the european patent |
Extension state: AL BA MK RS |
|
17Q | First examination report despatched |
Effective date: 20110119 |
|
DAX | Request for extension of the european patent (deleted) | ||
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN |
|
18D | Application deemed to be withdrawn |
Effective date: 20110531 |