EP1486932A2 - Bildverarbeitungssystem für ein Fahrzeug - Google Patents

Bildverarbeitungssystem für ein Fahrzeug Download PDF

Info

Publication number
EP1486932A2
EP1486932A2 EP04013002A EP04013002A EP1486932A2 EP 1486932 A2 EP1486932 A2 EP 1486932A2 EP 04013002 A EP04013002 A EP 04013002A EP 04013002 A EP04013002 A EP 04013002A EP 1486932 A2 EP1486932 A2 EP 1486932A2
Authority
EP
European Patent Office
Prior art keywords
processing system
image processing
detected
collision
operating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP04013002A
Other languages
English (en)
French (fr)
Other versions
EP1486932A3 (de
Inventor
Stefan Dipl.-Inf. Hahn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daimler AG
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Publication of EP1486932A2 publication Critical patent/EP1486932A2/de
Publication of EP1486932A3 publication Critical patent/EP1486932A3/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the invention relates to a method for operating a Image processing system for a vehicle as well Image processing system for a vehicle, in particular for Collision avoidance with other road users.
  • the capture The environment information is here by means of imaging Sensors. Where the captured image data then using be evaluated an image processing system. The Evaluation is usually done by checking Whether a permissible minimum distance becomes an obstacle or falls below a road user.
  • US 6496117 B2 describes a system for monitoring attention a driver.
  • the system comprises a camera, which scans the face of a driver.
  • the system furthermore comprises one unit each for determining the viewing direction as well as the facial position of the driver. It will determines whether the viewing direction as well as the facial position of the Driver oriented in the direction of the vehicle ahead are.
  • the system is with a warning device equipped, which warns the driver, if that Viewing or facial position not in the vehicle lying ahead direction are oriented.
  • An additional is a camera detects objects in the environment of the Vehicle. Where detected objects are evaluated, in particular what kind of object it is and in which distance this is to the vehicle. in this connection will depend on the line of sight and facial position of the driver and at the same time falling below a Minimum distance to objects triggered a warning signal.
  • JP 2002260192 A a method for preventing Collisions with other road users when used in Vehicles described.
  • information for avoidance be provided by collisions which the Include the behavior of other road users.
  • the risk of a collision is assessed by the behavior of other road users in relation to their own Vehicle is estimated.
  • This estimate is then determined whether the vehicle in a collision hazard if necessary can be slowed down in time.
  • the procedure is described by a pedestrian, which is in the Near a crossroads with a total of four crosswalks staying. This is based on geometric information of the Scene, the position of the pedestrian and possibly its direction of movement estimated which of the 4 crosswalks the Pedestrians will cross.
  • the invention is therefore based on the object, a method for operating an image processing system for a vehicle according to the preamble of claim 1 and a Image processing system for a vehicle according to the preamble of claim 11, whereby a reliable Person registration especially with regard to one possible assessment of a collision risk should.
  • a method for operating an image processing system for a vehicle comprises at least one image sensor for detecting environmental information.
  • the detected environment information is evaluated by means of a computer unit to detect the presence of road users.
  • the viewing direction of one or more detected road users is detected.
  • the detection of Looking towards one or more road users Estimation of a collision risk used. Where the Viewing direction of a road user indicates whether this is attentive and e.g. an approaching vehicle this road user is perceived. That's it Collision risk higher if the road user in the The image sensor opposite direction looks as if this, however, looks directly into the image sensor. That too is Collision risk higher if another road user just look roughly in the direction of the driver as if this direct eye contact with the driver stops.
  • a probability measure for estimation of collision risk is dependent the detected and evaluated viewing direction recognized Road users a probability measure for estimation of collision risk.
  • the Possibility that the probability measure directly based the relative angle between the line of sight of the Road user and the image sensor or the Direction of movement of the vehicle or of the Road user is determined.
  • the Probability for collision risk for example increases proportionally with this angle.
  • image sections of road users in different poses are deposited.
  • the image excerpts are deposited in such a way that they are part of a Training process for a classification method as Sample samples can be used. Being in the frame a classification every class a probability measure for the attention of road users and thus for the risk of collision.
  • the duration of the eye contact for estimating the Collision risks are used. It can be determined if an approaching Vehicle actually noticed by a road user or if a eye contact possibly only coincidentally has come.
  • Model information can be compared and from it Probability measure for the estimation of the collision risk be formed.
  • model data in both static as well as in dynamic databases.
  • This can be model data which both the Scene as well as other road users as well as their Describe vehicles and their movement.
  • geometric and dynamic model data used to describe the behavior of pedestrians. For example, when crossing a street with Pedestrian traffic light and without pedestrian lights or with one Crosswalk.
  • a probability measure for Estimation of the collision risk is formed. For example, so-called if-then-else Clauses or machine models are used.
  • a Another advantageous way is due to Movement information of the vehicle and / or the or recognized road users to a probability measure Assessment of the collision risk formed. For example if the motion information is the Speed, direction as well as trajectory with the one Vehicle and / or a recognized road user moves.
  • the Movement relative to your own vehicle determined to then a measure of probability for estimating the To form collision risk.
  • the distance to considered road users for example, based on the Image sensor is detected. This is e.g. in connection with 3D image sensors directly possible or when using 2D image sensors realized by means of a stereo arrangement.
  • the Partial probabilities which the direction of view and / or Model information and / or fixed rules and / or movement information of the vehicle and / or the or the recognized road users, too a total probability measure for the estimation of the Collision risk combined.
  • the Partial probabilities which the direction of view and / or Model information and / or fixed rules and / or movement information of the vehicle and / or the or the recognized road users, too a total probability measure for the estimation of the Collision risk combined.
  • the Partial probabilities which the direction of view and / or Model information and / or fixed rules and / or movement information of the vehicle and / or the or the recognized road users, too a total probability measure for the estimation of the Collision risk combined.
  • a preferred embodiment of the invention sees it before that, depending on the probability measure or of the total probability measure by means of a Control unit at least one action to reduce the Collision risk is initiated.
  • the at least one collision risk mitigating action is initiated as soon as one of the probability measures has exceeded a certain threshold.
  • Examples such actions are for example: Acoustic warning signals, the both the driver (buzzer) and other road users (Horn) can warn, optical signals, deceleration or Accelerating the vehicle, steering movements or others by vehicle systems feasible actions. Which These actions can also be carried out by the Depend on the amount of probability. For example, at a low probability initially only the horn activated. If the probability can increase further e.g. In addition, the brake of the vehicle can be activated. It is conceivable, the braking force in dependence of Chance to change.
  • the detected Environment information about 2D and / or 3D image information.
  • passive passive imaging sensors are suitable such.
  • active Image sensors such as distance image cameras conceivable.
  • optical sensors possible, wherein the sensitivity of the image sensors both in visible as well as in the non-visible wavelength range can lie.
  • the invention is not limited to use in Limited vehicles. Rather, it is also a use the image processing system according to the invention and the Method for its operation in a different field of application especially in connection with working machines advantageous effect.
  • Working area for safety reasons to persons is delimited. These include u.a. Turn u. milling machines, Saws, grinding machines, etc., using the Image processing system according to the invention Workspaces are monitored, for example, the Turn off the work machine in a dangerous situation and thus the traffic safety and thus the operational safety to increase.
  • it may be at the work machine act a robot, in the context of robots the Evaluation of the direction of view of persons, for example Improving the interaction between human and robot serves. It can be a stationary or mobile Robot act, which is autonomously operable.
  • Fig. 1 shows an example of the schematic structure of Image processing system (1) according to the invention.
  • the image processing system (1) road users in the Environment of a vehicle detected and if they move possibly also be tracked.
  • the road users to be recognized can be known to the image processing system (1) these are categorized by class and, for example, in the form of stored knowledge as learning examples in the Memory (6) can be stored.
  • class it can For example, pedestrians, cyclists, guide posts, Lane markers, cars, trucks, two-wheelers, skateboard riders etc. act.
  • the image processing system (1) comprises a Object recognition unit (2), which one or more Image sensors (3), a computing unit (4) and a Algorithm (5) for the evaluation of image information includes.
  • the image sensors (3) are e.g. around passive Sensors such as standard video cameras or to active sensors, e.g. Range cameras.
  • passive Sensors such as standard video cameras or to active sensors, e.g. Range cameras.
  • active sensors e.g. Range cameras.
  • pedestrians on the basis of their outer Form detected and their 3D position based on calibrated Camera parameters are estimated on the assumption that these together with the vehicle on a horizontal Level.
  • the classes the road user to be recognized Image processing system are not known. In this case These are usually due to a machine Description formulated on the basis of their spatial extent.
  • the image processing system (1) comprises a Collision Risk Estimation Unit (7) e.g. based on the viewing direction and / or the movement of Road users.
  • a Collision Risk Estimation Unit (7) e.g. based on the viewing direction and / or the movement of Road users.
  • the Kollisionsrisikos is fixed by means of fixed rules such. if-then-else clauses an implicit mapping between the Output of the object recognition system (2) and the control unit (7).
  • This illustration can be, for example, by means of the computer unit (4) or another processor, which in connection with the image processing system (1) stands to be performed.
  • Such an implicit picture can e.g. through the application of algorithms (5) for machine learning are generated. For example, by the train neural networks by means of the specification of Sample samples for a training process.
  • the as deposited knowledge part of the image processing system is the eye or head direction of a road user included in the picture, as shown in the image sections 2b and 3b is shown.
  • the alignment of the head is already a good one Approximation for the viewing direction of persons.
  • risk assessment is not on the use of neural networks limited to the expert In the field of pattern recognition are further suitable for this purpose Methods known.
  • an alternative is also an alternative explicit mapping between the output of the Object recognition system (2) and the control unit (7) by means of Machine models conceivable.
  • the control unit (8) serves to initiate actions, which reduce the risk of collision. If one of the the collision risk assessment unit (7) formed probability measures a certain Threshold is exceeded, by means of the control unit (8) one or more actions to reduce the Collision risk. It can be for example, to act as a horn signal, which others Road users warns. An acoustic signal in the vehicle inside is suitable to warn the driver, if this for example, in a collision hazard in another Direction as the vehicle ahead direction looks.
  • Fig. 2a shows a traffic scene wherein a pedestrian crosses a street. Due to his line of sight, it becomes clear that the pedestrian is attentive and notices the approaching vehicle.
  • Fig. 3a shows a scene in which a pedestrian crosses a street, which must be assumed due to the viewing direction that this has not noticed the approaching vehicle.
  • the road users are clearly recognizable and shown sufficiently large to be able to recognize the line of sight.
  • Commercially available low-resolution cameras with 320x240 pixels are generally sufficient for use in connection with road vehicles. Using one of S. Baker and T. Kanade, "Limits on Super-Resolution and How to Break Them," IEEE Trans. On Pattern Analysis and Machine Intelligence, vol. 24, no. 9, 2000 known algorithm, an increase in the recognition distance is achieved.
  • Figures 2b and 3b each show an enlarged image detail that shown in Figures 2a and 2b Traffic scenes, in which in particular in each case the head of recognized road user is depicted.
  • Fig. 2b keeps the road user direct eye contact Driver while that shown in Fig. 3b Road user keeps no eye contact with the driver.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Zur Unterstützung des Fahrers werden künftige Fahrzeuge mit umgebungserfassenden Systemen ausgestattet. Derartige Systeme dienen dazu, den Fahrer frühzeitig vor möglichen Kollisionen mit anderen Verkehrsteilnehmer, z.B. Fußgängern, zu warnen. Dabei erfolgt die Erfassung der Umgebungsinformation u.a. mittels Bildsensoren und deren Auswertung mittels einer Bildverarbeitungseinheit. Die Auswertung von Bilddaten ist dabei auf einfache geometrische und dynamische Modelle eingeschränkt, welche das Verhalten von Verkehrsteilnehmern beschreiben. Daher wird ein Bildverarbeitungssystem vorgeschlagen, welches die Aufmerksamkeit anderer Verkehrsteilnehmer berücksichtigt. Insbesondere wird dabei die Blickrichtung erkannter Verkehrsteilnehmer erfasst und auf Grund der erfassten Blickrichtung eine Wahrscheinlichkeit zur Abschätzung des Kollisionsrisikos mit anderen Verkehrsteilnehmern ermittelt. Falls das Kollisionsrisiko dabei einen bestimmten Schwellwert übersteigt, werden Maßnahmen zur Vermeidung einer Kollision eingeleitet. <IMAGE>

Description

Die Erfindung betrifft ein Verfahren zum Betrieb eines Bildverarbeitungssystems für ein Fahrzeug sowie ein Bildverarbeitungssystem für ein Fahrzeug, insbesondere zur Kollisionsvermeidung mit anderen Verkehrsteilnehmern.
Zur Unterstützung des Fahrers werden künftige Fahrzeuge mit umgebungserfassenden Systemen ausgestattet. Derartige Systeme dienen dazu, den Fahrer vor Hindernissen und anderen Gefahrenquellen zu warnen, um damit die Anzahl der Verkehrsunfälle zu reduzieren. Durch die optoelektronische Erfassung der dem Fahrzeug vorausliegenden Umgebung kann der Fahrer beispielsweise frühzeitig vor möglichen Kollisionen mit anderen Verkehrsteilnehmern gewarnt werden. Die Erfassung der Umgebungsinformation erfolgt hierbei mittels bildgebender Sensoren. Wobei die erfassten Bilddaten anschließend mittels einem Bildverarbeitungssystem ausgewertet werden. Die Auswertung erfolgt dabei meist dahingehend, indem überprüft wird, ob eine zulässige Mindestdistanz zu einem Hindernis oder einem Verkehrsteilnehmer unterschritten wird.
US 6496117 B2 beschreibt ein System zur Überwachung der Aufmerksamkeit eines Fahrers. Hierzu umfasst das System eine Kamera, welche das Gesicht eines Fahrers abtastet. Das System umfasst weiterhin je eine Einheit zur Ermittlung der Blickrichtung sowie der Gesichtsstellung des Fahrers. Dabei wird ermittelt ob die Blickrichtung sowie die Gesichtsstellung des Fahrers in die dem Fahrzeug vorausliegende Fahrtrichtung orientiert sind. Weiterhin ist das System mit einer Warneinrichtung ausgestattet, welche den Fahrer warnt, falls dessen Blickrichtung oder Gesichtsstellung nicht in die dem Fahrzeug vorausliegende Fahrtrichtung orientiert sind. Eine zusätzliche ist eine Kamera detektiert Objekte in der Umgebung des Fahrzeugs. Wobei detektierte Objekte ausgewertet werden, insbesondere um welche Art von Objekt es sich handelt und in welcher Entfernung sich dieses zum Fahrzeug befinden. Hierbei wird in Abhängigkeit von der Blickrichtung und Gesichtsstellung des Fahrers sowie bei gleichzeitigem Unterschreiten einer Mindestdistanz zu Objekten ein Warnsignal ausgelöst.
In der JP 2002260192 A ist ein Verfahren zur Verhinderung von Kollisionen mit anderen Verkehrsteilnehmern beim Einsatz in Fahrzeugen beschrieben. Wobei Informationen zur Vermeidung von Kollisionen zur Verfügung gestellt werden, welche das Verhalten anderer Verkehrsteilnehmer einbeziehen. Insbesondere wird das Risiko einer Kollision hierbei beurteilt, indem das Verhalten anderer Verkehrsteilnehmer in Bezug auf das eigene Fahrzeug abgeschätzt wird. Aufgrund dieser Abschätzung wird sodann bestimmt ob das Fahrzeug bei einer Kollisionsgefahr ggf. rechtzeitig abgebremst werden kann. Das Verfahren wird anhand eines Fußgängers beschrieben, welcher sich in der Nähe einer Straßenkreuzung mit insgesamt vier Zebrastreifen aufhält. Hierbei wird anhand geometrischer Informationen der Szene, der Position des Fußgängers sowie ggf. dessen Bewegungsrichtung abgeschätzt, welchen der 4 Zebrastreifen der Fußgänger überqueren wird. Zudem werden zur Abschätzung des künftigen Verhaltens des Fußgängers Wartezeiten an Ampelanlagen sowie dessen Bewegungsgeschwindigkeit berücksichtigt. Wobei bei dem Verfahren auf ein einheitliches Bewegungsmodell für Fußgänger zurückgegriffen wird, worin beispielsweise die für Fußgänger übliche Bewegungsgeschwindigkeit an Ampeln bekannt sind. Der Nachteil ist es hierbei jedoch, dass die Abschätzung des Verhaltens anderer Verkehrsteilnehmer relativ ungenau erfolgt. Insbesondere werden bei der Abschätzung lediglich einfache geometrische Modelle und einfache Bewegungsmodelle anderer Verkehrsteilnehmer berücksichtigt.
Der Erfindung liegt daher die Aufgabe zu Grunde, ein Verfahren zum Betrieb eines Bildverarbeitungssystems für ein Fahrzeug gemäß dem Oberbegriff des Patentanspruchs 1 sowie ein Bildverarbeitungssystem für ein Fahrzeug gemäß dem Oberbegriff des Patentanspruchs 11 bereitzustellen, womit eine verlässliche Personenerfassung insbesondere im Hinblick auf eine mögliche Abschätzung eines Kollisionsrisikos ermöglicht werden soll.
Die Aufgabe wird gemäß der Erfindung durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und ein Bildverarbeitungssystem mit den Merkmalen des Anspruchs 11 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung werden in den Unteransprüchen aufgezeigt.
Gemäß der Erfindung wird ein Verfahren zum Betrieb eines Bildverarbeitungssystems für ein Fahrzeug vorgeschlagen. Das vorgeschlagene Bildverarbeitungssystem umfasst dabei wenigstens einen Bildsensor zur Erfassung von Umgebungsinformationen. Wobei die erfassten Umgebungsinformationen mittels einer Rechnereinheit dahingehend ausgewertet werden, um das Vorhandensein von Verkehrsteilnehmern zu erkennen. In einer erfinderischen Weise wird dabei die Blickrichtung eines oder mehrerer erkannter Verkehrsteilnehmer erfasst. Mit der Erfindung wird es in besonderem Maße möglich eine verlässliche Personenerfassung insbesondere im Hinblick auf eine mögliche Abschätzung eines Kollisionsrisikos durchzuführen, indem beispielsweise die Aufmerksamkeit der Verkehrsteilnehmer berücksichtigt wird. Wobei unter der Erkennung von Verkehrsteilnehmern nicht deren Identifikation sondern eine Überprüfung des Vorhandenseins in den Umgebungsdaten verstanden wird. Dabei sind Verfahren zur Erkennung und Verfolgung von Verkehrsteilnehmern, insbesondere von Fußgängern beispielweise aus D. M. Gavrila, "Sensor-based Pedestrian Protection", IEEE Intelligent Systems, vol.16, nr.6, pp.77-81, 2001 und D. M. Gavrila and J. Giebel, "Shape-based Pedestrian Detection and Tracking,'' Proc. of IEEE International Conference on Intelligent Vehicles, Paris, France, 2002 bereits bekannt. In U. Franke, D. M. Gavrila, A. Gern, S. Görzig, R. Janssen, F. Paetzold and C. Wöhler, "From Door to Door - Principles and Applications of Computer Vision for Driver Assistant Systems,'' chapter 6 in Intelligent Vehicle Technologies, eds. L. Vlacic and F. Harashima and M. Parent, Butterworth Heinemann, Oxford, 2001 wird generell die bildbasierte Objekterkennung im Zusammenhang mit Fahrerassistenzsystemen beschrieben. Mit der Objekterkennung wird die Blickrichtung der Verkehrsteilnehmer gut erfasst, wodurch die Verlässlichkeit der Personenerkennung erhöht wird. Aufgrund der verlässlichen Personenerkennung kann dabei eine rechtzeitge Warnung von Fahrer und/oder von Verkehrsteilnehmern vor möglichen Kollisionen erfolgen, wodurch die Verkehrssicherheit erhöht wird.
In einer besonders vorteilhaften Weise wird die Erfassung der Blickrichtung eines oder mehrerer Verkehrsteilnehmer zur Abschätzung eines Kollisionsrisikos verwendet. Wobei die Blickrichtung eines Verkehrsteilnehmers anzeigt, ob dieser aufmerksam ist und z.B. ein herannahendes Fahrzeug durch diesen Verkehrsteilnehmer wahrgenommen wird. Dabei ist das Kollisionsrisiko höher, falls der Verkehrsteilnehmer in die dem Bildsensor entgegengesetzte Richtung blickt, als wenn dieser dagegen direkt in den Bildsensors blickt. Auch ist das Kollisionsrisiko höher falls ein anderer Verkehrsteilnehmer lediglich grob in die Richtung des Fahrers blickt als wenn dieser direkten Blickkontakt zum Fahrer hält.
In einer weiteren vorteilhaften Weise wird in Abhängigkeit der erfassten und ausgewerteten Blickrichtung erkannter Verkehrsteilnehmer ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet. Hierbei besteht die Möglichkeit, dass das Wahrscheinlichkeitsmaß direkt anhand des relativen Winkels zwischen der Blickrichtung des Verkehrsteilnehmers und dem Bildsensor oder der Bewegungsrichtung des Fahrzeugs oder der des Verkehrsteilnehmers festgelegt wird. Wobei dabei die Wahrscheinlichkeit für das Kollisionsrisiko beispielsweise proportional mit diesem Winkel zunimmt. Jedoch ist es im Zusammenhang mit dem Bildverarbeitungssystem auch denkbar, dass Bildausschnitte von Verkehrsteilnehmern in unterschiedlichen Posen hinterlegt sind. Die Bildausschnitte werden dabei derart hinterlegt, dass diese im Rahmen eines Trainingsprozesses für ein Klassifikationsverfahren als Beispielstichproben genutzt werden können. Wobei im Rahmen einer Klassifikation jede Klasse ein Wahrscheinlichkeitsmaß für die Aufmerksamkeit von Verkehrsteilnehmern und damit für das Kollisionsrisiko liefert. Zusätzlich zur Blickrichtung kann auch die Zeitdauer des Blickkontakts zur Abschätzung des Kollisionsrisikos herangezogen werden. Dabei kann beispielsweise festgestellt werden ob ein herannahendes Fahrzeug von einem Verkehrsteilnehmer tatsächlich bemerkt wird oder ob ein Blickkontakt ggf. nur zufällig zustande gekommen ist.
Auch können erfasste Umgebungsinformationen mit hinterlegten Modellinformationen verglichen werden und daraus ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet werden. Wobei die Modelldaten sowohl in statischen als auch in dynamischen Datenbasen hinterlegt sein können. Hierbei kann es sich um Modelldaten handeln welche sowohl die Szene als auch andere Verkehrsteilnehmer sowie deren Fahrzeuge und deren Bewegung beschreiben. Hierzu werden beispielsweise geometrische und dynamische Modelldaten verwendet, um das Verhalten von Fußgängern zu beschreiben. Beispielsweise beim Überqueren einer Straße mit Fußgängerampel und ohne Fußgängerampel oder mit einem Zebrastreifen. Auch ist es denkbar, dass in Abhängigkeit fest vorgegebener Regeln ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet wird. Beispielsweise können hierbei sogenannte if-then-else Klauseln oder Automatenmodelle eingesetzt werden. In einer weiteren vorteilhaften Weise wird aufgrund von Bewegungsinformationen des Fahrzeugs und/oder des oder der erkannten Verkehrsteilnehmer ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet. Beispielsweise handelt es sich bei der Bewegungsinformation hierbei um die Geschwindigkeit, Richtung sowie Trajektorie mit der sich ein Fahrzeug und/oder eine erkannter Verkehrsteilnehmer bewegt. In einer besonders vorteilhaften Weise wird dabei die Bewegung relativ zum eigenen Fahrzeug ermittelt, um sodann ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos zu bilden. Wobei der Abstand zum betrachteten Verkehrsteilnehmer beispielsweise anhand des Bildsensors ermittelt wird. Dies ist z.B. im Zusammenhang mit 3D-Bildsensoren direkt möglich oder bei der Verwendung von 2D-Bildsensoren mittels einer Stereoanordnung realisierbar. Unabhängig davon ist es jedoch auch denkbar, dass im Zusammenhang mit dem erfindungsgemäßen Bildverarbeitungssystem ein zusätzliches Mittel vorhanden ist, das geeignet ist, Entfernung zu anderen Verkehrsteilnehmern zu ermitteln. Beispielsweise eignen sich hierzu auch Radar- und Ultraschallsensoren sowie GPS-Informationen.
In einer weiteren vorteilhaften Weise werden die Teilwahrscheinlichkeiten, welche die Blickrichtung und/oder Modellinformationen und/oder fest vorgegebenen Regeln und/oder Bewegungsinformationen des Fahrzeugs und/oder des oder der erkannten Verkehrsteilnehmer berücksichtigen, zu einem Gesamtwahrscheinlichkeitsmaß für die Abschätzung des Kollisionsrisikos kombiniert. Wobei es beim Vorhandensein mehrerer Teilwahrscheinlichkeiten auch denkbar ist, dass nur ein Teil dieser Teilwahrscheinlichkeiten zur Kombination des Gesamtwahrscheinlichkeitsmaßes herangezogen werden. Falls jedoch nur eine der o.g. Teilwahrscheinlichkeiten vorhanden ist, bildet dieses das Wahrscheinlichkeitsmaß für die Abschätzung des Kollisionsrisikos.
Eine bevorzugte Ausgestaltungsform der Erfindung sieht es vor, dass in Abhängigkeit des Wahrscheinlichkeitsmaßes oder des Gesamtwahrscheinlichkeitsmaßes mittels einer Steuereinheit wenigstens eine Aktion zur Minderung des Kollisionsrisikos initiiert wird. Wobei beispielsweise die wenigstens eine das Kollisionsrisiko mindernde Aktion initiiert wird, sobald eines der Wahrscheinlichkeitsmaße einen bestimmten Schwellwert überschritten hat. Beispiele solcher Aktionen sind z.B.: Akustische Warnsignale, die sowohl den Fahrer (Summer) als auch andere Verkehrsteilnehmer (Hupe) warnen können, optische Signale, Abbremsen oder Beschleunigen des Fahrzeugs, Lenkbewegungen oder andere mittels Fahrzeugsystemen durchführbare Aktionen. Welche dieser Aktionen durchgeführt werden, kann dabei auch von der Höhe der Wahrscheinlichkeit abhängen. Beispielsweise wird bei einer niedrigen Wahrscheinlichkeit zunächst nur die Hupe aktiviert. Falls die Wahrscheinlichkeit weiter ansteigt kann z.B. zusätzlich die Bremse des Fahrzeugs aktiviert werden. Wobei es denkbar ist, die Bremskraft in Abhängigkeit der Wahrscheinlichkeit zu verändern.
Auch ist es von Vorteil, dass abhängig von der Blickrichtungserfassung mittels einer Steuereinheit wenigstens eine Aktion zur Minderung des Kollisionsrisikos initiiert wird, wobei kein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet wird. Im einfachsten Fall wird dabei als Resultat der Blickrichtungserfassung angegeben, ob zwischen dem Fahrer und einem anderen Verkehrsteilnehmer ein Blickkontakt besteht oder nicht. Beispielsweise braucht dazu der relative Winkel zwischen der Blickrichtung des Verkehrsteilnehmers und der Bewegungsrichtung des Bildsensors, Fahrzeugs oder Verkehrsteilnehmers nicht notwendigerweise explizit berechnet werden. z.B. kann hierbei u.U. bereits von einem Blickkontakt zwischen dem Fahrer und einem anderen Verkehrsteilnehmer ausgegangen werden, falls beide Augen des Verkehrsteilnehmers in den Bilddaten deutlich zu erkennen sind. Selbstverständlich sind in diesem Zusammenhang weitere Auswertemethoden denkbar, wobei nicht zwingend ein Wahrscheinlichkeitsmaß berechnet werden muss und wobei das Ergebnis der jeweiligen Auswertung direkt auf den Ausgang der Steuereinheit abgebildet werden kann.
In vorteilhafter Weise handelt es sich bei den erfassten Umgebungsinformationen um 2D- und/oder 3D-Bildinformationen. Hierzu eigenen sich passive bildgebende Sensoren wie z.B. Standard-Videokameras, ebenso ist ein Einsatz von aktiven Bildsensoren wie Entfernungsbildkameras denkbar. Dabei ist auch eine Kombination unterschiedlicher optischer Sensoren möglich, wobei die Empfindlichkeit der Bildsensoren sowohl im sichtbaren als auch im nichtsichtbaren Wellenlängenbereich liegen kann.
Die Erfindung ist nicht nur auf die Verwendung in Kraftfahrzeugen beschränkt. Vielmehr ist auch eine Verwendung des erfindungsgemäßen Bildverarbeitungssystems und des Verfahrens zu dessen Betrieb auf einem anderen Anwendungsfeld im Zusammenhang mit Arbeitsmaschinen von besonders vorteilhafter Wirkung. Im Bereich von Produktionsstätten werden z.B. häufig Arbeitsmaschinen eingesetzt deren Arbeitsbereich aus Sicherheitsgründen gegenüber Personen abgegrenzt ist. Dazu gehören u.a. Dreh- u. Fräsmaschinen, Sägen, Schleifmaschinen usw., wobei mittels dem erfindungsgemäßen Bildverarbeitungssystem deren Arbeitsbereiche überwacht werden, um beispielsweise die Arbeitsmaschine in einer Gefahrensituation abzuschalten und damit die Verkehrssicherheit und damit die Betriebssicherheit zu erhöhen. Auch kann es sich bei der Arbeitsmaschine um einen Roboter handeln, wobei im Zusammenhang mit Robotern die Auswertung der Blickrichtung von Personen beispielsweise zur Verbesserung des Zusammenwirkens zwischen Mensch und Roboter dient. Dabei kann es sich um einen stationären oder mobilen Roboter handeln, welcher autonom betreibbar ist.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung von bevorzugten Ausführungsbeispielen anhand der Figuren. Dabei zeigen:
Fig. 1
den schematischen Aufbau des Bildverarbeitungssystems
Fig. 2a
eine Verkehrsszene und einen Verkehrsteilnehmer, welcher ein sich annäherndes Fahrzeug wahrnimmt
Fig. 2b
einen Bildausschnitt eines erkannten Verkehrsteilnehmers mit direktem Blickkontakt zum Fahrer
Fig. 3a
eine Verkehrsszene und einen Verkehrsteilnehmer, welcher ein sich annäherndes Fahrzeug nicht wahrnimmt
Fig. 3b
einen Bildausschnitt eines erkannten Verkehrsteilnehmers der keinen Blickkontakt zum Fahrer hält
Die Fig. 1 zeigt beispielhaft den schematischen Aufbau des erfindungsgemäßen Bildverarbeitungssystems (1). Wobei mittels dem Bildverarbeitungssystem (1) Verkehrsteilnehmer in der Umgebung eines Fahrzeugs erfasst und falls diese sich bewegen ggf. auch verfolgt werden können. Wobei es sich bei den Verkehrsteilnehmern insbesondere um Personen oder um deren Fahrzeuge handeln kann. Die zu erkennenden Verkehrsteilnehmer können dabei dem Bildverarbeitungssystem (1) bekannt sein, wobei diese nach Klassen kategorisiert und beispielsweise in der Form von hinterlegtem Wissen als Lernbeispiele im Speicher (6) abgelegt sein können. Bei den Klassen kann es sich beispielsweise um Fußgänger, Fahrradfahrer, Leitpfosten, Spurmarkierungen, Pkws, Lkws, Zweiräder, Skate-Board-Fahrer etc. handeln.
Das Bildverarbeitungssystem (1) umfasst dabei eine Objekterkennungseinheit (2), welche einen oder mehrere Bildsensoren (3), eine Recheneinheit (4) sowie eine Algorithmik (5) zur Auswertung von Bildinformationen umfasst. Bei den Bildsensoren (3) handelt es sich z.B. um passive Sensoren wie beispielsweise Standard-Videokameras oder um aktive Sensoren wie z.B. Entfernungsbildkameras. Beispielsweise können mittels einer videobasierten Objekterkennungseinheit (2) Fußgänger anhand ihrer äußeren Form erkannt und ihre 3D-Position anhand von kalibrierten Kameraparametern unter der Annahme geschätzt werden, dass diese sich gemeinsam mit dem Fahrzeug auf einer waagerechten Ebene befinden. Jedoch ist es auch denkbar, dass die Klassen der zu erkennenden Verkehrsteilnehmer dem Bildverarbeitungssystem nicht bekannt sind. In diesem Fall werden diese in der Regel aufgrund einer maschinellen Beschreibung anhand ihrer räumliche Ausdehnung formuliert. Dabei können die maschinellen Beschreibungen selbstverständlich auch die Trajektorien von Verkehrsteilnehmern berücksichtigen. Weiterhin ist es auch denkbar, dass Informationen zu Verkehrsteilnehmern in statischen oder dynamischen Datenbasen hinterlegt sind, z.B. im Speicher (6) der Objekterkennungseinheit (2). Auch ist es denkbar, dass Informationen zu Verkehrsteilnehmern in einem in Verbindung mit dem Bildverarbeitungssystem stehenden externen Speicher hinterlegt sind. Beispielsweise kann der Verlauf der Fahrbahn aus ausreichend detaillierten elektronischen Navigationsdatenbanken entnommen werden. Die im Zusammenhang mit der Objekterkennungseinheit (2) erkannten Objekte können dabei beispielsweise wie die in den Figuren 2b und 3b gezeigten Bildausschnitte aussehen. Aus der Literatur sind Verfahren zur Erkennung von Personen und deren Blickrichtung aus Bildern bereits bekannt. Beispielsweise durch direktes Durchsuchen der Bilddaten nach Gesichtern oder indem zunächst die Außenkonturen von Personen in Bilddaten bestimmt werden und sodann aus diesen die Kopfregionen bestimmt werden. Anschließend können auf die Kopfregionen bekannte Techniken zur Bestimmung der Blickrichtung angewendet werden.
Weiterhin umfasst das Bildverarbeitungssystem (1) eine Einheit zur Abschätzung des Kollisionsrisikos (7) z.B. basierend auf der Blickrichtung und/oder der Bewegung von Verkehrsteilnehmern. Bei der Abschätzung des Kollisionsrisikos wird dabei mittels fester Regeln wie z.B. if-then-else Klauseln eine implizite Abbildung zwischen der Ausgabe des Objekterkennungssystems (2) und der Steuereinheit (7) durchgeführt. Diese Abbildung kann beispielsweise mittels der Rechnereinheit (4) oder einer anderen Recheneinheit, welche in Verbindung mit dem Bildverarbeitungssystem (1) steht, durchgeführt werden. Eine solche implizite Abbildung kann z.B. durch die Anwendung von Algorithmen (5) zum maschinellen Lernen erzeugt werden. Beispielsweise durch das trainieren neuronaler Netze mittels der Vorgabe von Beispielstichproben für einen Trainingsprozess. Im Sinne der vorliegenden Erfindung kann ein solcher Trainingssatz, der als hinterlegtes Wissen Teil des Bildverarbeitungssystems ist, die Blick- oder Kopfrichtung eines Verkehrsteilnehmers im Bild enthalten, wie dies anhand der Bildausschnitte 2b und 3b dargestellt ist. Wobei von der Tatsache gebrauch gemacht werden kann, dass die Ausrichtung des Kopfs bereits eine gute Näherung für die Blickrichtung von Personen ist. Die Risikoabschätzung ist hierbei selbstverständlich nicht auf die Verwendung neuronaler Netze beschränkt, dem Fachmann auf dem Gebiet der Mustererkennung sind hierzu weitere geeignete Methoden bekannt. Beispielsweise ist alternativ auch eine explizite Abbildung zwischen der Ausgabe des Objekterkennungssystems (2) und der Steuereinheit (7) mittels Automatenmodellen denkbar.
Die Steuereinheit (8) dient dazu um Aktionen zu initiieren, welche das Kollisionsrisiko mindern. Falls eines der mittels der Einheit zur Abschätzung des Kollisionsrisikos (7) gebildeten Wahrscheinlichkeitsmaße einen bestimmten Schwellwert überschreitet, wird mittels der Steuereinheit (8) eine oder mehrere Aktionen zur Minderung des Kollisionsrisikos durchgeführt. Dabei kann es sich beispielsweise um ein Hupsignal handeln, welches andere Verkehrsteilnehmer warnt. Ein akustisches Signal im Fahrzeug innern ist dazu geeignet den Fahrer zu warnen, falls dieser beispielsweise bei einer Kollisionsgefahr in eine andere Richtung als die dem Fahrzeug vorausliegende Richtung blickt.
Weitere Beispiele zur Minderung des Kollisionsrisikos sind z.B.: Bremsen, Beschleunigen und Lenkbewegungen. Für den Fall, dass es sich bei dem Fahrzeug um ein automatisch gesteuertes Fahrzeug handelt, kann mittels der Steuereinheit (8) fortlaufend das Wahrscheinlichkeitsmaß bei der Steuerung der Trajektorie des Fahrzeugs berücksichtigt werden und dadurch die Wahrscheinlichkeit einer Kollision minimiert werden.
Fig. 2a zeigt eine Verkehrsszene worin ein Fußgänger eine Straße überquert. Aufgrund seiner Blickrichtung wird hierbei deutlich, dass der Fußgänger aufmerksam ist und das herannahende Fahrzeug bemerkt. Fig. 3a zeigt dagegen eine Szene bei der ein Fußgänger eine Straße überquert, wobei aufgrund der Blickrichtung davon ausgegangen werden muss, dass dieser das herannahende Fahrzeug nicht bemerkt hat. In den Figuren 2a und 3a sind dabei die Verkehrsteilnehmer deutlich erkennbar und ausreichend groß dargestellt, um daraus die Blickrichtung zu erkennen. Für die Anwendung im Zusammenhang mit Straßenfahrzeugen reichen hierbei in der Regel handelsübliche niedrigauflösende Kameras mit 320x240 Bildpunkten aus. Durch Verwendung einer aus S. Baker and T. Kanade, "Limits on Super-Resolution and How to Break Them", IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 24, no. 9, 2000 bekannten Algorithmik wird eine Vergrößerung des Erkennungsabstandes erreicht.
Die Figuren 2b und 3b zeigen jeweils einen vergrößerten Bildausschnitt der in den Figuren 2a und 2b dargestellten Verkehrsszenen, worin insbesondere jeweils der Kopf der erkannten Verkehrsteilnehmer abgebildet ist. In der Fig. 2b hält der Verkehrsteilnehmer dabei direkten Blickkontakt zum Fahrer wohingegen der in Fig. 3b dargestellte Verkehrsteilnehmer keinen Blickkontakt zum Fahrer hält.

Claims (16)

  1. Verfahren zum Betrieb eines Bildverarbeitungssystems für ein Fahrzeug,
    wobei mittels wenigstens einem Bildsensor Umgebungsinformationen erfasst werden,
    und wobei die erfassten Umgebungsinformationen mittels einer Rechnereinheit dahingehend ausgewertet werden, um das Vorhandensein von Verkehrsteilnehmern zu erkennen,
    dadurch gekennzeichnet, dass die Blickrichtung eines oder mehrerer erkannter Verkehrsteilnehmer erfasst wird.
  2. Verfahren zum Betrieb eines Bildverarbeitungssystems nach Anspruch 1,
    dadurch gekennzeichnet, dass die Erfassung der Blickrichtung eines oder mehrerer erkannter Verkehrsteilnehmer zur Abschätzung eines Kollisionsrisikos verwendet wird.
  3. Verfahren zum Betrieb eines Bildverarbeitungssystems nach Anspruch 2,
    dadurch gekennzeichnet, dass in Abhängigkeit der erfassten Blickrichtung erkannter Verkehrsteilnehmer ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet wird.
  4. Verfahren zum Betrieb eines Bildverarbeitungssystems nach einem der vorstehenden Ansprüche,
    dadurch gekennzeichnet, dass erfasste Umgebungsinformationen mit hinterlegten Modellinformationen verglichen werden und daraus ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet wird.
  5. Verfahren zum Betrieb eines Bildverarbeitungssystems nach einem der vorstehenden Ansprüche,
    dadurch gekennzeichnet, dass in Abhängigkeit fest vorgegebener Regeln ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet wird.
  6. Verfahren zum Betrieb eines Bildverarbeitungssystems nach einem der vorstehenden Ansprüche,
    dadurch gekennzeichnet, dass aufgrund von Bewegungsinformationen des Fahrzeugs und/oder des oder der erkannten Verkehrsteilnehmer ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet wird.
  7. Verfahren zum Betrieb eines Bildverarbeitungssystems nach den Ansprüchen 2 bis 6,
    dadurch gekennzeichnet, dass Teilwahrscheinlichkeiten, welche die Blickrichtung und/oder Modellinformationen und/oder fest vorgegebene Regeln und/oder Bewegungsinformationen des Fahrzeugs und/oder des oder der erkannten Verkehrsteilnehmer berücksichtigen, zu einem Gesamtwahrscheinlichkeitsmaß für die Abschätzung des Kollisionsrisikos kombiniert werden.
  8. Verfahren zum Betrieb eines Bildverarbeitungssystems nach einem der vorstehenden Ansprüche,
    dadurch gekennzeichnet, dass in Abhängigkeit des Wahrscheinlichkeitsmaßes oder des Gesamtwahrscheinlichkeitsmaßes mittels einer Steuereinheit wenigstens eine Aktion zur Minderung des Kollisionsrisikos initiiert wird.
  9. Verfahren zum Betrieb eines Bildverarbeitungssystems nach einem der vorstehenden Ansprüche 1 oder 2,
    dadurch gekennzeichnet, dass abhängig von der Blickrichtungserfassung mittels einer Steuereinheit wenigstens eine Aktion zur Minderung des Kollisionsrisikos initiiert wird, wobei kein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet wird.
  10. Verfahren zum Betrieb eines Bildverarbeitungssystems nach einem der vorstehenden Ansprüche,
    dadurch gekennzeichnet, dass es sich bei den erfassten Umgebungsinformationen um 2D- und/oder 3D-Bildinformationen handelt.
  11. Bildverarbeitungssystem für ein Fahrzeug,
    mit wenigstens einem Bildsensor zur Erfassung von Umgebungsinformationen,
    mit einer Rechnereinheit zur Durchführung einer Personenerkennung aus den erfassten Umgebungsdaten,
    dadurch gekennzeichnet, dass die Rechnereinheit derart ausgestaltet ist, dass sie zur Erfassung der Blickrichtung erkannter Verkehrsteilnehmer aus den erfassten Umgebungsdaten geeignet ist.
  12. Bildverarbeitungssystem nach Anspruch 11,
    dadurch gekennzeichnet, dass eine Einheit zur Abschätzung des Kollisionsrisikos vorhanden ist, welche aufgrund der erfassten Blickrichtung und/oder hinterlegten Modellinformationen und/oder fest vorgegebenen Regeln und/oder Bewegungsinformationen des Kraftfahrzeugs und/oder des oder der erkannten Verkehrsteilnehmer ein Wahrscheinlichkeitsmaß zur Abschätzung des Kollisionsrisikos gebildet wird.
  13. Bildverarbeitungssystem nach einem der vorstehenden Ansprüche 11 oder 12,
    dadurch gekennzeichnet, dass eine Steuereinheit vorhanden ist, welche geeignet ist, abhängig von dem Kollisionsrisiko wenigstens eine Kollisionsrisikomindernde Aktion initiiert wird.
  14. Bildverarbeitungssystem nach einem der vorstehenden Ansprüche 11 bis 13,
    dadurch gekennzeichnet, dass zur Erfassung von Bildinformationen 2D- und/oder 3D-Bildsensoren vorhanden sind.
  15. Bildverarbeitungssystem nach einem der vorstehenden Ansprüche 11 bis 14,
    dadurch gekennzeichnet, dass ein zusätzliches Mittel vorhanden ist, das geeignet ist, die Entfernung zu anderen Verkehrsteilnehmern zu ermitteln.
  16. Verwendung des Bildverarbeitungssystems nach einem der vorstehenden Ansprüche 11 bis 15 oder des Verfahrens Verfahren zum Betrieb eines Bildverarbeitungssystems nach einem der vorstehenden Ansprüche 1 bis 10 in einer Arbeitsmaschine.
EP04013002A 2003-06-05 2004-06-02 Bildverarbeitungssystem für ein Fahrzeug Withdrawn EP1486932A3 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10325762A DE10325762A1 (de) 2003-06-05 2003-06-05 Bildverarbeitungssystem für ein Fahrzeug
DE10325762 2003-06-05

Publications (2)

Publication Number Publication Date
EP1486932A2 true EP1486932A2 (de) 2004-12-15
EP1486932A3 EP1486932A3 (de) 2005-11-02

Family

ID=33185725

Family Applications (1)

Application Number Title Priority Date Filing Date
EP04013002A Withdrawn EP1486932A3 (de) 2003-06-05 2004-06-02 Bildverarbeitungssystem für ein Fahrzeug

Country Status (4)

Country Link
US (1) US20040246114A1 (de)
EP (1) EP1486932A3 (de)
JP (1) JP2004362586A (de)
DE (1) DE10325762A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014118178A1 (de) * 2013-01-30 2014-08-07 Bayerische Motoren Werke Aktiengesellschaft Erstellen eines umfeldmodells für ein fahrzeug
CN111614938A (zh) * 2020-05-14 2020-09-01 杭州海康威视***技术有限公司 一种风险识别方法及装置
DE102012204896B4 (de) 2012-03-27 2024-05-16 Robert Bosch Gmbh Verfahren zur Erhöhung der Sicherheit für ein Fahrzeug

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4134891B2 (ja) * 2003-11-28 2008-08-20 株式会社デンソー 衝突可能性判定装置
JP4425642B2 (ja) 2004-01-08 2010-03-03 富士重工業株式会社 歩行者抽出装置
WO2006014974A2 (en) 2004-07-26 2006-02-09 Automotive Systems Laboratory, Inc. Vulnerable road user protection system
WO2006070865A1 (ja) * 2004-12-28 2006-07-06 Kabushiki Kaisha Toyota Chuo Kenkyusho 車両運動制御装置
DE102005042989B3 (de) * 2005-05-31 2006-08-24 Daimlerchrysler Ag Verfahren zur Erkennung eines bevorstehenden Unfalls aufgrund eines Schleudervorgangs bei einem vorausfahrenden Fahrzeug
EP1750236B1 (de) * 2005-08-02 2008-01-23 Delphi Technologies, Inc. Verfahren zur Steuerung eines Fahrerassistenzsystems und dazugehörige Vorrichtung
US7671725B2 (en) * 2006-03-24 2010-03-02 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
DE102007037610A1 (de) * 2007-08-09 2009-02-19 Siemens Restraint Systems Gmbh Verfahren zum Bestimmen eines wahrscheinlichen Bewegungs-Aufenthaltsbereichs eines Lebewesens
DE102007052093B4 (de) 2007-10-31 2023-08-10 Bayerische Motoren Werke Aktiengesellschaft Erkennung von spontanen Bewegungsänderungen von Fußgängern
JP4561863B2 (ja) * 2008-04-07 2010-10-13 トヨタ自動車株式会社 移動体進路推定装置
DE102008062916A1 (de) 2008-12-23 2010-06-24 Continental Safety Engineering International Gmbh Verfahren zur Ermittlung einer Kollisionswahrscheinlichkeit eines Fahrzeuges mit einem Lebewesen
WO2010141419A2 (en) * 2009-06-01 2010-12-09 Raytheon Company Non-kinematic behavioral mapping
DE102009057982B4 (de) * 2009-12-11 2024-01-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Wiedergabe der Wahrnehmbarkeit eines Fahrzeugs
DE102009057981B4 (de) * 2009-12-11 2023-06-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Steuerung der akustischen Wahrnehmbarkeit eines Fahrzeugs
DE102010006633A1 (de) * 2010-02-03 2011-04-14 Conti Temic Microelectronic Gmbh Vorrichtung zur Erzeugung von Warnsignalen für geräuschlose bzw. geräuscharme Kraftfahrzeuge mit Umgebungserfassung
JP2011248855A (ja) * 2010-04-30 2011-12-08 Denso Corp 車両用衝突警報装置
DE102011087774A1 (de) * 2011-12-06 2013-06-06 Robert Bosch Gmbh Verfahren zur Überwachung und Signalisierung einer Verkehrssituation im Umfeld eines Fahrzeuges
DE102011121728A1 (de) * 2011-12-20 2013-06-20 Gm Global Technology Operations, Llc Verfahren zum Betreiben eines Kollosionsvermeidungssystems und Kollosionsvermeidungssystem
KR101807484B1 (ko) 2012-10-29 2017-12-11 한국전자통신연구원 객체 및 시스템 특성에 기반한 확률 분포 지도 작성 장치 및 그 방법
JP5846109B2 (ja) 2012-11-20 2016-01-20 株式会社デンソー 衝突判定装置及び衝突回避システム
DE102013216490B4 (de) * 2013-08-20 2021-01-28 Continental Automotive Gmbh System zur Bereitstellung eines Signals für ein Objekt in der Umgebung des Systems
DE102013226336A1 (de) * 2013-12-18 2015-06-18 Bayerische Motoren Werke Aktiengesellschaft Kommunikation zwischen autonomen Fahrzeugen und Menschen
JP6440115B2 (ja) * 2014-03-06 2018-12-19 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御方法、および表示制御プログラム
DE102014215057A1 (de) * 2014-07-31 2016-02-04 Bayerische Motoren Werke Aktiengesellschaft Bestimmung einer Kollisionswahrscheinlichkeit auf Basis einer Kopforientierung eines Fußgängers
DE102014226188A1 (de) * 2014-12-17 2016-06-23 Bayerische Motoren Werke Aktiengesellschaft Kommunikation zwischen einem Fahrzeug und einem Verkehrsteilnehmer im Umfeld des Fahrzeugs
JP6397934B2 (ja) * 2014-12-19 2018-09-26 株式会社日立製作所 走行制御装置
US9505413B2 (en) 2015-03-20 2016-11-29 Harman International Industries, Incorporated Systems and methods for prioritized driver alerts
DE102015224192B4 (de) * 2015-12-03 2021-03-18 Robert Bosch Gmbh Erkennen einer Freifläche
WO2018008085A1 (ja) * 2016-07-05 2018-01-11 三菱電機株式会社 認知領域推定装置、認知領域推定方法および認知領域推定プログラム
DE102016216680A1 (de) 2016-09-02 2018-03-08 Bayerische Motoren Werke Aktiengesellschaft Kommunikation der Intention eines Fahrzeugs an einen weiteren Verkehrsteilnehmer
US10082796B2 (en) * 2016-10-27 2018-09-25 Ford Global Technologies, Llc Pedestrian face detection
DE102017204404B3 (de) 2017-03-16 2018-06-28 Audi Ag Verfahren und Vorhersagevorrichtung zum Vorhersagen eines Verhaltens eines Objekts in einer Umgebung eines Kraftfahrzeugs und Kraftfahrzeug
US10703361B2 (en) 2017-06-14 2020-07-07 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle collision mitigation
DE102017217056B4 (de) * 2017-09-26 2023-10-12 Audi Ag Verfahren und Einrichtung zum Betreiben eines Fahrerassistenzsystems sowie Fahrerassistenzsystem und Kraftfahrzeug
DE102018200878B3 (de) * 2018-01-19 2019-02-21 Zf Friedrichshafen Ag Detektion von Gefahrengeräuschen
CN111133448A (zh) * 2018-02-09 2020-05-08 辉达公司 使用安全到达时间控制自动驾驶车辆
DE102018220690A1 (de) * 2018-11-30 2020-06-04 Robert Bosch Gmbh Verfahren zum Klassifizieren eines Verhaltens eines Verkehrsteilnehmers
DE102019206876B3 (de) * 2019-05-13 2020-10-01 Volkswagen Aktiengesellschaft Warnung vor einer Gefahrensituation im Straßenverkehr
DE102020117887A1 (de) 2020-07-07 2022-01-13 Audi Aktiengesellschaft Kraftfahrzeugkontrollsystem, Kraftfahrzeugnetzwerk und Verwendung eines Kraftfahrzeugs

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6114951A (en) * 1996-12-27 2000-09-05 Fuji Jukogyo Kabushiki Kaisha Vehicle collision preventing apparatus
DE10046859A1 (de) * 2000-09-20 2002-03-28 Daimler Chrysler Ag System zur Blickrichtungsdetektion aus Bilddaten
US20030009275A1 (en) * 1999-01-12 2003-01-09 Toyota Jidosha Kabushiki Kaisha Positional data utilizing inter-vehicle communication method and traveling control apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421463B1 (en) * 1998-04-01 2002-07-16 Massachusetts Institute Of Technology Trainable system to search for objects in images
US6396535B1 (en) * 1999-02-16 2002-05-28 Mitsubishi Electric Research Laboratories, Inc. Situation awareness system
US6161071A (en) * 1999-03-12 2000-12-12 Navigation Technologies Corporation Method and system for an in-vehicle computing architecture
EP1083076A3 (de) * 1999-09-07 2005-01-12 Mazda Motor Corporation Anzeigegerät für Fahrzeug
JP2002260192A (ja) * 2001-03-05 2002-09-13 Natl Inst For Land & Infrastructure Management Mlit 歩行者衝突防止支援方法及びその装置
US6496117B2 (en) * 2001-03-30 2002-12-17 Koninklijke Philips Electronics N.V. System for monitoring a driver's attention to driving

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6114951A (en) * 1996-12-27 2000-09-05 Fuji Jukogyo Kabushiki Kaisha Vehicle collision preventing apparatus
US20030009275A1 (en) * 1999-01-12 2003-01-09 Toyota Jidosha Kabushiki Kaisha Positional data utilizing inter-vehicle communication method and traveling control apparatus
DE10046859A1 (de) * 2000-09-20 2002-03-28 Daimler Chrysler Ag System zur Blickrichtungsdetektion aus Bilddaten

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012204896B4 (de) 2012-03-27 2024-05-16 Robert Bosch Gmbh Verfahren zur Erhöhung der Sicherheit für ein Fahrzeug
WO2014118178A1 (de) * 2013-01-30 2014-08-07 Bayerische Motoren Werke Aktiengesellschaft Erstellen eines umfeldmodells für ein fahrzeug
CN111614938A (zh) * 2020-05-14 2020-09-01 杭州海康威视***技术有限公司 一种风险识别方法及装置
CN111614938B (zh) * 2020-05-14 2021-11-02 杭州海康威视***技术有限公司 一种风险识别方法及装置

Also Published As

Publication number Publication date
JP2004362586A (ja) 2004-12-24
EP1486932A3 (de) 2005-11-02
US20040246114A1 (en) 2004-12-09
DE10325762A1 (de) 2004-12-23

Similar Documents

Publication Publication Date Title
EP1486932A2 (de) Bildverarbeitungssystem für ein Fahrzeug
DE60126382T2 (de) Verfahren und Gerät zur Erkennung von Gegenständen
DE102017217056B4 (de) Verfahren und Einrichtung zum Betreiben eines Fahrerassistenzsystems sowie Fahrerassistenzsystem und Kraftfahrzeug
DE602004011650T2 (de) Fahrassistenzsystem für ein Kraftfahrzeug
EP2788967B1 (de) Verfahren zur überwachung und signalisierung einer verkehrssituation im umfeld eines fahrzeuges
EP3060431B1 (de) Verfahren zur warnung weiterer verkehrsteilnehmer vor fussgängern durch ein kraftfahrzeug und kraftfahrzeug
DE10336638A1 (de) Vorrichtung zur Klassifizierung wengistens eines Objekts in einem Fahrzeugumfeld
EP2989590A1 (de) Verfahren und vorrichtung zur erkennung von nicht motorisierten verkehrsteilnehmern
DE102014201159A1 (de) Verfahren und Vorrichtung zum Klassifizieren eines Verhaltens eines Fußgängers beim Überqueren einer Fahrbahn eines Fahrzeugs sowie Personenschutzsystem eines Fahrzeugs
DE102014223744A1 (de) Assistenzsystem zur Detektion von in der Umgebung eines Fahrzeuges auftretenden Fahrhindernissen
DE102010061922A1 (de) Mit einer Blickrichtung eines Fahrers gekoppeltes System und Verfahren zum Alarmieren einer Frontalaufprallgefahr und ein dasselbe verwendendes Fahrzeug
WO2000077736A1 (de) Verfahren zur detektion von objekten im umfeld eines strassenfahrzeugs bis in grosse entfernung
EP1567888B1 (de) Verfahren zur erfassung der vorausliegenden umgebung eines strassenfahrzeugs mittels eines umgebungserfassungssystems
DE112013001424T5 (de) Objekterkennungsvorrichtung
EP2400473A1 (de) Verfahren und Vorrichtung zum Unterstützen eines Fahrzeugführers
EP2869284B1 (de) Fahrerassistenzsystem für Fahrzeuge, insbesondere Nutzfahrzeuge
EP3044727B1 (de) Verfahren und vorrichtung zur objekterkennung aus tiefenaufgelösten bilddaten
DE102014112797A1 (de) Fahrzeugaußenumgebungerkennungsvorrichtung
DE102014215057A1 (de) Bestimmung einer Kollisionswahrscheinlichkeit auf Basis einer Kopforientierung eines Fußgängers
DE102018104270A1 (de) Verfahren zum Vorhersagen des Verhaltens mindestens eines Fußgängers
DE112017007082T5 (de) Betriebsschaltunterstützungsvorrichtung und betriebsschaltunterstützungsverfahren
DE102016215115A1 (de) Vorrichtung und Verfahren zum Detektieren von Verkehrsteilnehmern in einem Umfeld eines Ego-Fahrzeugs
EP1652161B1 (de) Vorrichtung zur klassifizierung wenigstens eines objekts in einem fahrzeugumfeld
DE102013012930A1 (de) Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
DE102015212771A1 (de) Vorrichtung zur Erkennung von teilverdeckten beweglichen Objekten für ein Umfelderfassungssystem eines Kraftfahrzeugs

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL HR LT LV MK

PUAL Search report despatched

Free format text: ORIGINAL CODE: 0009013

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL HR LT LV MK

RIC1 Information provided on ipc code assigned before grant

Ipc: 7G 06K 9/00 B

Ipc: 7G 08G 1/16 A

AKX Designation fees paid
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20060503

REG Reference to a national code

Ref country code: DE

Ref legal event code: 8566