DE102015120014B4 - Überwachungsverfahren und -vorrichtung unter Verwendung einer Kamera - Google Patents

Überwachungsverfahren und -vorrichtung unter Verwendung einer Kamera Download PDF

Info

Publication number
DE102015120014B4
DE102015120014B4 DE102015120014.7A DE102015120014A DE102015120014B4 DE 102015120014 B4 DE102015120014 B4 DE 102015120014B4 DE 102015120014 A DE102015120014 A DE 102015120014A DE 102015120014 B4 DE102015120014 B4 DE 102015120014B4
Authority
DE
Germany
Prior art keywords
image
alarm
input image
position information
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102015120014.7A
Other languages
English (en)
Other versions
DE102015120014A1 (de
Inventor
Myoung-Kwan Kim
Seok-In Kim
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Hyundai Autron Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Autron Co Ltd filed Critical Hyundai Autron Co Ltd
Publication of DE102015120014A1 publication Critical patent/DE102015120014A1/de
Application granted granted Critical
Publication of DE102015120014B4 publication Critical patent/DE102015120014B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

Überwachungsverfahren unter Verwendung einer Kamera, umfassend: Empfangen eines fotografierten Eingangsbilds von der Kamera (S100); Erkennen eines auf dem Eingangsbild vorhandenen Objekts und von Positionsinformationen des Objekts (S110); Erzeugen eines korrigierten Bildes durch Korrigieren eines verzerrten Bereichs des Eingangsbilds (S120); und Erzeugen eines synthetisierten Bildes durch Synthetisieren von auf der Grundlage des Objekts und der Positionsinformationen erzeugten Alarmanzeigeinformationen mit dem korrigierten Bild und Ausgeben des synthetisierten Bilds über ein Display (S130), wobei das Erkennen der Positionsinformationen des Objekts (S110) umfasst: Unterteilen des Eingangsbilds in mehrere Bereiche, die im Voraus festgelegt werden; und Suchen eines Fußgängers oder eines Hindernisses durch Erkennen eines Peripheriebereichs mit Ausnahme eines Zentralbereichs innerhalb der unterteilten mehreren Bereiche.

Description

  • Allgemeiner Stand der Technik
  • 1. Technisches Gebiet
  • Die vorliegende Erfindung betrifft ein Überwachungsverfahren und eine Überwachungsvorrichtung unter Verwendung einer Kamera.
  • 2. Stand der Technik
  • Zur Verbesserung des Fahrerkomforts werden in jüngster Zeit verschiedene elektronische Anwendungstechnologien in einem Kraftfahrzeug aufgenommen. Ein Rundumsicht-Überwachungssystem, das einen Fahrer die Fahrzeugumgebung bequem, genau und sichtbar erkennen lässt, indem es die Fahrzeugumgebung zum Zwecke der Anzeige fotografiert, ist unter den elektronischen Anwendungstechnologien weitverbreitet. Das Rundumsicht-Überwachungssystem kann eine Umgebung unter Verwendung von Kameras fotografieren, die jeweils an der Front und am Heck sowie an der rechten und linken Seite des Fahrzeugs vorgesehen sind, und die fotografierte Umgebung auf einem Bildschirm anzeigen.
  • Der Fahrer kann insbesondere ein rückwärtiges Hindernis und eine Parkfläche über eine Fahrzeugumgebung, die von einer Rückfahrkamera fotografiert wird, welche das Rückwärtseinparken leitet, genau erkennen und das Fahrzeug bequem und mühelos einparken, ohne in einen Seitenspiegel oder Rückspiegel zu sehen.
  • Da jedoch ein herkömmliches Rückfahrkamerasystem ein Bild unter Verwendung einer Weitwinkelkamera, die einen weiten Bildwinkel aufweist, fotografiert und das entsprechend erzeugte verzerrte Bild korrigiert, wird ein Hindernis nicht gesehen, weil es klein ist oder ein toter Winkel auftritt. Das heißt, beim herkömmlichen Rückfahrkamerasystem besteht ein Problem darin, dass es dem Fahrer keine genauen Bildinformationen zur Verfügung stellen kann. Demgemäß sieht ein Fahrer, der ein Fahrzeug einzuparken versucht, ein Umgebungshindernis nicht, und es besteht daher das Unfallrisiko eines möglichen Kollidierens mit dem Hindernis. Auch wenn es sich um einen guten Fahrer handelt, kann dieser zudem nur für die Sicht sorgen. Somit ist das Einparken schwierig, und es kommt aufgrund vieler Verkehrsunfälle zu Unfallverlusten, weil der Fahrer ein von hinten herannahendes Fahrzeug nicht erkennt.
  • Zu dem Stand der Technik zählt die Druckschrift US 2012/0249794 A1 , die ein Überwachungsverfahren unter Verwendung einer Kamera offenbart, wozu ein Bildwiedergabesystem eingesetzt wird, in dem die Gegebenheiten um ein Fahrzeug herum zu erkennen sind und bei dem ein korrigiertes Bild durch Korrigieren eines verzerrten Bereichs sowie ein synthetisiertes Bild, das die Umstände um das Fahrzeug von einem virtuellen Standort um das Fahrzeug zeigt, erzeugt werden.
  • Weiterhin ist aus der Patentschrift DE 600 31 011 T2 eine Fahrzeugparkunterstützungsvorrichtung um einen Fahrer beim Fahren durch Verwendung eines Bildes bekannt, das durch Aufnahme eines Umfelds eines Bereichs um das Fahrzeug erhalten wird.
  • Ferner ist eine Fahrzeugumgebungs-Überwachungsvorrichtung unter Verwendung einer Kamera und von Abstandssensoren aus dem deutschen Patent DE 11 2010 005 661 B4 bekannt.
  • Zusammenfassung
  • Die vorliegende Erfindung stellt ein Überwachungsverfahren und eine Überwachungsvorrichtung unter Verwendung einer Kamera bereit, die ein Unfallrisiko aufgrund eines toten Winkels während der Bewegung eines Fahrzeugs verringern, indem sie einen Fußgänger oder ein Hindernis eines Eingangsbilds vor der Verzerrungskorrektur als Objekt erkennen und Alarmanzeigeinformationen entsprechend dem Objekt mit einem durch die Verzerrungskorrektur erzeugten korrigierten Bild zum Zwecke der Anzeige synthetisieren.
  • Die Aufgaben der vorliegenden Erfindung sind nicht auf die vorstehend beschriebene Aufgabe beschränkt. Weitere vorstehend nicht beschriebene Aufgaben und Vorteile der vorliegenden Erfindung sind der nachfolgenden Beschreibung zu entnehmen und werden anhand von Ausführungsformen der vorliegenden Erfindung klarer verständlich. Außerdem versteht es sich, dass sich die Aufgaben und Vorteile der vorliegenden Erfindung mit den in den Ansprüchen beschriebenen Mitteln und einer Kombination daraus verwirklichen lassen.
  • Gemäß der vorliegenden Erfindung umfasst ein Überwachungsverfahren unter Verwendung einer Kamera: Empfangen eines fotografierten Eingangsbilds von der Kamera; Erkennen eines auf dem Eingangsbild vorhandenen Objekts und von Positionsinformationen des Objekts; Erzeugen eines korrigierten Bildes durch Korrigieren eines verzerrten Bereichs des Eingangsbilds; und Erzeugen eines synthetisierten Bildes durch Synthetisieren von auf der Grundlage des Objekts und der Positionsinformationen erzeugten Alarmanzeigeinformationen mit dem korrigierten Bild und Ausgeben des synthetisierten Bilds über ein Display, Unterteilen des Eingangsbilds in mehrere Bereiche, die im Voraus festgelegt werden, und Suchen eines Fußgängers oder eines Hindernisses durch Erkennen eines Peripheriebereichs mit Ausnahme eines Zentralbereichs innerhalb der unterteilten mehreren Bereiche.
  • Gemäß der vorliegenden Erfindung umfasst ferner eine Überwachungsvorrichtung unter Verwendung einer Kamera: eine Eingabeeinheit, die ein fotografiertes Eingangsbild von der Kamera empfängt; eine Objekterkennungseinheit, die ein auf dem Eingangsbild vorhandenes Objekt und Positionsinformationen des Objekts erkennt; eine Verzerrungsbild-Korrektureinheit, die ein korrigiertes Bild durch Korrigieren eines verzerrten Bereichs des Eingangsbilds erzeugt; und eine Synthesebild-Ausgabeeinheit, die ein synthetisiertes Bild durch Synthetisieren von auf der Grundlage des Objekts und der Positionsinformationen erzeugten Alarmanzeigeinformationen mit dem korrigierten Bild erzeugt und das synthetisierte Bild über ein Display ausgibt, wobei die Objekterkennungseinheit das Eingangsbild in mehrere Bereiche, die im Voraus festgelegt werden, unterteilt, und einen Fußgänger oder ein Hindernis durch Erkennen eines Peripheriebereichs mit Ausnahme eines Zentralbereichs innerhalb der unterteilten mehreren Bereiche sucht.
  • Kurzbeschreibung der Zeichnungen
  • 1 ist ein Konfigurationsdiagramm einer Überwachungsvorrichtung nach dem Stand der Technik.
  • 2 ist ein Beispiel eines Eingangsbilds und eines korrigierten Bilds der in 1 dargestellten Überwachungsvorrichtung.
  • 3 ist ein Konfigurationsdiagramm einer Überwachungsvorrichtung gemäß einer ersten Ausführungsform.
  • 4 stellt ein Beispiel dar, bei dem die Überwachungsvorrichtung gemäß der ersten Ausführungsform ein Objekt, ein korrigiertes Bild und ein synthetisiertes Bild erzeugt.
  • 5 ist ein Beispiel einer Funktionsweise einer Objekterkennungseinheit gemäß der ersten Ausführungsform.
  • 6 ist ein Beispiel, das ein Verfahren zur Ermittlung einer Position von auf dem korrigierten Bild anzuzeigenden Alarmanzeigeinformationen darstellt.
  • 7 ist ein Ablaufdiagramm, das eine Funktionsweise der Überwachungsvorrichtung gemäß einer zweiten Ausführungsform darstellt.
  • Ausführliche Beschreibung der Ausführungsformen
  • Die obengenannten Aufgaben, Merkmale und Vorteile werden unter Bezugnahme auf die beigefügten Zeichnungen ausführlich beschrieben. Dementsprechend wird ein Fachmann, an den sich die vorliegende Erfindung richtet, den technischen Sinngehalt der vorliegenden Erfindung mühelos verwirklichen. Wenn bei der Beschreibung der vorliegenden Erfindung festgestellt wird, dass die ausführliche Darstellung von bekannten Technologien, die die vorliegende Erfindung betreffen, den Sinngehalt der vorliegenden Erfindung verunklart, wird auf deren Darstellung verzichtet. Nachfolgend werden bevorzugte Ausführungsformen unter Bezugnahme auf die beigefügten Zeichnungen ausführlich beschrieben. In den Zeichnungen werden gleiche Zeichen oder Bezugsziffern verwendet, um gleiche oder ähnliche Konfigurationselemente zu kennzeichnen.
  • 1 ist ein Konfigurationsdiagramm einer Überwachungsvorrichtung nach dem Stand der Technik. 2 ist ein Beispiel eines Eingangsbilds und eines korrigierten Bilds der in 1 dargestellten Überwachungsvorrichtung.
  • Gemäß 1 und 2 empfängt eine Überwachungsvorrichtung 101 nach dem Stand der Technik ein fotografiertes Eingangsbild 12 über eine Kamera 11 und kann einen Verzerrungsbereich des Eingangsbilds 12 korrigieren. Dabei kann ein Fußgänger oder ein Hindernis 13 im Verzerrungsbereich des Eingangsbilds 12 geortet werden. Um jedoch einem Fahrer ein nicht verzerrtes Rückfahrbild zur Verfügung zu stellen, korrigiert die Überwachungsvorrichtung 101 den Verzerrungsbereich, der den Fußgänger oder das Hindernis 13 enthält. Der Fußgänger oder das Hindernis 13, der oder das im Verzerrungsbereich während des Korrekturvorgangs enthalten ist, wird entfernt. Gemäß dem Stand der Technik wird folglich ein Bild 102, auf dem der Fußgänger oder das Hindernis 13 nicht vorhanden ist, einfach auf einem Bildschirm angezeigt, obwohl der Fußgänger oder das Hindernis 13 auf einer Fahrzeugrückseite tatsächlich vorhanden ist, weshalb ein sehr hohes Unfallrisiko besteht.
  • 3 ist ein Konfigurationsdiagramm einer Überwachungsvorrichtung gemäß einer ersten Ausführungsform. 4 stellt ein Beispiel dar, bei dem die Überwachungsvorrichtung gemäß der ersten Ausführungsform ein Objekt, ein korrigiertes Bild und ein synthetisiertes Bild erzeugt.
  • Gemäß 3 und 4 umfasst eine Überwachungsvorrichtung 100 eine Eingabeeinheit 30, eine Objekterkennungseinheit 40, eine Verzerrungsbild-Korrektureinheit 50 und eine Synthesebild-Ausgabeeinheit 60.
  • Das bedeutet im Einzelnen, die Eingabeeinheit 30 kann ein fotografiertes Eingangsbild 31 von einer Kamera 10 empfangen. Hier enthält die Kamera 10 eine Linse 11, die das Umfeld eines Fahrzeugs fotografieren kann, und einen Bildsensor 12, der das Eingangsbild 31 unter Verwendung eines fotografierten Bilds über die Linse 11 erzeugt. Gemäß der ersten Ausführungsform kann es sich bei der Kamera 10 um eine Frontkamera, eine Heckkamera oder eine Seitenkamera handeln.
  • Des Weiteren kann die Objekterkennungseinheit 40 einen Fußgänger oder ein Hindernis 32, der oder das auf dem von der Eingabeeinheit 30 empfangenen Eingangsbild 31 vorhanden ist, als Objekt 42 erkennen und Positionsinformationen von dem erkannten Objekt 42 erhalten. Hier können die Positionsinformationen des Objekts 42 eine Position sein, die dem Fußgänger oder Hindernis 32 entspricht, wenn der Mittelpunkt des Eingangsbilds 31 als Bezugspunkt verwendet wird. Beispielsweise sind die Positionsinformationen des in 4 dargestellten Objekts 42 links vom Mittelpunkt des Eingangsbilds 31 angegeben. Genauer bedeutet dies, dass die Objekterkennungseinheit 40 einen Abstand zwischen dem Objekt 42 und einem Fahrzeug unter Verwendung einer Ultraschallmesseinheit 45 messen und die gemessenen Abstandsinformationen erfassen kann. Hierbei kann die Ultraschallmesseinheit 45 ein Ultraschallsignal an das erkannte Objekt 42 übertragen und Informationen bezüglich eines Abstands zwischen dem Objekt 42 und einem Fahrzeug auf der Grundlage der Zeit des Ultraschallsignals, das durch das Objekt 42 reflektiert wird und dann zurückkehrt, erfassen.
  • 5 ist ein Beispiel einer Funktionsweise einer Objekterkennungseinheit gemäß der ersten Ausführungsform.
  • Gemäß 5 kann die Objekterkennungseinheit 40 das Eingangsbild 31 in mehrere Bereiche 41-1 bis 41-6 unterteilen, die im Voraus festgelegt werden, und in den Peripheriebereichen 41-1 und 41-6 mit Ausnahme der Zentralbereiche 41-2 bis 41-5 innerhalb der unterteilten mehreren Bereiche 41-1 bis 41-6 den Fußgänger oder das Hindernis 32 suchen. Wenn der Fußgänger oder das Hindernis 32 in den Peripheriebereichen 41-1 und 41-6 gesucht wird, kann dabei die Objekterkennungseinheit 40 den Fußgänger oder das Hindernis 32 als Objekt 42 erkennen.
  • Gemäß 3 und 4 kann die Verzerrungsbild-Korrektureinheit 50 ein korrigiertes Bild 51 durch Korrigieren eines verzerrten Bereichs des von der Eingabeeinheit 30 empfangenen Eingangsbilds 31 erzeugen. Mit dem korrigierten Bild 51 kann hier ein Bild gemeint sein, das durch Korrigieren einer Bildschirmverzerrung erlangt wird. Das heißt, die Verzerrungsbild-Korrektureinheit 50 kann das korrigierte Bild 51, auf dem das Objekt 42 entfernt wird, erzeugen, indem sie einen verzerrten Bereich des von der Eingabeeinheit 30 empfangenen Eingangsbilds 31 korrigiert.
  • Gemäß der ersten Ausführungsform kann die Verzerrungsbild-Korrektureinheit 50 das korrigierte Bild 51 erzeugen, indem sie den verzerrten Bereich des Eingangsbilds 31 mittels einer Wertetabelle korrigiert, die einen Verzerrungskorrekturalgorithmus, einen Affintransformationsalgorithmus und einen Zeitkonvertierungsalgorithmus enthält, welche zur Korrektur des verzerrten Bereichs des Eingangsbilds 31 im Voraus gespeichert werden. Mit Wertetabelle kann dabei eine Datentabelle gemeint sein, die sich auf den verzerrten Bereich des Eingangsbilds 31 bezieht, oder Daten, die im Voraus festgelegt sind.
  • Anschließend kann die Synthesebild-Ausgabeeinheit 60 Alarmanzeigeinformationen 62 auf der Grundlage des von der Objekterkennungseinheit 40 erkannten Objekts 42 und der Positionsinformationen des Objekts 42 erzeugen und ein synthetisiertes Bild 61 durch Synthetisieren des korrigierten Bilds 51, das von der Verzerrungsbild-Korrektureinheit 50 korrigiert wird, mit den Alarmanzeigeinformationen 62 ausgeben. Die Alarmanzeigeinformationen 62 umfassen hierbei mindestens ein Alarmbild und einen Alarmtext.
  • Gemäß eine weiteren Ausführungsform kann die Synthesebild-Ausgabeeinheit 60 Informationen bezüglich eines Abstands zwischen dem von der Objekterkennungseinheit 40 erkannten Objekt 42 und einem Fahrzeug mit den Alarmanzeigeinformationen 62 synthetisieren. Dabei umfassen die Alarmanzeigeinformationen 62 ein Alarmbild oder einen Alarmtext sowie einen Abstand zwischen dem Objekt 42 und einem Fahrzeug.
  • Die Synthesebild-Ausgabeeinheit 60 kann eine Position der auf dem korrigierten Bild 51 anzuzeigenden Alarmanzeigeinformationen 62 entsprechend den Positionsinformationen des von der Objekterkennungseinheit 40 erkannten Objekts 42 ermitteln.
  • Nachfolgend wird eine Position, in der die Alarmanzeigeinformationen 62 angezeigt sind, unter Bezugnahme auf 6 beschrieben.
  • 6 ist ein Beispiel, das ein Verfahren zur Ermittlung einer Position der auf dem korrigierten Bild anzuzeigenden Alarmanzeigeinformationen darstellt.
  • Gemäß 6 kann die Synthesebild-Ausgabeeinheit 60 eine Position der Alarmanzeigeinformationen 62 als einen oberen linken Bereich des synthetisierten Bilds 61 ermitteln, wenn sich die Positionsinformationen des von der Objekterkennungseinheit 40 erkannten Objekts 42 links befinden. Befinden sich die Positionsinformationen des von der Objekterkennungseinheit 40 erkannten Objekts 42 rechts, kann des Weiteren die Synthesebild-Ausgabeeinheit 60 die Position der Alarmanzeigeinformationen 62 als einen oberen rechten Bereich des synthetisierten Bilds 61 ermitteln.
  • Darüber hinaus kann die Synthesebild-Ausgabeeinheit 60 die Position der auf dem synthetisierten Bild 61 anzuzeigenden Alarmanzeigeinformationen 62 entsprechend den Positionsinformationen des von der Objekterkennungseinheit 40 erkannten Objekts 42 anpassen. Das heißt, wenn sich die Positionsinformationen des von der Objekterkennungseinheit 40 erkannten Objekts 42 rechts befinden, kann die Synthesebild-Ausgabeeinheit 60 die Position der Alarmanzeigeinformationen 62 als einen unteren rechten Bereich des synthetisierten Bilds 61 ermitteln. Befinden sich die Positionsinformationen des von der Objekterkennungseinheit 40 erkannten Objekts 42 links, kann die Synthesebild-Ausgabeeinheit 60 eine Position der Alarmanzeigeinformationen 62 als einen unteren linken Bereich des synthetisierten Bilds 61 ermitteln.
  • Dementsprechend kann die Synthesebild-Ausgabeeinheit 60 das synthetisierte Bild 61 erzeugen, indem sie die Alarmanzeigeinformationen 62 mit einem im korrigierten Bild 51 anzuzeigenden Bereich synthetisiert, und das synthetisierte Bild 61 über ein Display 200 ausgeben. Das heißt, auch wenn der Fußgänger oder das Hindernis 32 von der Verzerrungsbild-Korrektureinheit 50 aufgrund einer Verzerrungskorrektur entfernt wird, kann die Synthesebild-Ausgabeeinheit 60 die Alarmanzeigeinformationen 62 entsprechend dem von der Kamera 10 fotografierten Fußgänger oder Hindernis 32 einem Benutzer über das Display 200 zur Verfügung stellen. Nachfolgend wird ein Überwachungsverfahren gemäß der vorliegenden Ausführungsform unter Bezugnahme auf 6 beschrieben.
  • 7 ist ein Ablaufdiagramm, das eine Funktionsweise der Überwachungsvorrichtung darstellt.
  • Gemäß 7 empfängt die Eingabeeinheit 30 das fotografierte Eingangsbild 31 von der Kamera 10 (S100). Des Weiteren erkennt die Objekterkennungseinheit 40 das auf dem Eingangsbild 31 vorhandene Objekt 42 und Positionsinformationen des Objekts 42 (S110). Dabei erzeugt die Verzerrungsbild-Korrektureinheit 50 das korrigierte Bild 51 durch Korrigieren des verzerrten Bereichs des Eingangsbilds 31 (S120). Anschließend erzeugt die Synthesebild-Ausgabeeinheit 60 das korrigierte Bild 51 durch Synthetisieren der auf der Grundlage des Objekts 42 und der Positionsinformationen des Objekts 42 erzeugten Alarmanzeigeinformationen mit dem korrigierten Bild 51 und gibt das synthetisierte Bild 61 über das Display 200 aus (S130).
  • Gemäß der vorliegenden Ausführungsform kann die Überwachungsvorrichtung 100 den Fußgänger oder das Hindernis 32 auf dem Eingangsbild 31 vor der Verzerrungskorrektur als Objekt 42 erkennen und ein synthetisiertes Bild 61 durch Synthetisieren des korrigierten Bilds 51, das durch die Verzerrungskorrektur erzeugt wird, mit den Alarmanzeigeinformationen 62 entsprechend dem Objekt 42 ausgeben. Demgemäß kann die Überwachungsvorrichtung 100 bewirken, dass sich das Unfallrisiko während der Bewegung eines Fahrzeugs verringern lässt.
  • Gemäß der vorstehend beschriebenen vorliegenden Erfindung kann das Unfallrisiko während der Bewegung eines Fahrzeugs verringert werden, indem ein Fußgänger oder ein Hindernis eines Eingangsbilds vor der Verzerrungskorrektur als Objekt erkannt wird und Alarmanzeigeinformationen entsprechend dem Objekt mit einem durch die Verzerrungskorrektur erzeugten korrigierten Bild synthetisiert werden.
  • Die vorstehend beschriebene vorliegende Erfindung soll für einen Fachmann, an den sich die vorliegende Erfindung richtet, verschiedene Ersetzungen, Abwandlungen und Änderungen in einem Umfang umfassen, der nicht vom technischen Sinngehalt der vorliegenden Erfindung abweicht. Sie ist nicht auf die vorstehend beschriebenen Ausführungsformen und die begleitenden Zeichnungen beschränkt.

Claims (8)

  1. Überwachungsverfahren unter Verwendung einer Kamera, umfassend: Empfangen eines fotografierten Eingangsbilds von der Kamera (S100); Erkennen eines auf dem Eingangsbild vorhandenen Objekts und von Positionsinformationen des Objekts (S110); Erzeugen eines korrigierten Bildes durch Korrigieren eines verzerrten Bereichs des Eingangsbilds (S120); und Erzeugen eines synthetisierten Bildes durch Synthetisieren von auf der Grundlage des Objekts und der Positionsinformationen erzeugten Alarmanzeigeinformationen mit dem korrigierten Bild und Ausgeben des synthetisierten Bilds über ein Display (S130), wobei das Erkennen der Positionsinformationen des Objekts (S110) umfasst: Unterteilen des Eingangsbilds in mehrere Bereiche, die im Voraus festgelegt werden; und Suchen eines Fußgängers oder eines Hindernisses durch Erkennen eines Peripheriebereichs mit Ausnahme eines Zentralbereichs innerhalb der unterteilten mehreren Bereiche.
  2. Überwachungsverfahren nach Anspruch 1, wobei die Alarmanzeigeinformationen mindestens ein Alarmbild und einen Alarmtext enthalten.
  3. Überwachungsverfahren nach Anspruch 1, wobei die Alarmanzeigeinformationen mit einem Bereich, der den Positionsinformationen entspricht, auf dem korrigierten Bild angezeigt werden.
  4. Überwachungsverfahren nach Anspruch 1, des Weiteren umfassend: Messen der Zeit eines Ultraschallsignals, das an das erkannte Objekt übertragen wird und antwortet, unter Verwendung eines Ultraschallsensors; und Erkennen von Informationen bezüglich eines Abstands zwischen dem Objekt und einem Fahrzeug auf der Grundlage der gemessenen Zeit.
  5. Überwachungsvorrichtung unter Verwendung einer Kamera, umfassend: eine Eingabeeinheit (30), die ein fotografiertes Eingangsbild von der Kamera (10) empfängt; eine Objekterkennungseinheit (40), die ein auf dem Eingangsbild vorhandenes Objekt und Positionsinformationen des Objekts erkennt; eine Verzerrungsbild-Korrektureinheit (50), die ein korrigiertes Bild durch Korrigieren eines verzerrten Bereichs des Eingangsbilds erzeugt; und eine Synthesebild-Ausgabeeinheit (60), die ein synthetisiertes Bild durch Synthetisieren von auf der Grundlage des Objekts und der Positionsinformationen erzeugten Alarmanzeigeinformationen mit dem korrigierten Bild erzeugt und das synthetisierte Bild über ein Display (200) ausgibt, wobei die Objekterkennungseinheit (40) das Eingangsbild in mehrere Bereiche, die im Voraus festgelegt werden, unterteilt und einen Fußgänger oder ein Hindernis durch Erkennen eines Peripheriebereichs mit Ausnahme eines Zentralbereichs innerhalb der unterteilten mehreren Bereiche sucht.
  6. Überwachungsvorrichtung nach Anspruch 5, wobei die Alarmanzeigeinformationen mindestens ein Alarmbild und einen Alarmtext enthalten.
  7. Überwachungsvorrichtung nach Anspruch 5, wobei die Alarmanzeigeinformationen mit einem Bereich, der den Positionsinformationen entspricht, auf dem korrigierten Bild angezeigt werden.
  8. Überwachungsvorrichtung nach Anspruch 6, wobei die Objekterkennungseinheit (40) die Zeit eines Ultraschallsignals, das an das erkannte Objekt übertragen wird und antwortet, unter Verwendung eines Ultraschallsensors (45) misst und Informationen bezüglich eines Abstands zwischen dem Objekt und einem Fahrzeug auf der Grundlage der gemessenen Zeit erkennt.
DE102015120014.7A 2014-12-10 2015-11-18 Überwachungsverfahren und -vorrichtung unter Verwendung einer Kamera Active DE102015120014B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140177857A KR101629577B1 (ko) 2014-12-10 2014-12-10 카메라를 이용한 모니터링 방법 및 장치
KR10-2014-0177857 2014-12-10

Publications (2)

Publication Number Publication Date
DE102015120014A1 DE102015120014A1 (de) 2016-06-16
DE102015120014B4 true DE102015120014B4 (de) 2017-05-11

Family

ID=56081929

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015120014.7A Active DE102015120014B4 (de) 2014-12-10 2015-11-18 Überwachungsverfahren und -vorrichtung unter Verwendung einer Kamera

Country Status (4)

Country Link
US (1) US9818033B2 (de)
KR (1) KR101629577B1 (de)
CN (1) CN105691300B (de)
DE (1) DE102015120014B4 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101794993B1 (ko) * 2016-09-26 2017-11-07 현대오트론 주식회사 영상 왜곡 보정 장치 및 방법
JP6470335B2 (ja) * 2017-03-15 2019-02-13 株式会社Ｓｕｂａｒｕ 車両の表示システム及び車両の表示システムの制御方法
JP6445607B2 (ja) * 2017-03-15 2018-12-26 株式会社Ｓｕｂａｒｕ 車両の表示システム及び車両の表示システムの制御方法
TWM593949U (zh) * 2019-04-19 2020-04-21 帷享科技股份有限公司 用於車輛之影像整合警示系統
CN112793509B (zh) * 2021-04-14 2021-07-23 天津所托瑞安汽车科技有限公司 一种盲区监测方法、设备、介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60031011T2 (de) * 1999-06-25 2007-04-05 Fujitsu Ten Ltd., Kobe Fahrassistenzsystem für Fahrzeuge
US20120249794A1 (en) * 2011-03-31 2012-10-04 Fujitsu Ten Limited Image display system
DE112010005661B4 (de) * 2010-06-15 2014-10-30 Mitsubishi Electric Corporation Fahrzeugumgebungs-Überwachungsvorrichtung

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6043971A (ja) * 1983-08-22 1985-03-08 Sony Corp 黒レベル再生回路
JP2004354236A (ja) * 2003-05-29 2004-12-16 Olympus Corp ステレオカメラ支持装置およびステレオカメラ支持方法ならびにステレオカメラシステム
CN1985266B (zh) * 2004-07-26 2010-05-05 奥普提克斯晶硅有限公司 全景视觉***和方法
EP1916846B1 (de) * 2005-08-02 2016-09-14 Nissan Motor Company Limited Einrichtung und verfahren zur überwachung einer fahrzeugumgebung
JP4687411B2 (ja) * 2005-11-15 2011-05-25 株式会社デンソー 車両周辺画像処理装置及びプログラム
JP4846426B2 (ja) * 2006-04-20 2011-12-28 パナソニック株式会社 車両周囲監視装置
JP4714174B2 (ja) * 2007-03-27 2011-06-29 富士フイルム株式会社 撮像装置
JP4955471B2 (ja) * 2007-07-02 2012-06-20 株式会社デンソー 画像表示装置及び車載用画像表示装置
JP2009126493A (ja) * 2007-11-28 2009-06-11 Clarion Co Ltd 障害物検出装置
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
EP2720458A4 (de) * 2011-06-09 2015-02-25 Aisin Seiki Bilderzeugungsvorrichtung
JP5411976B1 (ja) * 2012-09-21 2014-02-12 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
KR20140048539A (ko) * 2012-10-16 2014-04-24 에스케이텔레콤 주식회사 차량의 주변영상을 이용한 객체 인식장치 및 방법
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60031011T2 (de) * 1999-06-25 2007-04-05 Fujitsu Ten Ltd., Kobe Fahrassistenzsystem für Fahrzeuge
DE112010005661B4 (de) * 2010-06-15 2014-10-30 Mitsubishi Electric Corporation Fahrzeugumgebungs-Überwachungsvorrichtung
US20120249794A1 (en) * 2011-03-31 2012-10-04 Fujitsu Ten Limited Image display system

Also Published As

Publication number Publication date
CN105691300B (zh) 2018-05-22
KR101629577B1 (ko) 2016-06-13
DE102015120014A1 (de) 2016-06-16
CN105691300A (zh) 2016-06-22
US9818033B2 (en) 2017-11-14
US20160171317A1 (en) 2016-06-16

Similar Documents

Publication Publication Date Title
DE102015120014B4 (de) Überwachungsverfahren und -vorrichtung unter Verwendung einer Kamera
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
DE102016212405A1 (de) Fahrzeugbildverarbeitungsvorrichtung und Fahrzeugbildverarbeitungssystem
DE102008001363B4 (de) Verfahren zum Erfassen einer Parkfläche unter Verwendung eines Entfernungssensors
DE102020002994B4 (de) Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung
DE102014115399B4 (de) Vorrichtung und Verfahren zur Einparkhilfe
DE10030421A1 (de) Fahrzeugumgebungsüberwachungssystem
DE102009029439A1 (de) Verfahren und Vorrichtung zur Darstellung von Hindernissen in einem Einparkhilfesystem von Kraftfahrzeugen
DE102014116140A1 (de) Einparkhilfsvorrichtung und Einparkhilfsverfahren für ein Fahrzeug
DE102009051526A1 (de) System und Verfahren zum Abbilden der Fahrzeugumgebung mit ein- und verstellbarer Perspektive
DE4332612A1 (de) Außenansichts-Überwachungsverfahren für Kraftfahrzeuge
DE102017218074A1 (de) Verfahren zum Darstellen einer Umgebung eines Fahrzeugs
DE10201523A1 (de) Verfahren und Vorrichtung zur Verdeckungsdetektion bei Bildsensorsystemen
DE102012001554A1 (de) Verfahren zum Betreiben einer Fahrerassistenzeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung und Kraftfahrzeug
EP3078015B1 (de) Verfahren und vorrichtung zum erzeugen einer warnung mittels zweier durch kameras erfasster bilder einer fahrzeugumgebung
DE102012223481A1 (de) Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs
DE102018108751B4 (de) Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten
DE102013226476A1 (de) Bildverarbeitungsverfahren und -system eines rundumsichtüberwachungssystems
EP2500216A1 (de) Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem
DE102009003220B4 (de) Verfahren zur Kollisionswarnung sowie Kollisionswarneinrichtung
DE102011010860A1 (de) Verfahren und Fahrerassistenzsystem zum Anzeigen von Bildern in einem Kraftfahrzeug sowie Kraftfahrzeug
EP2163429B1 (de) Verfahren zur bildgestützten Überwachung einer Fahrzeugumgebung, insbesondere einer Umgebung eines Nutzfahrzeuges
DE102017209427B3 (de) Vorrichtung zur Fahrschlauchabsicherung
DE102009057336A1 (de) Vorrichtung zur Überwachung eines Raumbereichs außerhalb eines Fahrzeugs
WO2014202496A1 (de) Verfahren zum anzeigen von umgebungsinformationen in einem fahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R081 Change of applicant/patentee

Owner name: HYUNDAI MOBIS CO., LTD., KR

Free format text: FORMER OWNER: HYUNDAI AUTRON CO., LTD., SEONGNAM-SI, GYEONGGI-DO, KR

R082 Change of representative

Representative=s name: LS-MP VON PUTTKAMER BERNGRUBER LOTH SPUHLER PA, DE