DE112016001238B4 - AROUND VEHICLE IMAGE DISPLAY CONTROL DEVICE AND AROUND VEHICLE IMAGE DISPLAY CONTROL PROGRAM - Google Patents

AROUND VEHICLE IMAGE DISPLAY CONTROL DEVICE AND AROUND VEHICLE IMAGE DISPLAY CONTROL PROGRAM Download PDF

Info

Publication number
DE112016001238B4
DE112016001238B4 DE112016001238.1T DE112016001238T DE112016001238B4 DE 112016001238 B4 DE112016001238 B4 DE 112016001238B4 DE 112016001238 T DE112016001238 T DE 112016001238T DE 112016001238 B4 DE112016001238 B4 DE 112016001238B4
Authority
DE
Germany
Prior art keywords
image
history
vehicle
bird
eye view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE112016001238.1T
Other languages
German (de)
Other versions
DE112016001238T5 (en
Inventor
Taito Watanabe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of DE112016001238T5 publication Critical patent/DE112016001238T5/en
Application granted granted Critical
Publication of DE112016001238B4 publication Critical patent/DE112016001238B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung, die aufweist:einen Erlangungsabschnitt (S1), der aufeinanderfolgend aufgenommene Bilder von Bereichen um ein Fahrzeug (2) von einer Kamera (10, 20), die in dem Fahrzeug (2) installiert ist, erlangt;einen Vogelperspektivenumwandlungsabschnitt (51), der aufeinanderfolgend eine Vogelperspektivenumwandlung der aufgenommenen Bilder, die durch den Erlangungsabschnitt (S1) erlangt werden, durchführt, um Vogelperspektivenbilder zu erzeugen;einen Speicherprozessabschnitt (52), der aufeinanderfolgend ein Historienbild, das in einem Bereich vorhanden ist, der ein Bild des Fahrzeugs (2) nicht aufweist, aus den Vogelperspektivenbildern, die aufeinanderfolgend durch den Vogelperspektivenumwandlungsabschnitt (51) erzeugt werden, extrahiert und das Historienbild in einem Historienspeicher (43) speichert;einen Historienverschiebungsabschnitt (56), der das Historienbild, das in dem Historienspeicher (43) gespeichert ist, in Abhängigkeit von einer Fahrt des Fahrzeugs (2) bewegt;einen Bildkombinationsabschnitt (57), der einen derzeitigen Bildabschnitt (34, 35), der durch Extrahieren eines derzeitigen Bildbereiches aus dem letzten Vogelperspektivenbild, das durch den Vogelperspektivenumwandlungsabschnitt (51) umgewandelt wurde, erhalten wird, mit einem Historienbildabschnitt (33), der durch Extrahieren eines Historienbereiches (81), der auf der Fahrzeugseite in Bezug auf den derzeitigen Bildbereich vorhanden ist, erhalten wird, kombiniert, um ein zusammengesetztes Vogelperspektivenbild (31) um das Fahrzeug (2) zu erzeugen, das das Vogelperspektivenbild ist, das einen Bereich enthält, dessen Bild nicht in dem letzten Vogelperspektivenbild enthalten ist; undeinen Bildausgabeabschnitt (58), der das zusammengesetzte Vogelperspektivenbild (31), das durch den Bildkombinationsabschnitt (57) erzeugt wird, an eine Anzeige (30) ausgibt, dadurch gekennzeichnet, dassdas Historienbild, das durch den Speicherprozessabschnitt (52) extrahiert wird, gleich oder größer als ein minimales Rechteck ist, wobei ein Bereich des Historienbildes auf der Grundlage des minimalen Rechtecks bestimmt wird,zwei Seiten des minimalen Rechtecks parallel zu einer Fahrzeugbreitenrichtung des Fahrzeugs (2) sind,die Seite (63a) des minimalen Rechtecks auf der Fahrzeugseite der beiden Seiten parallel zu der Fahrzeugbreitenrichtung ein Ende, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches (81), der sich aufgrund einer Drehung des Fahrzeugs (2) im Uhrzeigersinn mit einem minimalen Drehradius bewegt, vorhanden ist, und ein anderes Ende aufweist, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches (81) vorhanden ist, der sich aufgrund einer Drehung des Fahrzeugs (2) entgegen dem Uhrzeigersinn mit dem minimalen Drehradius bewegt, undeine Länge des minimalen Rechtecks in einer Fahrzeug-vorne-hinten-Richtung eine Bewegungsstrecke des Historienbereiches (81) ist, die durch eine Fahrt des Fahrzeugs (2) von einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, das letzte Mal aufgenommen wurde, und bis zu einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, dieses Mal aufgenommen wurde, erzeugt wird.A vehicle peripheral image display control apparatus comprising: an acquisition section (S1) that acquires sequentially picked up images of areas around a vehicle (2) from a camera (10, 20) installed in the vehicle (2); a bird's-eye view conversion section (51), which sequentially performs bird's-eye view conversion of the captured images acquired by the acquiring section (S1) to generate bird's-eye view images;a storage process section (52) which sequentially stores a history image present in an area containing an image of the vehicle (2nd ) is extracted from the bird's-eye view images successively generated by the bird's-eye view converting section (51) and stores the history image in a history memory (43);a history moving section (56) which converts the history image stored in the history memory (43). , depending on a trip of the vehicle (2);an image combining section (57) combining a current image section (34, 35) obtained by extracting a current image area from the last bird's-eye view image converted by the bird's-eye view converting section (51) with a history image section (33) obtained by extracting a history area (81) present on the vehicle side with respect to the current image area, combined to generate a composite bird's-eye view image (31) around the vehicle (2) containing the bird's-eye view image is including an area whose image is not included in the last bird's-eye view image; and an image output section (58) which outputs the composite bird's-eye view image (31) generated by the image combining section (57) to a display (30), characterized in thatthe history image extracted by the storing process section (52) is equal to or is larger than a minimum rectangle, an area of the history image being determined based on the minimum rectangle, two sides of the minimum rectangle are parallel to a vehicle width direction of the vehicle (2), the side (63a) of the minimum rectangle on the vehicle side of the two Sides parallel to the vehicle width direction, one end present on an inner peripheral circle of a moving track of the history area (81) moving clockwise with a minimum turning radius due to clockwise rotation of the vehicle (2), and another end present on an inner peripheral circle of a moving track of the history area (81), which moves counterclockwise with the minimum turning radius due to rotation of the vehicle (2), and a length of the minimum rectangle in a vehicle front-rear direction is a moving distance of the history area (81) covered by running of the vehicle (2) from a point in time when the captured image corresponding to the bird's-eye view image from which the history image is extracted was last captured and to a point in time when the captured image corresponding to the bird's-eye view image from which the history image is extracted is recorded this time is generated.

Description

[Technisches Gebiet][Technical Field]

Die vorliegende Erfindung betrifft eine Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung, die ein Bild eines Bereiches um ein Fahrzeug anzeigt, und ein Fahrzeugumgebungsbildanzeigesteuerungsprogramm, das es einer Steuerungsvorrichtung erlaubt, als Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung zu dienen.The present invention relates to a vehicle surrounding image display control device that displays an image of an area around a vehicle, and a vehicle surrounding image display control program that allows a control device to serve as a vehicle surrounding image display control device.

[Stand der Technik][State of the art]

Es ist eine Technik bekannt, gemäß der Bilder von Bereichen um ein Fahrzeug von einer Kamera, die in dem Fahrzeug installiert ist, wiederholt aufgenommen werden und die aufgenommenen Bilder in Vogelperspektivenbilder umgewandelt werden, die Bilder sind, die erscheinen, als ob auf die aufgenommenen Bilder von oberhalb des Fahrzeugs heruntergesehen wird, um die Vogelperspektivenbilder auf einer Anzeige anzuzeigen.A technique is known according to which images of areas around a vehicle are repeatedly captured by a camera installed in the vehicle and the captured images are converted into bird's-eye images, which are images that appear as if superimposed on the captured images is looked down from above the vehicle to display the bird's-eye view images on a display.

Eine Technik, die die obige Technik verwendet, ist bekannt, gemäß der ein zusammengesetztes Vogelperspektivenbild aus einem Vogelperspektivenbild, das aus dem zuletzt aufgenommenen Bild erhalten wird, und einem Vogelperspektivenbild, das aus einem vergangenen aufgenommenen Bild erhalten wird, auf einer Anzeige angezeigt wird, um einen Bildanzeigebereich um das Fahrzeug zu vergrößern (siehe beispielsweise JP 2013 - 246 493 A und JP 2002 - 373 327 A ).A technique using the above technique is known, according to which a composite bird's-eye view image of a bird's-eye view image obtained from the last captured image and a bird's-eye view image obtained from a past captured image is displayed on a display to an image display area to enlarge the vehicle (see e.g JP 2013 - 246 493 A and JP 2002 - 373 327 A ).

In der JP 2013 - 246 493 A wird das Vogelperspektivenbild, das aus dem aufgenommenen Bild erhalten wird, in einem Historienbereich eines Speichers gespeichert. Dann werden ein Lenkwinkel, eine Fahrzeuggeschwindigkeit und Ähnliches erhalten, um eine Bewegung eines Fahrzeugs zu berechnen. Dann wird das Vogelperspektivenbild, das in dem Historienbereich gespeichert ist, entgegengesetzt zu der berechneten Bewegung des Fahrzeugs bewegt. Dann werden das Vogelperspektivenbild, das aus dem zuletzt aufgenommenen Bild erhalten wird, und das Vogelperspektivenbild, das in dem Historienbereich gespeichert ist, kombiniert, um ein zusammengesetztes Vogelperspektivenbild zu erzeugen und das zusammengesetzte Vogelperspektivenbild auf einer Anzeige anzuzeigen.In the JP 2013 - 246 493 A the bird's-eye view image obtained from the captured image is stored in a history area of a memory. Then, a steering angle, a vehicle speed, and the like are obtained to calculate a movement of a vehicle. Then, the bird's-eye view image stored in the history area is moved inversely to the calculated movement of the vehicle. Then, the bird's-eye view image obtained from the last captured image and the bird's-eye view image stored in the history area are combined to generate a composite bird's-eye view image and display the composite bird's-eye view image on a display.

Ein Prozess wird wiederholt, bei dem das Vogelperspektivenbild, das in dem Historienbereich gespeichert ist, in Abhängigkeit von der Bewegung des Fahrzeugs bewegt wird und das Vogelperspektivenbild, das aus dem zuletzt aufgenommenen Bild erhalten wird, dem Vogelperspektivenbild überlagert wird, das in dem Historienbereich gespeichert ist. Da das Vogelperspektivenbild, das in dem Historienbereich gespeichert ist, das Fahrzeug in Abhängigkeit von der Bewegung des Fahrzeugs umgibt, wird der Abschnitt, in dem das zusammengesetzte Vogelperspektivenbild um das Fahrzeug vorhanden ist, erweitert.A process is repeated in which the bird's-eye view image stored in the history area is moved in accordance with the movement of the vehicle and the bird's-eye view image obtained from the last captured image is superimposed on the bird's-eye view image stored in the history area . Since the bird's-eye view image stored in the history area surrounds the vehicle depending on the movement of the vehicle, the portion where the composite bird's-eye view image exists around the vehicle is expanded.

Die JP 2003 - 191 810 A beschreibt ein Fahrzeugumgebungsüberwachungssystem. Eine Vogelperspektive, die durch Umwandeln eines durch eine hintere Kamera fotografierten Bildes in ein vom Himmel aus gesehenes ebenes Bild bereitgestellt wird, wird vorübergehend in einem Speicher gespeichert. Eine CPU berechnet die Fahrzeugbewegung (Drehmittelpunktposition, Drehwinkel und dergleichen des Fahrzeugs) basierend auf einem Lenkwinkelsignal, einem Fahrzeuggeschwindigkeitssignal, einem Gierratensignal und einem Ultraschallsensorsignal. Die CPU dreht und bewegt das Vogelperspektivenbild, das von einem Verlaufsbildspeicher zu einem vorherigen Berechnungszeitpunkt basierend auf der Fahrzeugbewegung erhalten wurde, und überlagert das Ergebnis mit einem neuesten Vogelperspektivenbild, das zu dem gegenwärtigen Berechnungszeitpunkt erhalten wurde, um ein synthetisches Vogelperspektivenbild zu erzeugen, und speichert dieses in dem Verlaufsbildspeicher und einem Bildspeicher zur Anzeige.the JP 2003 - 191 810 A describes a vehicle surroundings monitoring system. A bird's-eye view, which is provided by converting an image photographed by a rear camera into a planar image seen from the sky, is temporarily stored in a memory. A CPU calculates vehicle movement (rotation center position, rotation angle, and the like of the vehicle) based on a steering angle signal, a vehicle speed signal, a yaw rate signal, and an ultrasonic sensor signal. The CPU rotates and moves the bird's-eye view image obtained from a history image memory at a previous calculation time based on the vehicle movement, and superimposes the result on a newest bird's-eye view image obtained at the current calculation time to generate and stores a synthetic bird's-eye view image in the history image memory and an image memory for display.

Die JP 2011 - 148 369 A beschreibt eine Fahrunterstützungsvorrichtung, die es ermöglicht, von Anfang an parallel zu einem Parkrahmen einzuparken, ohne rückwärts abzubiegen. Basierend auf einer Parkplatzlinie in Fahrzeugbreitenrichtung, die aus einem Bild des Abschnitts hinter einem Fahrzeug erfasst wird, das von einer Fahrzeugkamera fotografiert wird, wird der Zeitpunkt bestimmt, zu dem das eigene Fahrzeug im Wesentlichen parallel zur Parkplatzlinie wird . Eine Rückwärtsabbiegeführung wird auf einer Anzeigeeinheit angezeigt, wenn der von einem Lenksensor erfasste Lenkwinkel ein vorbestimmter Wert oder größer ist und der Zeitpunkt, zu dem das eigene Fahrzeug im Wesentlichen parallel zur Parkplatzlinie geworden ist, in einem Parkrichtungsbestimmungsprozess bestimmt wird, bevor das eigene Fahrzeug das Parken in dem Parkrahmen beendet.the JP 2011 - 148 369 A describes a driving support device that makes it possible to park parallel to a parking frame from the beginning without turning backwards. Based on a parking space line in the vehicle width direction, which is acquired from an image of the portion behind a vehicle photographed by an in-vehicle camera, the point in time when the own vehicle becomes substantially parallel to the parking space line is determined. A reverse turn guidance is displayed on a display unit when the steering angle detected by a steering sensor is a predetermined value or larger and the point in time when the own vehicle has become substantially parallel to the parking lot line is determined in a parking direction determination process before the own vehicle parks finished in the park frame.

Die JP 2007 - 102 798 A beschreibt ein Fahrzeugumgebungsüberwachungssystem. In einem Rückwärts-Gang wird ein Bild aus der Vogelperspektive, das durch Umwandeln eines durch eine hintere Kamera fotografierten Bildes in ein vom Himmel aus betrachtetes Bild einer flachen Oberfläche erhalten wird, in einem Zwischenspeicher gespeichert. Eine CPU berechnet eine Bewegung (wie beispielsweise eine Drehzentrumsposition und einen Drehwinkel des Fahrzeugs) durch ein Lenkwinkelsignal, ein Fahrzeuggeschwindigkeitssignal, ein Giergeschwindigkeitssignal und ein Ultraschallsensorsignal und dreht das zum vorherigen Betriebszeitpunkt erhaltene Bild aus der Vogelperspektive und überlagert es dem neuesten Vogelperspektivenbild, das bei diesem Betriebszeitpunkt erhalten wurde, um ein synthetisches Vogelperspektivenbild zu erzeugen, und speichert das synthetische Vogelperspektivenbild in einem Historienbildspeicher und einem Bildspeicher zur Anzeige. In einem Vorwärts-Gang wird eine ähnliche Verarbeitung unter Verwendung einer vorderen Kamera ausgeführt.the JP 2007 - 102 798 A describes a vehicle surroundings monitoring system. In reverse gear, a bird's-eye view image obtained by converting an image photographed by a rear camera into an image of a flat surface viewed from the sky is stored in a buffer. A CPU calculates a movement (such as a turning center position and a turning angle of the vehicle) by a steering angle signal, a vehicle speed signal, a yaw rate signal and an ultrasonic sensor signal, and rotates the one obtained at the previous operation time tene bird's-eye view image and superimposes it on the newest bird's-eye view image obtained at that time of operation to generate a synthetic bird's-eye view image, and stores the synthetic bird's-eye view image in a history image memory and an image memory for display. In a forward walk, similar processing is performed using a front camera.

[Zusammenfassung der Erfindung][Summary of the Invention]

[Technisches Problem][Technical problem]

Im Folgenden wird der Speicher, der den Historienbereich enthält, als Historienspeicher bezeichnet. Dieser Historienspeicher kann zusätzlich zu dem Historienbereich einen Bereich enthalten, in dem Bilder, die von einer Kamera aufgenommen werden, gespeichert werden.In the following, the memory that contains the history area is referred to as the history memory. In addition to the history area, this history memory can contain an area in which images recorded by a camera are stored.

Die JP 2013 - 246 493 A beschreibt nicht, ob sämtliche Vogelperspektivenbilder, die aus dem aufgenommenen Bild erhalten werden, oder einige der Vogelperspektivenbilder in dem Historienspeicher gespeichert werden. Wenn der gesamte Bereich des aufgenommenen Bildes in ein Vogelperspektivenbild umgewandelt wird und das gesamte erhaltene Vogelperspektivenbild in dem Historienspeicher gespeichert wird, kann das zu speichernde Bild eine große Größe aufweisen. Somit wird die Zeit für den Speicherprozess lang und die Speichergröße, die für den Speicherbereich benötigt wird, wird ebenfalls groß. Außerdem wird die Bildqualität des Abschnitts um das Vogelperspektivenbild niedrig.the JP 2013 - 246 493 A does not describe whether all the bird's-eye view images obtained from the captured image or some of the bird's-eye view images are stored in the history memory. If the entire area of the captured image is converted into a bird's-eye view image and the entire obtained bird's-eye view image is stored in the history memory, the image to be stored may have a large size. Thus, the time for the storage process becomes long, and the memory size required for the storage area also becomes large. In addition, the image quality of the portion around the bird's-eye view image becomes low.

Außerdem kann der Abschnitt, der ein Bild eines Stoßfängers oder einer Anhängerkupplung aufweist, gespeichert werden. Wenn der Abschnitt, der ein Bild eines Stoßfängers oder einer Anhängerkupplung aufweist, gespeichert wird, ist, wenn das Vogelperspektivenbild, das in dem Historienspeicher gespeichert ist, in Abhängigkeit von der Fahrt des Fahrzeugs bewegt wird, der Stoßfänger oder die Anhängerkupplung an einer Stelle vorhanden, die von dem Fahrzeug entfernt ist.In addition, the portion having an image of a bumper or a trailer hitch can be saved. When the portion having an image of a bumper or a hitch is stored, when the bird's-eye view image stored in the history memory is moved depending on the running of the vehicle, the bumper or the hitch is present at a place which is away from the vehicle.

Wenn das zu speichernde Bild kleiner gemacht wird, kann die Zeit, die für den Speicherprozess benötigt wird, verkürzt werden. Wenn jedoch das zu speichernde Bild kleiner gemacht wird, entsteht eine Lücke zwischen einem Bild, das in dem Historienspeicher zu dem Zeitpunkt T gespeichert wird, und einem Bild, das in dem Historienspeicher zu dem Zeitpunkt T+1 gespeichert wird. Als Ergebnis kann in einem Bereich in dem Historienbild, das in dem Historienspeicher gespeichert wird, der zum Erzeugen eines zusammengesetzten Vogelperspektivenbildes verwendet wird, ein Abschnitt, der keine Bilder aufweist, erzeugt werden.If the image to be saved is made smaller, the time required for the saving process can be shortened. However, if the image to be stored is made smaller, there will be a gap between an image stored in the history memory at time T and an image stored in the history memory at time T+1. As a result, a portion having no images may be generated in an area in the history image stored in the history memory used for generating a composite bird's-eye view image.

Es ist eine Aufgabe der Erfindung, eine Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung und ein Fahrzeugumgebungsbildanzeigesteuerungsprogramm zu schaffen, die verhindern können, dass ein Teil eines Bereiches, der zum Erzeugen eines zusammengesetzten Vogelperspektivenbildes verwendet wird, in einem Historienbild, das in einem Historienspeicher gespeichert ist, entfernt wird, und die eine Verarbeitungszeit zum Speichern eines Bildes verkürzen und die Größe eines Speichers zum Speichern des Bildes verkleinern können. Die Aufgabe wird durch eine Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung mit den Merkmalen des Anspruchs 1 sowie durch ein Fahrzeugumgebungsbildanzeigesteuerungsprogramm mit den Merkmalen des Anspruchs 4 gelöst. Die abhängigen Ansprüche sind auf vorteilhafte Weiterbildungen der Erfindung gerichtet.It is an object of the invention to provide a vehicle surrounding image display control device and a vehicle surrounding image display control program which can prevent part of an area used for generating a composite bird's-eye view image from being removed in a history image stored in a history memory, and which can shorten a processing time for storing an image and reduce the size of a memory for storing the image. The object is achieved by a vehicle surroundings image display control device having the features of claim 1 and by a vehicle surroundings image display control program having the features of claim 4 . The dependent claims are directed to advantageous developments of the invention.

Eine Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung der Ausführungsform enthält: einen Erlangungsabschnitt, der aufeinanderfolgend aufgenommene Bilder von Bereichen um ein Fahrzeug von einer Kamera, die in dem Fahrzeug installiert ist, erlangt; einen Vogelperspektivenumwandlungsabschnitt, der aufeinanderfolgend eine Vogelperspektivenumwandlung der aufgenommenen Bilder, die durch den Erlangungsabschnitt erhalten werden, durchführt, um Vogelperspektivenbilder zu erzeugen; einen Speicherprozessabschnitt, der aufeinanderfolgend ein Historienbild, das in einem Bereich vorhanden ist, der kein Bild des Fahrzeugs aufweist, aus den Vogelperspektivenbildern, die aufeinanderfolgend durch den Vogelperspektivenumwandlungsabschnitt erzeugt werden, extrahiert und das Historienbild in einem Historienspeicher speichert; einen Historienverschiebungsabschnitt, der das Historienbild, das in dem Historienspeicher gespeichert ist, in Abhängigkeit von einer Fahrt des Fahrzeugs bewegt; einen Bildkombinationsabschnitt, der einen derzeitigen Bildabschnitt, der durch Extrahieren eines derzeitigen Bildbereiches aus dem letzten Vogelperspektivenbild, das durch den Vogelperspektivenumwandlungsabschnitt umgewandelt wurde, erhalten wird, mit einem Historienbildabschnitt kombiniert, der durch Extrahieren eines Historienbereiches, der auf der Fahrzeugseite in Bezug auf den derzeitigen Bildbereich vorhanden ist, erhalten wird, um ein zusammengesetztes Vogelperspektivenbild um das Fahrzeug zu erzeugen, das das Vogelperspektivenbild ist, das einen Bereich enthält, dessen Bild nicht in dem letzten Vogelperspektivenbild enthalten ist; und einen Bildausgabeabschnitt, der das zusammengesetzte Vogelperspektivenbild, das durch den Bildkombinationsabschnitt erzeugt wird, an eine Anzeige ausgibt. Das Historienbild, das durch den Speicherprozessabschnitt extrahiert wird, ist gleich oder größer als ein minimales Rechteck, wobei ein Bereich des Historienbildes wird auf der Grundlage des minimalen Rechtecks bestimmt wird. Zwei Seiten des minimalen Rechtecks sind parallel zu einer Fahrzeugbreitenrichtung des Fahrzeugs. Die Seite auf der Fahrzeugseite der beiden Seiten parallel zu der Fahrzeugbreitenrichtung des minimalen Rechtecks weist ein Ende, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches vorhanden ist, der sich aufgrund einer Drehung des Fahrzeugs im Uhrzeigersinn mit einem minimalen Drehradius bewegt, und ein anderes Ende auf, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches vorhanden ist, der sich aufgrund einer Drehung des Fahrzeugs entgegen dem Uhrzeigersinn mit dem minimalen Drehradius bewegt. Eine Länge des minimalen Rechtecks in einer Fahrzeug-vorne-hinten-Richtung ist eine Bewegungsstrecke des Historienbereiches, die durch eine Fahrt des Fahrzeugs von einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, das letzte Mal aufgenommen wurde, bis zu einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, dieses Mal aufgenommen wird bzw. wurde, erzeugt wird.A vehicle surrounding image display control device of the embodiment includes: an acquiring section that acquires sequentially captured images of areas around a vehicle from a camera installed in the vehicle; a bird's-eye view conversion section that sequentially performs bird's-eye view conversion of the captured images obtained by the acquisition section to generate bird's-eye view images; a storage process section that successively extracts a history image present in an area that has no image of the vehicle from the bird's-eye view images that are successively generated by the bird's-eye view conversion section and stores the history image in a history memory; a history moving section that moves the history image stored in the history memory depending on travel of the vehicle; an image combining section that combines a current image section obtained by extracting a current image area from the last bird's-eye view image converted by the bird's-eye view conversion section with a historical image section obtained by extracting a historical area that is on the vehicle side with respect to the current image area is present is obtained to generate a composite bird's-eye view image around the vehicle, which is the bird's-eye view image including an area whose image is not included in the last bird's-eye view image; and an image output section that outputs the composite bird's-eye view image generated by the image combining section to a display. The history image extracted by the storage process section is equal to or larger than a minimum rectangle, and an area of the history image is calculated based on the minimum Rectangle is determined. Two sides of the minimum rectangle are parallel to a vehicle width direction of the vehicle. The side on the vehicle side of the two sides parallel to the vehicle width direction of the minimum rectangle has one end present on an inner circumference circle of a moving track of the history area moving clockwise with a minimum turning radius due to clockwise rotation of the vehicle and another end present on an inner peripheral circle of a moving track of the history area moving counterclockwise with the minimum turning radius due to a counterclockwise rotation of the vehicle. A length of the minimum rectangle in a vehicle front-rear direction is a moving distance of the history area covered by running of the vehicle from a point in time when the captured image corresponding to the bird's-eye view image from which the history image is extracted is the last time until a point in time when the captured image corresponding to the bird's-eye view image from which the history image is extracted is captured this time is generated.

Figurenlistecharacter list

  • 1 ist ein Diagramm, das die Gesamtkonfiguration eines Fahrzeugumgebungsbildanzeigesystems zeigt; 1 Fig. 14 is a diagram showing the overall configuration of a vehicle surrounding image display system;
  • 2 ist ein Diagramm, das ein zusammengesetztes Vogelperspektivenbild darstellt, das auf einer Anzeige angezeigt wird; 2 Fig. 12 is a diagram showing a composite bird's-eye view image displayed on a display;
  • 3 ist ein Flussdiagramm, das einen Prozess darstellt, der von einer Steuerung durchgeführt wird; 3 Fig. 12 is a flowchart showing a process performed by a controller;
  • 4 ist ein Flussdiagramm, das einen Prozess eines Schrittes S3 in 3 im Detail zeigt; 4 is a flowchart showing a process of a step S3 in 3 shows in detail;
  • 5 ist ein Diagramm, das ein hinteres aufgenommenes Bild darstellt, das von einer hinteren Kamera aufgenommen wird; 5 Fig. 14 is a diagram showing a rear captured image captured by a rear camera;
  • 6 ist ein Diagramm, das ein hinteres derzeitiges Bild darstellt, das durch eine Vogelperspektivenumwandlung des hinteren aufgenommenen Bildes erhalten wird; 6 Fig. 14 is a diagram showing a rear current image obtained by bird's-eye view conversion of the rear picked-up image;
  • 7 ist ein Diagramm, das die Position und die Größe eines Extraktionsbereiches, der als ein Historienbild extrahiert wird, darstellt. 7 Fig. 12 is a diagram showing the position and size of an extraction area extracted as a history image.

[Beschreibung der Ausführungsformen][Description of the Embodiments]

Im Folgenden wird eine Ausführungsform der vorliegenden Erfindung mit Bezug auf die Zeichnungen beschrieben.An embodiment of the present invention will be described below with reference to the drawings.

(Gesamtkonfiguration)(overall configuration)

Das in 1 gezeigte Fahrzeugumgebungsbildanzeigesystem 1 ist in bzw. an einem Fahrzeug 2 installiert und enthält eine vordere Kamera 10, eine hintere Kamera 20, eine Anzeige 30, einen Bildspeicher 41, einen Erkennungsspeicher 42, einen Historienspeicher 43 und eine Steuerung 50.This in 1 Vehicle surroundings image display system 1 shown is installed in or on a vehicle 2 and includes a front camera 10, a rear camera 20, a display 30, an image memory 41, a recognition memory 42, a history memory 43 and a controller 50.

Die vordere Kamera 10 ist an dem vorderen Endabschnitt des Fahrzeugs 2 fixiert und nimmt aufeinanderfolgend Bilder in einem vorbestimmten Bereich von der Nachbarschaft des vorderen Endes des Fahrzeugs 2 bis zu dem Vorderteil des Fahrzeugs 2 in vorbestimmten Intervallen auf. Im Folgenden wird das Bild, das von der vorderen Kamera 10 aufgenommen wird, als vorderes aufgenommenes Bild bezeichnet.The front camera 10 is fixed to the front end portion of the vehicle 2 and successively captures images in a predetermined range from the vicinity of the front end of the vehicle 2 to the front of the vehicle 2 at predetermined intervals. Hereinafter, the image captured by the front camera 10 is referred to as a front captured image.

Die hintere Kamera 20 ist an dem hinteren Endabschnitt des Fahrzeugs 2 fixiert und nimmt aufeinanderfolgend Bilder in einem vorbestimmten Bereich von der Nachbarschaft des hinteren Endes des Fahrzeugs 2 bis zu Hinterteil des Fahrzeugs 2 in vorbestimmten Intervallen auf. Im Folgenden wird das Bild, das von der hinteren Kamera 20 aufgenommen wird, als hinteres aufgenommenes Bild 70 bezeichnet (siehe 5). Als vordere Kamera 10 und hintere Kamera 20 werden beispielsweise Kameras verwendet, die eine Fischaugenlinse enthalten. Die Bereiche in Bezug auf das Fahrzeug 2, von denen die vordere Kamera 10 und die hintere Kamera 20 Bilder aufnehmen, werden im Voraus in der Steuerung 50 gespeichert.The rear camera 20 is fixed to the rear end portion of the vehicle 2 and successively captures images in a predetermined range from the vicinity of the rear end of the vehicle 2 to the rear of the vehicle 2 at predetermined intervals. Hereinafter, the image captured by the rear camera 20 is referred to as a rear captured image 70 (see FIG 5 ). As the front camera 10 and the rear camera 20, cameras including a fisheye lens are used, for example. The areas related to the vehicle 2 from which the front camera 10 and the rear camera 20 take pictures are stored in the controller 50 in advance.

Die Anzeige 30 zeigt ein zusammengesetztes Vogelperspektivenbild 31 und eine Fahrzeugfigur 32, die das Fahrzeug zeigt, an, wie es in 2 dargestellt ist. The display 30 displays a composite bird's-eye view image 31 and a vehicle figure 32 showing the vehicle, as shown in FIG 2 is shown.

Die Fahrzeugfigur 32 zeigt das Fahrzeug 2 und wird im Voraus in einem bestimmten Speicher gespeichert. Die Fahrzeugfigur 32 wird in der Mitte des zusammengesetzten Vogelperspektivenbildes 31 angezeigt, womit ersichtlich wird, dass das zusammengesetzte Vogelperspektivenbild 31 ein Bild um das Fahrzeug ist.The vehicle figure 32 shows the vehicle 2 and is stored in a specific memory in advance. The vehicle figure 32 is displayed at the center of the composite bird's-eye view image 31, showing that the composite bird's-eye view image 31 is an image around the vehicle.

Der Bildspeicher 41, der Erkennungsspeicher 42 und der Historienspeicher 43 sind wiederbeschreibbare Speicher. Man beachte, dass diese drei physikalisch unterschiedliche Speicher sein können. Alternativ können der Bildspeicher 41, der Erkennungsspeicher 42 und der Historienspeicher 43 durch verschiedene Adressbereiche eines Speichers ausgebildet werden.The image memory 41, the recognition memory 42 and the history memory 43 are rewritable memories. Note that these three can be physically distinct memories. Alternatively, the image memory 41, the recognition memory 42 and the history memory 43 can be formed by different address areas of a memory.

Der Bildspeicher 41 speichert ein Vogelperspektivenbild, das mittels einer Vogelperspektivenumwandlung eines Teils des vorderen aufgenommenen Bildes, das von der vorderen Kamera 10 aufgenommen wurde, erhalten wird, und ein Vogelperspektivenbild, das mittels einer Vogelperspektivenumwandlung eines Teils des hinteren aufgenommenen Bildes 70, das von der hinteren Kamera 20 aufgenommen wurde, erhalten wird. Im Folgenden wird das Vogelperspektivenbild, das in dem Bildspeicher 41 gespeichert wird, als ein derzeitiges Bild bezeichnet, um das Vogelperspektivenbild, das in dem Bildspeicher 41 gespeichert wird, von dem Vogelperspektivenbild zu unterscheiden, das in dem Historienspeicher 43 gespeichert wird. Außerdem wird von den derzeitigen Bildern das Bild, das durch Umwandeln des vorderen aufgenommenen Bildes erhalten wird, als ein vorderes derzeitiges Bild bezeichnet, und das Bild, das durch Umwandeln des hinteren aufgenommenen Bildes 70 erhalten wird, wird als ein hinteres derzeitiges Bild 72 bezeichnet (siehe 6).The image memory 41 stores a bird's-eye view image taken by bird's-eye view conversion of a part of the front an image captured by the front camera 10 is obtained, and a bird's-eye view image obtained by bird's-eye view conversion of part of the rear captured image 70 captured by the rear camera 20. Hereinafter, the bird's-eye view image stored in the image memory 41 is referred to as a current image in order to distinguish the bird's-eye view image stored in the image memory 41 from the bird's-eye view image stored in the history memory 43 . Also, among the current images, the image obtained by converting the front picked-up image is referred to as a front current image, and the image obtained by converting the rear picked-up image 70 is referred to as a rear current image 72 ( please refer 6 ).

Der Erkennungsspeicher 42 speichert ein Erkennungsbild, das durch Extrahieren eines vorbestimmten Bereiches aus dem Vogelperspektivenbild, das in dem Bildspeicher 41 gespeichert ist, erhalten wird. Der Historienspeicher 43 speichert ein Historienbild. Das Historienbild ist ein Bild, das durch Kombinieren eines Teils des Erkennungsbildes, der aus dem Erkennungsbild extrahiert wird, mit einem Historienbild, das im Voraus bzw. zuvor in dem Historienspeicher 43 gespeichert wurde, erhalten wird. In dem Historienbild, das zuvor in dem Historienspeicher 43 gespeichert wurde, werden relative Koordinaten, die auf das Fahrzeug 2 zentriert sind, aufeinanderfolgend in Abhängigkeit von der Fahrt des Fahrzeugs 2 verschoben.The recognition memory 42 stores a recognition image obtained by extracting a predetermined area from the bird's-eye view image stored in the image memory 41 . The history memory 43 stores a history image. The history image is an image obtained by combining part of the recognition image extracted from the recognition image with a history image stored in the history memory 43 in advance. In the history image previously stored in the history memory 43, relative coordinates centered on the vehicle 2 are sequentially shifted depending on the travel of the vehicle 2.

Die Steuerung 50 entspricht einer Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung. Die Steuerung 50 ist ein Computer, der eine CPU, einen ROM, einen RAM und Ähnliches enthält. Die CPU (Computer) führt ein Fahrzeugumgebungsbildanzeigesteuerungsprogramm aus, das in einem nichtflüchtigen Aufzeichnungsmedium (computerlesbares Aufzeichnungsmedium) wie beispielsweise dem ROM gespeichert ist, während sie eine zeitweilige Speicherfunktion des RAM verwendet. Dadurch dient die Steuerung 50 als ein Vogelperspektivenumwandlungsabschnitt 51, ein Speicherprozessabschnitt 52, ein Fahrstreckenschätzabschnitt 53, ein Lenkwinkelschätzabschnitt 54, ein Fahrgrößenberechnungsabschnitt 55, ein Historienverschiebungsabschnitt 56, ein Bildkombinationsabschnitt 57 und ein Bildausgabeabschnitt 58. Wenn diese Funktionen ausgeführt werden, wird ein Verfahren entsprechend dem Programm durchgeführt.The controller 50 corresponds to a vehicle surrounding image display control device. The controller 50 is a computer including a CPU, ROM, RAM and the like. The CPU (computer) executes a vehicle surrounding image display control program stored in a non-volatile recording medium (computer-readable recording medium) such as the ROM while using a temporary storage function of the RAM. Thereby, the controller 50 serves as a bird's-eye view conversion section 51, a storage process section 52, a driving distance estimation section 53, a steering angle estimation section 54, a driving quantity calculation section 55, a history shifting section 56, an image combining section 57 and an image outputting section 58. When these functions are executed, a method corresponding to the program carried out.

Diese Funktionen werden mit Bezug auf das Flussdiagramm der 3 beschrieben. Man beachte, dass einige oder sämtliche Funktionen, die von der Steuerung 50 ausgeführt werden, durch Hardware unter Verwendung von einem oder mehreren ICs oder Ähnlichem ausgebildet sein kann.These functions are described with reference to the flow chart of the 3 described. Note that some or all of the functions performed by the controller 50 may be implemented in hardware using one or more ICs or the like.

(Funktionen der Steuerung 50)(Functions of the control 50)

3 ist ein Flussdiagramm von Prozessen, die von der Steuerung 50 durchgeführt werden. Die Steuerung 50 führt die Prozesse, die in 3 gezeigt sind, periodisch durch, wenn sie ein Anweisungssignal empfängt, das die Anzeige 30 anweist, das zusammengesetzte Vogelperspektivenbild 31 anzuzeigen. Das Anweisungssignal wird beispielsweise durch Schaltbetrieb eines Nutzers ausgegeben. Außerdem wird das Anweisungssignal auch ausgegeben, wenn die Schaltposition auf eine Rückwärtsposition eingestellt wird. 3 FIG. 12 is a flowchart of processes performed by the controller 50. FIG. The controller 50 performs the processes 3 shown cycles through when receiving an instruction signal instructing the display 30 to display the composite bird's-eye view image 31. FIG. The instruction signal is output by a user's switching operation, for example. In addition, the instruction signal is also output when the shift position is set to a reverse position.

Die Schritte S1 und S2 sind Prozesse, die von dem Vogelperspektivenumwandlungsabschnitt 51 durchgeführt werden. Der Schritt S1 entspricht einem Erlangungsabschnitt. Der Vogelperspektivenumwandlungsabschnitt 51 erlangt ein vorderes aufgenommenes Bild von der vorderen Kamera 10. Außerdem erlangt der Vogelperspektivenumwandlungsabschnitt 51 ein hinteres aufgenommenes Bild 70 von der hinteren Kamera 20.Steps S<b>1 and S<b>2 are processes performed by the bird's-eye view converting section 51 . Step S1 corresponds to an acquisition section. The bird's-eye view converting section 51 acquires a front picked-up image from the front camera 10. In addition, the bird's-eye view converting section 51 acquires a rear picked-up image 70 from the rear camera 20.

In Schritt S2 führt der Vogelperspektivenumwandlungsabschnitt 51 eine Vogelperspektivenumwandlung des vorderen aufgenommenen Bildes und des hinteren aufgenommenen Bildes 70, die in Schritt S1 erlangt wurden, durch und speichert das vordere derzeitige Bild und das hintere derzeitige Bild 70, die durch die Vogelperspektivenumwandlung erhalten wurden, in dem Bildspeicher 41. Man beachte, dass, wenn das vergangene vordere derzeitige Bild und hintere derzeitige Bild 72 im Voraus bzw. zuvor in dem Bildspeicher 41 gespeichert wurden, der Vogelperspektivenumwandlungsabschnitt 51 das vergangene vordere derzeitige Bild und hintere derzeitige Bild 72 löscht und nur das letzte vordere derzeitige Bild und hintere derzeitige Bild 72 in den Bildspeicher 41 speichert.In step S2, the bird's-eye view conversion section 51 performs bird's-eye view conversion of the front picked-up image and rear picked-up image 70 obtained in step S1, and stores the front current image and rear current image 70 obtained by the bird's-eye view conversion in the Image memory 41. Note that when the past front current image and back current image 72 were previously stored in the image memory 41, the bird's-eye view converting section 51 deletes the past front current image and back current image 72 and only the last front current image and rear current image 72 in the image memory 41.

Durch die Vogelperspektivenumwandlung werden das vordere aufgenommene Bild und das hintere aufgenommene Bild 70 in Bilder umgewandelt, die durch Abwärtsbetrachten des vorderen aufgenommenen Bildes und des hinteren aufgenommenen Bildes 70 von oberhalb des Fahrzeugs 2 erhalten werden. Die Umwandlungsgleichung, die für die Vogelperspektivenumwandlung verwendet wird, wird in einem Speicher wie beispielsweise dem ROM der Steuerung 50 gespeichert. Die Umwandlungsgleichung ist eine bekannte Gleichung, die beispielsweise in der JP 2002 - 373 327 A beschrieben ist.The bird's-eye view conversion converts the front picked-up image and the rear picked-up image 70 into images obtained by viewing the front picked-up image and the rear picked-up image 70 downward from above the vehicle 2 . The conversion equation used for the bird's-eye view conversion is stored in a memory such as the ROM of the controller 50. FIG. The conversion equation is a well-known equation given, for example, in JP 2002 - 373 327 A is described.

Der Bereich, der der Vogelperspektivenumwandlung des vorderen aufgenommenen Bildes und des hinteren aufgenommenen Bildes 70 unterzogen wird, ist ein vorbestimmter Bereich, der einen Erkennungsbildextraktionsbereich 62, der später beschrieben wird, und Teile des vorderen aufgenommenen Bildes und des hinteren aufgenommenen Bildes 70 enthält. Da der Bereich, der aus dem Erkennungsbildextraktionsbereich 62 zu extrahieren ist, im Voraus in dem vorderen aufgenommenen Bild und dem hinteren aufgenommenen Bild 70 bestimmt wird, kann der Bereich, der der Vogelperspektivenumwandlung unterzogen wird, auch im Voraus eingestellt bzw. festgelegt werden.The area subject to bird's-eye view conversion of the front captured image and the rear picked-up image 70 is a predetermined area including a recognition image extraction area 62 which will be described later and parts of the front picked-up image and the rear picked-up image 70 . Since the area to be extracted from the recognition image extraction area 62 is determined in advance in the front picked-up image and the rear picked-up image 70, the area subjected to the bird's-eye view conversion can also be set in advance.

5 ist ein Diagramm, das das hintere aufgenommene Bild 70 darstellt. 6 zeigt konzeptionell das hintere derzeitige Bild 72, das in Schritt S2 durch die Vogelperspektivenumwandlung des Bildes, das in 5 gezeigt ist, erhalten wird. Da das hintere aufgenommene Bild 70 größer ist, wenn der Abstand zu dem Fahrzeug 2 kürzer ist, wird der Abstand zwischen zwei Parkrahmenlinien 61 in dem Bild größer, wenn der Abstand zu dem Fahrzeug 2 kürzer wird, das heißt zu der unteren Seite in 5 hin. Im Gegensatz dazu sind, wie es in 6 gezeigt ist, in dem hinteren derzeitigen Bild 72, das ein Vogelperspektivenbild ist, die beiden Parkrahmenlinien 61 parallel zueinander. 5 FIG. 12 is a diagram showing the rear captured image 70. FIG. 6 12 conceptually shows the rear current image 72 obtained in step S2 by the bird's-eye view conversion of the image obtained in 5 is shown is obtained. Since the rear captured image 70 is larger as the distance to the vehicle 2 is shorter, the distance between two parking frame lines 61 in the image becomes larger as the distance to the vehicle 2 becomes shorter, that is, toward the lower side in FIG 5 there. In contrast, as it is in 6 shown, in the rear current image 72, which is a bird's-eye view image, the two parking frame lines 61 are parallel to each other.

In Schritt S3 wird eine Historienverschiebungsberechnung durchgeführt. Diese Historienverschiebungsberechnung verschiebt relative Koordinaten des Historienbildes, das in dem Historienspeicher 43 gespeichert ist. Die Historienverschiebungsberechnung ist in 4 im Detail gezeigt.In step S3, a history shift calculation is performed. This history shift calculation shifts relative coordinates of the history image stored in the history memory 43 . History shift calculation is in 4 shown in detail.

In 4 erlangt der Fahrstreckenschätzabschnitt 53 in Schritt S31 Fahrzeugsignale. Die Fahrzeugsignale sind insbesondere ein Fahrzeuggeschwindigkeitssignal und ein Lenkwinkelsignal. Diese Signale werden über ein fahrzeugeigenes LAN erhalten. Das Fahrzeuggeschwindigkeitssignal wird von einem Fahrzeuggeschwindigkeitssensor erlangt, und das Lenkwinkelsignal wird von einem Lenkwinkelsensor erlangt. Man beachte, dass statt des Lenkwinkelsignals ein Gierratensignal erlangt werden kann.In 4 the travel distance estimating section 53 acquires vehicle signals in step S31. The vehicle signals are in particular a vehicle speed signal and a steering angle signal. These signals are obtained via an in-vehicle LAN. The vehicle speed signal is obtained from a vehicle speed sensor and the steering angle signal is obtained from a steering angle sensor. Note that a yaw rate signal may be obtained instead of the steering angle signal.

Schritt S32 ist ein Prozess, der von dem Fahrstreckenschätzabschnitt 53 durchgeführt wird. In diesem Schritt S32 berechnet der Fahrstreckenschätzabschnitt 53 eine Fahrstrecke des Fahrzeugs 2 von dem Zeitpunkt, zu dem Schritt S32 das letzte Mal durchgeführt wurde, bis zu dem Zeitpunkt, zu dem Schritt S32 dieses Mal durchgeführt wird bzw. wurde, auf der Grundlage einer Fahrzeuggeschwindigkeit, die durch das Fahrzeuggeschwindigkeitssignal angegeben wird, das in Schritt S31 erhalten wurde, und der seit dem Zeitpunkt, zu dem Schritt S32 das letzte Mal durchgeführt wurde, verstrichenen Zeit.Step S<b>32 is a process performed by the travel distance estimating section 53 . In this step S32, the travel distance estimating section 53 calculates a travel distance of the vehicle 2 from when step S32 was performed last time to when step S32 is performed this time, based on a vehicle speed, indicated by the vehicle speed signal obtained in step S31 and the elapsed time since step S32 was last performed.

Schritt S33 ist ein Prozess, der von dem Lenkwinkelschätzabschnitt 54 durchgeführt wird. In diesem Schritt S33 schätzt der Lenkwinkelschätzabschnitt 54 einen derzeitigen Lenkwinkel des Fahrzeugs 2 auf der Grundlage des Lenkwinkelsignals, das in Schritt S31 erhalten wurde.Step S<b>33 is a process performed by the steering angle estimating section 54 . In this step S33, the steering angle estimating section 54 estimates a current steering angle of the vehicle 2 based on the steering angle signal obtained in step S31.

Die Schritte S34 und S35 sind Prozesse, die von dem Fahrzeugfahrgrö-ßenberechnungsabschnitt 55 durchgeführt werden. In Schritt S34 erlangt der Fahrzeugfahrgrößenberechnungsabschnitt 55 ein Schaltpositionssignal von einem Schaltpositionssensor. In Schritt S35 berechnet der Fahrzeugfahrgrößenberechnungsabschnitt 55 eine Fahrzeugfahrgröße des Fahrzeugs 2 von dem Zeitpunkt, zu dem der Schritt S35 das letzte Mal durchgeführt wurde, bis zu dem Zeitpunkt, zu dem der Schritt S35 dieses Mal durchgeführt wird bzw. wurde, auf der Grundlage der Fahrstrecke und des Lenkwinkels, die in den Schritten S32 und S33 geschätzt wurden, und des Schaltpositionssignals, das in Schritt S34 erlangt wurde. Diese Fahrgröße enthält die Fahrtrichtung bei der Position des Fahrzeugs 2 des letzten Mals und ist ein Wert, durch den relative Koordinaten in Bezug auf die Position des Fahrzeugs 2 des letzten Mals bestimmt werden.Steps S34 and S35 are processes performed by the vehicle driving quantity calculation section 55 . In step S34, the vehicle run quantity calculation section 55 acquires a shift position signal from a shift position sensor. In step S35, the vehicle run amount calculation section 55 calculates a vehicle run amount of the vehicle 2 from the time step S35 was performed last time to the time step S35 is performed this time, based on the travel distance and the steering angle estimated in steps S32 and S33 and the shift position signal obtained in step S34. This running amount includes the running direction at the position of the vehicle 2 last time, and is a value by which relative coordinates with respect to the position of the vehicle 2 last time are determined.

Schritt S36 ist ein Prozess, der von dem Historienverschiebungsabschnitt 56 durchgeführt wird. In diesem Schritt S35 verschiebt der Historienverschiebungsabschnitt 56 die relativen Koordinaten des Historienbildes, das in dem Historienspeicher 43 gespeichert ist, in der Richtung entgegengesetzt zu der Fahrrichtung des Fahrzeugs 2 um die Fahrzeugfahrgröße, die in Schritt S35 berechnet wurde.Step S<b>36 is a process performed by the history moving section 56 . In this step S35, the history shifting section 56 shifts the relative coordinates of the history image stored in the history memory 43 in the direction opposite to the traveling direction of the vehicle 2 by the vehicle traveling amount calculated in step S35.

Die Beschreibung kehrt zu 3 zurück. Schritt S4 ist ein Prozess, der von dem Speicherprozessabschnitt 52 durchgeführt wird. Der Speicherprozessabschnitt 52 extrahiert ein Erkennungsbild aus dem derzeitigen Bild, das in dem Bildspeicher 41 gespeichert ist, und speichert das Erkennungsbild in dem Erkennungsspeicher 42. Da, wie es oben beschrieben wurde, das vordere derzeitige Bild und das hintere derzeitige Bild 72 als derzeitige Bilder gespeichert werden, extrahiert der Speicherprozessabschnitt 52 Erkennungsbilder aus den jeweiligen derzeitigen Bildern.The description returns 3 return. Step S4 is a process performed by the storage process section 52 . The storage process section 52 extracts a recognition image from the current image stored in the image memory 41 and stores the recognition image in the recognition memory 42. Since, as described above, the front current image and the rear current image 72 are stored as current images , the storage process section 52 extracts recognition images from the respective current images.

Das Erkennungsbild weist eine Größe auf, die das Historienbild enthält, und der Bereich (im Folgenden als Erkennungsbildextraktionsbereich bezeichnet), der aus dem derzeitigen Bild extrahiert wird, wird im Voraus eingestellt. 6 stellt den Erkennungsbildextraktionsbereich 62 dar. Das Erkennungsbild wird von einem Erkennungsprozessabschnitt 3 verwendet.The recognition image has a size that includes the history image, and the area (hereinafter referred to as recognition image extraction area) that is extracted from the current image is set in advance. 6 12 represents the recognition image extraction section 62. The recognition image is used by a recognition process section 3. FIG.

Der Erkennungsprozessabschnitt 3 führt einen Bilderkennungsprozess wie beispielsweise einen Weißlinienerkennungsprozess hinsichtlich des Erkennungsbildes durch. Entsprechend dem Weißlinienerkennungsprozess werden beispielsweise die Parkrahmenlinien 61 erkannt. Die erkannten Parkrahmenlinien 61 werden außerdem zur automatischen Parkregelung oder Ähnlichem verwendet.The recognition process section 3 performs an image recognition process such as a white line recognition process on the recognition image. For example, according to the white line recognition process, the parking frame lines 61 are recognized. The detected parking frame lines 61 are also used for automatic parking control or the like.

Schritt S5 ist ein Prozess, der ebenfalls von dem Speicherprozessabschnitt 52 durchgeführt wird. In diesem Schritt S5 extrahiert der Speicherprozessabschnitt 52 ein Historienbild aus dem Erkennungsbild, das in dem Erkennungsspeicher 42 gespeichert ist, und speichert das Historienbild in dem Historienspeicher 43. Erkennungsbilder werden jeweils aus dem vorderen derzeitigen Bild und dem hinteren derzeitigen Bild 72 extrahiert und in dem Erkennungsspeicher 42 gespeichert. In Schritt S5 extrahiert der Speicherprozessabschnitt 52 jeweilige Historienbilder aus dem Erkennungsbild, das aus dem vorderen derzeitigen Bild extrahiert wurde, und dem Erkennungsbild, das aus dem hinteren derzeitigen Bild 72 extrahiert wurde.Step S5 is a process that is also performed by the storage process section 52 . In this step S5, the storage process section 52 extracts a history image from the recognition image stored in the recognition memory 42 and stores the history image in the history memory 43. Recognition images are extracted from the front current image and the rear current image 72, respectively, and in the recognition memory 42 saved. In step S<b>5 , the storage process section 52 extracts respective history images from the recognition image extracted from the front current image and the recognition image extracted from the rear current image 72 .

Die Prozesse, die in 3 gezeigt sind, werden wiederholt durchgeführt. Wenn die Prozesse, die in 3 gezeigt sind, das zweite Mal oder danach durchgeführt werden, wurde ein Historienbild, das in der Vergangenheit erhalten wurde, bereits in den Historienspeicher 43 gespeichert, und die relativen Koordinaten des Historienbildes, das in der Vergangenheit erhalten wurde, wurden in der Historienverschiebungsberechnung in Schritt S3 um die Fahrgröße des Fahrzeugs 2 verschoben. Das Historienbild, das in diesem Schritt S5 neu in dem Historienspeicher 43 gespeichert wird, wird dem Historienbild überlagert, das bereits in dem Historienspeicher 43 gespeichert ist. Das Historienbild, das durch die Überlagerung erhalten wird, wird im Folgenden als ein zusammengesetztes Historienbild bezeichnet. Wenn ein zusammengesetztes Historienbild erzeugt wird, wird, wenn ein Historienbild neu zu speichern ist und ein Historienbild, das bereits gespeichert wurde, an denselben relativen Koordinaten vorhanden sind, das Historienbild, das bereits gespeichert wurde, durch das Historienbild, das neu zu speichern ist, überschrieben.The processes in 3 are shown are repeatedly performed. If the processes in 3 are performed the second time or thereafter, a history image obtained in the past has already been stored in the history memory 43, and the relative coordinates of the history image obtained in the past have been used in the history shift calculation in step S3 shifted by the driving size of the vehicle 2. The history image newly stored in the history memory 43 in this step S5 is superimposed on the history image already stored in the history memory 43 . The history image obtained by the superimposition is hereinafter referred to as a composite history image. When creating a composite history image, if a history image is to be re-saved and a history image that has already been saved exist at the same relative coordinates, the history image that has already been saved is replaced by the history image that is to be re-saved. overwritten.

6 zeigt einen Historienbildextraktionsbereich (im Folgenden einfach als Extraktionsbereich bezeichnet) 63, der als ein Historienbild extrahiert wurde. Außerdem zeigt 6 einen Fahrzeugbereich 64. Der Fahrzeugbereich 64 ist eine Figur zum Darstellen des Bereiches des Fahrzeugs 2 in Bezug auf das hintere derzeitige Bild 72. 6 Fig. 12 shows a history image extraction area (hereinafter simply referred to as extraction area) 63 extracted as a history image. Also shows 6 a vehicle area 64. The vehicle area 64 is a figure for showing the area of the vehicle 2 with respect to the rear current image 72.

In 6 sind der Extraktionsbereich 63 und der Fahrzeugbereich 64 nicht überlagert. Somit ist ersichtlich, dass der Extraktionsbereich 63 ein Bereich ist, der kein Bild eines Teils des Fahrzeugs 2 wie beispielsweise eines Stoßfängers oder einer Anhängerkupplung aufweist.In 6 the extraction area 63 and the vehicle area 64 are not overlapped. Thus, it can be seen that the extraction area 63 is an area that does not have an image of a part of the vehicle 2 such as a bumper or a trailer hitch.

Außerdem weist der Extraktionsbereich 63 eine rechteckige Gestalt auf und weist lange Seiten, die parallel zu der Breitenrichtung des Fahrzeugs 2 sind, und kurze Seiten auf, die parallel zu der Vorne-hinten-Richtung des Fahrzeugs 2 sind. Die Größe des Extraktionsbereiches 63 wird derart festgelegt, dass ein Teil des zusammengesetzten Historienbildes nicht entfernt wird, wenn die relativen Koordinaten des Historienbildes aufeinanderfolgend verschoben werden und ein neues Historienbild in dem Historienspeicher 43 gespeichert wird. Der Historienspeicher 43 wird später genauer beschrieben.Also, the extracting portion 63 has a rectangular shape and has long sides parallel to the width direction of the vehicle 2 and short sides parallel to the front-rear direction of the vehicle 2 . The size of the extraction area 63 is set such that a part of the composite history image is not removed when the relative coordinates of the history image are successively shifted and a new history image is stored in the history memory 43 . The history memory 43 will be described in detail later.

Die Schritte S6 bis S8 sind Prozesse, die von dem Bildkombinationsabschnitt 57 durchgeführt werden. In Schritt S6 erlangt der Bildkombinationsabschnitt 57 eine Fahrzeugebenengröße bzw. Fahrzeugflächengröße. Die Fahrzeugebenengröße enthält eine Fahrzeuglänge und eine Fahrzeugbreite und wird im Voraus in einem vorbestimmten Speicher gespeichert. In Schritt S7 erlangt der Bildkombinationsabschnitt 57 einen Historienbildabschnitt 33 (siehe 2), der für ein Ausgangsbild von dem zusammengesetzten Historienbild, das in dem Historienspeicher 43 gespeichert ist, verwendet wird. Der Historienbildabschnitt 33 ist ein Abschnitt, der zwischen einem vorderen derzeitigen Bildabschnitt 34 und einem hinteren derzeitigen Bildabschnitt 35 angeordnet ist. Da der Historienbildabschnitt 33 ein Bereich ist, dessen Bild nicht in dem derzeitigen Bild enthalten ist, wird das Historienbild verwendet.Steps S6 to S8 are processes performed by the image combining section 57. FIG. In step S6, the image combining section 57 acquires a vehicle plane size. The vehicle plane size includes a vehicle length and a vehicle width, and is stored in a predetermined memory in advance. In step S7, the image combining section 57 acquires a history image section 33 (see 2 ) used for an output image from the composite history image stored in the history memory 43 . The history image portion 33 is a portion located between a front current image portion 34 and a rear current image portion 35 . Since the history image portion 33 is an area whose image is not included in the current image, the history image is used.

In Schritt S8 extrahiert der Bildkombinationsabschnitt 57 einen vorderen derzeitigen Bildbereich aus dem vorderen derzeitigen Bild, das in dem Bildspeicher 41 gespeichert ist, um den vorderen derzeitigen Bildabschnitt 34, der in 2 gezeigt ist, zu erlangen, und extrahiert einen hinteren derzeitigen Bildbereich aus dem hinteren derzeitigen Bild, das in dem Bildspeicher 41 gespeichert ist, um den hinteren derzeitigen Bildabschnitt 35, der in 2 gezeigt ist, zu erlangen. Die Bereiche des vorderen derzeitigen Bildbereiches und des hinteren derzeitigen Bildbereiches werden im Voraus eingestellt. Außerdem kombiniert der Bildkombinationsabschnitt 57 in Schritt S8 den vorderen derzeitigen Bildabschnitt 34 und den hinteren derzeitigen Bildabschnitt 35 mit dem Historienbildabschnitt 33, der in Schritt S7 erlangt wurde, um das zusammengesetzte Vogelperspektivenbild 31 zu erzeugen. Schritt S9 ist ein Prozess, der von dem Bildausgabeabschnitt 58 durchgeführt wird. Der Bildausgabeabschnitt 58 gibt das zusammengesetzte Vogelperspektivenbild 31, das in Schritt S8 erzeugt wurde, als ein Ausgangsbild an die Anzeige 30 aus.In step S8, the image combining section 57 extracts a front current image area from the front current image stored in the image memory 41 to form the front current image portion 34 stored in 2 1, and extracts a rear current image area from the rear current image stored in the image memory 41 to obtain the rear current image portion 35 shown in FIG 2 shown to be attainable. The areas of the front current image area and the rear current image area are set in advance. Also, the image combining section 57 combines the front current image section 34 and the rear current image section 35 with the history image section 33 obtained in step S7 to generate the composite bird's-eye view image 31 in step S8. Step S9 is a process performed by the image output section 58 . The image output section 58 outputs the composite bird's-eye view image 31 generated in step S8 to the display 30 as an output image.

(Darstellung des Extraktionsbereiches 63)(representation of the extraction area 63)

Wie es oben beschrieben wurde, ist der Extraktionsbereich 63 ein Bereich, der extrahiert wird, um ein zusammengesetztes Historienbild zu erzeugen. Das zusammengesetzte Historienbild ist ein Bild zum Extrahieren des Historienbildabschnitts 33. Der Abschnitt, der dem Historienbildabschnitt 33 des zusammengesetzten Historienbildes entspricht, bewegt sich in Abhängigkeit von der Fahrt des Fahrzeugs 2. Somit werden die Position und die Größe des Extraktionsbereiches 63 derart eingestellt, dass ein Teil des Historienbildabschnitts 33 in dem zusammengesetzten Historienbild nicht entfernt wird.As described above, the extraction area 63 is an area that is extracted to create a composite history image. The composite history image is an image for extracting the history image portion 33. The portion corresponding to the history image portion 33 of the composite history image moves depending on the running of the vehicle 2. Thus, the position and size of the extraction area 63 are adjusted so that a Part of the history image portion 33 in the composite history image is not removed.

7 ist ein Diagramm, das die Position und die Größe des Extraktionsbereiches 63 darstellt. In 7 verläuft eine Drehachslinie 80 durch die Achse der Hinterräder des Fahrzeugs 2 und verläuft durch das Zentrum der Drehung, wenn sich das Fahrzeug 2 mit dem minimalen Drehradius dreht. Ein Historienbereich 81 ist ein Bereich, der als der Historienbildabschnitt 33 aus dem zusammengesetzten Historienbild extrahiert wird. Der Historienbereich 81 ist ein Rechteck, dessen Position und Größe mit Bezug auf das Fahrzeug 2 bestimmt werden. 7 FIG. 12 is a diagram showing the position and size of the extraction area 63. FIG. In 7 A turning axis line 80 passes through the axis of the rear wheels of the vehicle 2 and passes through the center of rotation when the vehicle 2 is turning at the minimum turning radius. A history area 81 is an area extracted as the history image portion 33 from the composite history image. The history area 81 is a rectangle whose position and size are determined with respect to the vehicle 2 .

Ein rechter innerer Umfangskreisbogen 82 entspricht einer Innenkante einer Spur, die erzeugt wird, wenn sich der Historienbereich 81 aufgrund einer Drehung des Fahrzeugs 2 im Uhrzeigersinn mit dem minimalen Drehradius bewegt. Ein linker innerer Umfangskreisbogen 83 entspricht einer Innenkante einer Spur, die erzeugt wird, wenn sich der Historienbereich 81 aufgrund einer Drehung des Fahrzeugs 2 entgegen dem Uhrzeigersinn mit dem minimalen Drehradius bewegt.A right inner peripheral arc 82 corresponds to an inner edge of a trace generated when the history area 81 moves clockwise with the minimum turning radius due to rotation of the vehicle 2 . A left inner peripheral arc 83 corresponds to an inner edge of a trace generated when the history area 81 moves counterclockwise with the minimum turning radius due to rotation of the vehicle 2 .

Der Abstand L zwischen einer fahrzeugseitigen Seite 63a, die eine Seite auf der Fahrzeugseite ist, die in zwei Seiten enthalten ist, die in der Fahrzeugbreitenrichtung parallel zueinander sind, in dem Extraktionsbereich 63, der eine rechteckige Gestalt aufweist, und dem vorderen Ende des Fahrzeugs 2 wird durch den Abbildungsbereich der hinteren Kamera 20 bestimmt. Wenn die fahrzeugseitige Seite 63a nicht den rechten inneren Umfangskreisbogen 82 und den linken inneren Umfangskreisbogen 83 trifft, kann, wenn sich der Historienbereich 81 aufgrund der Fahrt des Fahrzeugs 2 mit dem minimalen Drehradius bewegt, ein Abschnitt, der keine zusammengesetzten Historienbilder an rechten und linken Kanten aufweist, in dem Historienbereich 81 erzeugt werden. Mit anderen Worten, wenn die fahrzeugseitige Seite 63a den rechten inneren Umfangskreisbogen 82 und den linken inneren Umfangskreisbogen 83 trifft, werden sogar dann, wenn sich der Historienbereich 81 aufgrund der Fahrt des Fahrzeugs 2 mit dem minimalen Drehradius bewegt, kein Abschnitte, die keine zusammengesetzten Historienbilder aufweisen, in den rechten und linken Richtungen des Historienbereiches 81 erzeugt.The distance L between a vehicle-side side 63a, which is a side on the vehicle side included in two sides parallel to each other in the vehicle width direction, in the extracting portion 63 having a rectangular shape, and the front end of the vehicle 2 is determined by the imaging range of the rear camera 20. When the vehicle-side side 63a does not meet the right inner peripheral arc 82 and the left inner peripheral arc 83, when the history area 81 moves with the minimum turning radius due to the running of the vehicle 2, a portion that has no composite history images on right and left edges has, are generated in the history area 81 . In other words, when the vehicle-side side 63a hits the right inner peripheral arc 82 and the left inner peripheral arc 83, even if the history area 81 moves with the minimum turning radius due to the running of the vehicle 2, no portions that do not have composite history images are generated in the right and left directions of the history area 81 .

Somit wird die fahrzeugseitige Seite 63a des Extraktionsbereiches 63 derart eingestellt, dass der Abstand zu dem vorderen Ende des Fahrzeugs 2 gleich L ist, die fahrzeugseitige Seite 63a parallel zu der Breitenrichtung des Fahrzeugs 2 ist, ein Ende der fahrzeugseitigen Seite 63a auf dem rechten inneren Umfangskreisbogen 82 vorhanden ist und das andere Ende der fahrzeugseitigen Seite 63a auf dem linken inneren Umfangskreisbogen 83 vorhanden ist.Thus, the vehicle-side side 63a of the extraction portion 63 is set such that the distance to the front end of the vehicle 2 is L, the vehicle-side side 63a is parallel to the width direction of the vehicle 2, an end of the vehicle-side side 63a on the right inner circumferential arc 82 is present and the other end of the vehicle side 63a is present on the left inner peripheral arc 83 .

Außerdem wird in dem Extraktionsbereich 63 die Länge der Seite 63b der Fahrzeug-vorne-hinten-Richtung, die parallel zu der Fahrzeug-vorne-hinten-Richtung ist, auf der Grundlage einer Fahrzeuggeschwindigkeit (m/s) und einer Speicherperiode (s) eines Historienbildes bestimmt. Das heißt, die Länge, die durch das Produkt aus der Fahrzeuggeschwindigkeit und der Speicherperiode erhalten wird, wird als eine Länge der Seite 63b der Fahrzeug-vorne-hinten-Richtung definiert.Also, in the extraction section 63, the length of the vehicle front-rear direction side 63b parallel to the vehicle front-rear direction becomes one based on a vehicle speed (m/s) and a storage period (s). History image determined. That is, the length obtained by the product of the vehicle speed and the storage period is defined as a length of the vehicle front-rear direction side 63b.

Man beachte, dass Historienbilder in dem Historienspeicher 43 jedes Mal gespeichert werden, wenn die vordere Kamera 10 und die hintere Kamera 20 ein vorderes aufgenommenes Bild und ein hinteres aufgenommenes Bild aufnehmen. Somit gibt „Fahrzeuggeschwindigkeit x Speicherperiode“ eine Bewegungsstrecke des Historienbereiches 81 an, die durch die Fahrt des Fahrzeugs 2 von dem Zeitpunkt, zu dem ein Bild, das dem Vogelperspektivenbild entspricht, aus dem ein Historienbild extrahiert wird, das letzte Mal aufgenommen wurde, bis zu dem Zeitpunkt, zu dem ein Bild, das dem Vogelperspektivenbild entspricht, aus dem ein Historienbild extrahiert wird, dieses Mal aufgenommen wird bzw. wurde.Note that history images are stored in the history memory 43 every time the front camera 10 and the rear camera 20 capture a front captured image and a rear captured image. Thus, “vehicle speed x storage period” indicates a moving distance of the history area 81 covered by the running of the vehicle 2 from the time when an image corresponding to the bird's-eye view image from which a history image is extracted was last captured to the time when an image corresponding to the bird's-eye view image from which a history image is extracted is captured this time.

Das Rechteck, das wie oben beschrieben bestimmt wird, entspricht einem minimalen Rechteck. Der Extraktionsbereich 63 kann ein Bereich sein, der von dem minimalen Rechteck umgeben ist. Unter Berücksichtigung eines Fehlers und Ähnlichem kann der Extraktionsbereich 63 jedoch ein Bereich sein, der das minimale Rechteck enthält und größer als das minimale Rechteck ist.The rectangle determined as described above corresponds to a minimum rectangle. The extraction area 63 may be an area surrounded by the minimum rectangle. However, considering an error and the like, the extraction area 63 may be an area that includes the minimum rectangle and is larger than the minimum rectangle.

Auch wenn 7 den Extraktionsbereich 63 zum Extrahieren eines Historienbildes aus dem hinteren derzeitigen Bild 72 darstellt, wird der Extraktionsbereich zum Extrahieren eines Historienbildes aus dem vorderen derzeitigen Bild ebenfalls gemäß demselben Konzept eingestellt.Even if 7 represents the extraction area 63 for extracting a history image from the rear current image 72, the extraction area for extracting a history image from the front current image is also set according to the same concept.

(Wirkungen der Ausführungsform)(Effects of embodiment)

In der oben beschriebenen Ausführungsform ist das Historienbild, das durch den Speicherprozessabschnitt 52 (S4, S5) extrahiert wird, ein Bild, das durch Extrahieren eines Bereiches, das kein Bild des Fahrzeugs 2 aufweist, aus einem Vogelperspektivenbild erhalten wird. Somit ist sogar dann, wenn der Historienverschiebungsabschnitt 56 (S36) das Historienbild in Abhängigkeit von der Fahrt des Fahrzeugs 2 bewegt, ein Stoßfänger oder eine Anhängerkupplung nicht an einer Stelle vorhanden, die von dem Fahrzeug 2 entfernt ist.In the embodiment described above, the history image extracted by the storage process section 52 (S4, S5) is an image obtained by extracting an area that does not have an image of the vehicle 2 from a bird's-eye view image. Thus, even if the history moving section 56 ( S36 ) moves the history image depending on the running of the vehicle 2 , a bumper or a hitch is not present at a place remote from the vehicle 2 .

Außerdem ist das Historienbild, das aus einem Bild extrahiert wird, das durch den Speicherprozessabschnitt 52 in dem Erkennungsspeicher 42 gespeichert wird (S4, S5), und in dem Speicher 43 gespeichert wird, ein Bild, aus dem der Extraktionsbereich 63 extrahiert wird, der auf der Grundlage des minimalen Rechteckes bestimmt wird.Also, the history image extracted from an image stored in the recognition memory 42 by the storing process section 52 (S4, S5) and stored in the memory 43 is an image from which the extraction area 63 located on is determined on the basis of the minimum rectangle.

Wie es mit Bezug auf 7 beschrieben wurde, ist, wenn der Extraktionsbereich 63 derselbe wie das minimale Rechteck ist, ein Ende der fahrzeugseitigen Seite 63a des Extraktionsbereiches 63 auf dem inneren Umfangskreis einer Bewegungsspur des Historienbereiches 81 vorhanden, der sich aufgrund einer Drehung im Uhrzeigersinn des Fahrzeugs 2 mit dem minimalen Drehradius bewegt. Außerdem ist das andere Ende der fahrzeugseitigen Seite 63a auf dem inneren Umfangskreis einer Bewegungsspur des Historienbereiches 81 vorhanden, der sich aufgrund einer Drehung gegen den Uhrzeigersinn des Fahrzeugs 2 mit dem minimalen Drehradius bewegt. Der Extraktionsbereich 63 ist derselbe wie das minimale Rechteck oder enthält das minimale Rechteck und ist größer als das minimale Rechteck.As it relates to 7 described, when the extraction area 63 is the same as the minimum rectangle, an end of the vehicle-side side 63a of the extraction area 63 is present on the inner circumference circle of a moving track of the history area 81, which is due to a clockwise rotation of the vehicle 2 with the minimum turning radius emotional. Also, the other end of the vehicle side 63a is present on the inner circumference of a moving track of the history area 81 moving due to counterclockwise rotation of the vehicle 2 with the minimum turning radius. The extraction area 63 is the same as the minimum rectangle or contains the minimum rectangle and is larger than the minimum rectangle.

Somit wird durch Extrahieren des Extraktionsbereiches 63 als ein Historienbild aus einem Vogelperspektivenbild sogar dann, wenn das Fahrzeug 2 am weitesten in der Richtung nach rechts und links fährt und sich der Historienbereich 81 aufgrund der Fahrt bewegt, verhindert, dass ein Abschnitt, der keine Bilder aufweist, des zusammengesetzten Historienbildes, das in dem Historienspeicher 43 gespeichert ist, in der Fahrzeugbreitenrichtung in dem Historienbereich 81 erzeugt wird.Thus, by extracting the extraction area 63 as a history image from a bird's-eye view image, even when the vehicle 2 travels furthest in the right and left direction and the history area 81 moves due to the travel, a portion having no images is prevented , of the composite history image stored in the history memory 43 is generated in the vehicle width direction in the history area 81 .

Wenn der Extraktionsbereich 63 derselbe wie das minimale Rechteck ist, wird außerdem die Länge der Seite 63b der Fahrzeug-vorne-hinten-Richtung des Extraktionsbereiches 63 durch das Produkt aus der Fahrzeuggeschwindigkeit und der Speicherperiode des Historienbildes erhalten. Wie es oben beschrieben wurde, ist der Extraktionsbereich 63 derselbe wie das minimale Rechteck oder enthält das minimale Rechteck und ist größer als das minimale Rechteck.In addition, when the extraction range 63 is the same as the minimum rectangle, the length of the vehicle front-rear direction side 63b of the extraction range 63 is obtained by the product of the vehicle speed and the storage period of the history image. As described above, the extraction area 63 is the same as or contains the minimum rectangle and is larger than the minimum rectangle.

Wenn somit der Extraktionsbereich 63 als Historienbild aus einem Vogelperspektivenbild extrahiert wird, wird sogar dann, wenn das Fahrzeug 2 in der Vorne-hinten-Richtung fährt, verhindert, dass ein Abschnitt, der keine Bilder aufweist, des zusammengesetzten Historienbildes, das in dem Historienspeicher 43 gespeichert ist, in der Fahrzeug-vorne-hinten-Richtung in dem Historienbereich 81 erzeugt wird.Thus, when the extraction area 63 is extracted as a history image from a bird's-eye view image, even when the vehicle 2 is traveling in the front-rear direction, a portion having no images of the composite history image stored in the history memory 43 is stored is generated in the vehicle front-rear direction in the history area 81 .

Dementsprechend wird verhindert, dass ein Abschnitt, der keine Bilder aufweist, des zusammengesetzten Historienbildes, das in dem Historienspeicher 43 gespeichert ist, in der Fahrzeug-rechts-links-Richtung und in der Fahrzeug-vorne-hinten-Richtung in dem Historienbereich 81 erzeugt wird.Accordingly, a non-image portion of the composite history image stored in the history memory 43 is prevented from being generated in the vehicle right-left direction and in the vehicle front-rear direction in the history area 81 .

Da das Historienbild, das durch den Speicherprozessabschnitt 52 aus dem Erkennungsspeicher 42 extrahiert wird, ein Bild ist, dessen Bereich auf der Grundlage des minimalen Rechtecks bestimmt wird, ist das Historienbild kleiner als ein Vogelperspektivenbild, das mittels Vogelperspektivenumwandlung des gesamten Bereiches des aufgenommenen Bildes erhalten wird. Somit kann die Speichergröße des Historienspeichers 43 klein sein, und es kann die Verarbeitungszeit zum Speichern des Historienbildes verkürzt werden.Since the history image extracted from the recognition memory 42 by the storage process section 52 is an image whose area is determined based on the minimum rectangle, the history image is smaller than a bird's-eye view image obtained by bird's-eye view conversion of the entire area of the captured image . Thus, the memory size of the history memory 43 can be small, and the processing time for storing the history image can be shortened.

Außerdem extrahiert der Speicherprozessabschnitt 52 zunächst ein Erkennungsbild aus einem derzeitigen Bild, das in dem Bildspeicher 41 gespeichert ist, um das Erkennungsbild in dem Erkennungsspeicher 42 zu speichern (S4), und extrahiert ein Historienbild aus dem Erkennungsbild, das in dem Erkennungsspeicher 42 gespeichert wurde, um das Historienbild in dem Historienspeicher 43 zu speichern. Dementsprechend kann ein Bild, das aus dem derzeitigen Bild extrahiert wird, zur Erkennung und zum Anzeigen eines zusammengesetzten Vogelperspektivenbildes verwendet werden.In addition, the storage process section 52 first extracts a recognition image from a current image stored in the image memory 41 to store the recognition image in the recognition memory 42 (S4), and extracts a history image from the recognition image that has been stored in the recognition memory 42. to store the history image in the history memory 43 . Accordingly, an image extracted from the current image can be used for recognizing and displaying a composite bird's-eye view image.

Außerdem wird der Bereich, der der Vogelperspektivenumwandlung durch den Vogelperspektivenumwandlungsabschnitt 51 (S2) unterzogen wird, derart bestimmt, dass er den Erkennungsbildextraktionsbereich 62 enthält und ein Teil des vorderen aufgenommenen Bildes und des hinteren aufgenommenen Bildes 70 ist. Somit erhöht sich die Verarbeitungsgeschwindigkeit und der benötigte Speicherbereich des Bildspeichers 41 kann im Vergleich zu einem Fall kleiner sein, in dem der gesamte Bereich des vorderen aufgenommenen Bildes und des hinteren aufgenommenen Bildes 70 der Vogelperspektivenumwandlung unterzogen wird.In addition, the area subjected to the bird's-eye view conversion by the bird's-eye view conversion section 51 (S2) is determined such that it includes the recognition image extraction area 62 and is a part of the front picked-up image and the rear picked-up image 70 . Thus, the processing speed increases, and the required memory area of the image memory 41 can be smaller compared to a case where the entire area of the front picked-up image and the rear picked-up image 70 is subjected to the bird's-eye view conversion.

Oben wurde eine Ausführungsform der vorliegenden Erfindung beschrieben. Die vorliegende Erfindung ist jedoch nicht auf die oben beschriebene Ausführungsform beschränkt, und es sind die folgenden Modifikationen innerhalb des technischen Bereiches der vorliegenden Erfindung enthalten. Zusätzlich zu dem Folgenden kann die vorliegende Erfindung außerdem mit verschiedenen Änderungen innerhalb eines Bereiches, der von der Erfindung nicht abweicht, implementiert werden.An embodiment of the present invention has been described above. However, the present invention is not limited to the embodiment described above, and the following modifications are included within the technical scope of the present invention. In addition to the following, the present invention can also be implemented with various changes within a range not deviating from the invention.

<Erste Modifikation><First modification>

In der obigen Ausführungsform wird beispielsweise ein Erkennungsbild aus einem derzeitigen Bild, das in dem Bildspeicher 41 gespeichert ist, extrahiert und in dem Erkennungsspeicher 42 gespeichert, und es wird ein Historienbild aus dem Erkennungsspeicher 42 extrahiert. Das heißt, ein Bild, das aus einem derzeitigen Bild extrahiert wird, wird über den Erkennungsspeicher 42 in dem Historienspeicher 43 gespeichert. Es kann jedoch ein Historienbild aus einem derzeitigen Bild extrahiert und in dem Historienspeicher 43 gespeichert werden.For example, in the above embodiment, a recognition image is extracted from a current image stored in the image memory 41 and stored in the recognition memory 42, and a history image is extracted from the recognition memory 42. FIG. That is, an image extracted from a current image is stored in the history memory 43 via the recognition memory 42 . However, a history image can be extracted from a current image and stored in the history memory 43 .

<Zweite Modifikation><Second Modification>

In der obigen Ausführungsform sind die vordere Kamera 10 und die hintere Kamera 20 vorhanden. Es kann jedoch auch nur eine der Kameras vorhanden sein. In the above embodiment, the front camera 10 and the rear camera 20 are provided. However, only one of the cameras can be present.

<Dritte Modifikation><Third Modification>

In der obigen Ausführungsform wird ein derzeitiges Bild in dem Bildspeicher 41 gespeichert und ein Erkennungsbild wird aus dem Bildspeicher 41 extrahiert. Der Bildspeicher 41 muss jedoch nicht vorhanden sein, und es können ein Erkennungsbild und ein Historienbild aus dem Bild extrahiert werden, das der Vogelperspektivenumwandlung durch den Vogelperspektivenumwandlungsabschnitt 51 unterzogen wurde, um diese direkt in dem Erkennungsspeicher 42 und dem Historienspeicher 43 zu speichern.In the above embodiment, a current image is stored in the image memory 41 and a recognition image is extracted from the image memory 41 . However, the image memory 41 need not be provided, and a recognition image and a history image may be extracted from the image subjected to the bird's-eye view conversion by the bird's-eye view conversion section 51 to store them in the recognition memory 42 and the history memory 43 directly.

<Vierte Modifikation><Fourth Modification>

Das Fahrzeug 2 der obigen Ausführungsform enthält den Erkennungsspeicher 42 und den Erkennungsprozessabschnitt 3. Wenn jedoch der Bilderkennungsprozess nicht durchgeführt werden muss, können bzw. müssen der Erkennungsspeicher 42 und der Erkennungsprozessabschnitt 3 auch nicht im dem Fahrzeug 2 enthalten sein.The vehicle 2 of the above embodiment includes the recognition memory 42 and the recognition process section 3. However, when the image recognition process does not need to be performed, the recognition memory 42 and the recognition process section 3 may not be included in the vehicle 2 either.

<Fünfte Modifikation><Fifth Modification>

Der Bildspeicher 41 oder der Erkennungsspeicher 42 können als Historienspeicher 43 verwendet werden. Das heißt, es kann ein Teil des Bildspeichers 41 oder des Erkennungsspeichers 42 als Historienspeicher 43 verwendet werden.The image memory 41 or the recognition memory 42 can be used as the history memory 43. That is, a part of the image memory 41 or the recognition memory 42 can be used as the history memory 43.

<Sechste Modifikation><Sixth Modification>

In der obigen Ausführungsform wird ein Historienbild aus einem Erkennungsbild, das in dem Erkennungsspeicher 42 gespeichert ist, extrahiert und in dem Historienspeicher 43 gespeichert. Wenn jedoch das Erkennungsbild kleiner als das Historienbild ist, kann im Gegensatz zu der Ausführungsform das Historienbild zunächst in dem Historienspeicher 43 gespeichert werden, und das Erkennungsbild kann aus dem Historienspeicher 43 extrahiert und in dem Erkennungsspeicher 42 gespeichert werden.In the above embodiment, a history image is extracted from a recognition image stored in the recognition memory 42 and stored in the history memory 43 . However, when the recognition image is smaller than the history image, unlike the embodiment, the history image may be stored in the history memory 43 first, and the recognition image may be extracted from the history memory 43 and stored in the recognition memory 42 .

Wie es oben beschrieben wurde, kann durch Extrahieren eines Erkennungsbildes aus dem Historienspeicher 43 die Zeit für den Erkennungsprozess verkürzt werden, da das Erkennungsbild im Vergleich zu einem Fall kleiner sein kann, in dem ein Historienbild, das größer als das Erkennungsbild ist, direkt als Erkennungsbild verwendet werden kann.As described above, by extracting a recognition image from the history memory 43, the recognition process time can be shortened because the recognition image can be smaller compared to a case where a history image larger than the recognition image is directly used as the recognition image can be used.

Man beachte, dass, wenn wie in dem Fall der Ausführungsform ein Historienbild aus dem Erkennungsspeicher 42 extrahiert wird, das Historienbild im Vergleich zu einem Fall kleiner sein kann, in dem ein Erkennungsbild, das größer als das Historienbild ist, direkt als das Erkennungsbild verwendet wird. Somit kann eine Verarbeitungszeit zum Erzeugen eines zusammengesetzten Historienbildes verkürzt werden.Note that when a history image is extracted from the recognition memory 42 as in the case of the embodiment, the history image can be smaller compared to a case where a recognition image larger than the history image is directly used as the recognition image . Thus, a processing time for generating a composite history image can be shortened.

Die Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung der Ausführungsform enthält: einen Erlangungsabschnitt (S1), der aufeinanderfolgend aufgenommene Bilder von Bereichen um ein Fahrzeug (2) von einer Kamera (10, 20), die in dem Fahrzeug installiert ist, erlangt; einen Vogelperspektivenumwandlungsabschnitt (51), der aufeinanderfolgend eine Vogelperspektivenumwandlung der aufgenommenen Bilder, die durch den Erlangungsabschnitt erlangt wurden, durchführt, um Vogelperspektivenbilder zu erzeugen; einen Speicherprozessabschnitt (52), der aufeinanderfolgend ein Historienbild, das in einem Bereich vorhanden ist, der ein Bild des Fahrzeugs nicht aufweist, aus den Vogelperspektivenbildern, die aufeinanderfolgend von dem Vogelperspektivenumwandlungsabschnitt erzeugt wurden, extrahiert und das Historienbild in einem Historienspeicher (43) speichert; einen Historienverschiebungsabschnitt (56), der das Historienbild, das in dem Historienspeicher gespeichert ist, in Abhängigkeit von einer Fahrt des Fahrzeugs bewegt; einen Bildkombinationsabschnitt (57), der einen derzeitigen Bildabschnitt (34, 35), der durch Extrahieren eines derzeitigen Bildbereiches aus dem letzten Vogelperspektivenbild, das durch den Vogelperspektivenumwandlungsabschnitt umgewandelt wurde, mit einem Historienbildabschnitt (33), der durch Extrahieren eines Historienbereiches (81) erlangt wird, der auf der Fahrzeugseite in Bezug auf den derzeitigen Bildbereich vorhanden ist, kombiniert, um ein zusammengesetztes Vogelperspektivenbild (31) um das Fahrzeug zu erzeugen, das das Vogelperspektivenbild ist, das einen Bereich enthält, dessen Bild nicht in dem letzten Vogelperspektivenbild enthalten ist; und einen Bildausgabeabschnitt (58), der das zusammengesetzte Vogelperspektivenbild, das von dem Bildkombinationsabschnitt erzeugt wird, an eine Anzeige (30) ausgibt. Das Historienbild, das durch den Speicherprozessabschnitt extrahiert wird, ist gleich oder größer als ein minimales Rechteck, wobei ein Bereich des Historienbildes auf der Grundlage des minimalen Rechtecks bestimmt wird. Zwei Seiten des minimalen Rechtecks sind parallel zu einer Fahrzeugbreitenrichtung des Fahrzeugs. Die Seite (63a) auf der Fahrzeugseite der beiden Seiten des minimalen Rechtecks parallel zu der Fahrzeugbreitenrichtung weisen ein Ende, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches, der sich aufgrund einer Drehung im Uhrzeigersinn des Fahrzeugs mit einem minimalen Drehradius bewegt, vorhanden ist, und ein anderes Ende auf, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches, der sich aufgrund einer Drehung entgegen dem Uhrzeigersinn des Fahrzeugs mit dem minimalen Drehradius bewegt, vorhanden ist. Eine Länge des minimalen Rechtecks in einer Fahrzeug-vorne-hinten-Richtung ist eine Bewegungsstrecke des Historienbereiches, die durch eine Fahrt des Fahrzeugs von einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, das letzte Mal aufgenommen wurde, und einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, dieses Mal aufgenommen wird bzw. wurde.The vehicle surrounding image display control device of the embodiment includes: an acquiring section (S1) that acquires sequentially picked up images of areas around a vehicle (2) from a camera (10, 20) installed in the vehicle; a bird's-eye view converting section (51) that successively performs bird's-eye view conversion of the captured images acquired by the acquiring section to generate bird's-eye view images; a storage process section (52) which successively extracts a history image present in an area not having an image of the vehicle from the bird's-eye view images successively generated by the bird's-eye view converting section and stores the history image in a history memory (43); a history moving section (56) which moves the history image stored in the history memory depending on a running of the vehicle; an image combining section (57) including a current image section (34, 35) obtained by extracting a current image area from the last bird's-eye view image represented by the bird's-eye view conversion section, combined with a history image section (33) obtained by extracting a history area (81) present on the vehicle side with respect to the current image area, to generate a composite bird's-eye view image (31) around the vehicle, that is the bird's-eye view image that includes an area whose image is not included in the last bird's-eye view image; and an image output section (58) which outputs the composite bird's-eye view image generated by the image combining section to a display (30). The history image extracted by the storage process section is equal to or larger than a minimum rectangle, and a range of the history image is determined based on the minimum rectangle. Two sides of the minimum rectangle are parallel to a vehicle width direction of the vehicle. The side (63a) on the vehicle side of the two sides of the minimum rectangle parallel to the vehicle width direction has an end present on an inner peripheral circle of a movement track of the history area that moves with a minimum turning radius due to clockwise rotation of the vehicle, and another end present on an inner peripheral circle of a moving track of the history area moving due to counterclockwise rotation of the vehicle with the minimum turning radius. A length of the minimum rectangle in a vehicle front-rear direction is a moving distance of the history area covered by running of the vehicle from a point in time when the captured image corresponding to the bird's-eye view image from which the history image is extracted is the last time was captured and a time when the captured image corresponding to the bird's-eye view image from which the history image is extracted is captured this time.

Das Fahrzeugumgebungsbildanzeigesteuerungsprogramm der Ausführungsform ist auf einem computerlesbaren Aufzeichnungsmedium gespeichert und ermöglicht es einem Computer, als Folgendes zu dienen: ein Erlangungsabschnitt (S1), der aufeinanderfolgend aufgenommene Bilder von Bereichen um ein Fahrzeug (2) von einer Kamera (10, 20), die in dem Fahrzeug installiert ist, erlangt; ein Vogelperspektivenumwandlungsabschnitt (51), der aufeinanderfolgend eine Vogelperspektivenumwandlung der aufgenommenen Bilder, die durch den Erlangungsabschnitt erlangt wurden, durchführt, um Vogelperspektivenbilder zu erzeugen; ein Speicherprozessabschnitt (52), der aufeinanderfolgend ein Historienbild, das in einem Bereich vorhanden ist, der ein Bild des Fahrzeugs nicht aufweist, aus den Vogelperspektivenbildern, die aufeinanderfolgend von dem Vogelperspektivenumwandlungsabschnitt erzeugt wurden, extrahiert und das Historienbild in einem Historienspeicher (43) speichert; ein Historienverschiebungsabschnitt (56), der das Historienbild, das in dem Historienspeicher gespeichert ist, in Abhängigkeit von einer Fahrt des Fahrzeugs bewegt; ein Bildkombinationsabschnitt (57), der einen derzeitigen Bildabschnitt (34, 35), der durch Extrahieren eines derzeitigen Bildbereiches aus dem letzten Vogelperspektivenbild, das durch den Vogelperspektivenumwandlungsabschnitt umgewandelt wurde, mit einem Historienbildabschnitt (33), der durch Extrahieren eines Historienbereiches (81) erlangt wird, der auf der Fahrzeugseite in Bezug auf den derzeitigen Bildbereich vorhanden ist, kombiniert, um ein zusammengesetztes Vogelperspektivenbild (31) um das Fahrzeug zu erzeugen, das das Vogelperspektivenbild ist, das einen Bereich enthält, dessen Bild nicht in dem letzten Vogelperspektivenbild enthalten ist; und ein Bildausgabeabschnitt (58), der das zusammengesetzte Vogelperspektivenbild, das von dem Bildkombinationsabschnitt erzeugt wird, an eine Anzeige (30) ausgibt. Das Historienbild, das durch den Speicherprozessabschnitt extrahiert wird, ist gleich oder größer als ein minimales Rechteck, wobei ein Bereich des Historienbildes auf der Grundlage des minimalen Rechtecks bestimmt wird. Zwei Seiten des minimalen Rechtecks sind parallel zu einer Fahrzeugbreitenrichtung des Fahrzeugs. Die Seite (63a) auf der Fahrzeugseite der beiden Seiten des minimalen Rechtecks parallel zu der Fahrzeugbreitenrichtung weisen ein Ende, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches, der sich aufgrund einer Drehung im Uhrzeigersinn des Fahrzeugs mit einem minimalen Drehradius bewegt, vorhanden ist, und ein anderes Ende auf, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches, der sich aufgrund einer Drehung entgegen dem Uhrzeigersinn des Fahrzeugs mit dem minimalen Drehradius bewegt, vorhanden ist. Eine Länge des minimalen Rechtecks in einer Fahrzeug-vorne-hinten-Richtung ist eine Bewegungsstrecke des Historienbereiches, die durch eine Fahrt des Fahrzeugs von einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, das letzte Mal aufgenommen wurde, und einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, dieses Mal aufgenommen wird bzw. wurde.The vehicle surroundings image display control program of the embodiment is stored in a computer-readable recording medium and enables a computer to serve as: an acquisition section (S1) which sequentially acquires images of areas around a vehicle (2) from a camera (10, 20) installed in installed on the vehicle; a bird's-eye view converting section (51) that successively performs bird's-eye view conversion of the captured images acquired by the acquiring section to generate bird's-eye view images; a storage process section (52) which successively extracts a history image present in an area not having an image of the vehicle from the bird's-eye view images successively generated by the bird's-eye view converting section and stores the history image in a history memory (43); a history moving section (56) which moves the history image stored in the history memory depending on a running of the vehicle; an image combining section (57) combining a current image section (34, 35) obtained by extracting a current image area from the last bird's-eye view image converted by the bird's-eye view conversion section with a history image section (33) obtained by extracting a history area (81). present on the vehicle side with respect to the current image area is combined to generate a composite bird's-eye view image (31) around the vehicle, which is the bird's-eye view image including an area whose image is not included in the last bird's-eye view image; and an image output section (58) which outputs the composite bird's-eye view image generated by the image combining section to a display (30). The history image extracted by the storage process section is equal to or larger than a minimum rectangle, and a range of the history image is determined based on the minimum rectangle. Two sides of the minimum rectangle are parallel to a vehicle width direction of the vehicle. The side (63a) on the vehicle side of the two sides of the minimum rectangle parallel to the vehicle width direction has an end present on an inner peripheral circle of a movement track of the history area that moves with a minimum turning radius due to clockwise rotation of the vehicle, and another end present on an inner peripheral circle of a moving track of the history area moving due to counterclockwise rotation of the vehicle with the minimum turning radius. A length of the minimum rectangle in a vehicle front-rear direction is a moving distance of the history area covered by running of the vehicle from a point in time when the captured image corresponding to the bird's-eye view image from which the history image is extracted is the last times and a time when the captured image corresponding to the bird's-eye view image from which the history image is extracted is captured this time.

Gemäß den obigen Ausführungsformen ist das Historienbild, das durch den Speicherprozessabschnitt extrahiert wird, ein Bild, das durch Extrahieren eines Bereiches, der kein Bild des Fahrzeugs aufweist, aus einem Vogelperspektivenbild erhalten wird. Somit ist sogar dann, wenn der Historienverschiebungsabschnitt das Historienbild in Abhängigkeit von der Fahrt des Fahrzeugs verschiebt, ein Stoßfänger oder eine Anhängerkupplung nicht an einer Stelle vorhanden, die von dem Fahrzeug getrennt ist.According to the above embodiments, the history image extracted by the storage process section is an image obtained by extracting an area that does not have an image of the vehicle from a bird's-eye view image. Thus, even if the history moving section is dependent on the history image ability to move the vehicle, a bumper or trailer hitch is not present at a location separate from the vehicle.

Außerdem wird das Historienbild, das durch den Speicherprozessabschnitt extrahiert wird, auf der Grundlage des minimalen Rechtecks bestimmt. Die Seite des minimalen Rechtecks auf der Fahrzeugseite der beiden Seiten parallel zu der Fahrzeugbreitenrichtung weist ein Ende, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches, der sich aufgrund einer Drehung des Fahrzeugs im Uhrzeigersinn mit einem minimalen Drehradius bewegt, vorhanden ist, und ein anderes Ende auf, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches vorhanden ist, der sich aufgrund einer Drehung entgegen dem Uhrzeigersinn des Fahrzeugs mit dem minimalen Drehradius bewegt.Also, the history image extracted by the storage process section is determined based on the minimum rectangle. The side of the minimum rectangle on the vehicle side of the two sides parallel to the vehicle width direction has one end present on an inner circumference circle of a moving track of the history area moving clockwise with a minimum turning radius due to a vehicle turning clockwise, and another end present on an inner peripheral circle of a moving track of the history area moving due to counterclockwise rotation of the vehicle with the minimum turning radius.

Somit wird durch Extrahieren des Bereiches, der gleich oder größer als das minimale Rechteck ist, als ein Historienbild aus einem Vogelperspektivenbild sogar dann, wenn das Fahrzeug am weitesten in der Richtung nach rechts und links fährt und der Historienbild sich aufgrund der Fahrt bewegt, verhindert, dass ein Abschnitt, der keine Historienbilder aufweist, des Historienbildes, das in dem Historienspeicher gespeichert ist, in der Fahrzeugbreitenrichtung in dem Historienbereich erzeugt wird.Thus, by extracting the area equal to or larger than the minimum rectangle as a history image from a bird's-eye view image, even when the vehicle travels furthest in the right and left direction and the history image moves due to the travel, it is prevented that a portion having no history images of the history image stored in the history memory is generated in the vehicle width direction in the history area.

Außerdem ist eine Länge des minimalen Rechtecks in einer Fahrzeug-vorne-hinten-Richtung eine Bewegungsstrecke des Historienbereiches, die durch eine Fahrt des Fahrzeugs von einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, das letzte Mal aufgenommen wurde, und bis zu einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, dieses Mal aufgenommen wird bzw. wurde, erzeugt wird.In addition, a length of the minimum rectangle in a vehicle front-rear direction is a moving distance of the history area covered by running of the vehicle from a time when the captured image corresponding to the bird's-eye view image from which the history image is extracted was captured last time and until a point in time when the captured image corresponding to the bird's-eye view image from which the history image is extracted is captured this time.

Wenn der Bereich, der gleich oder größer als das minimale Rechteck ist, als ein Historienbild aus einem Vogelperspektivenbild extrahiert wird, wird somit sogar dann, wenn das Fahrzeug in der Vorne-hinten-Richtung fährt, verhindert, dass ein Abschnitt, der keine Historienbilder aufweist, des Historienbildes, das in dem Historienspeicher gespeichert ist, in der Fahrzeug-vorne-hinten-Richtung in dem Historienbereich erzeugt wird. Dementsprechend wird verhindert, dass ein Abschnitt, der keine Historienbilder aufweist, des Historienbildes, das in dem Historienspeicher gespeichert ist, in dem Historienbereich erzeugt wird.Thus, when the area that is equal to or larger than the minimum rectangle is extracted as a history image from a bird's-eye view image, even when the vehicle runs in the front-rear direction, a portion that has no history images is prevented , of the history image stored in the history memory is generated in the vehicle front-rear direction in the history area. Accordingly, a portion having no history images of the history image stored in the history memory is prevented from being generated in the history area.

Da das Historienbild, das durch den Speicherprozessabschnitt extrahiert wird, ein Bild ist, dessen Bereich auf der Grundlage des minimalen Rechtecks bestimmt wird, ist das Historienbild kleiner als ein Vogelperspektivenbild, das mittels einer Vogelperspektivenumwandlung des gesamten Bereiches des aufgenommenen Bildes erhalten wird. Somit kann die benötigte Speichergröße des Historienspeichers klein sein und es kann eine Verarbeitungszeit zum Speichern des Historienbildes verkürzt werden.Since the history image extracted by the storage process section is an image whose area is determined based on the minimum rectangle, the history image is smaller than a bird's-eye view image obtained by bird's-eye view conversion of the entire area of the captured image. Thus, the required memory size of the history memory can be small, and a processing time for storing the history image can be shortened.

BezugszeichenlisteReference List

11
FahrzeugumgebungsbildanzeigesystemVehicle Surrounding Image Display System
22
Fahrzeugvehicle
33
Erkennungsprozessabschnittrecognition process section
1010
vordere Kamerafront camera
2020
hintere Kamerarear camera
3030
Anzeigeadvertisement
3131
zusammengesetztes Vogelperspektivenbildcomposite bird's eye view image
3232
Fahrzeugfigurvehicle figure
3333
Historienbildabschnitthistory image section
3434
vorderer derzeitiger Bildabschnittfront current image section
3535
hinterer derzeitiger Bildabschnittrear current image section
4141
Bildspeicherimage storage
4242
Erkennungsspeicherdetection memory
4343
Historienspeicherhistory memory
5050
Steuerungsteering
5151
VogelperspektivenumwandlungsabschnittBird's eye view conversion section
5252
Speicherprozessabschnittstorage process section
5353
Fahrstreckenschätzabschnittdriving distance estimation section
5454
Lenkwinkelschätzabschnittsteering angle estimation section
5555
Fahrzeugfahrgrößenberechnungsabschnittvehicle ride quantity calculation section
5656
Historienverschiebungsabschnitthistory shift section
5757
Bildkombinationsabschnittimage combination section
5858
Bildausgabeabschnittimage output section
6161
Parkrahmenlinieparking frame line
6262
Erkennungsbildextraktionsbereichdetection image extraction area
6363
Extraktionsbereichextraction area
63a63a
fahrzeugseitige Seitevehicle side
63b63b
Seite der Fahrzeug-vorne-hinten-RichtungSide of vehicle front-rear direction
6464
Fahrzeugbereichvehicle area
7070
hinteres aufgenommenes Bildrear captured image
7272
hinteres derzeitiges Bildrear current image
8080
Drehachslinierotary axis line
8181
Historienbereichhistory area
8282
rechter innerer Umfangskreisright inner perimeter
8383
linker innerer Umfangskreisleft inner perimeter

Claims (4)

Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung, die aufweist: einen Erlangungsabschnitt (S1), der aufeinanderfolgend aufgenommene Bilder von Bereichen um ein Fahrzeug (2) von einer Kamera (10, 20), die in dem Fahrzeug (2) installiert ist, erlangt; einen Vogelperspektivenumwandlungsabschnitt (51), der aufeinanderfolgend eine Vogelperspektivenumwandlung der aufgenommenen Bilder, die durch den Erlangungsabschnitt (S1) erlangt werden, durchführt, um Vogelperspektivenbilder zu erzeugen; einen Speicherprozessabschnitt (52), der aufeinanderfolgend ein Historienbild, das in einem Bereich vorhanden ist, der ein Bild des Fahrzeugs (2) nicht aufweist, aus den Vogelperspektivenbildern, die aufeinanderfolgend durch den Vogelperspektivenumwandlungsabschnitt (51) erzeugt werden, extrahiert und das Historienbild in einem Historienspeicher (43) speichert; einen Historienverschiebungsabschnitt (56), der das Historienbild, das in dem Historienspeicher (43) gespeichert ist, in Abhängigkeit von einer Fahrt des Fahrzeugs (2) bewegt; einen Bildkombinationsabschnitt (57), der einen derzeitigen Bildabschnitt (34, 35), der durch Extrahieren eines derzeitigen Bildbereiches aus dem letzten Vogelperspektivenbild, das durch den Vogelperspektivenumwandlungsabschnitt (51) umgewandelt wurde, erhalten wird, mit einem Historienbildabschnitt (33), der durch Extrahieren eines Historienbereiches (81), der auf der Fahrzeugseite in Bezug auf den derzeitigen Bildbereich vorhanden ist, erhalten wird, kombiniert, um ein zusammengesetztes Vogelperspektivenbild (31) um das Fahrzeug (2) zu erzeugen, das das Vogelperspektivenbild ist, das einen Bereich enthält, dessen Bild nicht in dem letzten Vogelperspektivenbild enthalten ist; und einen Bildausgabeabschnitt (58), der das zusammengesetzte Vogelperspektivenbild (31), das durch den Bildkombinationsabschnitt (57) erzeugt wird, an eine Anzeige (30) ausgibt, dadurch gekennzeichnet, dass das Historienbild, das durch den Speicherprozessabschnitt (52) extrahiert wird, gleich oder größer als ein minimales Rechteck ist, wobei ein Bereich des Historienbildes auf der Grundlage des minimalen Rechtecks bestimmt wird, zwei Seiten des minimalen Rechtecks parallel zu einer Fahrzeugbreitenrichtung des Fahrzeugs (2) sind, die Seite (63a) des minimalen Rechtecks auf der Fahrzeugseite der beiden Seiten parallel zu der Fahrzeugbreitenrichtung ein Ende, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches (81), der sich aufgrund einer Drehung des Fahrzeugs (2) im Uhrzeigersinn mit einem minimalen Drehradius bewegt, vorhanden ist, und ein anderes Ende aufweist, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches (81) vorhanden ist, der sich aufgrund einer Drehung des Fahrzeugs (2) entgegen dem Uhrzeigersinn mit dem minimalen Drehradius bewegt, und eine Länge des minimalen Rechtecks in einer Fahrzeug-vorne-hinten-Richtung eine Bewegungsstrecke des Historienbereiches (81) ist, die durch eine Fahrt des Fahrzeugs (2) von einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, das letzte Mal aufgenommen wurde, und bis zu einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, dieses Mal aufgenommen wurde, erzeugt wird.A vehicle surrounding image display control device comprising: an acquiring section (S1) that acquires sequentially picked up images of areas around a vehicle (2) from a camera (10, 20) installed in the vehicle (2); a bird's-eye view converting section (51) that sequentially performs bird's-eye view conversion of the captured images acquired by the acquiring section (S1) to generate bird's-eye view images; a storage process section (52) which sequentially extracts a history image present in an area not having an image of the vehicle (2) from the bird's-eye view images sequentially generated by the bird's-eye view converting section (51) and the history image in one history memory (43) stores; a history moving section (56) which moves the history image stored in the history memory (43) in accordance with running of the vehicle (2); an image combining section (57) combining a current image section (34, 35) obtained by extracting a current image area from the last bird's-eye view image converted by the bird's-eye view converting section (51) with a history image section (33) obtained by extracting a history area (81) present on the vehicle side with respect to the current image area is combined to generate a composite bird's-eye view image (31) around the vehicle (2), which is the bird's-eye view image containing an area, whose image is not included in the last bird's-eye view image; and an image output section (58) which outputs the composite bird's-eye view image (31) generated by the image combining section (57) to a display (30), characterized in that the history image extracted by the storing process section (52) is equal to or larger than a minimum rectangle, an area of the history image is determined based on the minimum rectangle, two sides of the minimum rectangle are parallel to a vehicle width direction of the vehicle (2), the side (63a) of the minimum rectangle on the vehicle side of the two sides parallel to the vehicle width direction has one end present on an inner peripheral circle of a moving track of the history area (81) moving clockwise with a minimum turning radius due to rotation of the vehicle (2) and another end, which is present on an inner peripheral circle of a movement track of the history area (81), which moves counterclockwise with the minimum turning radius due to rotation of the vehicle (2), and a length of the minimum rectangle in a vehicle front-rear direction is a moving distance of the history area (81) obtained by running of the vehicle ( 2) from a point in time when the captured image corresponding to the bird's-eye view image from which the history image is extracted was last captured and to a point in time when the captured image corresponding to the bird's-eye view image from which the history image is extracted, this time captured is generated. Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass der Speicherprozessabschnitt (52) ein Erkennungsbild, das das Historienbild enthält, aus dem Vogelperspektivenbild extrahiert und das Erkennungsbild in einem Erkennungsspeicher (42) speichert, der das Vogelperspektivenbild speichert, um einen Bilderkennungsprozess durchzuführen, und das Historienbild aus dem Erkennungsspeicher (42) extrahiert und das Historienbild in dem Historienspeicher (43) speichert.Vehicle surrounding image display control device according to claim 1 , characterized in that the storage process section (52) extracts a recognition image including the history image from the bird's-eye view image and stores the recognition image in a recognition memory (42) which stores the bird's-eye view image to perform an image recognition process and the history image from the recognition memory ( 42) and stores the history image in the history memory (43). Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass der Vogelperspektivenumwandlungsabschnitt (51) eine Vogelperspektivenumwandlung eines Bereiches des aufgenommenen Bildes durchführt, wobei der Bereich auf der Grundlage des Historienbildes bestimmt wird.Vehicle surrounding image display control device according to claim 2 , characterized in that the bird's-eye view conversion section (51) performs bird's-eye view conversion of an area of the captured image, the area being determined based on the history image. Fahrzeugumgebungsbildanzeigesteuerungsprogramm, das in einem computerlesbaren Aufzeichnungsmedium gespeichert ist und das es einem Computer ermöglicht, als die folgenden zu dienen: ein Erlangungsabschnitt (S1), der aufeinanderfolgend aufgenommene Bilder von Bereichen um ein Fahrzeug (2) von einer Kamera (10, 20), die in dem Fahrzeug (2) installiert ist, erlangt; ein Vogelperspektivenumwandlungsabschnitt (51), der aufeinanderfolgend eine Vogelperspektivenumwandlung der aufgenommenen Bilder, die durch den Erlangungsabschnitt (S1) erlangt werden, durchführt, um Vogelperspektivenbilder zu erzeugen; ein Speicherprozessabschnitt (52), der aufeinanderfolgend ein Historienbild, das in einem Bereich vorhanden ist, der ein Bild des Fahrzeugs (2) nicht aufweist, aus den Vogelperspektivenbildern, die aufeinanderfolgend durch den Vogelperspektivenumwandlungsabschnitt (51) erzeugt werden, extrahiert und das Historienbild in einem Historienspeicher (43) speichert; ein Historienverschiebungsabschnitt (56), der das Historienbild, das in dem Historienspeicher (43) gespeichert ist, in Abhängigkeit von einer Fahrt des Fahrzeugs (2) bewegt; ein Bildkombinationsabschnitt (57), der einen derzeitigen Bildabschnitt (34, 35), der durch Extrahieren eines derzeitigen Bildbereiches aus dem letzten Vogelperspektivenbild, das durch den Vogelperspektivenumwandlungsabschnitt (51) umgewandelt wurde, erhalten wird, mit einem Historienbildabschnitt (33), der durch Extrahieren eines Historienbereiches (81), der auf der Fahrzeugseite in Bezug auf den derzeitigen Bildbereich vorhanden ist, erhalten wird, kombiniert, um ein zusammengesetztes Vogelperspektivenbild (31) um das Fahrzeug (2) zu erzeugen, das das Vogelperspektivenbild ist, das einen Bereich enthält, dessen Bild nicht in dem letzten Vogelperspektivenbild enthalten ist; und ein Bildausgabeabschnitt (58), der das zusammengesetzte Vogelperspektivenbild (31), das durch den Bildkombinationsabschnitt (57) erzeugt wird, an eine Anzeige (30) ausgibt, dadurch gekennzeichnet, dass das Historienbild, das durch den Speicherprozessabschnitt (52) extrahiert wird, gleich oder größer als ein minimales Rechteck ist, wobei ein Bereich des Historienbildes auf der Grundlage des minimalen Rechtecks bestimmt wird, zwei Seiten des minimalen Rechtecks parallel zu einer Fahrzeugbreitenrichtung des Fahrzeugs (2) sind, die Seite (63a) des minimalen Rechtecks auf der Fahrzeugseite der beiden Seiten parallel zu der Fahrzeugbreitenrichtung ein Ende, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches (81), der sich aufgrund einer Drehung des Fahrzeugs (2) im Uhrzeigersinn mit einem minimalen Drehradius bewegt, vorhanden ist, und ein anderes Ende aufweist, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches (81) vorhanden ist, der sich aufgrund einer Drehung des Fahrzeugs (2) entgegen dem Uhrzeigersinn mit dem minimalen Drehradius bewegt, und eine Länge des minimalen Rechtecks in einer Fahrzeug-vorne-hinten-Richtung eine Bewegungsstrecke des Historienbereiches (81) ist, die durch eine Fahrt des Fahrzeugs (2) von einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, das letzte Mal aufgenommen wurde, und bis zu einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, dieses Mal aufgenommen wurde, erzeugt wird.Vehicle surroundings image display control program that is stored in a computer-readable recording medium and that enables a computer to serve as the following: an acquisition section (S1) that successively picked up images of areas around a vehicle (2) by a camera (10, 20) that installed in the vehicle (2); a bird's-eye view conversion section (51), sequentially performing bird's-eye view conversion of the captured images acquired by the acquiring section (S1) to generate bird's-eye view images; a storage process section (52) which successively extracts a history image present in an area not having an image of the vehicle (2) from the bird's-eye view images successively generated by the bird's-eye view converting section (51) and the history image in one history memory (43) stores; a history moving section (56) which moves the history image stored in the history memory (43) in accordance with running of the vehicle (2); an image combining section (57) combining a current image section (34, 35) obtained by extracting a current image area from the last bird's-eye view image converted by the bird's-eye view conversion section (51) with a history image section (33) obtained by extracting a history area (81) present on the vehicle side with respect to the current image area is combined to generate a composite bird's-eye view image (31) around the vehicle (2), which is the bird's-eye view image containing an area, whose image is not included in the last bird's-eye view image; and an image output section (58) which outputs the composite bird's-eye view image (31) generated by the image combining section (57) to a display (30), characterized in that the history image extracted by the storing process section (52) is equal to or larger than a minimum rectangle, an area of the history image is determined based on the minimum rectangle, two sides of the minimum rectangle are parallel to a vehicle width direction of the vehicle (2), the side (63a) of the minimum rectangle on the vehicle side of the two sides parallel to the vehicle width direction has one end present on an inner peripheral circle of a moving track of the history area (81) moving clockwise with a minimum turning radius due to rotation of the vehicle (2) and another end, which is present on an inner peripheral circle of a movement track of the history area (81), d it moves counterclockwise with the minimum turning radius due to rotation of the vehicle (2), and a length of the minimum rectangle in a vehicle front-rear direction is a moving distance of the history area (81) obtained by running of the vehicle ( 2) from a point in time when the captured image corresponding to the bird's-eye view image from which the history image is extracted was last captured and to a point in time when the captured image corresponding to the bird's-eye view image from which the history image is extracted, this time captured is generated.
DE112016001238.1T 2015-03-17 2016-02-29 AROUND VEHICLE IMAGE DISPLAY CONTROL DEVICE AND AROUND VEHICLE IMAGE DISPLAY CONTROL PROGRAM Active DE112016001238B4 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015053850A JP6464846B2 (en) 2015-03-17 2015-03-17 Vehicle surrounding image display control device and vehicle surrounding image display control program
JP2015-053850 2015-03-17
PCT/JP2016/056016 WO2016147846A1 (en) 2015-03-17 2016-02-29 Vehicle peripheral image display control device and vehicle peripheral image display control program

Publications (2)

Publication Number Publication Date
DE112016001238T5 DE112016001238T5 (en) 2017-12-14
DE112016001238B4 true DE112016001238B4 (en) 2022-06-09

Family

ID=56918912

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112016001238.1T Active DE112016001238B4 (en) 2015-03-17 2016-02-29 AROUND VEHICLE IMAGE DISPLAY CONTROL DEVICE AND AROUND VEHICLE IMAGE DISPLAY CONTROL PROGRAM

Country Status (3)

Country Link
JP (1) JP6464846B2 (en)
DE (1) DE112016001238B4 (en)
WO (1) WO2016147846A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024062976A1 (en) * 2022-09-22 2024-03-28 ソニーセミコンダクタソリューションズ株式会社 Information processing device and information processing method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373327A (en) 2001-06-13 2002-12-26 Denso Corp Apparatus for processing image around vehicle and recording medium
JP2003191810A (en) 2001-12-26 2003-07-09 Denso Corp Vehicle surroundings monitoring system, and vehicle moving state detector
JP2007102798A (en) 2006-10-11 2007-04-19 Denso Corp Vehicle circumference monitoring system
JP2011148369A (en) 2010-01-20 2011-08-04 Denso Corp Driving support device
JP2013246493A (en) 2012-05-23 2013-12-09 Denso Corp Vehicle circumference image display controller and vehicle circumference image display control program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3847547B2 (en) * 2000-10-17 2006-11-22 三菱電機株式会社 Vehicle periphery monitoring support device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373327A (en) 2001-06-13 2002-12-26 Denso Corp Apparatus for processing image around vehicle and recording medium
JP2003191810A (en) 2001-12-26 2003-07-09 Denso Corp Vehicle surroundings monitoring system, and vehicle moving state detector
JP2007102798A (en) 2006-10-11 2007-04-19 Denso Corp Vehicle circumference monitoring system
JP2011148369A (en) 2010-01-20 2011-08-04 Denso Corp Driving support device
JP2013246493A (en) 2012-05-23 2013-12-09 Denso Corp Vehicle circumference image display controller and vehicle circumference image display control program

Also Published As

Publication number Publication date
WO2016147846A1 (en) 2016-09-22
DE112016001238T5 (en) 2017-12-14
JP2016174300A (en) 2016-09-29
JP6464846B2 (en) 2019-02-06

Similar Documents

Publication Publication Date Title
DE102015105248B4 (en) Method and system for generating an image of the surroundings of an articulated vehicle
DE102012023706A1 (en) Vehicle-side method and vehicle-side device for detecting and displaying parking spaces for a vehicle
DE102010000385A1 (en) Vehicle periphery display device
DE102012200731A1 (en) Method and device for visualizing the environment of a vehicle
DE112018000107T5 (en) Vehicle camera calibration apparatus and method
DE102010051206A1 (en) A method of generating an image of a vehicle environment and imaging device
EP3281178A1 (en) Method for displaying an area surrounding a vehicle
DE112017001410T5 (en) INFORMATION PROCESSING DEVICE
DE112016000689T5 (en) Kameraparametereinstellvorrichtung
DE102018108751B4 (en) Method, system and device for obtaining 3D information from objects
DE102017106152A1 (en) Determine an angle of a trailer with optimized template
WO2020043475A1 (en) Method and arrangement for producing a surroundings map of a vehicle, textured with image information, and vehicle comprising such an arrangement
DE112015001088T5 (en) Vehicle environment image display device and vehicle environment image display method
DE102015211871A1 (en) Object detection device
EP2996327A2 (en) Surround view system for vehicles with attachments
DE112016001238B4 (en) AROUND VEHICLE IMAGE DISPLAY CONTROL DEVICE AND AROUND VEHICLE IMAGE DISPLAY CONTROL PROGRAM
DE102014007565A1 (en) Method for determining a respective boundary of at least one object, sensor device, driver assistance device and motor vehicle
DE102010034127A1 (en) Method for displaying images on a display device in a motor vehicle, driver assistance system and motor vehicle
DE102011083745B4 (en) A method for monocular motion stereo-based automatic automatic parking free parking, computer program product and device
DE112017005211T5 (en) Display control device
EP3041710B1 (en) Method to manoeurver a vehicle
DE102020207199A1 (en) Device and method for providing a top view image of a parking lot
DE102014225883A1 (en) A camera system and method for visualizing at least one vehicle surrounding area of a vehicle environment of a vehicle
DE102018207976A1 (en) Method and device for displaying a vehicle environment
DE102018214875A1 (en) Method and arrangement for generating an environmental representation of a vehicle and vehicle with such an arrangement

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final