DE112016001238B4 - AROUND VEHICLE IMAGE DISPLAY CONTROL DEVICE AND AROUND VEHICLE IMAGE DISPLAY CONTROL PROGRAM - Google Patents
AROUND VEHICLE IMAGE DISPLAY CONTROL DEVICE AND AROUND VEHICLE IMAGE DISPLAY CONTROL PROGRAM Download PDFInfo
- Publication number
- DE112016001238B4 DE112016001238B4 DE112016001238.1T DE112016001238T DE112016001238B4 DE 112016001238 B4 DE112016001238 B4 DE 112016001238B4 DE 112016001238 T DE112016001238 T DE 112016001238T DE 112016001238 B4 DE112016001238 B4 DE 112016001238B4
- Authority
- DE
- Germany
- Prior art keywords
- image
- history
- vehicle
- bird
- eye view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 167
- 240000004050 Pentaglottis sempervirens Species 0.000 claims abstract description 165
- 230000015654 memory Effects 0.000 claims abstract description 124
- 238000000034 method Methods 0.000 claims abstract description 62
- 239000002131 composite material Substances 0.000 claims abstract description 42
- 238000006243 chemical reaction Methods 0.000 claims abstract description 38
- 230000002093 peripheral effect Effects 0.000 claims abstract description 20
- 239000000284 extract Substances 0.000 claims description 14
- 238000000605 extraction Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung, die aufweist:einen Erlangungsabschnitt (S1), der aufeinanderfolgend aufgenommene Bilder von Bereichen um ein Fahrzeug (2) von einer Kamera (10, 20), die in dem Fahrzeug (2) installiert ist, erlangt;einen Vogelperspektivenumwandlungsabschnitt (51), der aufeinanderfolgend eine Vogelperspektivenumwandlung der aufgenommenen Bilder, die durch den Erlangungsabschnitt (S1) erlangt werden, durchführt, um Vogelperspektivenbilder zu erzeugen;einen Speicherprozessabschnitt (52), der aufeinanderfolgend ein Historienbild, das in einem Bereich vorhanden ist, der ein Bild des Fahrzeugs (2) nicht aufweist, aus den Vogelperspektivenbildern, die aufeinanderfolgend durch den Vogelperspektivenumwandlungsabschnitt (51) erzeugt werden, extrahiert und das Historienbild in einem Historienspeicher (43) speichert;einen Historienverschiebungsabschnitt (56), der das Historienbild, das in dem Historienspeicher (43) gespeichert ist, in Abhängigkeit von einer Fahrt des Fahrzeugs (2) bewegt;einen Bildkombinationsabschnitt (57), der einen derzeitigen Bildabschnitt (34, 35), der durch Extrahieren eines derzeitigen Bildbereiches aus dem letzten Vogelperspektivenbild, das durch den Vogelperspektivenumwandlungsabschnitt (51) umgewandelt wurde, erhalten wird, mit einem Historienbildabschnitt (33), der durch Extrahieren eines Historienbereiches (81), der auf der Fahrzeugseite in Bezug auf den derzeitigen Bildbereich vorhanden ist, erhalten wird, kombiniert, um ein zusammengesetztes Vogelperspektivenbild (31) um das Fahrzeug (2) zu erzeugen, das das Vogelperspektivenbild ist, das einen Bereich enthält, dessen Bild nicht in dem letzten Vogelperspektivenbild enthalten ist; undeinen Bildausgabeabschnitt (58), der das zusammengesetzte Vogelperspektivenbild (31), das durch den Bildkombinationsabschnitt (57) erzeugt wird, an eine Anzeige (30) ausgibt, dadurch gekennzeichnet, dassdas Historienbild, das durch den Speicherprozessabschnitt (52) extrahiert wird, gleich oder größer als ein minimales Rechteck ist, wobei ein Bereich des Historienbildes auf der Grundlage des minimalen Rechtecks bestimmt wird,zwei Seiten des minimalen Rechtecks parallel zu einer Fahrzeugbreitenrichtung des Fahrzeugs (2) sind,die Seite (63a) des minimalen Rechtecks auf der Fahrzeugseite der beiden Seiten parallel zu der Fahrzeugbreitenrichtung ein Ende, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches (81), der sich aufgrund einer Drehung des Fahrzeugs (2) im Uhrzeigersinn mit einem minimalen Drehradius bewegt, vorhanden ist, und ein anderes Ende aufweist, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches (81) vorhanden ist, der sich aufgrund einer Drehung des Fahrzeugs (2) entgegen dem Uhrzeigersinn mit dem minimalen Drehradius bewegt, undeine Länge des minimalen Rechtecks in einer Fahrzeug-vorne-hinten-Richtung eine Bewegungsstrecke des Historienbereiches (81) ist, die durch eine Fahrt des Fahrzeugs (2) von einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, das letzte Mal aufgenommen wurde, und bis zu einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, dieses Mal aufgenommen wurde, erzeugt wird.A vehicle peripheral image display control apparatus comprising: an acquisition section (S1) that acquires sequentially picked up images of areas around a vehicle (2) from a camera (10, 20) installed in the vehicle (2); a bird's-eye view conversion section (51), which sequentially performs bird's-eye view conversion of the captured images acquired by the acquiring section (S1) to generate bird's-eye view images;a storage process section (52) which sequentially stores a history image present in an area containing an image of the vehicle (2nd ) is extracted from the bird's-eye view images successively generated by the bird's-eye view converting section (51) and stores the history image in a history memory (43);a history moving section (56) which converts the history image stored in the history memory (43). , depending on a trip of the vehicle (2);an image combining section (57) combining a current image section (34, 35) obtained by extracting a current image area from the last bird's-eye view image converted by the bird's-eye view converting section (51) with a history image section (33) obtained by extracting a history area (81) present on the vehicle side with respect to the current image area, combined to generate a composite bird's-eye view image (31) around the vehicle (2) containing the bird's-eye view image is including an area whose image is not included in the last bird's-eye view image; and an image output section (58) which outputs the composite bird's-eye view image (31) generated by the image combining section (57) to a display (30), characterized in thatthe history image extracted by the storing process section (52) is equal to or is larger than a minimum rectangle, an area of the history image being determined based on the minimum rectangle, two sides of the minimum rectangle are parallel to a vehicle width direction of the vehicle (2), the side (63a) of the minimum rectangle on the vehicle side of the two Sides parallel to the vehicle width direction, one end present on an inner peripheral circle of a moving track of the history area (81) moving clockwise with a minimum turning radius due to clockwise rotation of the vehicle (2), and another end present on an inner peripheral circle of a moving track of the history area (81), which moves counterclockwise with the minimum turning radius due to rotation of the vehicle (2), and a length of the minimum rectangle in a vehicle front-rear direction is a moving distance of the history area (81) covered by running of the vehicle (2) from a point in time when the captured image corresponding to the bird's-eye view image from which the history image is extracted was last captured and to a point in time when the captured image corresponding to the bird's-eye view image from which the history image is extracted is recorded this time is generated.
Description
[Technisches Gebiet][Technical Field]
Die vorliegende Erfindung betrifft eine Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung, die ein Bild eines Bereiches um ein Fahrzeug anzeigt, und ein Fahrzeugumgebungsbildanzeigesteuerungsprogramm, das es einer Steuerungsvorrichtung erlaubt, als Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung zu dienen.The present invention relates to a vehicle surrounding image display control device that displays an image of an area around a vehicle, and a vehicle surrounding image display control program that allows a control device to serve as a vehicle surrounding image display control device.
[Stand der Technik][State of the art]
Es ist eine Technik bekannt, gemäß der Bilder von Bereichen um ein Fahrzeug von einer Kamera, die in dem Fahrzeug installiert ist, wiederholt aufgenommen werden und die aufgenommenen Bilder in Vogelperspektivenbilder umgewandelt werden, die Bilder sind, die erscheinen, als ob auf die aufgenommenen Bilder von oberhalb des Fahrzeugs heruntergesehen wird, um die Vogelperspektivenbilder auf einer Anzeige anzuzeigen.A technique is known according to which images of areas around a vehicle are repeatedly captured by a camera installed in the vehicle and the captured images are converted into bird's-eye images, which are images that appear as if superimposed on the captured images is looked down from above the vehicle to display the bird's-eye view images on a display.
Eine Technik, die die obige Technik verwendet, ist bekannt, gemäß der ein zusammengesetztes Vogelperspektivenbild aus einem Vogelperspektivenbild, das aus dem zuletzt aufgenommenen Bild erhalten wird, und einem Vogelperspektivenbild, das aus einem vergangenen aufgenommenen Bild erhalten wird, auf einer Anzeige angezeigt wird, um einen Bildanzeigebereich um das Fahrzeug zu vergrößern (siehe beispielsweise
In der
Ein Prozess wird wiederholt, bei dem das Vogelperspektivenbild, das in dem Historienbereich gespeichert ist, in Abhängigkeit von der Bewegung des Fahrzeugs bewegt wird und das Vogelperspektivenbild, das aus dem zuletzt aufgenommenen Bild erhalten wird, dem Vogelperspektivenbild überlagert wird, das in dem Historienbereich gespeichert ist. Da das Vogelperspektivenbild, das in dem Historienbereich gespeichert ist, das Fahrzeug in Abhängigkeit von der Bewegung des Fahrzeugs umgibt, wird der Abschnitt, in dem das zusammengesetzte Vogelperspektivenbild um das Fahrzeug vorhanden ist, erweitert.A process is repeated in which the bird's-eye view image stored in the history area is moved in accordance with the movement of the vehicle and the bird's-eye view image obtained from the last captured image is superimposed on the bird's-eye view image stored in the history area . Since the bird's-eye view image stored in the history area surrounds the vehicle depending on the movement of the vehicle, the portion where the composite bird's-eye view image exists around the vehicle is expanded.
Die
Die
Die
[Zusammenfassung der Erfindung][Summary of the Invention]
[Technisches Problem][Technical problem]
Im Folgenden wird der Speicher, der den Historienbereich enthält, als Historienspeicher bezeichnet. Dieser Historienspeicher kann zusätzlich zu dem Historienbereich einen Bereich enthalten, in dem Bilder, die von einer Kamera aufgenommen werden, gespeichert werden.In the following, the memory that contains the history area is referred to as the history memory. In addition to the history area, this history memory can contain an area in which images recorded by a camera are stored.
Die
Außerdem kann der Abschnitt, der ein Bild eines Stoßfängers oder einer Anhängerkupplung aufweist, gespeichert werden. Wenn der Abschnitt, der ein Bild eines Stoßfängers oder einer Anhängerkupplung aufweist, gespeichert wird, ist, wenn das Vogelperspektivenbild, das in dem Historienspeicher gespeichert ist, in Abhängigkeit von der Fahrt des Fahrzeugs bewegt wird, der Stoßfänger oder die Anhängerkupplung an einer Stelle vorhanden, die von dem Fahrzeug entfernt ist.In addition, the portion having an image of a bumper or a trailer hitch can be saved. When the portion having an image of a bumper or a hitch is stored, when the bird's-eye view image stored in the history memory is moved depending on the running of the vehicle, the bumper or the hitch is present at a place which is away from the vehicle.
Wenn das zu speichernde Bild kleiner gemacht wird, kann die Zeit, die für den Speicherprozess benötigt wird, verkürzt werden. Wenn jedoch das zu speichernde Bild kleiner gemacht wird, entsteht eine Lücke zwischen einem Bild, das in dem Historienspeicher zu dem Zeitpunkt T gespeichert wird, und einem Bild, das in dem Historienspeicher zu dem Zeitpunkt T+1 gespeichert wird. Als Ergebnis kann in einem Bereich in dem Historienbild, das in dem Historienspeicher gespeichert wird, der zum Erzeugen eines zusammengesetzten Vogelperspektivenbildes verwendet wird, ein Abschnitt, der keine Bilder aufweist, erzeugt werden.If the image to be saved is made smaller, the time required for the saving process can be shortened. However, if the image to be stored is made smaller, there will be a gap between an image stored in the history memory at time T and an image stored in the history memory at
Es ist eine Aufgabe der Erfindung, eine Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung und ein Fahrzeugumgebungsbildanzeigesteuerungsprogramm zu schaffen, die verhindern können, dass ein Teil eines Bereiches, der zum Erzeugen eines zusammengesetzten Vogelperspektivenbildes verwendet wird, in einem Historienbild, das in einem Historienspeicher gespeichert ist, entfernt wird, und die eine Verarbeitungszeit zum Speichern eines Bildes verkürzen und die Größe eines Speichers zum Speichern des Bildes verkleinern können. Die Aufgabe wird durch eine Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung mit den Merkmalen des Anspruchs 1 sowie durch ein Fahrzeugumgebungsbildanzeigesteuerungsprogramm mit den Merkmalen des Anspruchs 4 gelöst. Die abhängigen Ansprüche sind auf vorteilhafte Weiterbildungen der Erfindung gerichtet.It is an object of the invention to provide a vehicle surrounding image display control device and a vehicle surrounding image display control program which can prevent part of an area used for generating a composite bird's-eye view image from being removed in a history image stored in a history memory, and which can shorten a processing time for storing an image and reduce the size of a memory for storing the image. The object is achieved by a vehicle surroundings image display control device having the features of
Eine Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung der Ausführungsform enthält: einen Erlangungsabschnitt, der aufeinanderfolgend aufgenommene Bilder von Bereichen um ein Fahrzeug von einer Kamera, die in dem Fahrzeug installiert ist, erlangt; einen Vogelperspektivenumwandlungsabschnitt, der aufeinanderfolgend eine Vogelperspektivenumwandlung der aufgenommenen Bilder, die durch den Erlangungsabschnitt erhalten werden, durchführt, um Vogelperspektivenbilder zu erzeugen; einen Speicherprozessabschnitt, der aufeinanderfolgend ein Historienbild, das in einem Bereich vorhanden ist, der kein Bild des Fahrzeugs aufweist, aus den Vogelperspektivenbildern, die aufeinanderfolgend durch den Vogelperspektivenumwandlungsabschnitt erzeugt werden, extrahiert und das Historienbild in einem Historienspeicher speichert; einen Historienverschiebungsabschnitt, der das Historienbild, das in dem Historienspeicher gespeichert ist, in Abhängigkeit von einer Fahrt des Fahrzeugs bewegt; einen Bildkombinationsabschnitt, der einen derzeitigen Bildabschnitt, der durch Extrahieren eines derzeitigen Bildbereiches aus dem letzten Vogelperspektivenbild, das durch den Vogelperspektivenumwandlungsabschnitt umgewandelt wurde, erhalten wird, mit einem Historienbildabschnitt kombiniert, der durch Extrahieren eines Historienbereiches, der auf der Fahrzeugseite in Bezug auf den derzeitigen Bildbereich vorhanden ist, erhalten wird, um ein zusammengesetztes Vogelperspektivenbild um das Fahrzeug zu erzeugen, das das Vogelperspektivenbild ist, das einen Bereich enthält, dessen Bild nicht in dem letzten Vogelperspektivenbild enthalten ist; und einen Bildausgabeabschnitt, der das zusammengesetzte Vogelperspektivenbild, das durch den Bildkombinationsabschnitt erzeugt wird, an eine Anzeige ausgibt. Das Historienbild, das durch den Speicherprozessabschnitt extrahiert wird, ist gleich oder größer als ein minimales Rechteck, wobei ein Bereich des Historienbildes wird auf der Grundlage des minimalen Rechtecks bestimmt wird. Zwei Seiten des minimalen Rechtecks sind parallel zu einer Fahrzeugbreitenrichtung des Fahrzeugs. Die Seite auf der Fahrzeugseite der beiden Seiten parallel zu der Fahrzeugbreitenrichtung des minimalen Rechtecks weist ein Ende, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches vorhanden ist, der sich aufgrund einer Drehung des Fahrzeugs im Uhrzeigersinn mit einem minimalen Drehradius bewegt, und ein anderes Ende auf, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches vorhanden ist, der sich aufgrund einer Drehung des Fahrzeugs entgegen dem Uhrzeigersinn mit dem minimalen Drehradius bewegt. Eine Länge des minimalen Rechtecks in einer Fahrzeug-vorne-hinten-Richtung ist eine Bewegungsstrecke des Historienbereiches, die durch eine Fahrt des Fahrzeugs von einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, das letzte Mal aufgenommen wurde, bis zu einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, dieses Mal aufgenommen wird bzw. wurde, erzeugt wird.A vehicle surrounding image display control device of the embodiment includes: an acquiring section that acquires sequentially captured images of areas around a vehicle from a camera installed in the vehicle; a bird's-eye view conversion section that sequentially performs bird's-eye view conversion of the captured images obtained by the acquisition section to generate bird's-eye view images; a storage process section that successively extracts a history image present in an area that has no image of the vehicle from the bird's-eye view images that are successively generated by the bird's-eye view conversion section and stores the history image in a history memory; a history moving section that moves the history image stored in the history memory depending on travel of the vehicle; an image combining section that combines a current image section obtained by extracting a current image area from the last bird's-eye view image converted by the bird's-eye view conversion section with a historical image section obtained by extracting a historical area that is on the vehicle side with respect to the current image area is present is obtained to generate a composite bird's-eye view image around the vehicle, which is the bird's-eye view image including an area whose image is not included in the last bird's-eye view image; and an image output section that outputs the composite bird's-eye view image generated by the image combining section to a display. The history image extracted by the storage process section is equal to or larger than a minimum rectangle, and an area of the history image is calculated based on the minimum Rectangle is determined. Two sides of the minimum rectangle are parallel to a vehicle width direction of the vehicle. The side on the vehicle side of the two sides parallel to the vehicle width direction of the minimum rectangle has one end present on an inner circumference circle of a moving track of the history area moving clockwise with a minimum turning radius due to clockwise rotation of the vehicle and another end present on an inner peripheral circle of a moving track of the history area moving counterclockwise with the minimum turning radius due to a counterclockwise rotation of the vehicle. A length of the minimum rectangle in a vehicle front-rear direction is a moving distance of the history area covered by running of the vehicle from a point in time when the captured image corresponding to the bird's-eye view image from which the history image is extracted is the last time until a point in time when the captured image corresponding to the bird's-eye view image from which the history image is extracted is captured this time is generated.
Figurenlistecharacter list
-
1 ist ein Diagramm, das die Gesamtkonfiguration eines Fahrzeugumgebungsbildanzeigesystems zeigt;1 Fig. 14 is a diagram showing the overall configuration of a vehicle surrounding image display system; -
2 ist ein Diagramm, das ein zusammengesetztes Vogelperspektivenbild darstellt, das auf einer Anzeige angezeigt wird;2 Fig. 12 is a diagram showing a composite bird's-eye view image displayed on a display; -
3 ist ein Flussdiagramm, das einen Prozess darstellt, der von einer Steuerung durchgeführt wird;3 Fig. 12 is a flowchart showing a process performed by a controller; -
4 ist ein Flussdiagramm, das einen Prozess eines Schrittes S3 in3 im Detail zeigt;4 is a flowchart showing a process of a step S3 in3 shows in detail; -
5 ist ein Diagramm, das ein hinteres aufgenommenes Bild darstellt, das von einer hinteren Kamera aufgenommen wird;5 Fig. 14 is a diagram showing a rear captured image captured by a rear camera; -
6 ist ein Diagramm, das ein hinteres derzeitiges Bild darstellt, das durch eine Vogelperspektivenumwandlung des hinteren aufgenommenen Bildes erhalten wird;6 Fig. 14 is a diagram showing a rear current image obtained by bird's-eye view conversion of the rear picked-up image; -
7 ist ein Diagramm, das die Position und die Größe eines Extraktionsbereiches, der als ein Historienbild extrahiert wird, darstellt.7 Fig. 12 is a diagram showing the position and size of an extraction area extracted as a history image.
[Beschreibung der Ausführungsformen][Description of the Embodiments]
Im Folgenden wird eine Ausführungsform der vorliegenden Erfindung mit Bezug auf die Zeichnungen beschrieben.An embodiment of the present invention will be described below with reference to the drawings.
(Gesamtkonfiguration)(overall configuration)
Das in
Die vordere Kamera 10 ist an dem vorderen Endabschnitt des Fahrzeugs 2 fixiert und nimmt aufeinanderfolgend Bilder in einem vorbestimmten Bereich von der Nachbarschaft des vorderen Endes des Fahrzeugs 2 bis zu dem Vorderteil des Fahrzeugs 2 in vorbestimmten Intervallen auf. Im Folgenden wird das Bild, das von der vorderen Kamera 10 aufgenommen wird, als vorderes aufgenommenes Bild bezeichnet.The
Die hintere Kamera 20 ist an dem hinteren Endabschnitt des Fahrzeugs 2 fixiert und nimmt aufeinanderfolgend Bilder in einem vorbestimmten Bereich von der Nachbarschaft des hinteren Endes des Fahrzeugs 2 bis zu Hinterteil des Fahrzeugs 2 in vorbestimmten Intervallen auf. Im Folgenden wird das Bild, das von der hinteren Kamera 20 aufgenommen wird, als hinteres aufgenommenes Bild 70 bezeichnet (siehe
Die Anzeige 30 zeigt ein zusammengesetztes Vogelperspektivenbild 31 und eine Fahrzeugfigur 32, die das Fahrzeug zeigt, an, wie es in
Die Fahrzeugfigur 32 zeigt das Fahrzeug 2 und wird im Voraus in einem bestimmten Speicher gespeichert. Die Fahrzeugfigur 32 wird in der Mitte des zusammengesetzten Vogelperspektivenbildes 31 angezeigt, womit ersichtlich wird, dass das zusammengesetzte Vogelperspektivenbild 31 ein Bild um das Fahrzeug ist.The vehicle figure 32 shows the
Der Bildspeicher 41, der Erkennungsspeicher 42 und der Historienspeicher 43 sind wiederbeschreibbare Speicher. Man beachte, dass diese drei physikalisch unterschiedliche Speicher sein können. Alternativ können der Bildspeicher 41, der Erkennungsspeicher 42 und der Historienspeicher 43 durch verschiedene Adressbereiche eines Speichers ausgebildet werden.The
Der Bildspeicher 41 speichert ein Vogelperspektivenbild, das mittels einer Vogelperspektivenumwandlung eines Teils des vorderen aufgenommenen Bildes, das von der vorderen Kamera 10 aufgenommen wurde, erhalten wird, und ein Vogelperspektivenbild, das mittels einer Vogelperspektivenumwandlung eines Teils des hinteren aufgenommenen Bildes 70, das von der hinteren Kamera 20 aufgenommen wurde, erhalten wird. Im Folgenden wird das Vogelperspektivenbild, das in dem Bildspeicher 41 gespeichert wird, als ein derzeitiges Bild bezeichnet, um das Vogelperspektivenbild, das in dem Bildspeicher 41 gespeichert wird, von dem Vogelperspektivenbild zu unterscheiden, das in dem Historienspeicher 43 gespeichert wird. Außerdem wird von den derzeitigen Bildern das Bild, das durch Umwandeln des vorderen aufgenommenen Bildes erhalten wird, als ein vorderes derzeitiges Bild bezeichnet, und das Bild, das durch Umwandeln des hinteren aufgenommenen Bildes 70 erhalten wird, wird als ein hinteres derzeitiges Bild 72 bezeichnet (siehe
Der Erkennungsspeicher 42 speichert ein Erkennungsbild, das durch Extrahieren eines vorbestimmten Bereiches aus dem Vogelperspektivenbild, das in dem Bildspeicher 41 gespeichert ist, erhalten wird. Der Historienspeicher 43 speichert ein Historienbild. Das Historienbild ist ein Bild, das durch Kombinieren eines Teils des Erkennungsbildes, der aus dem Erkennungsbild extrahiert wird, mit einem Historienbild, das im Voraus bzw. zuvor in dem Historienspeicher 43 gespeichert wurde, erhalten wird. In dem Historienbild, das zuvor in dem Historienspeicher 43 gespeichert wurde, werden relative Koordinaten, die auf das Fahrzeug 2 zentriert sind, aufeinanderfolgend in Abhängigkeit von der Fahrt des Fahrzeugs 2 verschoben.The
Die Steuerung 50 entspricht einer Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung. Die Steuerung 50 ist ein Computer, der eine CPU, einen ROM, einen RAM und Ähnliches enthält. Die CPU (Computer) führt ein Fahrzeugumgebungsbildanzeigesteuerungsprogramm aus, das in einem nichtflüchtigen Aufzeichnungsmedium (computerlesbares Aufzeichnungsmedium) wie beispielsweise dem ROM gespeichert ist, während sie eine zeitweilige Speicherfunktion des RAM verwendet. Dadurch dient die Steuerung 50 als ein Vogelperspektivenumwandlungsabschnitt 51, ein Speicherprozessabschnitt 52, ein Fahrstreckenschätzabschnitt 53, ein Lenkwinkelschätzabschnitt 54, ein Fahrgrößenberechnungsabschnitt 55, ein Historienverschiebungsabschnitt 56, ein Bildkombinationsabschnitt 57 und ein Bildausgabeabschnitt 58. Wenn diese Funktionen ausgeführt werden, wird ein Verfahren entsprechend dem Programm durchgeführt.The
Diese Funktionen werden mit Bezug auf das Flussdiagramm der
(Funktionen der Steuerung 50)(Functions of the control 50)
Die Schritte S1 und S2 sind Prozesse, die von dem Vogelperspektivenumwandlungsabschnitt 51 durchgeführt werden. Der Schritt S1 entspricht einem Erlangungsabschnitt. Der Vogelperspektivenumwandlungsabschnitt 51 erlangt ein vorderes aufgenommenes Bild von der vorderen Kamera 10. Außerdem erlangt der Vogelperspektivenumwandlungsabschnitt 51 ein hinteres aufgenommenes Bild 70 von der hinteren Kamera 20.Steps S<b>1 and S<b>2 are processes performed by the bird's-eye
In Schritt S2 führt der Vogelperspektivenumwandlungsabschnitt 51 eine Vogelperspektivenumwandlung des vorderen aufgenommenen Bildes und des hinteren aufgenommenen Bildes 70, die in Schritt S1 erlangt wurden, durch und speichert das vordere derzeitige Bild und das hintere derzeitige Bild 70, die durch die Vogelperspektivenumwandlung erhalten wurden, in dem Bildspeicher 41. Man beachte, dass, wenn das vergangene vordere derzeitige Bild und hintere derzeitige Bild 72 im Voraus bzw. zuvor in dem Bildspeicher 41 gespeichert wurden, der Vogelperspektivenumwandlungsabschnitt 51 das vergangene vordere derzeitige Bild und hintere derzeitige Bild 72 löscht und nur das letzte vordere derzeitige Bild und hintere derzeitige Bild 72 in den Bildspeicher 41 speichert.In step S2, the bird's-eye
Durch die Vogelperspektivenumwandlung werden das vordere aufgenommene Bild und das hintere aufgenommene Bild 70 in Bilder umgewandelt, die durch Abwärtsbetrachten des vorderen aufgenommenen Bildes und des hinteren aufgenommenen Bildes 70 von oberhalb des Fahrzeugs 2 erhalten werden. Die Umwandlungsgleichung, die für die Vogelperspektivenumwandlung verwendet wird, wird in einem Speicher wie beispielsweise dem ROM der Steuerung 50 gespeichert. Die Umwandlungsgleichung ist eine bekannte Gleichung, die beispielsweise in der
Der Bereich, der der Vogelperspektivenumwandlung des vorderen aufgenommenen Bildes und des hinteren aufgenommenen Bildes 70 unterzogen wird, ist ein vorbestimmter Bereich, der einen Erkennungsbildextraktionsbereich 62, der später beschrieben wird, und Teile des vorderen aufgenommenen Bildes und des hinteren aufgenommenen Bildes 70 enthält. Da der Bereich, der aus dem Erkennungsbildextraktionsbereich 62 zu extrahieren ist, im Voraus in dem vorderen aufgenommenen Bild und dem hinteren aufgenommenen Bild 70 bestimmt wird, kann der Bereich, der der Vogelperspektivenumwandlung unterzogen wird, auch im Voraus eingestellt bzw. festgelegt werden.The area subject to bird's-eye view conversion of the front captured image and the rear picked-up
In Schritt S3 wird eine Historienverschiebungsberechnung durchgeführt. Diese Historienverschiebungsberechnung verschiebt relative Koordinaten des Historienbildes, das in dem Historienspeicher 43 gespeichert ist. Die Historienverschiebungsberechnung ist in
In
Schritt S32 ist ein Prozess, der von dem Fahrstreckenschätzabschnitt 53 durchgeführt wird. In diesem Schritt S32 berechnet der Fahrstreckenschätzabschnitt 53 eine Fahrstrecke des Fahrzeugs 2 von dem Zeitpunkt, zu dem Schritt S32 das letzte Mal durchgeführt wurde, bis zu dem Zeitpunkt, zu dem Schritt S32 dieses Mal durchgeführt wird bzw. wurde, auf der Grundlage einer Fahrzeuggeschwindigkeit, die durch das Fahrzeuggeschwindigkeitssignal angegeben wird, das in Schritt S31 erhalten wurde, und der seit dem Zeitpunkt, zu dem Schritt S32 das letzte Mal durchgeführt wurde, verstrichenen Zeit.Step S<b>32 is a process performed by the travel
Schritt S33 ist ein Prozess, der von dem Lenkwinkelschätzabschnitt 54 durchgeführt wird. In diesem Schritt S33 schätzt der Lenkwinkelschätzabschnitt 54 einen derzeitigen Lenkwinkel des Fahrzeugs 2 auf der Grundlage des Lenkwinkelsignals, das in Schritt S31 erhalten wurde.Step S<b>33 is a process performed by the steering
Die Schritte S34 und S35 sind Prozesse, die von dem Fahrzeugfahrgrö-ßenberechnungsabschnitt 55 durchgeführt werden. In Schritt S34 erlangt der Fahrzeugfahrgrößenberechnungsabschnitt 55 ein Schaltpositionssignal von einem Schaltpositionssensor. In Schritt S35 berechnet der Fahrzeugfahrgrößenberechnungsabschnitt 55 eine Fahrzeugfahrgröße des Fahrzeugs 2 von dem Zeitpunkt, zu dem der Schritt S35 das letzte Mal durchgeführt wurde, bis zu dem Zeitpunkt, zu dem der Schritt S35 dieses Mal durchgeführt wird bzw. wurde, auf der Grundlage der Fahrstrecke und des Lenkwinkels, die in den Schritten S32 und S33 geschätzt wurden, und des Schaltpositionssignals, das in Schritt S34 erlangt wurde. Diese Fahrgröße enthält die Fahrtrichtung bei der Position des Fahrzeugs 2 des letzten Mals und ist ein Wert, durch den relative Koordinaten in Bezug auf die Position des Fahrzeugs 2 des letzten Mals bestimmt werden.Steps S34 and S35 are processes performed by the vehicle driving
Schritt S36 ist ein Prozess, der von dem Historienverschiebungsabschnitt 56 durchgeführt wird. In diesem Schritt S35 verschiebt der Historienverschiebungsabschnitt 56 die relativen Koordinaten des Historienbildes, das in dem Historienspeicher 43 gespeichert ist, in der Richtung entgegengesetzt zu der Fahrrichtung des Fahrzeugs 2 um die Fahrzeugfahrgröße, die in Schritt S35 berechnet wurde.Step S<b>36 is a process performed by the
Die Beschreibung kehrt zu
Das Erkennungsbild weist eine Größe auf, die das Historienbild enthält, und der Bereich (im Folgenden als Erkennungsbildextraktionsbereich bezeichnet), der aus dem derzeitigen Bild extrahiert wird, wird im Voraus eingestellt.
Der Erkennungsprozessabschnitt 3 führt einen Bilderkennungsprozess wie beispielsweise einen Weißlinienerkennungsprozess hinsichtlich des Erkennungsbildes durch. Entsprechend dem Weißlinienerkennungsprozess werden beispielsweise die Parkrahmenlinien 61 erkannt. Die erkannten Parkrahmenlinien 61 werden außerdem zur automatischen Parkregelung oder Ähnlichem verwendet.The
Schritt S5 ist ein Prozess, der ebenfalls von dem Speicherprozessabschnitt 52 durchgeführt wird. In diesem Schritt S5 extrahiert der Speicherprozessabschnitt 52 ein Historienbild aus dem Erkennungsbild, das in dem Erkennungsspeicher 42 gespeichert ist, und speichert das Historienbild in dem Historienspeicher 43. Erkennungsbilder werden jeweils aus dem vorderen derzeitigen Bild und dem hinteren derzeitigen Bild 72 extrahiert und in dem Erkennungsspeicher 42 gespeichert. In Schritt S5 extrahiert der Speicherprozessabschnitt 52 jeweilige Historienbilder aus dem Erkennungsbild, das aus dem vorderen derzeitigen Bild extrahiert wurde, und dem Erkennungsbild, das aus dem hinteren derzeitigen Bild 72 extrahiert wurde.Step S5 is a process that is also performed by the
Die Prozesse, die in
In
Außerdem weist der Extraktionsbereich 63 eine rechteckige Gestalt auf und weist lange Seiten, die parallel zu der Breitenrichtung des Fahrzeugs 2 sind, und kurze Seiten auf, die parallel zu der Vorne-hinten-Richtung des Fahrzeugs 2 sind. Die Größe des Extraktionsbereiches 63 wird derart festgelegt, dass ein Teil des zusammengesetzten Historienbildes nicht entfernt wird, wenn die relativen Koordinaten des Historienbildes aufeinanderfolgend verschoben werden und ein neues Historienbild in dem Historienspeicher 43 gespeichert wird. Der Historienspeicher 43 wird später genauer beschrieben.Also, the extracting
Die Schritte S6 bis S8 sind Prozesse, die von dem Bildkombinationsabschnitt 57 durchgeführt werden. In Schritt S6 erlangt der Bildkombinationsabschnitt 57 eine Fahrzeugebenengröße bzw. Fahrzeugflächengröße. Die Fahrzeugebenengröße enthält eine Fahrzeuglänge und eine Fahrzeugbreite und wird im Voraus in einem vorbestimmten Speicher gespeichert. In Schritt S7 erlangt der Bildkombinationsabschnitt 57 einen Historienbildabschnitt 33 (siehe
In Schritt S8 extrahiert der Bildkombinationsabschnitt 57 einen vorderen derzeitigen Bildbereich aus dem vorderen derzeitigen Bild, das in dem Bildspeicher 41 gespeichert ist, um den vorderen derzeitigen Bildabschnitt 34, der in
(Darstellung des Extraktionsbereiches 63)(representation of the extraction area 63)
Wie es oben beschrieben wurde, ist der Extraktionsbereich 63 ein Bereich, der extrahiert wird, um ein zusammengesetztes Historienbild zu erzeugen. Das zusammengesetzte Historienbild ist ein Bild zum Extrahieren des Historienbildabschnitts 33. Der Abschnitt, der dem Historienbildabschnitt 33 des zusammengesetzten Historienbildes entspricht, bewegt sich in Abhängigkeit von der Fahrt des Fahrzeugs 2. Somit werden die Position und die Größe des Extraktionsbereiches 63 derart eingestellt, dass ein Teil des Historienbildabschnitts 33 in dem zusammengesetzten Historienbild nicht entfernt wird.As described above, the
Ein rechter innerer Umfangskreisbogen 82 entspricht einer Innenkante einer Spur, die erzeugt wird, wenn sich der Historienbereich 81 aufgrund einer Drehung des Fahrzeugs 2 im Uhrzeigersinn mit dem minimalen Drehradius bewegt. Ein linker innerer Umfangskreisbogen 83 entspricht einer Innenkante einer Spur, die erzeugt wird, wenn sich der Historienbereich 81 aufgrund einer Drehung des Fahrzeugs 2 entgegen dem Uhrzeigersinn mit dem minimalen Drehradius bewegt.A right inner
Der Abstand L zwischen einer fahrzeugseitigen Seite 63a, die eine Seite auf der Fahrzeugseite ist, die in zwei Seiten enthalten ist, die in der Fahrzeugbreitenrichtung parallel zueinander sind, in dem Extraktionsbereich 63, der eine rechteckige Gestalt aufweist, und dem vorderen Ende des Fahrzeugs 2 wird durch den Abbildungsbereich der hinteren Kamera 20 bestimmt. Wenn die fahrzeugseitige Seite 63a nicht den rechten inneren Umfangskreisbogen 82 und den linken inneren Umfangskreisbogen 83 trifft, kann, wenn sich der Historienbereich 81 aufgrund der Fahrt des Fahrzeugs 2 mit dem minimalen Drehradius bewegt, ein Abschnitt, der keine zusammengesetzten Historienbilder an rechten und linken Kanten aufweist, in dem Historienbereich 81 erzeugt werden. Mit anderen Worten, wenn die fahrzeugseitige Seite 63a den rechten inneren Umfangskreisbogen 82 und den linken inneren Umfangskreisbogen 83 trifft, werden sogar dann, wenn sich der Historienbereich 81 aufgrund der Fahrt des Fahrzeugs 2 mit dem minimalen Drehradius bewegt, kein Abschnitte, die keine zusammengesetzten Historienbilder aufweisen, in den rechten und linken Richtungen des Historienbereiches 81 erzeugt.The distance L between a vehicle-side side 63a, which is a side on the vehicle side included in two sides parallel to each other in the vehicle width direction, in the extracting
Somit wird die fahrzeugseitige Seite 63a des Extraktionsbereiches 63 derart eingestellt, dass der Abstand zu dem vorderen Ende des Fahrzeugs 2 gleich L ist, die fahrzeugseitige Seite 63a parallel zu der Breitenrichtung des Fahrzeugs 2 ist, ein Ende der fahrzeugseitigen Seite 63a auf dem rechten inneren Umfangskreisbogen 82 vorhanden ist und das andere Ende der fahrzeugseitigen Seite 63a auf dem linken inneren Umfangskreisbogen 83 vorhanden ist.Thus, the vehicle-side side 63a of the
Außerdem wird in dem Extraktionsbereich 63 die Länge der Seite 63b der Fahrzeug-vorne-hinten-Richtung, die parallel zu der Fahrzeug-vorne-hinten-Richtung ist, auf der Grundlage einer Fahrzeuggeschwindigkeit (m/s) und einer Speicherperiode (s) eines Historienbildes bestimmt. Das heißt, die Länge, die durch das Produkt aus der Fahrzeuggeschwindigkeit und der Speicherperiode erhalten wird, wird als eine Länge der Seite 63b der Fahrzeug-vorne-hinten-Richtung definiert.Also, in the
Man beachte, dass Historienbilder in dem Historienspeicher 43 jedes Mal gespeichert werden, wenn die vordere Kamera 10 und die hintere Kamera 20 ein vorderes aufgenommenes Bild und ein hinteres aufgenommenes Bild aufnehmen. Somit gibt „Fahrzeuggeschwindigkeit x Speicherperiode“ eine Bewegungsstrecke des Historienbereiches 81 an, die durch die Fahrt des Fahrzeugs 2 von dem Zeitpunkt, zu dem ein Bild, das dem Vogelperspektivenbild entspricht, aus dem ein Historienbild extrahiert wird, das letzte Mal aufgenommen wurde, bis zu dem Zeitpunkt, zu dem ein Bild, das dem Vogelperspektivenbild entspricht, aus dem ein Historienbild extrahiert wird, dieses Mal aufgenommen wird bzw. wurde.Note that history images are stored in the
Das Rechteck, das wie oben beschrieben bestimmt wird, entspricht einem minimalen Rechteck. Der Extraktionsbereich 63 kann ein Bereich sein, der von dem minimalen Rechteck umgeben ist. Unter Berücksichtigung eines Fehlers und Ähnlichem kann der Extraktionsbereich 63 jedoch ein Bereich sein, der das minimale Rechteck enthält und größer als das minimale Rechteck ist.The rectangle determined as described above corresponds to a minimum rectangle. The
Auch wenn
(Wirkungen der Ausführungsform)(Effects of embodiment)
In der oben beschriebenen Ausführungsform ist das Historienbild, das durch den Speicherprozessabschnitt 52 (S4, S5) extrahiert wird, ein Bild, das durch Extrahieren eines Bereiches, das kein Bild des Fahrzeugs 2 aufweist, aus einem Vogelperspektivenbild erhalten wird. Somit ist sogar dann, wenn der Historienverschiebungsabschnitt 56 (S36) das Historienbild in Abhängigkeit von der Fahrt des Fahrzeugs 2 bewegt, ein Stoßfänger oder eine Anhängerkupplung nicht an einer Stelle vorhanden, die von dem Fahrzeug 2 entfernt ist.In the embodiment described above, the history image extracted by the storage process section 52 (S4, S5) is an image obtained by extracting an area that does not have an image of the
Außerdem ist das Historienbild, das aus einem Bild extrahiert wird, das durch den Speicherprozessabschnitt 52 in dem Erkennungsspeicher 42 gespeichert wird (S4, S5), und in dem Speicher 43 gespeichert wird, ein Bild, aus dem der Extraktionsbereich 63 extrahiert wird, der auf der Grundlage des minimalen Rechteckes bestimmt wird.Also, the history image extracted from an image stored in the
Wie es mit Bezug auf
Somit wird durch Extrahieren des Extraktionsbereiches 63 als ein Historienbild aus einem Vogelperspektivenbild sogar dann, wenn das Fahrzeug 2 am weitesten in der Richtung nach rechts und links fährt und sich der Historienbereich 81 aufgrund der Fahrt bewegt, verhindert, dass ein Abschnitt, der keine Bilder aufweist, des zusammengesetzten Historienbildes, das in dem Historienspeicher 43 gespeichert ist, in der Fahrzeugbreitenrichtung in dem Historienbereich 81 erzeugt wird.Thus, by extracting the
Wenn der Extraktionsbereich 63 derselbe wie das minimale Rechteck ist, wird außerdem die Länge der Seite 63b der Fahrzeug-vorne-hinten-Richtung des Extraktionsbereiches 63 durch das Produkt aus der Fahrzeuggeschwindigkeit und der Speicherperiode des Historienbildes erhalten. Wie es oben beschrieben wurde, ist der Extraktionsbereich 63 derselbe wie das minimale Rechteck oder enthält das minimale Rechteck und ist größer als das minimale Rechteck.In addition, when the
Wenn somit der Extraktionsbereich 63 als Historienbild aus einem Vogelperspektivenbild extrahiert wird, wird sogar dann, wenn das Fahrzeug 2 in der Vorne-hinten-Richtung fährt, verhindert, dass ein Abschnitt, der keine Bilder aufweist, des zusammengesetzten Historienbildes, das in dem Historienspeicher 43 gespeichert ist, in der Fahrzeug-vorne-hinten-Richtung in dem Historienbereich 81 erzeugt wird.Thus, when the
Dementsprechend wird verhindert, dass ein Abschnitt, der keine Bilder aufweist, des zusammengesetzten Historienbildes, das in dem Historienspeicher 43 gespeichert ist, in der Fahrzeug-rechts-links-Richtung und in der Fahrzeug-vorne-hinten-Richtung in dem Historienbereich 81 erzeugt wird.Accordingly, a non-image portion of the composite history image stored in the
Da das Historienbild, das durch den Speicherprozessabschnitt 52 aus dem Erkennungsspeicher 42 extrahiert wird, ein Bild ist, dessen Bereich auf der Grundlage des minimalen Rechtecks bestimmt wird, ist das Historienbild kleiner als ein Vogelperspektivenbild, das mittels Vogelperspektivenumwandlung des gesamten Bereiches des aufgenommenen Bildes erhalten wird. Somit kann die Speichergröße des Historienspeichers 43 klein sein, und es kann die Verarbeitungszeit zum Speichern des Historienbildes verkürzt werden.Since the history image extracted from the
Außerdem extrahiert der Speicherprozessabschnitt 52 zunächst ein Erkennungsbild aus einem derzeitigen Bild, das in dem Bildspeicher 41 gespeichert ist, um das Erkennungsbild in dem Erkennungsspeicher 42 zu speichern (S4), und extrahiert ein Historienbild aus dem Erkennungsbild, das in dem Erkennungsspeicher 42 gespeichert wurde, um das Historienbild in dem Historienspeicher 43 zu speichern. Dementsprechend kann ein Bild, das aus dem derzeitigen Bild extrahiert wird, zur Erkennung und zum Anzeigen eines zusammengesetzten Vogelperspektivenbildes verwendet werden.In addition, the
Außerdem wird der Bereich, der der Vogelperspektivenumwandlung durch den Vogelperspektivenumwandlungsabschnitt 51 (S2) unterzogen wird, derart bestimmt, dass er den Erkennungsbildextraktionsbereich 62 enthält und ein Teil des vorderen aufgenommenen Bildes und des hinteren aufgenommenen Bildes 70 ist. Somit erhöht sich die Verarbeitungsgeschwindigkeit und der benötigte Speicherbereich des Bildspeichers 41 kann im Vergleich zu einem Fall kleiner sein, in dem der gesamte Bereich des vorderen aufgenommenen Bildes und des hinteren aufgenommenen Bildes 70 der Vogelperspektivenumwandlung unterzogen wird.In addition, the area subjected to the bird's-eye view conversion by the bird's-eye view conversion section 51 (S2) is determined such that it includes the recognition
Oben wurde eine Ausführungsform der vorliegenden Erfindung beschrieben. Die vorliegende Erfindung ist jedoch nicht auf die oben beschriebene Ausführungsform beschränkt, und es sind die folgenden Modifikationen innerhalb des technischen Bereiches der vorliegenden Erfindung enthalten. Zusätzlich zu dem Folgenden kann die vorliegende Erfindung außerdem mit verschiedenen Änderungen innerhalb eines Bereiches, der von der Erfindung nicht abweicht, implementiert werden.An embodiment of the present invention has been described above. However, the present invention is not limited to the embodiment described above, and the following modifications are included within the technical scope of the present invention. In addition to the following, the present invention can also be implemented with various changes within a range not deviating from the invention.
<Erste Modifikation><First modification>
In der obigen Ausführungsform wird beispielsweise ein Erkennungsbild aus einem derzeitigen Bild, das in dem Bildspeicher 41 gespeichert ist, extrahiert und in dem Erkennungsspeicher 42 gespeichert, und es wird ein Historienbild aus dem Erkennungsspeicher 42 extrahiert. Das heißt, ein Bild, das aus einem derzeitigen Bild extrahiert wird, wird über den Erkennungsspeicher 42 in dem Historienspeicher 43 gespeichert. Es kann jedoch ein Historienbild aus einem derzeitigen Bild extrahiert und in dem Historienspeicher 43 gespeichert werden.For example, in the above embodiment, a recognition image is extracted from a current image stored in the
<Zweite Modifikation><Second Modification>
In der obigen Ausführungsform sind die vordere Kamera 10 und die hintere Kamera 20 vorhanden. Es kann jedoch auch nur eine der Kameras vorhanden sein. In the above embodiment, the
<Dritte Modifikation><Third Modification>
In der obigen Ausführungsform wird ein derzeitiges Bild in dem Bildspeicher 41 gespeichert und ein Erkennungsbild wird aus dem Bildspeicher 41 extrahiert. Der Bildspeicher 41 muss jedoch nicht vorhanden sein, und es können ein Erkennungsbild und ein Historienbild aus dem Bild extrahiert werden, das der Vogelperspektivenumwandlung durch den Vogelperspektivenumwandlungsabschnitt 51 unterzogen wurde, um diese direkt in dem Erkennungsspeicher 42 und dem Historienspeicher 43 zu speichern.In the above embodiment, a current image is stored in the
<Vierte Modifikation><Fourth Modification>
Das Fahrzeug 2 der obigen Ausführungsform enthält den Erkennungsspeicher 42 und den Erkennungsprozessabschnitt 3. Wenn jedoch der Bilderkennungsprozess nicht durchgeführt werden muss, können bzw. müssen der Erkennungsspeicher 42 und der Erkennungsprozessabschnitt 3 auch nicht im dem Fahrzeug 2 enthalten sein.The
<Fünfte Modifikation><Fifth Modification>
Der Bildspeicher 41 oder der Erkennungsspeicher 42 können als Historienspeicher 43 verwendet werden. Das heißt, es kann ein Teil des Bildspeichers 41 oder des Erkennungsspeichers 42 als Historienspeicher 43 verwendet werden.The
<Sechste Modifikation><Sixth Modification>
In der obigen Ausführungsform wird ein Historienbild aus einem Erkennungsbild, das in dem Erkennungsspeicher 42 gespeichert ist, extrahiert und in dem Historienspeicher 43 gespeichert. Wenn jedoch das Erkennungsbild kleiner als das Historienbild ist, kann im Gegensatz zu der Ausführungsform das Historienbild zunächst in dem Historienspeicher 43 gespeichert werden, und das Erkennungsbild kann aus dem Historienspeicher 43 extrahiert und in dem Erkennungsspeicher 42 gespeichert werden.In the above embodiment, a history image is extracted from a recognition image stored in the
Wie es oben beschrieben wurde, kann durch Extrahieren eines Erkennungsbildes aus dem Historienspeicher 43 die Zeit für den Erkennungsprozess verkürzt werden, da das Erkennungsbild im Vergleich zu einem Fall kleiner sein kann, in dem ein Historienbild, das größer als das Erkennungsbild ist, direkt als Erkennungsbild verwendet werden kann.As described above, by extracting a recognition image from the
Man beachte, dass, wenn wie in dem Fall der Ausführungsform ein Historienbild aus dem Erkennungsspeicher 42 extrahiert wird, das Historienbild im Vergleich zu einem Fall kleiner sein kann, in dem ein Erkennungsbild, das größer als das Historienbild ist, direkt als das Erkennungsbild verwendet wird. Somit kann eine Verarbeitungszeit zum Erzeugen eines zusammengesetzten Historienbildes verkürzt werden.Note that when a history image is extracted from the
Die Fahrzeugumgebungsbildanzeigesteuerungsvorrichtung der Ausführungsform enthält: einen Erlangungsabschnitt (S1), der aufeinanderfolgend aufgenommene Bilder von Bereichen um ein Fahrzeug (2) von einer Kamera (10, 20), die in dem Fahrzeug installiert ist, erlangt; einen Vogelperspektivenumwandlungsabschnitt (51), der aufeinanderfolgend eine Vogelperspektivenumwandlung der aufgenommenen Bilder, die durch den Erlangungsabschnitt erlangt wurden, durchführt, um Vogelperspektivenbilder zu erzeugen; einen Speicherprozessabschnitt (52), der aufeinanderfolgend ein Historienbild, das in einem Bereich vorhanden ist, der ein Bild des Fahrzeugs nicht aufweist, aus den Vogelperspektivenbildern, die aufeinanderfolgend von dem Vogelperspektivenumwandlungsabschnitt erzeugt wurden, extrahiert und das Historienbild in einem Historienspeicher (43) speichert; einen Historienverschiebungsabschnitt (56), der das Historienbild, das in dem Historienspeicher gespeichert ist, in Abhängigkeit von einer Fahrt des Fahrzeugs bewegt; einen Bildkombinationsabschnitt (57), der einen derzeitigen Bildabschnitt (34, 35), der durch Extrahieren eines derzeitigen Bildbereiches aus dem letzten Vogelperspektivenbild, das durch den Vogelperspektivenumwandlungsabschnitt umgewandelt wurde, mit einem Historienbildabschnitt (33), der durch Extrahieren eines Historienbereiches (81) erlangt wird, der auf der Fahrzeugseite in Bezug auf den derzeitigen Bildbereich vorhanden ist, kombiniert, um ein zusammengesetztes Vogelperspektivenbild (31) um das Fahrzeug zu erzeugen, das das Vogelperspektivenbild ist, das einen Bereich enthält, dessen Bild nicht in dem letzten Vogelperspektivenbild enthalten ist; und einen Bildausgabeabschnitt (58), der das zusammengesetzte Vogelperspektivenbild, das von dem Bildkombinationsabschnitt erzeugt wird, an eine Anzeige (30) ausgibt. Das Historienbild, das durch den Speicherprozessabschnitt extrahiert wird, ist gleich oder größer als ein minimales Rechteck, wobei ein Bereich des Historienbildes auf der Grundlage des minimalen Rechtecks bestimmt wird. Zwei Seiten des minimalen Rechtecks sind parallel zu einer Fahrzeugbreitenrichtung des Fahrzeugs. Die Seite (63a) auf der Fahrzeugseite der beiden Seiten des minimalen Rechtecks parallel zu der Fahrzeugbreitenrichtung weisen ein Ende, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches, der sich aufgrund einer Drehung im Uhrzeigersinn des Fahrzeugs mit einem minimalen Drehradius bewegt, vorhanden ist, und ein anderes Ende auf, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches, der sich aufgrund einer Drehung entgegen dem Uhrzeigersinn des Fahrzeugs mit dem minimalen Drehradius bewegt, vorhanden ist. Eine Länge des minimalen Rechtecks in einer Fahrzeug-vorne-hinten-Richtung ist eine Bewegungsstrecke des Historienbereiches, die durch eine Fahrt des Fahrzeugs von einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, das letzte Mal aufgenommen wurde, und einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, dieses Mal aufgenommen wird bzw. wurde.The vehicle surrounding image display control device of the embodiment includes: an acquiring section (S1) that acquires sequentially picked up images of areas around a vehicle (2) from a camera (10, 20) installed in the vehicle; a bird's-eye view converting section (51) that successively performs bird's-eye view conversion of the captured images acquired by the acquiring section to generate bird's-eye view images; a storage process section (52) which successively extracts a history image present in an area not having an image of the vehicle from the bird's-eye view images successively generated by the bird's-eye view converting section and stores the history image in a history memory (43); a history moving section (56) which moves the history image stored in the history memory depending on a running of the vehicle; an image combining section (57) including a current image section (34, 35) obtained by extracting a current image area from the last bird's-eye view image represented by the bird's-eye view conversion section, combined with a history image section (33) obtained by extracting a history area (81) present on the vehicle side with respect to the current image area, to generate a composite bird's-eye view image (31) around the vehicle, that is the bird's-eye view image that includes an area whose image is not included in the last bird's-eye view image; and an image output section (58) which outputs the composite bird's-eye view image generated by the image combining section to a display (30). The history image extracted by the storage process section is equal to or larger than a minimum rectangle, and a range of the history image is determined based on the minimum rectangle. Two sides of the minimum rectangle are parallel to a vehicle width direction of the vehicle. The side (63a) on the vehicle side of the two sides of the minimum rectangle parallel to the vehicle width direction has an end present on an inner peripheral circle of a movement track of the history area that moves with a minimum turning radius due to clockwise rotation of the vehicle, and another end present on an inner peripheral circle of a moving track of the history area moving due to counterclockwise rotation of the vehicle with the minimum turning radius. A length of the minimum rectangle in a vehicle front-rear direction is a moving distance of the history area covered by running of the vehicle from a point in time when the captured image corresponding to the bird's-eye view image from which the history image is extracted is the last time was captured and a time when the captured image corresponding to the bird's-eye view image from which the history image is extracted is captured this time.
Das Fahrzeugumgebungsbildanzeigesteuerungsprogramm der Ausführungsform ist auf einem computerlesbaren Aufzeichnungsmedium gespeichert und ermöglicht es einem Computer, als Folgendes zu dienen: ein Erlangungsabschnitt (S1), der aufeinanderfolgend aufgenommene Bilder von Bereichen um ein Fahrzeug (2) von einer Kamera (10, 20), die in dem Fahrzeug installiert ist, erlangt; ein Vogelperspektivenumwandlungsabschnitt (51), der aufeinanderfolgend eine Vogelperspektivenumwandlung der aufgenommenen Bilder, die durch den Erlangungsabschnitt erlangt wurden, durchführt, um Vogelperspektivenbilder zu erzeugen; ein Speicherprozessabschnitt (52), der aufeinanderfolgend ein Historienbild, das in einem Bereich vorhanden ist, der ein Bild des Fahrzeugs nicht aufweist, aus den Vogelperspektivenbildern, die aufeinanderfolgend von dem Vogelperspektivenumwandlungsabschnitt erzeugt wurden, extrahiert und das Historienbild in einem Historienspeicher (43) speichert; ein Historienverschiebungsabschnitt (56), der das Historienbild, das in dem Historienspeicher gespeichert ist, in Abhängigkeit von einer Fahrt des Fahrzeugs bewegt; ein Bildkombinationsabschnitt (57), der einen derzeitigen Bildabschnitt (34, 35), der durch Extrahieren eines derzeitigen Bildbereiches aus dem letzten Vogelperspektivenbild, das durch den Vogelperspektivenumwandlungsabschnitt umgewandelt wurde, mit einem Historienbildabschnitt (33), der durch Extrahieren eines Historienbereiches (81) erlangt wird, der auf der Fahrzeugseite in Bezug auf den derzeitigen Bildbereich vorhanden ist, kombiniert, um ein zusammengesetztes Vogelperspektivenbild (31) um das Fahrzeug zu erzeugen, das das Vogelperspektivenbild ist, das einen Bereich enthält, dessen Bild nicht in dem letzten Vogelperspektivenbild enthalten ist; und ein Bildausgabeabschnitt (58), der das zusammengesetzte Vogelperspektivenbild, das von dem Bildkombinationsabschnitt erzeugt wird, an eine Anzeige (30) ausgibt. Das Historienbild, das durch den Speicherprozessabschnitt extrahiert wird, ist gleich oder größer als ein minimales Rechteck, wobei ein Bereich des Historienbildes auf der Grundlage des minimalen Rechtecks bestimmt wird. Zwei Seiten des minimalen Rechtecks sind parallel zu einer Fahrzeugbreitenrichtung des Fahrzeugs. Die Seite (63a) auf der Fahrzeugseite der beiden Seiten des minimalen Rechtecks parallel zu der Fahrzeugbreitenrichtung weisen ein Ende, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches, der sich aufgrund einer Drehung im Uhrzeigersinn des Fahrzeugs mit einem minimalen Drehradius bewegt, vorhanden ist, und ein anderes Ende auf, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches, der sich aufgrund einer Drehung entgegen dem Uhrzeigersinn des Fahrzeugs mit dem minimalen Drehradius bewegt, vorhanden ist. Eine Länge des minimalen Rechtecks in einer Fahrzeug-vorne-hinten-Richtung ist eine Bewegungsstrecke des Historienbereiches, die durch eine Fahrt des Fahrzeugs von einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, das letzte Mal aufgenommen wurde, und einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, dieses Mal aufgenommen wird bzw. wurde.The vehicle surroundings image display control program of the embodiment is stored in a computer-readable recording medium and enables a computer to serve as: an acquisition section (S1) which sequentially acquires images of areas around a vehicle (2) from a camera (10, 20) installed in installed on the vehicle; a bird's-eye view converting section (51) that successively performs bird's-eye view conversion of the captured images acquired by the acquiring section to generate bird's-eye view images; a storage process section (52) which successively extracts a history image present in an area not having an image of the vehicle from the bird's-eye view images successively generated by the bird's-eye view converting section and stores the history image in a history memory (43); a history moving section (56) which moves the history image stored in the history memory depending on a running of the vehicle; an image combining section (57) combining a current image section (34, 35) obtained by extracting a current image area from the last bird's-eye view image converted by the bird's-eye view conversion section with a history image section (33) obtained by extracting a history area (81). present on the vehicle side with respect to the current image area is combined to generate a composite bird's-eye view image (31) around the vehicle, which is the bird's-eye view image including an area whose image is not included in the last bird's-eye view image; and an image output section (58) which outputs the composite bird's-eye view image generated by the image combining section to a display (30). The history image extracted by the storage process section is equal to or larger than a minimum rectangle, and a range of the history image is determined based on the minimum rectangle. Two sides of the minimum rectangle are parallel to a vehicle width direction of the vehicle. The side (63a) on the vehicle side of the two sides of the minimum rectangle parallel to the vehicle width direction has an end present on an inner peripheral circle of a movement track of the history area that moves with a minimum turning radius due to clockwise rotation of the vehicle, and another end present on an inner peripheral circle of a moving track of the history area moving due to counterclockwise rotation of the vehicle with the minimum turning radius. A length of the minimum rectangle in a vehicle front-rear direction is a moving distance of the history area covered by running of the vehicle from a point in time when the captured image corresponding to the bird's-eye view image from which the history image is extracted is the last times and a time when the captured image corresponding to the bird's-eye view image from which the history image is extracted is captured this time.
Gemäß den obigen Ausführungsformen ist das Historienbild, das durch den Speicherprozessabschnitt extrahiert wird, ein Bild, das durch Extrahieren eines Bereiches, der kein Bild des Fahrzeugs aufweist, aus einem Vogelperspektivenbild erhalten wird. Somit ist sogar dann, wenn der Historienverschiebungsabschnitt das Historienbild in Abhängigkeit von der Fahrt des Fahrzeugs verschiebt, ein Stoßfänger oder eine Anhängerkupplung nicht an einer Stelle vorhanden, die von dem Fahrzeug getrennt ist.According to the above embodiments, the history image extracted by the storage process section is an image obtained by extracting an area that does not have an image of the vehicle from a bird's-eye view image. Thus, even if the history moving section is dependent on the history image ability to move the vehicle, a bumper or trailer hitch is not present at a location separate from the vehicle.
Außerdem wird das Historienbild, das durch den Speicherprozessabschnitt extrahiert wird, auf der Grundlage des minimalen Rechtecks bestimmt. Die Seite des minimalen Rechtecks auf der Fahrzeugseite der beiden Seiten parallel zu der Fahrzeugbreitenrichtung weist ein Ende, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches, der sich aufgrund einer Drehung des Fahrzeugs im Uhrzeigersinn mit einem minimalen Drehradius bewegt, vorhanden ist, und ein anderes Ende auf, das auf einem inneren Umfangskreis einer Bewegungsspur des Historienbereiches vorhanden ist, der sich aufgrund einer Drehung entgegen dem Uhrzeigersinn des Fahrzeugs mit dem minimalen Drehradius bewegt.Also, the history image extracted by the storage process section is determined based on the minimum rectangle. The side of the minimum rectangle on the vehicle side of the two sides parallel to the vehicle width direction has one end present on an inner circumference circle of a moving track of the history area moving clockwise with a minimum turning radius due to a vehicle turning clockwise, and another end present on an inner peripheral circle of a moving track of the history area moving due to counterclockwise rotation of the vehicle with the minimum turning radius.
Somit wird durch Extrahieren des Bereiches, der gleich oder größer als das minimale Rechteck ist, als ein Historienbild aus einem Vogelperspektivenbild sogar dann, wenn das Fahrzeug am weitesten in der Richtung nach rechts und links fährt und der Historienbild sich aufgrund der Fahrt bewegt, verhindert, dass ein Abschnitt, der keine Historienbilder aufweist, des Historienbildes, das in dem Historienspeicher gespeichert ist, in der Fahrzeugbreitenrichtung in dem Historienbereich erzeugt wird.Thus, by extracting the area equal to or larger than the minimum rectangle as a history image from a bird's-eye view image, even when the vehicle travels furthest in the right and left direction and the history image moves due to the travel, it is prevented that a portion having no history images of the history image stored in the history memory is generated in the vehicle width direction in the history area.
Außerdem ist eine Länge des minimalen Rechtecks in einer Fahrzeug-vorne-hinten-Richtung eine Bewegungsstrecke des Historienbereiches, die durch eine Fahrt des Fahrzeugs von einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, das letzte Mal aufgenommen wurde, und bis zu einem Zeitpunkt, zu dem das aufgenommene Bild, das dem Vogelperspektivenbild entspricht, aus dem das Historienbild extrahiert wird, dieses Mal aufgenommen wird bzw. wurde, erzeugt wird.In addition, a length of the minimum rectangle in a vehicle front-rear direction is a moving distance of the history area covered by running of the vehicle from a time when the captured image corresponding to the bird's-eye view image from which the history image is extracted was captured last time and until a point in time when the captured image corresponding to the bird's-eye view image from which the history image is extracted is captured this time.
Wenn der Bereich, der gleich oder größer als das minimale Rechteck ist, als ein Historienbild aus einem Vogelperspektivenbild extrahiert wird, wird somit sogar dann, wenn das Fahrzeug in der Vorne-hinten-Richtung fährt, verhindert, dass ein Abschnitt, der keine Historienbilder aufweist, des Historienbildes, das in dem Historienspeicher gespeichert ist, in der Fahrzeug-vorne-hinten-Richtung in dem Historienbereich erzeugt wird. Dementsprechend wird verhindert, dass ein Abschnitt, der keine Historienbilder aufweist, des Historienbildes, das in dem Historienspeicher gespeichert ist, in dem Historienbereich erzeugt wird.Thus, when the area that is equal to or larger than the minimum rectangle is extracted as a history image from a bird's-eye view image, even when the vehicle runs in the front-rear direction, a portion that has no history images is prevented , of the history image stored in the history memory is generated in the vehicle front-rear direction in the history area. Accordingly, a portion having no history images of the history image stored in the history memory is prevented from being generated in the history area.
Da das Historienbild, das durch den Speicherprozessabschnitt extrahiert wird, ein Bild ist, dessen Bereich auf der Grundlage des minimalen Rechtecks bestimmt wird, ist das Historienbild kleiner als ein Vogelperspektivenbild, das mittels einer Vogelperspektivenumwandlung des gesamten Bereiches des aufgenommenen Bildes erhalten wird. Somit kann die benötigte Speichergröße des Historienspeichers klein sein und es kann eine Verarbeitungszeit zum Speichern des Historienbildes verkürzt werden.Since the history image extracted by the storage process section is an image whose area is determined based on the minimum rectangle, the history image is smaller than a bird's-eye view image obtained by bird's-eye view conversion of the entire area of the captured image. Thus, the required memory size of the history memory can be small, and a processing time for storing the history image can be shortened.
BezugszeichenlisteReference List
- 11
- FahrzeugumgebungsbildanzeigesystemVehicle Surrounding Image Display System
- 22
- Fahrzeugvehicle
- 33
- Erkennungsprozessabschnittrecognition process section
- 1010
- vordere Kamerafront camera
- 2020
- hintere Kamerarear camera
- 3030
- Anzeigeadvertisement
- 3131
- zusammengesetztes Vogelperspektivenbildcomposite bird's eye view image
- 3232
- Fahrzeugfigurvehicle figure
- 3333
- Historienbildabschnitthistory image section
- 3434
- vorderer derzeitiger Bildabschnittfront current image section
- 3535
- hinterer derzeitiger Bildabschnittrear current image section
- 4141
- Bildspeicherimage storage
- 4242
- Erkennungsspeicherdetection memory
- 4343
- Historienspeicherhistory memory
- 5050
- Steuerungsteering
- 5151
- VogelperspektivenumwandlungsabschnittBird's eye view conversion section
- 5252
- Speicherprozessabschnittstorage process section
- 5353
- Fahrstreckenschätzabschnittdriving distance estimation section
- 5454
- Lenkwinkelschätzabschnittsteering angle estimation section
- 5555
- Fahrzeugfahrgrößenberechnungsabschnittvehicle ride quantity calculation section
- 5656
- Historienverschiebungsabschnitthistory shift section
- 5757
- Bildkombinationsabschnittimage combination section
- 5858
- Bildausgabeabschnittimage output section
- 6161
- Parkrahmenlinieparking frame line
- 6262
- Erkennungsbildextraktionsbereichdetection image extraction area
- 6363
- Extraktionsbereichextraction area
- 63a63a
- fahrzeugseitige Seitevehicle side
- 63b63b
- Seite der Fahrzeug-vorne-hinten-RichtungSide of vehicle front-rear direction
- 6464
- Fahrzeugbereichvehicle area
- 7070
- hinteres aufgenommenes Bildrear captured image
- 7272
- hinteres derzeitiges Bildrear current image
- 8080
- Drehachslinierotary axis line
- 8181
- Historienbereichhistory area
- 8282
- rechter innerer Umfangskreisright inner perimeter
- 8383
- linker innerer Umfangskreisleft inner perimeter
Claims (4)
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015053850A JP6464846B2 (en) | 2015-03-17 | 2015-03-17 | Vehicle surrounding image display control device and vehicle surrounding image display control program |
JP2015-053850 | 2015-03-17 | ||
PCT/JP2016/056016 WO2016147846A1 (en) | 2015-03-17 | 2016-02-29 | Vehicle peripheral image display control device and vehicle peripheral image display control program |
Publications (2)
Publication Number | Publication Date |
---|---|
DE112016001238T5 DE112016001238T5 (en) | 2017-12-14 |
DE112016001238B4 true DE112016001238B4 (en) | 2022-06-09 |
Family
ID=56918912
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE112016001238.1T Active DE112016001238B4 (en) | 2015-03-17 | 2016-02-29 | AROUND VEHICLE IMAGE DISPLAY CONTROL DEVICE AND AROUND VEHICLE IMAGE DISPLAY CONTROL PROGRAM |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6464846B2 (en) |
DE (1) | DE112016001238B4 (en) |
WO (1) | WO2016147846A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024062976A1 (en) * | 2022-09-22 | 2024-03-28 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device and information processing method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002373327A (en) | 2001-06-13 | 2002-12-26 | Denso Corp | Apparatus for processing image around vehicle and recording medium |
JP2003191810A (en) | 2001-12-26 | 2003-07-09 | Denso Corp | Vehicle surroundings monitoring system, and vehicle moving state detector |
JP2007102798A (en) | 2006-10-11 | 2007-04-19 | Denso Corp | Vehicle circumference monitoring system |
JP2011148369A (en) | 2010-01-20 | 2011-08-04 | Denso Corp | Driving support device |
JP2013246493A (en) | 2012-05-23 | 2013-12-09 | Denso Corp | Vehicle circumference image display controller and vehicle circumference image display control program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3847547B2 (en) * | 2000-10-17 | 2006-11-22 | 三菱電機株式会社 | Vehicle periphery monitoring support device |
-
2015
- 2015-03-17 JP JP2015053850A patent/JP6464846B2/en active Active
-
2016
- 2016-02-29 DE DE112016001238.1T patent/DE112016001238B4/en active Active
- 2016-02-29 WO PCT/JP2016/056016 patent/WO2016147846A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002373327A (en) | 2001-06-13 | 2002-12-26 | Denso Corp | Apparatus for processing image around vehicle and recording medium |
JP2003191810A (en) | 2001-12-26 | 2003-07-09 | Denso Corp | Vehicle surroundings monitoring system, and vehicle moving state detector |
JP2007102798A (en) | 2006-10-11 | 2007-04-19 | Denso Corp | Vehicle circumference monitoring system |
JP2011148369A (en) | 2010-01-20 | 2011-08-04 | Denso Corp | Driving support device |
JP2013246493A (en) | 2012-05-23 | 2013-12-09 | Denso Corp | Vehicle circumference image display controller and vehicle circumference image display control program |
Also Published As
Publication number | Publication date |
---|---|
WO2016147846A1 (en) | 2016-09-22 |
DE112016001238T5 (en) | 2017-12-14 |
JP2016174300A (en) | 2016-09-29 |
JP6464846B2 (en) | 2019-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102015105248B4 (en) | Method and system for generating an image of the surroundings of an articulated vehicle | |
DE102012023706A1 (en) | Vehicle-side method and vehicle-side device for detecting and displaying parking spaces for a vehicle | |
DE102010000385A1 (en) | Vehicle periphery display device | |
DE102012200731A1 (en) | Method and device for visualizing the environment of a vehicle | |
DE112018000107T5 (en) | Vehicle camera calibration apparatus and method | |
DE102010051206A1 (en) | A method of generating an image of a vehicle environment and imaging device | |
EP3281178A1 (en) | Method for displaying an area surrounding a vehicle | |
DE112017001410T5 (en) | INFORMATION PROCESSING DEVICE | |
DE112016000689T5 (en) | Kameraparametereinstellvorrichtung | |
DE102018108751B4 (en) | Method, system and device for obtaining 3D information from objects | |
DE102017106152A1 (en) | Determine an angle of a trailer with optimized template | |
WO2020043475A1 (en) | Method and arrangement for producing a surroundings map of a vehicle, textured with image information, and vehicle comprising such an arrangement | |
DE112015001088T5 (en) | Vehicle environment image display device and vehicle environment image display method | |
DE102015211871A1 (en) | Object detection device | |
EP2996327A2 (en) | Surround view system for vehicles with attachments | |
DE112016001238B4 (en) | AROUND VEHICLE IMAGE DISPLAY CONTROL DEVICE AND AROUND VEHICLE IMAGE DISPLAY CONTROL PROGRAM | |
DE102014007565A1 (en) | Method for determining a respective boundary of at least one object, sensor device, driver assistance device and motor vehicle | |
DE102010034127A1 (en) | Method for displaying images on a display device in a motor vehicle, driver assistance system and motor vehicle | |
DE102011083745B4 (en) | A method for monocular motion stereo-based automatic automatic parking free parking, computer program product and device | |
DE112017005211T5 (en) | Display control device | |
EP3041710B1 (en) | Method to manoeurver a vehicle | |
DE102020207199A1 (en) | Device and method for providing a top view image of a parking lot | |
DE102014225883A1 (en) | A camera system and method for visualizing at least one vehicle surrounding area of a vehicle environment of a vehicle | |
DE102018207976A1 (en) | Method and device for displaying a vehicle environment | |
DE102018214875A1 (en) | Method and arrangement for generating an environmental representation of a vehicle and vehicle with such an arrangement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |