JP2019160118A - Information provider and method for providing information - Google Patents

Information provider and method for providing information Download PDF

Info

Publication number
JP2019160118A
JP2019160118A JP2018048882A JP2018048882A JP2019160118A JP 2019160118 A JP2019160118 A JP 2019160118A JP 2018048882 A JP2018048882 A JP 2018048882A JP 2018048882 A JP2018048882 A JP 2018048882A JP 2019160118 A JP2019160118 A JP 2019160118A
Authority
JP
Japan
Prior art keywords
image
host vehicle
past
captured
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018048882A
Other languages
Japanese (ja)
Other versions
JP7217090B2 (en
Inventor
将嘉 伊井野
Takeyoshi Iino
将嘉 伊井野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2018048882A priority Critical patent/JP7217090B2/en
Publication of JP2019160118A publication Critical patent/JP2019160118A/en
Application granted granted Critical
Publication of JP7217090B2 publication Critical patent/JP7217090B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

To provide a previous image which allows a user to easily know the positional relation between the current position and the position where an image for the previous image was taken.SOLUTION: The information provider includes: an acquisition unit; a storage unit; a generation unit; and a superimposing unit. The acquisition unit acquires an image of the surroundings of an own vehicle taken by a camera. The storage unit stores at least one of the taken image and a view point conversion image based on the taken image. The generation unit generates an image showing the own vehicle. The superimposing unit superimposes an image showing the own vehicle on the current position of the own vehicle in at least one previous image of the taken image and the view point conversion image.SELECTED DRAWING: Figure 1

Description

本発明は、車両の乗員に情報を提供する技術に関する。   The present invention relates to a technique for providing information to a vehicle occupant.

駐車支援や自動駐車を行うことができる車両が既に市販されている。駐車支援や自動駐車では駐車位置の設定が必要となるが、車載カメラの撮影画像を用いて駐車位置を設定する場合、通過時に駐車位置候補を検出してバックカメラ映像上で示すことができるが、位置がわかりにくい表現となり、選択しやすいとは言えない。それを解決するために俯瞰画像上に駐車位置候補を表示することが考えられるが、車両が通り過ぎて現在の撮影画像に含まれなくなった領域は駐車位置候補として選択することができない。例えば図８では、自車両Ｖ１の車載カメラで撮影された撮影画像から生成される俯瞰画像の表示範囲Ｒ１内に存在する空きスペースＰ１〜Ｐ３を駐車位置候補として選択することができる。図９では自車両Ｖ１が前進したために、自車両Ｖ１の車載カメラで撮影された撮影画像から生成される俯瞰画像の表示範囲Ｒ１内に存在する空きスペースＰ３〜Ｐ４を駐車位置候補として選択することができるが、空きスペースＰ１〜Ｐ２を駐車位置候補として選択することができなくなる。   Vehicles that can perform parking assistance and automatic parking are already on the market. Parking position setting is required for parking assistance and automatic parking, but when setting a parking position using a captured image of an in-vehicle camera, a parking position candidate can be detected and displayed on the back camera image when passing. The position is difficult to understand, and it is not easy to select. In order to solve this, it is conceivable to display a parking position candidate on the bird's-eye view image. However, an area where the vehicle has passed and is no longer included in the current captured image cannot be selected as a parking position candidate. For example, in FIG. 8, vacant spaces P1 to P3 existing in the display range R1 of the overhead view image generated from the captured image captured by the in-vehicle camera of the host vehicle V1 can be selected as parking position candidates. In FIG. 9, since the host vehicle V1 has moved forward, the empty spaces P3 to P4 existing in the display range R1 of the overhead view image generated from the captured image captured by the in-vehicle camera of the host vehicle V1 are selected as parking position candidates. However, the empty spaces P1 to P2 cannot be selected as the parking position candidates.

図９に示す状態で、空きスペースＰ１〜Ｐ２を駐車位置候補として選択するためには、過去画像（例えば図８に示す状態で撮影された画像）を利用することが考えられる。   In order to select the empty spaces P1 and P2 as parking position candidates in the state shown in FIG. 9, it is conceivable to use past images (for example, images taken in the state shown in FIG. 8).

特開２０１２−２５３６０９号公報JP 2012-253609 A

例えば特許文献１等で開示されているドライブレコーダは過去画像を記録しているため、過去画像を利用することができる。しかしながら、ドライブレコーダによって記録された過去画像をそのまま再生して表示した場合、現在位置と過去画像に対応する撮影画像が撮影された位置との位置関係をユーザが容易に把握できなかった。このため、過去画像と現在位置とを関連付けた上で過去画像を有効に利用することが難しかった。   For example, since the drive recorder disclosed in Patent Document 1 or the like records past images, the past images can be used. However, when the past image recorded by the drive recorder is reproduced and displayed as it is, the user cannot easily grasp the positional relationship between the current position and the position where the captured image corresponding to the past image is captured. For this reason, it is difficult to effectively use the past image after associating the past image with the current position.

本発明は、上記課題に鑑みて、現在位置と過去画像に対応する撮影画像が撮影された位置との位置関係をユーザが容易に把握できる過去画像を提供する情報提供技術を提供することを目的とする。   The present invention has been made in view of the above problems, and an object thereof is to provide an information providing technique for providing a past image that allows a user to easily grasp a positional relationship between a current position and a position where a captured image corresponding to a past image is captured. And

本発明の一局面に係る情報提供装置は、自車両の周辺を撮影するカメラで得られた撮影画像を取得する取得部と、前記撮影画像及び前記撮影画像に基づく視点変換画像の少なくとも一方を記憶する記憶部と、前記自車両を表す像を生成する生成部と、前記撮影画像及び前記視点変換画像の少なくとも一方の過去画像における前記自車両の現在位置に前記自車両を表す像を重畳する重畳部と、を備える構成（第１の構成）である。   An information providing apparatus according to an aspect of the present invention stores an acquisition unit that acquires a captured image obtained by a camera that captures the periphery of a host vehicle, and at least one of the captured image and a viewpoint-converted image based on the captured image. A superimposing unit that superimposes an image representing the host vehicle on a current position of the host vehicle in at least one past image of the captured image and the viewpoint conversion image. A configuration (first configuration).

上記第１の構成の情報提供装置において、前記撮影画像又は前記視点変換画像のいずれかの過去画像と、前記撮影画像又は前記視点変換画像のいずれかの現在画像と、を表示画像として出力する構成（第２の構成）であってもよい。   In the information providing apparatus having the first configuration, the past image of either the captured image or the viewpoint converted image and the current image of either the captured image or the viewpoint converted image are output as a display image. (2nd structure) may be sufficient.

上記第１または第２の構成の情報提供装置において、過去に撮影された画像であることをユーザに視認させるための画像加工処理を前記過去画像に施す画像加工処理部を備える構成（第３の構成）であってもよい。   The information providing apparatus having the first or second configuration includes a configuration (third processing unit) that performs an image processing process on the past image to make the user visually recognize that the image has been captured in the past. Configuration).

上記第１〜第３いずれかの構成の情報提供装置において、前記重畳部は、前記視点変換画像の過去画像における前記過去画像に対応する前記撮影画像が撮影された前記自車両の位置に前記自車両を表す像を重畳する構成（第４の構成）であってもよい。   In the information providing apparatus having any one of the first to third configurations, the superimposing unit is located at the position of the own vehicle where the captured image corresponding to the past image in the past image of the viewpoint conversion image is captured. The structure (4th structure) which superimposes the image showing a vehicle may be sufficient.

上記第４の構成の情報提供装置において、前記過去画像における前記自車両の現在位置に重畳する前記自車両を表す像と、前記視点変換画像の過去画像における前記過去画像に対応する前記撮影画像が撮影された前記自車両の位置に重畳する前記自車両を表す像と、を異なる表示態様にする構成（第５の構成）であってもよい。   In the information providing apparatus having the fourth configuration, an image representing the host vehicle superimposed on the current position of the host vehicle in the past image, and the captured image corresponding to the past image in the past image of the viewpoint conversion image are provided. A configuration (fifth configuration) may be used in which the captured image of the host vehicle superimposed on the position of the host vehicle is displayed differently.

本発明の一局面に係る情報提供方法は、自車両の周辺を撮影するカメラで得られた撮影画像を取得する取得工程と、前記撮影画像及び前記撮影画像に基づく視点変換画像の少なくとも一方を記憶する記憶工程と、前記自車両を表す像を生成する生成工程と、前記撮影画像及び前記視点変換画像の少なくとも一方の過去画像における前記自車両の現在位置に前記自車両を表す像を重畳する重畳工程と、を備える構成（第６の構成）である。   An information providing method according to one aspect of the present invention stores at least one of an acquisition step of acquiring a captured image obtained by a camera that captures the periphery of the host vehicle, and the viewpoint-converted image based on the captured image and the captured image. And a superimposing process for superimposing an image representing the host vehicle on a current position of the host vehicle in at least one past image of the photographed image and the viewpoint conversion image. And a step (sixth configuration).

本発明の他の局面に係る情報提供装置は、自車両に搭載されたカメラで撮影された撮影画像に基づき、前記自車両が通過してきた画像を過去画像として記憶する記憶部と、現在の自車両位置に基づく表示の視点の撮影画像の表示から、前記記憶部に記憶された過去画像を用いて前記自車両が過去に通過した範囲を含む方向に視点を遷移させた撮影画像を表示するとともに、当該遷移中おいて現在の自車両位置を示す表示を継続する表示制御部と、を備える構成（第７の構成）である。   An information providing apparatus according to another aspect of the present invention includes a storage unit that stores, as a past image, an image that the host vehicle has passed based on a captured image that is captured by a camera mounted on the host vehicle, and a current host device. While displaying the captured image of the viewpoint of display based on the vehicle position, using the past image stored in the storage unit, the captured image in which the viewpoint is changed in the direction including the range in which the host vehicle has passed in the past is displayed. And a display control unit that continues to display the current vehicle position during the transition (seventh configuration).

上記第７の構成の情報提供装置において、前記遷移はユーザのスクロール操作に応じて視点移動する構成（第８の構成）であってもよい。   In the information providing apparatus with the seventh configuration, the transition may be configured to move the viewpoint in accordance with a user's scroll operation (eighth configuration).

上記第７または第８の構成の情報提供装置において、前記現在の自車両位置を示す表示は車両イラスト画像であり、前記遷移中、前記車両イラスト画像の表示を継続するとともに、過去画像に対応した自車両位置に相当する位置には過去車両イラスト画像を表示する構成（第９の構成）であってもよい。   In the information providing device having the seventh or eighth configuration, the display indicating the current host vehicle position is a vehicle illustration image, and during the transition, the display of the vehicle illustration image is continued and the display corresponds to the past image. The past vehicle illustration image may be displayed at a position corresponding to the own vehicle position (a ninth configuration).

上記第７〜第９いずれかの構成の情報提供装置において、前記遷移中の過去画像表示において駐車領域に関する情報を重畳表示する構成（第１０の構成）であってもよい。   In the information providing apparatus having any one of the seventh to ninth configurations, a configuration (tenth configuration) in which information related to a parking area is superimposed and displayed in the past image display during the transition may be employed.

本発明によると、現在位置と過去画像に対応する撮影画像が撮影された位置との位置関係をユーザが容易に把握できる過去画像を提供することができる。   According to the present invention, it is possible to provide a past image in which the user can easily grasp the positional relationship between the current position and the position where the captured image corresponding to the past image is captured.

情報提供装置の構成例を示す図The figure which shows the structural example of an information provision apparatus ４つの車載カメラが車両に配置される位置を例示する図The figure which illustrates the position where four in-vehicle cameras are arranged in a vehicle 仮想投影面の例を示す図Diagram showing an example of a virtual projection plane 表示画像の一例を示す図The figure which shows an example of a display image 表示画像の一例を示す図The figure which shows an example of a display image 表示画像の一例を示す図The figure which shows an example of a display image 表示画像の一例を示す図The figure which shows an example of a display image 駐車場の状態を示す俯瞰図Overhead view showing parking conditions 駐車場の状態を示す俯瞰図Overhead view showing parking conditions

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。   Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings.

＜１．情報提供装置の構成例＞
図１は情報提供装置の構成例を示す図である。図１に示す情報提供装置２０１は、例えば自動車などの車両に搭載されている。以下、情報提供装置２０１が搭載される車両を「自車両」という。また、自車両の直進進行方向であって、運転席からステアリングに向かう方向を「前方」という。また、自車両の直進進行方向であって、ステアリングから運転席に向かう方向を「後方」という。また、自車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の右側から左側に向かう方向を「左方向」という。また、自車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の左側から右側に向かう方向を「右方向」という。 <1. Configuration example of information providing device>
FIG. 1 is a diagram illustrating a configuration example of an information providing apparatus. An information providing apparatus 201 illustrated in FIG. 1 is mounted on a vehicle such as an automobile. Hereinafter, the vehicle on which the information providing apparatus 201 is mounted is referred to as “own vehicle”. Further, the direction in which the host vehicle travels straight and is directed from the driver's seat to the steering is referred to as “front”. In addition, the direction in which the host vehicle travels straight and is directed from the steering to the driver's seat is referred to as “rearward”. Also, the direction from the right side to the left side of the driver who faces the forward direction and is the direction perpendicular to the straight traveling direction of the host vehicle and the vertical line is referred to as “left direction”. Further, the direction from the left side to the right side of the driver who faces the forward direction and is perpendicular to the straight traveling direction and the vertical line of the host vehicle is referred to as “right direction”.

図１に示すフロントカメラ１１、バックカメラ１２、左サイドカメラ１３、右サイドカメラ１４、情報提供装置２０１、表示装置３１、操作装置３２、及び駐車枠認識装置３３は自車両に搭載される。   The front camera 11, the back camera 12, the left side camera 13, the right side camera 14, the information providing device 201, the display device 31, the operating device 32, and the parking frame recognition device 33 shown in FIG. 1 are mounted on the host vehicle.

図２は、４つの車載カメラ（フロントカメラ１１、バックカメラ１２、左サイドカメラ１３、及び右サイドカメラ１４）が自車両Ｖ１に配置される位置を例示する図である。   FIG. 2 is a diagram exemplifying positions at which four in-vehicle cameras (front camera 11, back camera 12, left side camera 13, and right side camera 14) are arranged in the host vehicle V1.

フロントカメラ１１は自車両Ｖ１の前端に設けられる。フロントカメラ１１の光軸１１ａは上からの平面視で自車両Ｖ１の前後方向に沿っている。フロントカメラ１１は自車両Ｖ１の前方向を撮影する。バックカメラ１２は自車両Ｖ１の後端に設けられる。バックカメラ１２の光軸１２ａは上からの平面視で自車両Ｖ１の前後方向に沿っている。バックカメラ１２は自車両Ｖ１の後方向を撮影する。フロントカメラ１１及びバックカメラ１２の取付位置は、自車両Ｖ１の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であってもよい。   The front camera 11 is provided at the front end of the host vehicle V1. The optical axis 11a of the front camera 11 is along the front-rear direction of the host vehicle V1 in plan view from above. The front camera 11 captures the front direction of the host vehicle V1. The back camera 12 is provided at the rear end of the host vehicle V1. The optical axis 12a of the back camera 12 is along the front-rear direction of the host vehicle V1 in plan view from above. The back camera 12 captures the rear direction of the host vehicle V1. The attachment position of the front camera 11 and the back camera 12 is preferably the center of the left and right of the host vehicle V1, but may be a position slightly deviated from the center of the left and right in the left and right direction.

左サイドカメラ１３は自車両Ｖ１の左側ドアミラーＭ１に設けられる。左サイドカメラ１３の光軸１３ａは上からの平面視で自車両Ｖ１の左右方向に沿っている。左サイドカメラ１３は自車両Ｖ１の左方向を撮影する。右サイドカメラ１４は自車両Ｖ１の右側ドアミラーＭ２に設けられる。右サイドカメラ１４の光軸１４ａは上からの平面視で自車両Ｖ１の左右方向に沿っている。右サイドカメラ１４は自車両Ｖ１の右方向を撮影する。なお、自車両Ｖ１がいわゆるドアミラーレス車である場合には、左サイドカメラ１３は左サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられ、右サイドカメラ１４は右サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられる。   The left side camera 13 is provided in the left door mirror M1 of the host vehicle V1. The optical axis 13a of the left side camera 13 is along the left-right direction of the host vehicle V1 in plan view from above. The left side camera 13 captures the left direction of the host vehicle V1. The right side camera 14 is provided in the right door mirror M2 of the host vehicle V1. The optical axis 14a of the right side camera 14 is along the left-right direction of the host vehicle V1 in plan view from above. The right side camera 14 captures the right direction of the host vehicle V1. When the host vehicle V1 is a so-called door mirrorless vehicle, the left side camera 13 is attached to the periphery of the rotation axis (hinge portion) of the left side door without a door mirror, and the right side camera 14 is a right side door. It is attached without the door mirror around the rotating shaft (hinge part).

各車載カメラの水平方向の画角θは１８０度以上である。このため、４つの車載カメラ（フロントカメラ１１、バックカメラ１２、左サイドカメラ１３、及び右サイドカメラ１４）によって、自車両Ｖ１の水平方向における全周囲を撮影することができる。なお、本実施形態では、車載カメラの数を４つとしているが、車載カメラの撮影画像を用いて後述する俯瞰画像を作成するために必要な車載カメラの数は４つに限られることはなく、複数のカメラであればよい。一例として、各車載カメラの水平方向の画角θが比較的広い場合は、４つよりも少ない３つのカメラから取得される３つの撮影画像に基づき俯瞰画像を生成してもよい。さらに、別の例として、各車載カメラの水平方向の画角θが比較的狭い場合は、４つよりも多い５つのカメラから得られる５つの撮影画像に基づき俯瞰画像を生成してもよい。   The horizontal angle of view θ of each in-vehicle camera is 180 degrees or more. For this reason, the entire periphery in the horizontal direction of the host vehicle V1 can be photographed by the four in-vehicle cameras (the front camera 11, the back camera 12, the left side camera 13, and the right side camera 14). In the present embodiment, the number of in-vehicle cameras is four. However, the number of in-vehicle cameras necessary for creating a bird's-eye view image to be described later using a captured image of the in-vehicle camera is not limited to four. A plurality of cameras may be used. As an example, when the horizontal angle of view θ of each in-vehicle camera is relatively wide, an overhead image may be generated based on three captured images acquired from fewer than three cameras. Furthermore, as another example, when the horizontal view angle θ of each in-vehicle camera is relatively narrow, an overhead image may be generated based on five captured images obtained from more than four cameras.

図１に戻って、４つの車載カメラ（フロントカメラ１１、バックカメラ１２、左サイドカメラ１３、及び右サイドカメラ１４）は、撮影画像を情報提供装置２０１及び駐車枠認識装置３３に出力する。   Returning to FIG. 1, the four in-vehicle cameras (front camera 11, back camera 12, left side camera 13, and right side camera 14) output captured images to the information providing device 201 and the parking frame recognition device 33.

情報提供装置２０１は、４つの車載カメラ（フロントカメラ１１、バックカメラ１２、左サイドカメラ１３、及び右サイドカメラ１４）から出力される撮影画像を処理し、処理後の画像を表示装置３１に出力する。   The information providing apparatus 201 processes captured images output from the four in-vehicle cameras (the front camera 11, the back camera 12, the left side camera 13, and the right side camera 14), and outputs the processed image to the display device 31. To do.

表示装置３１は、自車両のドライバーが表示装置３１の表示画面を視認できる位置に設けられ、情報提供装置２０１から出力される表示画像を表示する。表示装置３１としては、例えばセンターコンソールに設置されるディスプレイ、運転席の対向位置に設置されるメータディスプレイ、フロントガラスに画像を投影するヘッドアップディスプレイなどを挙げることができる。   The display device 31 is provided at a position where the driver of the host vehicle can visually recognize the display screen of the display device 31, and displays a display image output from the information providing device 201. Examples of the display device 31 include a display installed at the center console, a meter display installed at a position opposite to the driver's seat, and a head-up display that projects an image on the windshield.

操作装置３２は、自車両のドライバーが行った操作に応じた操作情報を生成する装置である。操作装置３２としては、例えば、押し釦、タッチパネル等を用いることができる。また、操作装置は、マイクロフォンを有し、自車両のドライバーが発した音声を認識して自車両のドライバーが発した音声に応じた操作情報を生成してもよい。なお、以下の説明では、操作装置３２を、表示装置３１と一体として構成されるタッチパネルとする。   The operation device 32 is a device that generates operation information corresponding to an operation performed by a driver of the host vehicle. As the operating device 32, for example, a push button, a touch panel, or the like can be used. The operation device may include a microphone, recognize voice generated by the driver of the host vehicle, and generate operation information according to the voice generated by the driver of the host vehicle. In the following description, the operation device 32 is a touch panel configured integrally with the display device 31.

情報提供装置２０１は、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて情報提供装置２０１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、当該プログラムをプログラム実行装置上で実行することによって、その機能を実現するようにしてもよい。プログラム実行装置としては、例えばＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を備えるコンピュータを挙げることができる。   The information providing apparatus 201 can be configured by hardware such as an application specific integrated circuit (ASIC) or a field-programmable gate array (FPGA), or a combination of hardware and software. When the information providing apparatus 201 is configured using software, a block diagram of a part realized by software represents a functional block diagram of the part. A function realized using software may be described as a program, and the function may be realized by executing the program on a program execution device. Examples of the program execution device include a computer including a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory).

情報提供装置２０１は、撮影画像取得部２１と、表示制御部２２と、記憶部２３と、駐車位置選択部２４と、を備える。   The information providing apparatus 201 includes a captured image acquisition unit 21, a display control unit 22, a storage unit 23, and a parking position selection unit 24.

撮影画像取得部２１は、４つの車載カメラ（フロントカメラ１１、バックカメラ１２、左サイドカメラ１３、及び右サイドカメラ１４）からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。そして、取得した撮影画像がアナログの場合には、撮影画像取得部２１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。撮影画像取得部２１は、取得した撮影画像、或いは、取得及び変換した撮影画像を、表示制御部２２に出力する。   The captured image acquisition unit 21 outputs analog or digital captured images from four in-vehicle cameras (front camera 11, back camera 12, left side camera 13, and right side camera 14) in a predetermined cycle (for example, 1/30 second cycle). ) To get continuously in time. If the acquired captured image is analog, the captured image acquisition unit 21 converts the analog captured image into a digital captured image (A / D conversion). The captured image acquisition unit 21 outputs the acquired captured image or the acquired and converted captured image to the display control unit 22.

表示制御部２２は、俯瞰画像生成部２２ａと、自車両像生成部２２ｂと、重畳部２２ｃと、画像加工処理部２２ｄと、を備える。   The display control unit 22 includes an overhead image generation unit 22a, a host vehicle image generation unit 22b, a superimposition unit 22c, and an image processing unit 22d.

俯瞰画像生成部２２ａは、撮影画像取得部２１によって取得された撮影画像を仮想投影面に投影して投影画像に変換する。具体的には、俯瞰画像生成部２２ａは、図３に示す仮想的な三次元空間における仮想投影面１００の第１領域Ｒ１にフロントカメラ１１の撮影画像を投影して、フロントカメラ１１の撮影画像を第１の投影画像に変換する。同様に、俯瞰画像生成部２２ａは、図３に示す仮想投影面１００の第２〜第４領域Ｒ２〜Ｒ４それぞれにバックカメラ１２の撮影画像、左サイドカメラ１３の撮影画像、及び右サイドカメラ１４の撮影画像を投影して、バックカメラ１２の撮影画像、左サイドカメラ１３の撮影画像、及び右サイドカメラ１４の撮影画像それぞれを第２〜第４の投影画像に変換する。   The overhead image generation unit 22a projects the captured image acquired by the captured image acquisition unit 21 onto a virtual projection plane and converts it into a projected image. Specifically, the overhead image generation unit 22a projects the captured image of the front camera 11 onto the first region R1 of the virtual projection plane 100 in the virtual three-dimensional space illustrated in FIG. Is converted into a first projection image. Similarly, the bird's-eye view image generation unit 22a captures the captured image of the back camera 12, the captured image of the left side camera 13, and the right side camera 14 in each of the second to fourth regions R2 to R4 of the virtual projection plane 100 illustrated in FIG. The captured images of the back camera 12, the captured image of the left side camera 13, and the captured image of the right side camera 14 are converted into second to fourth projected images.

図３に示す仮想投影面１００は、例えば略半球状（お椀形状）をしている。仮想投影面１００の中心部分（お椀の底部分）は、自車両Ｖ１が存在する位置として定められている。このように仮想投影面１００が曲面を含むようにすることで、自車両Ｖ１から離れた位置に存在する物体の像の歪みを少なくすることができる。また、第１〜第４領域Ｒ１〜Ｒ４それぞれは、隣接する他の領域と重複する部分を有している。このような重複部分を設けることで、領域の境界部分に投影される物体の像が投影画像から消失することを防止することができる。   The virtual projection plane 100 shown in FIG. 3 has, for example, a substantially hemispherical shape (a bowl shape). The central part (bottom part of the bowl) of the virtual projection plane 100 is determined as the position where the host vehicle V1 exists. Thus, by making the virtual projection plane 100 include a curved surface, it is possible to reduce the distortion of the image of the object existing at a position away from the host vehicle V1. Each of the first to fourth regions R1 to R4 has a portion that overlaps with another adjacent region. By providing such an overlapping portion, it is possible to prevent the image of the object projected on the boundary portion of the region from disappearing from the projected image.

俯瞰画像生成部２２ａは、複数の投影画像に基づいて仮想視点からみた仮想視点画像を生成する。具体的には、俯瞰画像生成部２２ａは、第１〜第４の投影画像を仮想投影面１００の第１〜第４領域Ｒ１〜Ｒ４に仮想的に貼り付ける。   The overhead image generation unit 22a generates a virtual viewpoint image viewed from a virtual viewpoint based on a plurality of projection images. Specifically, the overhead image generation unit 22a virtually pastes the first to fourth projection images on the first to fourth regions R1 to R4 of the virtual projection plane 100.

また、自車両像生成部２２ｂは、自車両Ｖ１の三次元形状を示すポリゴンのモデルを仮想的に構成する。この自車両Ｖ１のモデルは、仮想投影面１００が設定される仮想的な三次元空間において、自車両Ｖ１が存在する位置として定められた位置（仮想投影面１００の中心部分）に第１領域Ｒ１が前側、第４領域Ｒ４が後ろ側に成るように配置される。   In addition, the host vehicle image generation unit 22b virtually constructs a polygon model indicating the three-dimensional shape of the host vehicle V1. The model of the host vehicle V1 includes a first region R1 at a position (a central portion of the virtual projection plane 100) determined as a position where the host vehicle V1 exists in a virtual three-dimensional space where the virtual projection plane 100 is set. Are arranged on the front side and the fourth region R4 is on the rear side.

さらに、俯瞰画像生成部２２ａは、仮想投影面１００が設定される仮想的な三次元空間において、仮想視点を設定する。仮想視点は、視点位置及び視野方向によって規定される。仮想投影面１００の少なくとも一部が視野に入る限り、仮想視点の視点位置及び視野方向は、任意の視点位置及び任意の視野方向に設定することができる。本実施形態では、仮想視点の視点位置を自車両のほぼ真上とし、仮想視点の視野方向を自車両のほぼ前下（ほぼ重力方向）とする。これにより、俯瞰画像生成部２２ａが生成する仮想視点画像が俯瞰画像となる。   Furthermore, the overhead image generation unit 22a sets a virtual viewpoint in a virtual three-dimensional space in which the virtual projection plane 100 is set. The virtual viewpoint is defined by the viewpoint position and the viewing direction. As long as at least a part of the virtual projection plane 100 enters the field of view, the viewpoint position and field direction of the virtual viewpoint can be set to any viewpoint position and any field direction. In the present embodiment, the viewpoint position of the virtual viewpoint is almost directly above the host vehicle, and the visual field direction of the virtual viewpoint is substantially front and lower (substantially the direction of gravity) of the host vehicle. Thereby, the virtual viewpoint image generated by the overhead image generation unit 22a becomes the overhead image.

俯瞰画像生成部２２ａは、設定した仮想視点に応じて、仮想投影面１００における必要な領域（仮想視点からみえる領域）の画像を仮想的に切り出す。また、自車両像生成部２２ｂは、設定した仮想視点に応じて、ポリゴンのモデルに関してレンダリングを行い、自車両Ｖ１のレンダリング像を生成する。そして、重畳部２２ｃは、切り出した画像に対して自車両Ｖ１のレンダリング像を重畳した俯瞰画像を生成する。すなわち、自車両像生成部２２ｂは、自車両を表す像を生成している。また、自車両Ｖ１のレンダリング像（自車両を表す像）は、現在の俯瞰画像中の自車両の現在位置に対応する領域に重畳されている。   The bird's-eye view image generation unit 22a virtually cuts out an image of a necessary area (area seen from the virtual viewpoint) on the virtual projection plane 100 according to the set virtual viewpoint. Further, the host vehicle image generation unit 22b performs rendering on the polygon model according to the set virtual viewpoint, and generates a rendered image of the host vehicle V1. And the superimposition part 22c produces | generates the bird's-eye view image which superimposed the rendering image of the own vehicle V1 with respect to the cut-out image. That is, the host vehicle image generation unit 22b generates an image representing the host vehicle. The rendered image of the host vehicle V1 (an image representing the host vehicle) is superimposed on an area corresponding to the current position of the host vehicle in the current overhead image.

なお、自車両像生成部２２ｂは、自車両Ｖ１のレンダリング像のみならず、自車両Ｖ１のＣＧ（Computer Graphics）像も生成することができる。また、重畳部２２ｃは、撮影画像又は仮想視点画像の任意の位置に自車両を表す像を重畳することができる。したがって、自車両Ｖ１のＣＧ像は、現在の自車両位置を示す表示である車両イラスト画像として利用することができ、過去画像に対応した自車両位置に相当する位置に過去車両イラスト画像として表示することもできる。   The host vehicle image generation unit 22b can generate not only a rendering image of the host vehicle V1 but also a CG (Computer Graphics) image of the host vehicle V1. In addition, the superimposing unit 22c can superimpose an image representing the host vehicle at an arbitrary position of the captured image or the virtual viewpoint image. Therefore, the CG image of the host vehicle V1 can be used as a vehicle illustration image that is a display showing the current host vehicle position, and is displayed as a past vehicle illustration image at a position corresponding to the host vehicle position corresponding to the past image. You can also.

記憶部２３は、例えば自車両の駐車支援機能や自動駐車機能がオン状態になると、駐車位置の設定が完了するまで、過去画像である撮影画像を記憶する。過去画像である撮影画像は、最大で現在から所定期間遡った分、又は、最大で現在から所定走行距離遡った分が記憶部２３に記憶される。なお、過去画像である撮影画像の代わりに、又は、過去画像である撮影画像に加えて、過去画像である視点変換画像が記憶部２３に記憶されてもよい。自車両の駐車支援機能や自動駐車機能は、例えば自車両の速度が所定値以下などの条件が成立すると、自動的にオン状態になる。したがって、例えば情報提供装置２０１は、駐車支援機能や自動駐車機能を実行する制御部から出力される情報、又は、車速センサから出力される情報に基づいて、自車両の駐車支援機能や自動駐車機能がオン状態になったか否かを判定すればよい。   For example, when the parking assist function or the automatic parking function of the host vehicle is turned on, the storage unit 23 stores captured images that are past images until the setting of the parking position is completed. The captured image that is a past image is stored in the storage unit 23 at a maximum of a predetermined period from the present or a maximum of a predetermined travel distance from the present. In addition, instead of the captured image that is the past image, or in addition to the captured image that is the past image, the viewpoint conversion image that is the past image may be stored in the storage unit 23. The parking assist function and the automatic parking function of the host vehicle are automatically turned on when conditions such as the speed of the host vehicle is equal to or lower than a predetermined value are satisfied. Therefore, for example, the information providing apparatus 201 is based on information output from a control unit that executes a parking support function or an automatic parking function, or information output from a vehicle speed sensor. What is necessary is just to determine whether became the ON state.

情報提供装置２０１は、操作装置３２からの出力に応じて、過去画像を表示装置３１に表示させる。例えば、表示装置３１の表示画面に現在画像が表示されている状態で、現在画像内の自車両を表す像又は路面に対応するタッチパネルの位置でスワイプ操作が行われると、情報提供装置２０１は、スワイプ量に応じた時間だけ過去に遡った過去画像を表示画像に含める。なお、初回の過去画像表示において、過去に遡る量が自動的に調整されてもよい。過去に遡る量が自動的に調整される場合には、例えば複数の駐車位置候補のうち最も駐車し易い駐車位置候補が表示画像の上下方向における中央部分にくるようにすればよい。最も駐車し易い駐車位置候補であるかの判定は、駐車位置候補の広さや駐車動作において必要となるステアリング操作量などをスコア化して判定すればよい。   The information providing device 201 causes the display device 31 to display past images in accordance with the output from the operation device 32. For example, when the swipe operation is performed at the position of the touch panel corresponding to the image representing the host vehicle or the road surface in the current image while the current image is displayed on the display screen of the display device 31, the information providing device 201 A past image that goes back in the past by a time corresponding to the swipe amount is included in the display image. In the first past image display, the amount going back in the past may be automatically adjusted. When the amount going back in the past is automatically adjusted, for example, the parking position candidate that is most likely to be parked among the plurality of parking position candidates may be located at the center in the vertical direction of the display image. The determination of whether or not the parking position candidate is most likely to be parked may be determined by scoring the size of the parking position candidate, the steering operation amount necessary for the parking operation, and the like.

駐車枠認識装置３３は、不図示のクリアランスソナーから出力される信号に基づいて空間認識を行って駐車場の空きスペース（車両が止まっていない空き領域）を検出する。また、駐車枠認識装置３３は、カメラ１１〜１４によって撮影された映像から、白線認識により空きスペースに対し駐車枠を認識する。そして、駐車枠認識装置３３は、認識した駐車枠の画素位置から駐車枠と自車両との相対位置情報を検出し、当該相対位置情報を駐車候補位置情報として自身のメモリに記憶する。   The parking frame recognition device 33 performs space recognition based on a signal output from a clearance sonar (not shown) and detects an empty space in the parking lot (an empty area where the vehicle is not stopped). Moreover, the parking frame recognition apparatus 33 recognizes a parking frame with respect to an empty space from the video image | photographed with the cameras 11-14 by white line recognition. And the parking frame recognition apparatus 33 detects the relative position information of a parking frame and the own vehicle from the pixel position of the recognized parking frame, and memorize | stores the said relative position information in own memory as parking candidate position information.

さらに、駐車枠認識装置３３は、不図示の車速センサから得られる自車の移動量と不図示の舵角センサから得られるステアリング角による進行方向とに基づき、これまで検出した駐車候補位置（即ち、現在の画像に含まれている駐車候補位置だけでなく過去に検出した駐車候補位置も含む）の自車に対する位置情報を補正し、自身のメモリに記憶する。従って、駐車枠認識装置３３内のメモリには、過去検出分も含め補正された最新の駐車候補位置情報が記憶される。駐車枠認識装置３３は、この最新の駐車候補位置情報をその都度表示制御部２２に送信する。   Further, the parking frame recognizing device 33 is based on the amount of movement of the host vehicle obtained from a vehicle speed sensor (not shown) and the traveling direction based on the steering angle obtained from a steering angle sensor (not shown). The position information on the own vehicle (including not only parking candidate positions included in the current image but also parking candidate positions detected in the past) is corrected and stored in its own memory. Therefore, the latest parking candidate position information corrected including the past detection is stored in the memory in the parking frame recognition device 33. The parking frame recognition device 33 transmits the latest parking candidate position information to the display control unit 22 each time.

表示制御部２２は、駐車枠認識装置３３から受信した駐車候補位置情報を記憶部２３に記憶させる。   The display control unit 22 causes the storage unit 23 to store the parking candidate position information received from the parking frame recognition device 33.

重畳部２２ｃは、記憶部２３に記憶された駐車候補位置情報に基づき、俯瞰画像やカメラ映像等の表示装置３１に表示する画像に駐車候補位置を重畳表示する。例えば、表示装置３１に表示する画像に駐車候補位置を特定色の枠で重畳表示する等すればよい。この駐車候補位置が重畳表示された画像を基に、ユーザは駐車したい駐車スペースを表示装置３１の画面上でタッチして操作装置３２（タッチパネル）を操作する。   Based on the parking candidate position information stored in the storage unit 23, the superimposing unit 22c superimposes and displays the parking candidate position on an image displayed on the display device 31 such as an overhead image or a camera video. For example, the parking candidate position may be superimposed and displayed on the image displayed on the display device 31 with a frame of a specific color. Based on the image on which the parking candidate position is superimposed and displayed, the user touches the parking space to be parked on the screen of the display device 31 and operates the operation device 32 (touch panel).

駐車位置選択部２４は、ユーザのタッチ位置から駐車候補位置を選択し、選択された駐車候補位置を駐車枠認識装置３３に送信する。   The parking position selection unit 24 selects a parking candidate position from the user's touch position, and transmits the selected parking candidate position to the parking frame recognition device 33.

駐車枠認識装置３３は、駐車位置選択部２４から受信した駐車候補位置を目標駐車位置として決定する。   The parking frame recognition device 33 determines the parking candidate position received from the parking position selection unit 24 as the target parking position.

＜２．表示画像の第１例＞
図４は、過去画像を含む表示画像の一例である。図４に示す表示画像は、バックカメラ１２によって撮影された現在画像Ｆ１と、過去画像である俯瞰画像Ｆ２（以下、過去俯瞰画像という）と、を含む。図４に示す表示画像が現在画像Ｆ１を含むことによって、現在の自車両周辺の状況を表示画像で確認することができる。 <2. First Example of Display Image>
FIG. 4 is an example of a display image including a past image. The display image shown in FIG. 4 includes a current image F1 taken by the back camera 12, and a bird's-eye view image F2 (hereinafter referred to as a past bird's-eye view image) that is a past image. Since the display image shown in FIG. 4 includes the current image F1, the current situation around the host vehicle can be confirmed on the display image.

過去俯瞰画像Ｆ２には、自車両の現在位置に自車両を表す像ＣＶ１が重畳されている。これにより、現在位置と過去画像に対応する撮影画像が撮影された位置との位置関係をユーザが容易に把握できる過去画像を提供することができる。また、現在画像である俯瞰画像（以下、現在俯瞰画像という）から徐々に過去に遡って過去画像を動的に変化させ、最終的に過去俯瞰画像Ｆ２に至るようにしてもよく、過去画像を表示する際に直ちに過去俯瞰画像Ｆ２を表示するようにしてよい。なお、現在俯瞰画像から徐々に過去に遡って過去画像を動的に変化させ、最終的に過去俯瞰画像Ｆ２に至るようにする場合、現在の自車両位置に基づく表示の視点の撮影画像の表示から、記憶部２３に記憶された過去画像を用いて自車両が過去に通過した範囲を含む方向に視点を遷移させた撮影画像を表示するとともに、当該遷移中おいて現在の自車両位置を示す表示を継続することになる。また、上記の遷移は、例えば、操作装置３２に対するユーザのスクロール操作に応じて視点移動すればよい。また、上記の遷移中の過去画像表示おいて、例えば、重畳部２３ｃが、駐車候補位置を重畳表示すればよい。   In the past bird's-eye view image F2, an image CV1 representing the host vehicle is superimposed on the current position of the host vehicle. Accordingly, it is possible to provide a past image in which the user can easily grasp the positional relationship between the current position and the position where the captured image corresponding to the past image is captured. Further, the past image may be dynamically changed retrospectively from the bird's-eye view image (hereinafter referred to as the current bird's-eye view image) that is the current image to finally reach the past bird's-eye view image F2. The past overhead image F2 may be displayed immediately when displaying. When the past image is dynamically changed retrospectively from the current bird's-eye view image to finally reach the past bird's-eye view image F2, display of the captured image at the display viewpoint based on the current host vehicle position is performed. From the past image stored in the storage unit 23, a captured image in which the viewpoint is shifted in a direction including a range in which the host vehicle has passed in the past is displayed, and the current host vehicle position is indicated during the transition. The display will continue. Moreover, what is necessary is just to move viewpoints according to said user's scroll operation with respect to the operating device 32, for example, said transition. Moreover, in the past image display during the above transition, for example, the superimposing unit 23c may superimpose and display the parking candidate position.

また、過去俯瞰画像Ｆ２には、過去俯瞰画像Ｆ２に対応する撮影画像が撮影された位置に自車両を表す像ＰＶ１が重畳されている。これにより、現在位置と過去画像に対応する撮影画像が撮影された位置との位置関係をユーザがより一層容易に把握できる過去画像を提供することができる。   Further, in the past bird's-eye view image F2, an image PV1 representing the host vehicle is superimposed at a position where a photographed image corresponding to the past bird's-eye view image F2 is taken. Accordingly, it is possible to provide a past image in which the user can more easily grasp the positional relationship between the current position and the position where the captured image corresponding to the past image is captured.

なお、図４に示すように、自車両の現在位置に重畳される自車両を表す像ＣＶ１と、過去俯瞰画像Ｆ２に対応する撮影画像が撮影された位置に重畳される自車両を表す像ＰＶ１とを異なる表示態様にすることで、自車両を表す像ＣＶ１と自車両を表す像ＰＶ１との識別が容易になる。   As shown in FIG. 4, an image CV1 representing the host vehicle superimposed on the current position of the host vehicle and an image PV1 representing the host vehicle superimposed on the position where the captured image corresponding to the past overhead image F2 is captured. Is made different from each other so that the image CV1 representing the host vehicle and the image PV1 representing the host vehicle can be easily identified.

また、画像加工処理部２２ｄが、図５に示すように、過去俯瞰画像Ｆ２に対して例えば透過青色（図５では透過青色をドット柄で表現している）でマスクを行ってもよい。過去画像では現在の状況と不一致が生じることがあり得るが、過去画像であることを明確にしておくことで現在の状況との不一致に対する納得感を高めることができる。   Further, as shown in FIG. 5, the image processing unit 22d may mask the past bird's-eye view image F2 with, for example, transparent blue (in FIG. 5, the transparent blue is represented by a dot pattern). The past image may be inconsistent with the current situation, but by making it clear that the image is a past image, it is possible to enhance a sense of satisfaction with the mismatch with the current situation.

駐車位置候補の選択は、過去俯瞰画像Ｆ２内のみで行えるようにしてもよく、現在画像Ｆ１内と過去俯瞰画像Ｆ２内との両方で行えるようにしてもよい。過去俯瞰画像Ｆ２内のみで行えるようにした場合、駐車位置候補の選択操作が容易になる。また、現在画像Ｆ１内と過去俯瞰画像Ｆ２内との両方で行えるようにした場合、駐車位置候補の選択肢が広がる。   The selection of the parking position candidate may be performed only in the past overhead image F2, or may be performed in both the current image F1 and the past overhead image F2. When it can be performed only in the past bird's-eye view image F2, it is easy to select a parking position candidate. In addition, when it is possible to perform both in the current image F1 and in the past bird's-eye view image F2, options for parking position candidates are expanded.

＜３．表示画像の第２例＞
図６は、過去画像を含む表示画像の一例である。図６に示す表示画像は、過去画像であって視点位置を標準的な運転者の目の位置とし、視野方向を自車両の前方にして自車両の車体部分を透過させた視点変換画像Ｆ３と、現在俯瞰画像Ｆ４と、を含む。図６に示す表示画像が現在俯瞰画像Ｆ４を含むことによって、現在の自車両周辺の状況を表示画像で確認することができる。 <3. Second example of display image>
FIG. 6 is an example of a display image including a past image. The display image shown in FIG. 6 is a past image, a viewpoint conversion image F3 in which the viewpoint position is a standard driver's eye position, the viewing direction is the front of the host vehicle, and the vehicle body portion of the host vehicle is transmitted. And a current overhead image F4. Since the display image shown in FIG. 6 includes the current overhead image F4, the current situation around the host vehicle can be confirmed on the display image.

過去画像である視点変換画像Ｆ３（以下、過去視点変換画像という）には、自車両の現在位置に自車両を表す像ＣＶ１が重畳されている。これにより、現在位置と過去画像に対応する撮影画像が撮影された位置との位置関係をユーザが容易に把握できる過去画像を提供することができる。   An image CV1 representing the host vehicle is superimposed on the current position of the host vehicle in a viewpoint converted image F3 (hereinafter referred to as a past viewpoint converted image) that is a past image. Accordingly, it is possible to provide a past image in which the user can easily grasp the positional relationship between the current position and the position where the captured image corresponding to the past image is captured.

視点位置を標準的な運転者の目の位置とし、視野方向を自車両の前方にした過去視点変換画像Ｆ３は、フロントカメラ１１で撮影された撮影画像と類似の画像である。自車両の現在位置に自車両を表す像ＣＶ１を重畳し、現在画像から徐々に過去に遡って過去画像を動的に変化させ、自車両を表す像を自車であると認識しやすくして過去映像との位置関係を把握し易くする場合、自車両の現在位置に自車両を表す像ＣＶ１の内部を通過するような過去画像が生成されることになる。しかしながら、フロントカメラ１１で撮影された撮影画像を用いた場合、自車両の現在位置に自車両を表す像ＣＶ１の内部を通過するような過去画像が滑らかな映像にならない。このため、視点位置を標準的な運転者の目の位置とし、視野方向を自車両の前方にした過去視点変換画像Ｆ３を用いることが望ましい。   The past viewpoint conversion image F3 in which the viewpoint position is a standard driver's eye position and the visual field direction is the front of the host vehicle is an image similar to the captured image captured by the front camera 11. The image CV1 representing the host vehicle is superimposed on the current position of the host vehicle, the past image is gradually changed from the current image to the past, and the image representing the host vehicle is easily recognized as the host vehicle. In order to easily grasp the positional relationship with the past video, a past image that passes through the inside of the image CV1 representing the host vehicle at the current position of the host vehicle is generated. However, when a captured image captured by the front camera 11 is used, a past image that passes through the interior of the image CV1 representing the host vehicle at the current position of the host vehicle is not smooth. For this reason, it is desirable to use the past viewpoint converted image F3 in which the viewpoint position is a standard driver's eye position and the visual field direction is the front of the host vehicle.

また、画像加工処理部２２ｄが、図７に示すように、過去視点変換画像Ｆ３に対して例えば透過青色（図７では透過青色をドット柄で表現している）でマスクを行ってもよい。過去画像では現在の状況と不一致が生じることがあり得るが、過去画像であることを明確にしておくことで現在の状況との不一致に対する納得感を高めることができる。   Further, as shown in FIG. 7, the image processing unit 22d may mask the past viewpoint converted image F3 with, for example, transparent blue (in FIG. 7, the transparent blue is expressed by a dot pattern). The past image may be inconsistent with the current situation, but by making it clear that the image is a past image, it is possible to enhance a sense of satisfaction with the mismatch with the current situation.

駐車位置候補の選択は、過去視点変換画像Ｆ３内のみで行えるようにしてもよく、現在画像Ｆ４内と過去視点変換画像Ｆ３内との両方で行えるようにしてもよい。過去視点変換画像Ｆ３内のみで行えるようにした場合、駐車位置候補の選択操作が容易になる。また、現在画像Ｆ４内と過去視点変換画像Ｆ３内との両方で行えるようにした場合、駐車位置候補の選択肢が広がる。   The selection of the parking position candidate may be performed only in the past viewpoint converted image F3, or may be performed in both the current image F4 and the past viewpoint converted image F3. When it can be performed only in the past viewpoint conversion image F3, the selection operation of the parking position candidate becomes easy. In addition, when it is possible to perform both in the current image F4 and in the past viewpoint converted image F3, options for parking position candidates are expanded.

＜４．その他＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書中に示される複数の変形例は可能な範囲で組み合わせて実施されてよい。 <4. Other>
Various technical features disclosed in the present specification can be variously modified within the scope of the technical creation in addition to the above-described embodiment. In addition, a plurality of modified examples shown in the present specification may be combined and implemented within a possible range.

上述した実施形態では、過去画像は俯瞰画像であったが、過去画像は撮影画像であってもよい。   In the above-described embodiment, the past image is an overhead image, but the past image may be a captured image.

また、過去画像である俯瞰画像と現在画像である俯瞰画像とを合成して１つの俯瞰画像を生成してもよい。   Alternatively, a single bird's-eye view image may be generated by combining a bird's-eye view image that is a past image and a bird's-eye view image that is a current image.

また、仮想視点画像の視点位置を変更することによって、過去画像での表示領域を変更してもよい。   Further, the display area in the past image may be changed by changing the viewpoint position of the virtual viewpoint image.

また、過去画像であること示す画像加工は透過有色のマスク以外であってもよく、例えば過去に遡っている時間を過去画像内に重畳してもよい。   Further, the image processing indicating that it is a past image may be other than a transparent colored mask. For example, a time that goes back in the past may be superimposed on the past image.

２１ カメラ画像取得部
２２ 表示制御部
２２ａ 俯瞰画像生成部
２２ｂ 自車両像生成部
２２ｃ 重畳部
２２ｄ 画像加工処理部
２３ 記憶部
２４ 駐車位置選択部
２０１ 情報提供装置 DESCRIPTION OF SYMBOLS 21 Camera image acquisition part 22 Display control part 22a Overhead image generation part 22b Own vehicle image generation part 22c Superimposition part 22d Image processing process part 23 Storage part 24 Parking position selection part 201 Information provision apparatus

Claims (10)

自車両の周辺を撮影するカメラで得られた撮影画像を取得する取得部と、
前記撮影画像及び前記撮影画像に基づく視点変換画像の少なくとも一方を記憶する記憶部と、
前記自車両を表す像を生成する生成部と、
前記撮影画像及び前記視点変換画像の少なくとも一方の過去画像における前記自車両の現在位置に前記自車両を表す像を重畳する重畳部と、を備える、情報提供装置。 An acquisition unit that acquires a captured image obtained by a camera that captures the periphery of the host vehicle;
A storage unit that stores at least one of the captured image and a viewpoint-converted image based on the captured image;
A generating unit that generates an image representing the host vehicle;
An information providing apparatus comprising: a superimposing unit that superimposes an image representing the host vehicle on a current position of the host vehicle in at least one past image of the photographed image and the viewpoint conversion image. 前記撮影画像又は前記視点変換画像のいずれかの過去画像と、前記撮影画像又は前記視点変換画像のいずれかの現在画像と、を表示画像として出力する、請求項１に記載の情報提供装置。   The information providing apparatus according to claim 1, wherein a past image of either the captured image or the viewpoint converted image and a current image of either the captured image or the viewpoint converted image are output as a display image. 過去に撮影された画像であることをユーザに視認させるための画像加工処理を前記過去画像に施す画像加工処理部を備える、請求項１又は請求項２に情報提供装置。   The information providing apparatus according to claim 1, further comprising: an image processing unit that performs an image processing process on the past image so that a user can visually recognize that the image has been captured in the past. 前記重畳部は、前記視点変換画像の過去画像における前記過去画像に対応する前記撮影画像が撮影された前記自車両の位置に前記自車両を表す像を重畳する、請求項１〜３のいずれか一項に記載の情報提供装置。   The superimposing unit superimposes an image representing the host vehicle on the position of the host vehicle where the captured image corresponding to the past image in the past image of the viewpoint conversion image is captured. The information providing apparatus according to one item. 前記過去画像における前記自車両の現在位置に重畳する前記自車両を表す像と、前記視点変換画像の過去画像における前記過去画像に対応する前記撮影画像が撮影された前記自車両の位置に重畳する前記自車両を表す像と、を異なる表示態様にする、請求項４に記載の情報提供装置。   An image representing the host vehicle superimposed on the current position of the host vehicle in the past image and a position of the host vehicle where the captured image corresponding to the past image in the past image of the viewpoint conversion image is captured. The information providing apparatus according to claim 4, wherein the image representing the host vehicle is displayed in a different display mode. 自車両の周辺を撮影するカメラで得られた撮影画像を取得する取得工程と、
前記撮影画像及び前記撮影画像に基づく視点変換画像の少なくとも一方を記憶する記憶工程と、
前記自車両を表す像を生成する生成工程と、
前記撮影画像及び前記視点変換画像の少なくとも一方の過去画像における前記自車両の現在位置に前記自車両を表す像を重畳する重畳工程と、を備える、情報提供方法。 An acquisition step of acquiring a captured image obtained by a camera that captures the periphery of the vehicle;
A storage step of storing at least one of the captured image and a viewpoint conversion image based on the captured image;
A generating step for generating an image representing the host vehicle;
A superimposing step of superimposing an image representing the host vehicle on a current position of the host vehicle in at least one past image of the photographed image and the viewpoint conversion image. 自車両に搭載されたカメラで撮影された撮影画像に基づき、前記自車両が通過してきた画像を過去画像として記憶する記憶部と、
現在の自車両位置に基づく表示の視点の撮影画像の表示から、前記記憶部に記憶された過去画像を用いて前記自車両が過去に通過した範囲を含む方向に視点を遷移させた撮影画像を表示するとともに、当該遷移中おいて現在の自車両位置を示す表示を継続する表示制御部と、を備える、情報提供装置。 Based on a photographed image photographed by a camera mounted on the host vehicle, a storage unit that stores an image that the host vehicle has passed as a past image;
A captured image obtained by changing the viewpoint in a direction including a range in which the host vehicle has passed in the past using the past image stored in the storage unit from the display of the captured image of the viewpoint based on the current host vehicle position. An information providing apparatus comprising: a display control unit that displays and continues displaying the current host vehicle position during the transition. 前記遷移はユーザのスクロール操作に応じて視点移動する、請求項７に記載の情報提供装置。   The information providing apparatus according to claim 7, wherein the transition moves a viewpoint according to a scroll operation of a user. 前記現在の自車両位置を示す表示は車両イラスト画像であり、前記遷移中、前記車両イラスト画像の表示を継続するとともに、過去画像に対応した自車両位置に相当する位置には過去車両イラスト画像を表示する、請求項７又は請求項８に記載の情報提供装置。   The display indicating the current host vehicle position is a vehicle illustration image. During the transition, the display of the vehicle illustration image is continued, and a past vehicle illustration image is displayed at a position corresponding to the host vehicle position corresponding to the past image. The information providing apparatus according to claim 7 or 8, wherein the information providing apparatus displays the information. 前記遷移中の過去画像表示において駐車領域に関する情報を重畳表示する、請求項７〜９のいずれか一項に記載の情報提供装置。   The information providing apparatus according to any one of claims 7 to 9, wherein information related to a parking area is superimposed and displayed in the past image display during the transition.
JP2018048882A 2018-03-16 2018-03-16 Information providing device and information providing method Active JP7217090B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018048882A JP7217090B2 (en) 2018-03-16 2018-03-16 Information providing device and information providing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018048882A JP7217090B2 (en) 2018-03-16 2018-03-16 Information providing device and information providing method

Publications (2)

Publication Number Publication Date
JP2019160118A true JP2019160118A (en) 2019-09-19
JP7217090B2 JP7217090B2 (en) 2023-02-02

Family

ID=67994833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018048882A Active JP7217090B2 (en) 2018-03-16 2018-03-16 Information providing device and information providing method

Country Status (1)

Country Link
JP (1) JP7217090B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249318A1 (en) * 2021-05-26 2022-12-01 株式会社ソシオネクスト Image processing device, image processing method, and image processing program
JP7425622B2 (en) 2020-02-17 2024-01-31 フォルシアクラリオン・エレクトロニクス株式会社 parking assist device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003252151A (en) * 2002-03-06 2003-09-10 Auto Network Gijutsu Kenkyusho:Kk Parking support system
JP2006327498A (en) * 2005-05-27 2006-12-07 Aisin Aw Co Ltd Parking support method and parking support device
JP2007183877A (en) * 2006-01-10 2007-07-19 Nissan Motor Co Ltd Driving support device for vehicle and display method for bird's-eye video
JP2009171129A (en) * 2008-01-15 2009-07-30 Nissan Motor Co Ltd Parking support device for vehicle and image display method
JP2016021653A (en) * 2014-07-14 2016-02-04 アイシン精機株式会社 Periphery monitoring device and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003252151A (en) * 2002-03-06 2003-09-10 Auto Network Gijutsu Kenkyusho:Kk Parking support system
JP2006327498A (en) * 2005-05-27 2006-12-07 Aisin Aw Co Ltd Parking support method and parking support device
JP2007183877A (en) * 2006-01-10 2007-07-19 Nissan Motor Co Ltd Driving support device for vehicle and display method for bird's-eye video
JP2009171129A (en) * 2008-01-15 2009-07-30 Nissan Motor Co Ltd Parking support device for vehicle and image display method
JP2016021653A (en) * 2014-07-14 2016-02-04 アイシン精機株式会社 Periphery monitoring device and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7425622B2 (en) 2020-02-17 2024-01-31 フォルシアクラリオン・エレクトロニクス株式会社 parking assist device
WO2022249318A1 (en) * 2021-05-26 2022-12-01 株式会社ソシオネクスト Image processing device, image processing method, and image processing program

Also Published As

Publication number Publication date
JP7217090B2 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
US11528413B2 (en) Image processing apparatus and image processing method to generate and display an image based on a vehicle movement
JP6148887B2 (en) Image processing apparatus, image processing method, and image processing system
JP5143235B2 (en) Control device and vehicle surrounding monitoring device
JP6413207B2 (en) Vehicle display device
JP4579145B2 (en) Vehicle peripheral image display device
JP4248570B2 (en) Image processing apparatus and visibility support apparatus and method
US11750768B2 (en) Display control apparatus
WO2013108371A1 (en) Image processing apparatus, image processing server, image processing method, image processing program, and recording medium
JP5549235B2 (en) Driving assistance device
JP6443122B2 (en) Vehicle display device
JP2011035729A (en) Apparatus and method for displaying vehicle-surrounding image
JP2007116377A (en) Parking assist method and parking assist apparatus
JP4927514B2 (en) Driving assistance device
JP2022048455A (en) Vehicle display device
JP2010257242A (en) Image data generation device
JP2010183234A (en) Drawing apparatus
JP7217090B2 (en) Information providing device and information providing method
JP2017111739A (en) Driving support apparatus and driving support method
KR20100005971A (en) A vehicle around view monitorring system
JP6073433B2 (en) Image display system, image processing apparatus, and image display method
JP2005269010A (en) Image creating device, program and method
KR20180094717A (en) Driving assistance apparatus using avm
US11938863B2 (en) Peripheral image generation device and display control method
JP5294756B2 (en) Vehicle surrounding image providing apparatus and vehicle surrounding image providing method
JP5077286B2 (en) Vehicle peripheral image display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210303

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230123

R150 Certificate of patent or registration of utility model

Ref document number: 7217090

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150