JP6763357B2

JP6763357B2 - Display control device, display control system, display control method and program

Info

Publication number: JP6763357B2
Application number: JP2017148385A
Authority: JP
Inventors: 清水　義之; 義之清水; 一郎石田; 拓之照内; 林　直人; 直人林; 昇勝俣
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2017-07-31
Filing date: 2017-07-31
Publication date: 2020-09-30
Anticipated expiration: 2037-07-31
Also published as: JP2019029864A

Description

本発明は、表示制御装置、表示制御システム、表示制御方法およびプログラムに関する。 The present invention relates to a display control device, a display control system, a display control method and a program.

車両の俯瞰画像を車両画像と共に表示する車両周辺表示装置に関する技術が知られている（例えば、特許文献１参照）。この技術は、車両が前進から後退に切り替わったとき、車両画像よりも後方について俯瞰画像の表示領域を広げる。 A technique related to a vehicle peripheral display device for displaying a bird's-eye view image of a vehicle together with a vehicle image is known (see, for example, Patent Document 1). This technology expands the display area of the bird's-eye view image behind the vehicle image when the vehicle switches from forward to backward.

特開２０１５−０７６６４５号公報Japanese Unexamined Patent Publication No. 2015-0764645

特許文献１に記載のように、車両の俯瞰映像は、駐車区画への入庫時の駐車支援を主な目的とするため、駐車区画への後退入庫時に表示される。これにより、後退入庫時、運転者は、目視またはミラーにおける死角範囲を含む周辺状況を俯瞰映像によって確認する。 As described in Patent Document 1, the bird's-eye view image of the vehicle is displayed at the time of retreat warehousing into the parking lot because the main purpose is to support parking at the time of warehousing into the parking lot. As a result, at the time of reverse warehousing, the driver visually confirms the surrounding situation including the blind spot range in the mirror by a bird's-eye view image.

駐車区画からの前進出庫時は俯瞰映像が表示されないため、運転者は、目視またはミラーによって周辺状況を確認する。駐車区画からの前進出庫時は、後退入庫時に比べ操作が容易である。しかしながら、周辺状況に変化があった場合などには、目視またはミラーによる確認に加えて、俯瞰映像によって周辺状況を確認することが望ましいこともある。また、駐車区画からの前進出庫時に、周辺状況に関わらず俯瞰映像を表示すると、俯瞰映像を表示させる必要性が無い状況で俯瞰映像が表示されたり、ナビゲーションによる経路を確認したいときなどに俯瞰映像が表示されてしまう。 Since the bird's-eye view image is not displayed when the vehicle is in front of the parking lot, the driver checks the surrounding conditions visually or by looking at the mirror. It is easier to operate when moving forward from the parking lot than when moving backward. However, when there is a change in the surrounding situation, it may be desirable to check the surrounding situation by a bird's-eye view image in addition to the visual or mirror confirmation. In addition, if the bird's-eye view image is displayed regardless of the surrounding conditions when the parking lot is in front of the parking lot, the bird's-eye view image is displayed when there is no need to display the bird's-eye view image, or when you want to check the route by navigation. Is displayed.

本発明は、上記に鑑みてなされたものであって、出庫時に周辺状況の変化に応じて適切に俯瞰映像を表示させることを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to appropriately display a bird's-eye view image according to changes in the surrounding conditions at the time of delivery.

上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得部と、前記映像データ取得部が取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成部と、前記車両が後退して入庫したときにおける前記車両の周囲の障害物の位置情報を含む第一障害物位置情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の障害物の位置情報を含む第二障害物位置情報を取得する隣接情報取得部と、前記第一障害物位置情報と前記第二障害物位置情報とを比較して、前記車両の入庫時と出庫時の前記障害物の位置の変化を比較する比較部と、前記比較部が、前記車両が出庫する際に前記障害物の位置が変化していると判定した場合、出庫するときに前記俯瞰映像生成部が生成する俯瞰映像を表示部に表示させる表示制御部と、を備えることを特徴とする。 In order to solve the above-mentioned problems and achieve the object, the display control device according to the present invention includes a video data acquisition unit that acquires video data from a plurality of shooting units that shoot the surroundings of the vehicle, and the video data acquisition unit. A first that includes a bird's-eye view image generation unit that generates a bird's-eye view image by performing viewpoint conversion processing and composition processing on the video data acquired by the unit, and position information of obstacles around the vehicle when the vehicle retracts and enters the garage. An adjacent information acquisition unit that acquires obstacle position information and second obstacle position information including position information of obstacles around the vehicle when the vehicle advances from the warehousing state and leaves the garage, and the first A comparison unit that compares the obstacle position information with the second obstacle position information and compares changes in the position of the obstacle at the time of entering and exiting the vehicle, and the comparison unit indicates that the vehicle leaves the garage. When it is determined that the position of the obstacle has changed at the time of delivery, the display control unit is provided to display the bird's-eye view image generated by the bird's-eye view image generation unit on the display unit. ..

本発明に係る表示制御システムは、上記の表示制御装置と、前記映像データ取得部が映像データを取得する複数の撮影部、前記隣接情報取得部が前記第一障害物位置情報および前記第二障害物位置情報を取得する障害物検出部、前記表示制御部が俯瞰映像を表示させる表示部の少なくともいずれかとを備える。 In the display control system according to the present invention, the display control device, a plurality of photographing units in which the video data acquisition unit acquires video data, and the adjacent information acquisition unit are the first obstacle position information and the second obstacle. It includes at least one of an obstacle detection unit for acquiring object position information and a display unit on which the display control unit displays a bird's-eye view image.

本発明に係る表示制御方法は、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、前記車両が後退して入庫したときにおける前記車両の周囲の障害物の位置情報を含む第一障害物位置情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の障害物の位置情報を含む第二障害物位置情報を取得する隣接情報取得ステップと、前記第一障害物位置情報と前記第二障害物位置情報とを比較して、前記車両の入庫時と出庫時の前記障害物の位置の変化を比較する比較ステップと、前記比較ステップで、前記車両が出庫する際に前記障害物の位置が変化していると判定した場合、出庫するときに前記俯瞰映像生成ステップが生成する俯瞰映像を表示部に表示させる表示制御ステップとを含む。 The display control method according to the present invention includes a video data acquisition step of acquiring video data from a plurality of shooting units that shoot the surroundings of a vehicle, and a viewpoint conversion process and a composition process on the video data acquired in the video data acquisition step. A bird's-eye view image generation step for generating a bird's-eye view image, first obstacle position information including the position information of obstacles around the vehicle when the vehicle retracts and enters the garage, and the vehicle moves forward from the warehousing state. The adjacency information acquisition step for acquiring the second obstacle position information including the position information of the obstacles around the vehicle at the time of leaving the warehouse, and the first obstacle position information and the second obstacle position information. By comparison, in the comparison step for comparing the change in the position of the obstacle at the time of entering and leaving the vehicle, and in the comparison step, the position of the obstacle is changed when the vehicle leaves the garage. When the determination is made, the display control step of displaying the bird's-eye view image generated by the bird's-eye view image generation step on the display unit at the time of delivery is included.

本発明に係るプログラムは、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、前記車両が後退して入庫したときにおける前記車両の周囲の障害物の位置情報を含む第一障害物位置情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の障害物の位置情報を含む第二障害物位置情報を取得する隣接情報取得ステップと、前記第一障害物位置情報と前記第二障害物位置情報とを比較して、前記車両の入庫時と出庫時の前記障害物の位置の変化を比較する比較ステップと、前記比較ステップで、前記車両が出庫する際に前記障害物の位置が変化していると判定した場合、出庫するときに前記俯瞰映像生成ステップが生成する俯瞰映像を表示部に表示させる表示制御ステップとを表示制御装置として動作するコンピュータに実行させる。 The program according to the present invention performs a video data acquisition step of acquiring video data from a plurality of shooting units that shoot the surroundings of a vehicle, and a viewpoint conversion process and a composite process on the video data acquired in the video data acquisition step to obtain a bird's-eye view. A bird's-eye view image generation step for generating an image, first obstacle position information including position information of obstacles around the vehicle when the vehicle retracts and enters the garage, and the vehicle advances from the warehousing state. The adjacent information acquisition step for acquiring the second obstacle position information including the position information of the obstacles around the vehicle at the time of leaving the warehouse is compared with the first obstacle position information and the second obstacle position information. In the comparison step for comparing the changes in the positions of the obstacles at the time of entering and leaving the vehicle and the comparison steps, it is determined that the positions of the obstacles have changed when the vehicle leaves the garage. In this case, the computer operating as the display control device is made to execute the display control step of displaying the bird's-eye view image generated by the bird's-eye view image generation step on the display unit when the data is delivered.

本発明によれば、出庫時に周辺状況の変化に応じて適切に俯瞰映像を表示させることができるという効果を奏する。 According to the present invention, there is an effect that a bird's-eye view image can be appropriately displayed according to a change in the surrounding situation at the time of delivery.

図１は、第一実施形態に係る表示制御システムの構成例を示すブロック図である。FIG. 1 is a block diagram showing a configuration example of a display control system according to the first embodiment. 図２は、駐車区画を説明する図であり、入庫時の状態を示す。FIG. 2 is a diagram illustrating a parking lot, and shows a state at the time of warehousing. 図３は、駐車区画を説明する図であり、出庫時の状態を示す。FIG. 3 is a diagram illustrating a parking lot, and shows a state at the time of delivery. 図４は、第一実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。FIG. 4 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the first embodiment. 図５は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。FIG. 5 is a flowchart showing an example of a processing flow in the display control device of the display control system according to the first embodiment. 図６は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの他の例を示すフローチャートである。FIG. 6 is a flowchart showing another example of the processing flow in the display control device of the display control system according to the first embodiment. 図７は、第二実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。FIG. 7 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the second embodiment. 図８は、第三実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。FIG. 8 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the third embodiment. 図９は、第四実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。FIG. 9 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the fourth embodiment. 図１０は、第五実施形態に係る表示制御システムの表示制御装置における処理を説明するための駐車区画を示す図である。FIG. 10 is a diagram showing a parking lot for explaining a process in the display control device of the display control system according to the fifth embodiment. 図１１は、第五実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。FIG. 11 is a flowchart showing an example of a processing flow in the display control device of the display control system according to the fifth embodiment. 図１２は、自宅駐車場の駐車区画を説明する図である。FIG. 12 is a diagram illustrating a parking lot of a home parking lot. 図１３は、縦列駐車の駐車区画を説明する図である。FIG. 13 is a diagram illustrating a parking lot for parallel parking.

以下に添付図面を参照して、本発明に係る表示制御装置４０、表示制御システム１、表示制御方法及びプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。 The display control device 40, the display control system 1, the display control method, and the embodiment of the program according to the present invention will be described in detail with reference to the accompanying drawings. The present invention is not limited to the following embodiments.

［第一実施形態］
図１は、第一実施形態に係る表示制御システムの構成例を示すブロック図である。図２は、駐車区画を説明する図であり、入庫時の状態を示す。図３は、駐車区画を説明する図であり、出庫時の状態を示す。表示制御システム１は、出庫時に周辺状況の変化に応じて適切に俯瞰映像を表示させる。表示制御システム１は、車両Ｖ１に搭載されている。表示制御システム１は、車両Ｖ１に載置されているものに加えて、可搬型で車両Ｖ１において利用可能な装置であってもよい。 [First Embodiment]
FIG. 1 is a block diagram showing a configuration example of a display control system according to the first embodiment. FIG. 2 is a diagram illustrating a parking lot, and shows a state at the time of warehousing. FIG. 3 is a diagram illustrating a parking lot, and shows a state at the time of delivery. The display control system 1 appropriately displays a bird's-eye view image according to changes in the surrounding conditions at the time of delivery. The display control system 1 is mounted on the vehicle V1. The display control system 1 may be a portable device that can be used in the vehicle V1 in addition to the device mounted on the vehicle V1.

本実施形態では、車両Ｖ１は、駐車区画Ｐ１に駐車される。駐車区画Ｐ１と向かい合って、駐車区画ＰＡと駐車区画ＰＢと駐車区画ＰＣとが並んで配置されている。駐車区画ＰＢは、駐車区画Ｐ１と通路を挟んで正面に向かい合っている。駐車区画ＰＡは、車両Ｖ１から見て駐車区画ＰＢの左隣である。駐車区画ＰＣは、車両Ｖ１から見て駐車区画ＰＢの右隣である。駐車区画ＰＤは、駐車区画Ｐ１の左隣である。駐車区画ＰＥは、駐車区画Ｐ１の右隣である。 In the present embodiment, the vehicle V1 is parked in the parking lot P1. The parking lot PA, the parking lot PB, and the parking lot PC are arranged side by side facing the parking lot P1. The parking lot PB faces the front of the parking lot P1 with a passage in between. The parking lot PA is to the left of the parking lot PB when viewed from the vehicle V1. The parking lot PC is on the right side of the parking lot PB when viewed from the vehicle V1. The parking lot PD is to the left of the parking lot P1. The parking lot PE is to the right of the parking lot P1.

図１を用いて、表示制御システム１について説明する。表示制御システム１は、前方カメラ（撮影部）１１と、後方カメラ（撮影部）１２と、左側方カメラ（撮影部）１３と、右側方カメラ（撮影部）１４と、センサユニット（障害物検出部）２１と、表示パネル（表示部）３１と、表示制御装置４０とを有する。 The display control system 1 will be described with reference to FIG. The display control system 1 includes a front camera (shooting unit) 11, a rear camera (shooting unit) 12, a left side camera (shooting unit) 13, a right side camera (shooting unit) 14, and a sensor unit (obstacle detection). A unit) 21, a display panel (display unit) 31, and a display control device 40.

前方カメラ１１は、俯瞰映像用カメラである。前方カメラ１１は、車両Ｖ１の前方に配置され、車両Ｖ１の前方を中心とした周辺を撮影する。前方カメラ１１は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両Ｖ１の前方に広い範囲を含む。前方カメラ１１は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。 The front camera 11 is a bird's-eye view camera. The front camera 11 is arranged in front of the vehicle V1 and photographs the surroundings centered on the front of the vehicle V1. The front camera 11 captures, for example, a shooting range of about 180 °. The shooting range includes a wider range in front of the vehicle V1 than the display range of the bird's-eye view image 100. The front camera 11 outputs the captured image to the image data acquisition unit 41 of the display control device 40.

後方カメラ１２は、俯瞰映像用カメラである。後方カメラ１２は、車両Ｖ１の後方に配置され、車両Ｖ１の後方を中心とした周辺を撮影する。後方カメラ１２は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両Ｖ１の後方に広い範囲を含む。後方カメラ１２は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。 The rear camera 12 is a bird's-eye view camera. The rear camera 12 is arranged behind the vehicle V1 and photographs the surroundings centered on the rear of the vehicle V1. The rear camera 12 captures, for example, a shooting range of about 180 °. The shooting range includes a wider range behind the vehicle V1 than the display range of the bird's-eye view image 100. The rear camera 12 outputs the captured image to the image data acquisition unit 41 of the display control device 40.

左側方カメラ１３は、俯瞰映像用カメラである。左側方カメラ１３は、車両Ｖ１の左側方に配置され、車両Ｖ１の左側方を中心とした周辺を撮影する。左側方カメラ１３は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両Ｖ１の左側方に広い範囲を含む。左側方カメラ１３は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。 The left side camera 13 is a bird's-eye view camera. The left-side camera 13 is arranged on the left side of the vehicle V1 and photographs the periphery centered on the left side of the vehicle V1. The left-side camera 13 captures, for example, a photographing range of about 180 °. The shooting range includes a wider range on the left side of the vehicle V1 than the display range of the bird's-eye view image 100. The left-side camera 13 outputs the captured image to the image data acquisition unit 41 of the display control device 40.

右側方カメラ１４は、俯瞰映像用カメラである。右側方カメラ１４は、車両Ｖ１の右側方に配置され、車両Ｖ１の右側方を中心とした周辺を撮影する。右側方カメラ１４は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両Ｖ１の右側方に広い範囲を含む。右側方カメラ１４は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。 The right side camera 14 is a bird's-eye view camera. The right-side camera 14 is arranged on the right side of the vehicle V1 and photographs the periphery centered on the right side of the vehicle V1. The right-side camera 14 captures, for example, a photographing range of about 180 °. The shooting range includes a wider range on the right side of the vehicle V1 than the display range of the bird's-eye view image 100. The right-side camera 14 outputs the captured image to the image data acquisition unit 41 of the display control device 40.

前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで、車両Ｖ１の全方位を撮影する。 The front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14 photograph the vehicle V1 in all directions.

センサユニット２１は、車両Ｖ１の周囲に設置された複数のセンサを含む。センサユニット２１は、車両Ｖ１の近傍に存在する障害物の位置を検出可能である。本実施形態では、センサユニット２１は、車両Ｖ１の近傍に存在する障害物として、車両Ｖ１が入庫する駐車区画である駐車区画Ｐ１に隣接している駐車区画ＰＡないし駐車区画ＰＥに存在する隣接車両の位置を検出する。本実施形態では、センサユニット２１は、前方中央センサと前方左センサと前方右センサと後方中央センサと後方左センサと後方右センサと左側方センサと右側方センサとが配置されている。各センサは同様に構成されているため、前方中央センサについて説明し、他のセンサについては説明を省略する。 The sensor unit 21 includes a plurality of sensors installed around the vehicle V1. The sensor unit 21 can detect the position of an obstacle existing in the vicinity of the vehicle V1. In the present embodiment, the sensor unit 21 is an adjacent vehicle existing in the parking lot PA or the parking lot PE adjacent to the parking lot P1 which is the parking lot in which the vehicle V1 is stored as an obstacle existing in the vicinity of the vehicle V1. Detect the position of. In the present embodiment, the sensor unit 21 is arranged with a front center sensor, a front left sensor, a front right sensor, a rear center sensor, a rear left sensor, a rear right sensor, a left side sensor, and a right side sensor. Since each sensor has the same configuration, the front center sensor will be described, and the other sensors will be omitted.

前方中央センサは、車両Ｖ１の前方中央に配置され、車両Ｖ１の前方中央における障害物の位置を検出する。本実施形態では、前方中央センサは、駐車区画ＰＢに存在する隣接車両の位置を検出する。前方中央センサは、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。前方中央センサは、例えば、車両Ｖ１から５ｍ程度までの距離の隣接車両を検出する。前方中央センサは、鉛直方向視において、センサの中央部を中心とした、例えば、４０°程度の範囲の隣接車両を検出する。前方中央センサの検出範囲は、前方左センサおよび前方右センサの検出範囲の一部と重複していてもよい。前方中央センサは、検出結果である隣接車両の位置を示す障害物位置情報を表示制御装置４０の隣接情報取得部４３へ出力する。障害物位置情報の例としては、前方中央センサの検出範囲における隣接車両の有無、隣接車両までの距離、水平方向における隣接車両の存在範囲などである。 The front center sensor is arranged in the front center of the vehicle V1 and detects the position of an obstacle in the front center of the vehicle V1. In the present embodiment, the front central sensor detects the position of an adjacent vehicle existing in the parking lot PB. The front center sensor is, for example, an infrared sensor, an ultrasonic sensor, a millimeter wave radar, or the like, and may be composed of a combination thereof. The front center sensor detects, for example, an adjacent vehicle at a distance of about 5 m from the vehicle V1. The front center sensor detects an adjacent vehicle centered on the center of the sensor in a vertical direction, for example, in a range of about 40 °. The detection range of the front center sensor may overlap with a part of the detection range of the front left sensor and the front right sensor. The front center sensor outputs the obstacle position information indicating the position of the adjacent vehicle, which is the detection result, to the adjacent information acquisition unit 43 of the display control device 40. Examples of obstacle position information include the presence / absence of an adjacent vehicle in the detection range of the front center sensor, the distance to the adjacent vehicle, the existence range of the adjacent vehicle in the horizontal direction, and the like.

隣接車両までの距離とは、車両Ｖ１から隣接車両の最も近い部分までの距離である。隣接車両Ｖａまでの距離Ｌａは、車両Ｖ１の左前端部から隣接車両Ｖａの車両Ｖ１に最も近い部分までの距離である。隣接車両Ｖｂまでの距離Ｌｂは、車両Ｖ１の前端部から隣接車両Ｖｂの車両Ｖ１に最も近い部分までの距離である。隣接車両Ｖｃまでの距離Ｌｃは、車両Ｖ１の右前端部から隣接車両Ｖｃの車両Ｖ１に最も近い部分までの距離である。隣接車両Ｖｄまでの距離Ｌｄは、車両Ｖ１の左側面から隣接車両Ｖｄの右側面までの距離である。隣接車両Ｖｅまでの距離Ｌｅは、車両Ｖ１の右側面から隣接車両Ｖｅの左側面までの距離である。 The distance to the adjacent vehicle is the distance from the vehicle V1 to the nearest portion of the adjacent vehicle. The distance La to the adjacent vehicle Va is the distance from the left front end of the vehicle V1 to the portion of the adjacent vehicle Va closest to the vehicle V1. The distance Lb to the adjacent vehicle Vb is the distance from the front end portion of the vehicle V1 to the portion of the adjacent vehicle Vb closest to the vehicle V1. The distance Lc to the adjacent vehicle Vc is the distance from the right front end of the vehicle V1 to the portion of the adjacent vehicle Vc closest to the vehicle V1. The distance Ld to the adjacent vehicle Vd is the distance from the left side surface of the vehicle V1 to the right side surface of the adjacent vehicle Vd. The distance Le to the adjacent vehicle Ve is the distance from the right side surface of the vehicle V1 to the left side surface of the adjacent vehicle Ve.

このようなセンサユニット２１によって、車両Ｖ１の全方位の隣接車両の位置を検出可能である。本実施形態では、センサユニット２１の検出結果によって、車両Ｖ１の左右側方、左右前方、前方の少なくともいずれかの隣接車両の位置を検出可能である。より詳しくは、センサユニット２１の検出結果によって、駐車区画ＰＡないし駐車区画ＰＥに存在する隣接車両の位置を検出可能である。より詳しくは、検出結果に含まれる、隣接車両を検出したセンサ、センサで検出した隣接車両までの距離、および、センサで検出した隣接車両の水平方向の存在範囲によって、各駐車区画における隣接車両の位置が特定される。 With such a sensor unit 21, the position of an adjacent vehicle in all directions of the vehicle V1 can be detected. In the present embodiment, the position of at least one of the adjacent vehicles on the left and right sides, the left and right front, and the front of the vehicle V1 can be detected by the detection result of the sensor unit 21. More specifically, the position of the adjacent vehicle existing in the parking lot PA or the parking lot PE can be detected from the detection result of the sensor unit 21. More specifically, depending on the sensor that detected the adjacent vehicle, the distance to the adjacent vehicle detected by the sensor, and the horizontal existence range of the adjacent vehicle detected by the sensor, the adjacent vehicle in each parking lot is included in the detection result. The position is specified.

表示パネル３１は、一例としてはナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示パネル３１は、必要なタイミングで、車両Ｖ１の周囲を確認するためのモニタである。表示パネル３１は、車両Ｖ１の周囲を確認することができれば、様々な形態をとりうることがでる。表示パネルの一例としては、電子ルームミラーを用いたり、インストルメントパネルの機能とすることも可能である。表示パネル３１は、例えば、液晶ディスプレイ（ＬＣＤ：ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）または有機ＥＬ（ＯｒｇａｎｉｃＥｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示パネル３１は、運転者から視認容易な位置に配置されている。本実施形態では、表示パネル３１は、車両Ｖ１の運転者前方の、ダッシュボード、インストルメントパネル、センターコンソールなどに配置されている。表示パネル３１は、表示制御装置４０の表示制御部４８から出力された映像信号に基づき、車両Ｖ１の俯瞰映像１００を表示する。 The display panel 31 is, for example, a display device shared with other systems including a navigation system. The display panel 31 is a monitor for checking the surroundings of the vehicle V1 at a required timing. The display panel 31 can take various forms if the surroundings of the vehicle V1 can be confirmed. As an example of the display panel, it is also possible to use an electronic room mirror or to function as an instrument panel. The display panel 31 is a display including, for example, a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL (Organic Electro-Luminence) display. The display panel 31 is arranged at a position that is easily visible to the driver. In the present embodiment, the display panel 31 is arranged on the dashboard, instrument panel, center console, etc. in front of the driver of the vehicle V1. The display panel 31 displays a bird's-eye view image 100 of the vehicle V1 based on the image signal output from the display control unit 48 of the display control device 40.

表示制御装置４０は、駐車を支援するための情報を提供する。より詳しくは、表示制御装置４０は、入庫時および出庫時に、俯瞰映像１００を生成し表示する。 The display control device 40 provides information for assisting parking. More specifically, the display control device 40 generates and displays a bird's-eye view image 100 at the time of warehousing and warehousing.

表示制御装置４０は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）や映像処理用プロセッサなどで構成された演算処理装置（制御部）である。表示制御装置４０は、記憶部４９に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。表示制御装置４０は、映像データ取得部４１と、自車両情報取得部４２と、隣接情報取得部４３と、俯瞰映像生成部４４と、比較部４５と、表示制御部４８と、内部メモリである記憶部４９が含まれる。表示制御装置４０は、一または複数の装置で構成されていてもよい。 The display control device 40 is an arithmetic processing device (control unit) composed of, for example, a CPU (Central Processing Unit) and a video processing processor. The display control device 40 loads the program stored in the storage unit 49 into the memory and executes the instruction included in the program. The display control device 40 includes a video data acquisition unit 41, an own vehicle information acquisition unit 42, an adjacent information acquisition unit 43, a bird's-eye view image generation unit 44, a comparison unit 45, a display control unit 48, and an internal memory. The storage unit 49 is included. The display control device 40 may be composed of one or more devices.

映像データ取得部４１は、車両Ｖ１の周辺を撮影した映像データを取得する。より詳しくは、映像データ取得部４１は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とが出力した映像データを取得する。映像データ取得部４１は、取得した映像データを隣接情報取得部４３と俯瞰映像生成部４４とに出力する。 The video data acquisition unit 41 acquires video data obtained by photographing the periphery of the vehicle V1. More specifically, the video data acquisition unit 41 acquires video data output by the front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14. The video data acquisition unit 41 outputs the acquired video data to the adjacent information acquisition unit 43 and the bird's-eye view image generation unit 44.

自車両情報取得部４２は、車両Ｖ１のギア操作情報など、駐車支援表示トリガである駐車開始トリガまたは駐車終了トリガとなる車両情報を、ＣＡＮ（ＣｏｎｔｒｏｌｌｅｒＡｒｅａＮｅｔｗｏｒｋ）や車両Ｖ１の状態をセンシングする各種センサなどから取得する。自車両情報取得部４２は、車両情報として、ＣＡＮや各種センサなどから取得した駐車時に行われたステアリング操作の操作情報を取得する。自車両情報取得部４２は、取得した車両情報を隣接情報取得部４３および表示制御部４８に出力する。 The own vehicle information acquisition unit 42 senses various states of CAN (Control Area Network) and vehicle V1 for vehicle information that is a parking start trigger or parking end trigger, such as gear operation information of vehicle V1. Obtained from a sensor or the like. The own vehicle information acquisition unit 42 acquires operation information of the steering operation performed at the time of parking acquired from CAN, various sensors, and the like as vehicle information. The own vehicle information acquisition unit 42 outputs the acquired vehicle information to the adjacent information acquisition unit 43 and the display control unit 48.

隣接情報取得部４３は、車両Ｖ１が後退して入庫したときにおける第一障害物位置情報、および、車両Ｖ１が入庫状態から前進して出庫するときにおける第二障害物位置情報を取得する。より詳しくは、隣接情報取得部４３は、車両Ｖ１が後退して入庫したとき、センサユニット２１から第一障害物位置情報を取得する。隣接情報取得部４３は、入庫時の第一障害物位置情報を記憶部４９で記憶させる。また、隣接情報取得部４３は、車両Ｖ１が入庫状態から前進して出庫するとき、センサユニット２１から第二障害物位置情報を取得する。車両Ｖ１が後退して入庫した判断、および車両Ｖ１が前進して出庫する判断は、自車両情報取得部４２から取得した車両Ｖ１のギア操作情報やエンジンのオン／オフ情報などによって判断する。隣接情報取得部４３は、出庫時の第二障害物位置情報を比較部４５に出力する。 The adjacent information acquisition unit 43 acquires the first obstacle position information when the vehicle V1 moves backward and enters the garage, and the second obstacle position information when the vehicle V1 moves forward from the warehousing state and leaves the garage. More specifically, the adjacent information acquisition unit 43 acquires the first obstacle position information from the sensor unit 21 when the vehicle V1 retracts and enters the garage. The adjacent information acquisition unit 43 stores the first obstacle position information at the time of warehousing in the storage unit 49. Further, the adjacent information acquisition unit 43 acquires the second obstacle position information from the sensor unit 21 when the vehicle V1 advances from the warehousing state and leaves the garage. The determination that the vehicle V1 moves backward and enters the garage and the determination that the vehicle V1 moves forward and leaves the garage are determined based on the gear operation information of the vehicle V1 acquired from the own vehicle information acquisition unit 42, the on / off information of the engine, and the like. The adjacent information acquisition unit 43 outputs the second obstacle position information at the time of delivery to the comparison unit 45.

第一障害物位置情報は、車両Ｖ１が後退して入庫したときにおける車両Ｖ１の周囲の障害物の位置情報である。本実施形態では、第一障害物位置情報は、車両Ｖ１が後退して入庫したときにおける、駐車区画ＰＡないし駐車区画ＰＥに存在する隣接車両の位置情報である。 The first obstacle position information is the position information of obstacles around the vehicle V1 when the vehicle V1 retracts and enters the garage. In the present embodiment, the first obstacle position information is the position information of the adjacent vehicle existing in the parking lot PA or the parking lot PE when the vehicle V1 retracts and enters the garage.

第二障害物位置情報は、車両Ｖ１が入庫状態から前進して出庫するときにおける車両Ｖ１の周囲の障害物の位置情報である。本実施形態では、第二障害物位置情報は、車両Ｖ１が入庫状態から前進して出庫するときにおける、駐車区画ＰＡないし駐車区画ＰＥに存在する隣接車両の位置情報である。 The second obstacle position information is the position information of obstacles around the vehicle V1 when the vehicle V1 advances from the warehousing state and leaves the garage. In the present embodiment, the second obstacle position information is the position information of the adjacent vehicle existing in the parking lot PA or the parking lot PE when the vehicle V1 advances from the warehousing state and leaves the garage.

車両Ｖ１が後退して入庫したことは、例えば、シフトポジションが「リバース」とされて、車両Ｖ１が後方に走行した後に、シフトポジションが「パーキング」または「ニュートラル」とされたこと、または、５秒以上の時間、速度がゼロとなったこと、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などで検出する。または、車両Ｖ１が後退して入庫したことは、ユーザ操作など任意のトリガで検出してもよい。 The fact that the vehicle V1 is retracted and stored is, for example, that the shift position is set to "reverse" and the shift position is set to "parking" or "neutral" after the vehicle V1 travels backward, or 5 It is detected when the speed becomes zero for a time of more than a second, the engine is stopped, or the side brake or foot brake is operated. Alternatively, the fact that the vehicle V1 has moved backward and entered the garage may be detected by an arbitrary trigger such as a user operation.

車両Ｖ１が入庫状態から前進して出庫することは、例えば、シフトポジションが「パーキング」または「ニュートラル」であること、または、５秒以上の時間、速度がゼロであること、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などの入庫状態から、エンジン始動されたこと、シフトポジションが「ドライブ」にされたこと、サイドブレーキやフットブレーキが解除されたことなどで検出する。または、車両Ｖ１が入庫状態から前進して出庫することは、ユーザ操作など任意のトリガで検出してもよい。 When the vehicle V1 moves forward from the warehousing state and leaves the garage, for example, the shift position is "parking" or "neutral", or the speed is zero for a time of 5 seconds or more, or the engine is stopped. Alternatively, it is detected when the engine is started, the shift position is set to "drive", the side brake or foot brake is released, etc. from the warehousing state such as the operation of the side brake or the foot brake. Alternatively, the fact that the vehicle V1 moves forward from the warehousing state and leaves the garage may be detected by an arbitrary trigger such as a user operation.

俯瞰映像生成部４４は、映像データ取得部４１で取得した周辺映像データに視点変換処理および合成処理を行い、俯瞰映像１００を生成する。俯瞰映像生成部４４は、入庫時、俯瞰映像１００を生成する。俯瞰映像生成部４４は、前進出庫時、車両Ｖ１の周辺状況が入庫時から変化していると判定した場合、俯瞰映像１００を生成する。本実施形態では、俯瞰映像生成部４４は、比較部４５が、車両Ｖ１が出庫する際に隣接車両の位置が車両Ｖ１に近接する方向に変化していると判定した場合、俯瞰映像１００を生成する。俯瞰映像生成部４４は、生成した俯瞰映像１００を表示制御部４８に出力する。俯瞰映像生成部４４は、視点変換処理部４４１と、切出処理部４４２と、合成処理部４４３とを有する。 The bird's-eye view image generation unit 44 performs viewpoint conversion processing and composition processing on the peripheral image data acquired by the image data acquisition unit 41 to generate the bird's-eye view image 100. The bird's-eye view image generation unit 44 generates the bird's-eye view image 100 at the time of warehousing. The bird's-eye view image generation unit 44 generates the bird's-eye view image 100 when it is determined that the surrounding condition of the vehicle V1 has changed from the time of warehousing at the time of the front advance warehousing. In the present embodiment, the bird's-eye view image generation unit 44 generates the bird's-eye view image 100 when the comparison unit 45 determines that the position of the adjacent vehicle is changing in the direction closer to the vehicle V1 when the vehicle V1 leaves the garage. To do. The bird's-eye view image generation unit 44 outputs the generated bird's-eye view image 100 to the display control unit 48. The bird's-eye view image generation unit 44 includes a viewpoint conversion processing unit 441, a cutting processing unit 442, and a composition processing unit 443.

視点変換処理部４４１は、映像データ取得部４１で取得した周辺映像データに対して、車両Ｖ１を上方から見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部４４１は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部４４１は、視点変換処理を行った周辺映像データを切出処理部４４２に出力する。 The viewpoint conversion processing unit 441 performs viewpoint conversion processing on the peripheral video data acquired by the video data acquisition unit 41 so as to look down on the vehicle V1 from above. More specifically, the viewpoint conversion processing unit 441 generates an image that has undergone viewpoint conversion processing based on peripheral image data captured by the front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14. The method of the viewpoint conversion process may be any known method and is not limited. The viewpoint conversion processing unit 441 outputs the peripheral video data that has undergone the viewpoint conversion processing to the cutout processing unit 442.

切出処理部４４２は、視点変換処理を行った周辺映像データから所定の範囲の映像を切出す切出処理を行う。どの範囲を切出範囲とするかは、あらかじめ登録され記憶されている。切出処理部４４２は、切出処理を行った映像の映像データを合成処理部４４３に出力する。 The cutout processing unit 442 performs cutout processing for cutting out a predetermined range of video from the peripheral video data that has undergone the viewpoint conversion process. Which range is to be the cutout range is registered and stored in advance. The cutout processing unit 442 outputs the video data of the cutout processed video to the synthesis processing unit 443.

合成処理部４４３は、切出処理を行った映像データを合成する合成処理を行う。合成処理部４４３は、合成した映像に車両アイコン１１０を表示した俯瞰映像１００を生成する。 The compositing processing unit 443 performs a compositing process for synthesizing the video data that has been cut out. The composition processing unit 443 generates a bird's-eye view image 100 in which the vehicle icon 110 is displayed on the combined image.

図４を用いて、俯瞰映像１００について説明する。図４は、第一実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。俯瞰映像１００は、車両Ｖ１から２ｍ程度の範囲を表示する。俯瞰映像１００は、駐車区画ＰＤに存在する隣接車両Ｖｄ、および、駐車区画ＰＥに存在する隣接車両Ｖｅが表示範囲に含まれる。俯瞰映像１００は、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４と、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４とで囲まれた中央部に位置する車両アイコン１１０とを含む。車両アイコン１１０は、車両Ｖ１の位置と向きとを示す。車両アイコン１１０は、前後方向を俯瞰映像１００の前後方向と平行にして、中央部に配置されている。 The bird's-eye view image 100 will be described with reference to FIG. FIG. 4 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the first embodiment. The bird's-eye view image 100 displays a range of about 2 m from the vehicle V1. In the bird's-eye view image 100, the adjacent vehicle Vd existing in the parking lot PD and the adjacent vehicle Ve existing in the parking lot PE are included in the display range. The bird's-eye view image 100 is located in the central portion surrounded by the front image 101, the rear image 102, the left side image 103, the right side image 104, the front image 101, the rear image 102, the left side image 103, and the right side image 104. Includes the vehicle icon 110 and. The vehicle icon 110 indicates the position and orientation of the vehicle V1. The vehicle icon 110 is arranged at the center of the bird's-eye view image 100 with the front-rear direction parallel to the front-rear direction.

図１に戻って、比較部４５は、第一障害物位置情報および第二障害物位置情報を比較して、車両Ｖ１が出庫する際に車両Ｖ１の障害物の位置が変化しているか否かを比較する。本実施形態では、比較部４５は、第一障害物位置情報および第二障害物位置情報を比較して、車両Ｖ１が出庫する際に隣接車両の位置が車両Ｖ１に近接する方向に変化しているか否かを比較する。より詳しくは、比較部４５は、入庫時の各隣接駐車区画における隣接車両の位置と出庫時の各隣接駐車区画における隣接車両の位置とを比較し、車両Ｖ１からの距離が入庫時より短くなった隣接車両が存在するとき、隣接車両の位置が車両Ｖ１に近接する方向に変化していると判定する。比較部４５は、入庫時の各隣接駐車区画における隣接車両の位置と出庫時の各隣接駐車区画における隣接車両の位置とを比較し、車両Ｖ１からの距離が入庫時より長くなっている、または、変化していない隣接車両のみが存在するとき、隣接車両の位置が車両Ｖ１に近接する方向に変化していないと判定する。比較部４５は、入庫時と出庫時とで隣接車両が入れ替わっていても位置が変化していない場合、変化していないと判定する。ここで言う位置が変化していない場合とは、完全に同一の位置に加えて、例えば５ｃｍ未満の変化を含んでもよい。 Returning to FIG. 1, the comparison unit 45 compares the first obstacle position information and the second obstacle position information, and determines whether or not the position of the obstacle of the vehicle V1 has changed when the vehicle V1 leaves the garage. To compare. In the present embodiment, the comparison unit 45 compares the first obstacle position information and the second obstacle position information, and when the vehicle V1 leaves the garage, the position of the adjacent vehicle changes in the direction closer to the vehicle V1. Compare whether or not. More specifically, the comparison unit 45 compares the position of the adjacent vehicle in each adjacent parking lot at the time of warehousing with the position of the adjacent vehicle in each adjacent parking lot at the time of warehousing, and the distance from the vehicle V1 becomes shorter than that at the time of warehousing. When there is an adjacent vehicle, it is determined that the position of the adjacent vehicle is changing in the direction close to the vehicle V1. The comparison unit 45 compares the position of the adjacent vehicle in each adjacent parking lot at the time of warehousing with the position of the adjacent vehicle in each adjacent parking lot at the time of warehousing, and the distance from the vehicle V1 is longer than that at the time of warehousing, or When only the adjacent vehicle that has not changed exists, it is determined that the position of the adjacent vehicle has not changed in the direction close to the vehicle V1. The comparison unit 45 determines that the position has not changed even if the adjacent vehicles have been exchanged between the time of warehousing and the time of warehousing. The case where the position does not change here may include a change of less than 5 cm, for example, in addition to the completely same position.

表示制御部４８は、入庫時、俯瞰映像生成部４４が生成する俯瞰映像１００を表示パネル３１に表示させる。表示制御部４８は、比較部４５が、車両Ｖ１が出庫する際に隣接する障害物の位置が変化していると判定した場合、俯瞰映像生成部４４が生成する俯瞰映像１００を表示パネル３１に表示させる。本実施形態では、表示制御部４８は、比較部４５が、車両Ｖ１が出庫する際に隣接車両の位置が車両Ｖ１に近接する方向に変化していると判定した場合、俯瞰映像１００を表示パネル３１に表示させる。より詳しくは、表示制御部４８は、比較部４５が、車両Ｖ１が出庫する際に、車両Ｖ１からの距離が車両Ｖ１の入庫時より短くなった隣接車両が存在すると判定した場合、出庫時に俯瞰映像１００を表示パネル３１に表示させる。 The display control unit 48 causes the display panel 31 to display the bird's-eye view image 100 generated by the bird's-eye view image generation unit 44 at the time of warehousing. When the comparison unit 45 determines that the position of the adjacent obstacle has changed when the vehicle V1 leaves the vehicle, the display control unit 48 displays the bird's-eye view image 100 generated by the bird's-eye view image generation unit 44 on the display panel 31. Display. In the present embodiment, when the comparison unit 45 determines that the position of the adjacent vehicle is changing in the direction closer to the vehicle V1 when the vehicle V1 leaves the garage, the display control unit 48 displays the bird's-eye view image 100 on the display panel. Display on 31. More specifically, when the comparison unit 45 determines that there is an adjacent vehicle whose distance from the vehicle V1 is shorter than that at the time of entering the vehicle V1, the display control unit 48 gives a bird's-eye view at the time of leaving the vehicle. The image 100 is displayed on the display panel 31.

記憶部４９は、表示制御装置４０におけるデータの一時記憶などに用いられる。記憶部４９は、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ（ＦｌａｓｈＭｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。または、図示しない通信装置を介して無線接続される外部記憶装置であってもよい。 The storage unit 49 is used for temporary storage of data in the display control device 40 and the like. The storage unit 49 is, for example, a semiconductor memory element such as a RAM (Random Access Memory), a ROM (Read Only Memory), or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk. Alternatively, it may be an external storage device that is wirelessly connected via a communication device (not shown).

次に、図５、図６を用いて、表示制御システム１の表示制御装置４０における処理の流れについて説明する。図５は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。図６は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの他の例を示すフローチャートである。 Next, the flow of processing in the display control device 40 of the display control system 1 will be described with reference to FIGS. 5 and 6. FIG. 5 is a flowchart showing an example of a processing flow in the display control device of the display control system according to the first embodiment. FIG. 6 is a flowchart showing another example of the processing flow in the display control device of the display control system according to the first embodiment.

表示制御システム１が起動されると、表示制御装置４０は、映像データ取得部４１で映像データを取得する。表示制御装置４０は、自車両情報取得部４２で車両情報を取得する。 When the display control system 1 is activated, the display control device 40 acquires video data by the video data acquisition unit 41. The display control device 40 acquires vehicle information by the own vehicle information acquisition unit 42.

まず、入庫時の処理の流れについて説明する。 First, the flow of processing at the time of warehousing will be described.

表示制御装置４０は、後退を開始したか否かを判定する（ステップＳ１１）。表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、後退トリガの有無を判定する。後退トリガは、例えば、シフトポジションが「リバース」とされたこと、または、車両Ｖ１の進行方向が後方になったことで検出する。表示制御装置４０は、後退を開始していないと判定した場合（ステップＳ１１でＮｏ）、ステップＳ１１の処理を再度実行する。表示制御装置４０は、後退を開始したと判定した場合（ステップＳ１１でＹｅｓ）、ステップＳ１２に進む。 The display control device 40 determines whether or not the retreat has started (step S11). The display control device 40 determines the presence / absence of the reverse trigger based on the own vehicle information acquired by the own vehicle information acquisition unit 42. The reverse trigger is detected, for example, when the shift position is set to "reverse" or the traveling direction of the vehicle V1 is set to the rear. When the display control device 40 determines that the retreat has not started (No in step S11), the display control device 40 re-executes the process of step S11. When the display control device 40 determines that the retreat has started (Yes in step S11), the display control device 40 proceeds to step S12.

ステップＳ１１で後退を開始したと判定された場合（ステップＳ１１でＹｅｓ）、表示制御装置４０は、俯瞰映像表示を開始する（ステップＳ１２）。より詳しくは、表示制御装置４０は、俯瞰映像生成部４４で俯瞰映像１００を生成し、表示制御部４８で俯瞰映像１００を表示パネル３１に表示させる。表示制御装置４０は、ステップＳ１３に進む。 When it is determined in step S11 that the retreat has started (Yes in step S11), the display control device 40 starts the bird's-eye view image display (step S12). More specifically, in the display control device 40, the bird's-eye view image generation unit 44 generates the bird's-eye view image 100, and the display control unit 48 displays the bird's-eye view image 100 on the display panel 31. The display control device 40 proceeds to step S13.

表示制御装置４０は、入庫が完了したか否かを判定する（ステップＳ１３）。より詳しくは、表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、例えば、シフトポジションが「パーキング」または「ニュートラル」であること、または、５秒以上の時間、速度がゼロであること、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などを検出した場合、入庫が完了したと判定する。表示制御装置４０は、入庫が完了したと判定した場合、俯瞰映像表示を終了すると判定し（ステップＳ１３でＹｅｓ）、ステップＳ１４に進む。表示制御装置４０は、入庫が完了していないと判定した場合、映像表示を終了しないと判定し（ステップＳ１３でＮｏ）、ステップＳ１３の処理を再度実行する。 The display control device 40 determines whether or not the warehousing is completed (step S13). More specifically, the display control device 40 is based on the own vehicle information acquired by the own vehicle information acquisition unit 42, for example, the shift position is "parking" or "neutral", or the time of 5 seconds or more. When the speed is zero, the engine is stopped, or the operation of the side brake or foot brake is detected, it is determined that the warehousing is completed. When the display control device 40 determines that the warehousing is completed, it determines that the bird's-eye view image display is finished (Yes in step S13), and proceeds to step S14. When it is determined that the warehousing is not completed, the display control device 40 determines that the video display is not finished (No in step S13), and executes the process of step S13 again.

表示制御装置４０は、入庫が完了したと判定された場合（ステップＳ１３でＹｅｓ）、俯瞰映像表示を終了する（ステップＳ１４）。表示制御装置４０は、ステップ１５に進む。 When it is determined that the warehousing is completed (Yes in step S13), the display control device 40 ends the bird's-eye view video display (step S14). The display control device 40 proceeds to step 15.

表示制御装置４０は、隣接情報取得部４３で第一障害物位置情報を取得し、記憶部４９に記憶させる（ステップＳ１５）。そして、表示制御装置４０は、処理を終了する。 The display control device 40 acquires the first obstacle position information by the adjacent information acquisition unit 43 and stores it in the storage unit 49 (step S15). Then, the display control device 40 ends the process.

図２を参照して、入庫時の車両Ｖ１の周辺状況を示す第一障害物位置情報について説明する。入庫時、駐車区画ＰＡに隣接車両Ｖａが存在し、駐車区画ＰＢに隣接車両Ｖｂが存在し、駐車区画ＰＣに隣接車両Ｖｃが存在し、駐車区画ＰＤに隣接車両Ｖｄが存在し、駐車区画ＰＥに隣接車両Ｖｅが存在している。車両Ｖ１の入庫時における、隣接車両Ｖａないし隣接車両Ｖｅの位置情報がセンサユニット２１によって検出されて、隣接情報取得部４３によって第一障害物位置情報として取得される。第一障害物位置情報は、ステップＳ１５において記憶部４９に記憶される。 With reference to FIG. 2, the first obstacle position information indicating the surrounding situation of the vehicle V1 at the time of warehousing will be described. At the time of warehousing, there is an adjacent vehicle Va in the parking lot PA, an adjacent vehicle Vb in the parking lot PB, an adjacent vehicle Vc in the parking lot PC, an adjacent vehicle Vd in the parking lot PD, and a parking lot PE. There is an adjacent vehicle Ve in. The position information of the adjacent vehicle Va or the adjacent vehicle Ve at the time of warehousing of the vehicle V1 is detected by the sensor unit 21 and acquired as the first obstacle position information by the adjacent information acquisition unit 43. The first obstacle position information is stored in the storage unit 49 in step S15.

次に、出庫時の処理の流れについて説明する。 Next, the flow of processing at the time of delivery will be described.

表示制御装置４０は、前進トリガの有無を判定する（ステップＳ２１）。表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、前進トリガの有無を判定する。前進トリガは、例えば、エンジンが始動されたこと、シフトポジションが前進可能な「ドライブ」などにされたこと、サイドブレーキやフットブレーキが解除されたことなどで検出する。表示制御装置４０は、前進トリガがないと判定した場合（ステップＳ２１でＮｏ）、ステップＳ２１の処理を再度実行する。表示制御装置４０は、前進トリガがあると判定した場合（ステップＳ２１でＹｅｓ）、ステップＳ２２に進む。 The display control device 40 determines the presence / absence of the forward trigger (step S21). The display control device 40 determines the presence / absence of the forward trigger based on the own vehicle information acquired by the own vehicle information acquisition unit 42. The forward trigger is detected, for example, when the engine is started, the shift position is set to a "drive" that allows forward movement, the side brake or the foot brake is released, and the like. When the display control device 40 determines that there is no forward trigger (No in step S21), the display control device 40 re-executes the process of step S21. When the display control device 40 determines that there is a forward trigger (Yes in step S21), the display control device 40 proceeds to step S22.

ステップＳ２１で前進トリガがあると判定された場合（ステップＳ２１でＹｅｓ）、表示制御装置４０は、入庫からの前進であるか否かを判定する（ステップＳ２２）。より詳しくは、表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、前進トリガを検出する直前の状態が、例えば、シフトポジションが「パーキング」または「ニュートラル」であった、または、５秒以上の時間、速度がゼロであった、または、エンジンが停止していた、または、サイドブレーキやフットブレーキが操作されていたと判定された場合、入庫からの前進であると判定する。または、表示制御装置４０は、記憶部４９に、第一障害物位置情報が記憶されている場合、入庫からの前進であると判定してもよい。表示制御装置４０は、入庫からの前進ではないと判定した場合（ステップＳ２２でＮｏ）、ステップＳ２１の処理を再度実行する。表示制御装置４０は、入庫からの前進であると判定した場合（ステップＳ２２でＹｅｓ）、ステップＳ２３に進む。 When it is determined in step S21 that there is a forward trigger (Yes in step S21), the display control device 40 determines whether or not the advance is from warehousing (step S22). More specifically, the display control device 40 has a state immediately before detecting the forward trigger based on the own vehicle information acquired by the own vehicle information acquisition unit 42, for example, the shift position is "parking" or "neutral". Or, if it is determined that the speed was zero for 5 seconds or more, the engine was stopped, or the side brake or foot brake was operated, it is considered to be a forward movement from the warehousing. judge. Alternatively, when the first obstacle position information is stored in the storage unit 49, the display control device 40 may determine that the vehicle is moving forward from the warehousing. When the display control device 40 determines that the advance is not from the warehousing (No in step S22), the display control device 40 re-executes the process of step S21. When the display control device 40 determines that the vehicle is moving forward from the warehousing (Yes in step S22), the display control device 40 proceeds to step S23.

表示制御装置４０は、隣接情報取得部４３で第二障害物位置情報を取得し、比較部４５で第一障害物位置情報と第二障害物位置情報とを比較させる（ステップＳ２３）。表示制御装置４０は、比較部４５で比較することによって、入庫時と出庫時との車両Ｖ１の周辺状況の変化を取得する。表示制御装置４０は、ステップＳ２４に進む。 In the display control device 40, the adjacent information acquisition unit 43 acquires the second obstacle position information, and the comparison unit 45 compares the first obstacle position information with the second obstacle position information (step S23). The display control device 40 acquires the change in the surrounding condition of the vehicle V1 between the time of warehousing and the time of warehousing by comparing with the comparison unit 45. The display control device 40 proceeds to step S24.

図３を参照して、出庫時の車両Ｖ１の周辺状況を示す第二障害物位置情報について説明する。出庫時、駐車区画ＰＡの隣接車両Ｖａおよび駐車区画ＰＥの隣接車両Ｖｅの位置が変化している。出庫時の隣接車両Ｖａの車両Ｖ１からの距離Ｌａ１は、入庫時の隣接車両Ｖａの車両Ｖ１からの距離Ｌａより短い。出庫時の隣接車両Ｖｅの車両Ｖ１からの距離Ｌｅ１は、入庫時の隣接車両Ｖｅの車両Ｖ１からの距離Ｌｅより短い。入庫時の隣接車両Ｖａおよび隣接車両Ｖｅの位置を破線で示す。車両Ｖ１の出庫時における、隣接車両Ｖａないし隣接車両Ｖｅの位置情報がセンサユニット２１によって検出されて、隣接情報取得部４３によって第二障害物位置情報として取得される。比較部４５によって、第一障害物位置情報と第二障害物位置情報とを比較すると、隣接車両Ｖａおよび隣接車両Ｖｅの位置が変化していることがわかる。 With reference to FIG. 3, the second obstacle position information indicating the surrounding situation of the vehicle V1 at the time of delivery will be described. At the time of delivery, the positions of the adjacent vehicle Va in the parking lot PA and the adjacent vehicle Ve in the parking lot PE have changed. The distance La1 of the adjacent vehicle Va at the time of warehousing from the vehicle V1 is shorter than the distance La1 of the adjacent vehicle Va at the time of warehousing from the vehicle V1. The distance Le1 of the adjacent vehicle Ve at the time of warehousing from the vehicle V1 is shorter than the distance Le1 of the adjacent vehicle Ve at the time of warehousing from the vehicle V1. The positions of the adjacent vehicle Va and the adjacent vehicle Ve at the time of warehousing are indicated by broken lines. The position information of the adjacent vehicle Va or the adjacent vehicle Ve at the time of leaving the vehicle V1 is detected by the sensor unit 21 and acquired as the second obstacle position information by the adjacent information acquisition unit 43. Comparing the first obstacle position information and the second obstacle position information by the comparison unit 45, it can be seen that the positions of the adjacent vehicle Va and the adjacent vehicle Ve have changed.

表示制御装置４０は、隣接車両の位置が変化したか否かを判定する（ステップＳ２４）。表示制御装置４０は、比較部４５による比較の結果、隣接車両の位置が変化していないと判定した場合（ステップＳ２４でＮｏ）、処理を終了する。この場合、俯瞰映像１００は表示されない。表示制御装置４０は、比較部４５による比較の結果、隣接車両の位置が変化したと判定した場合（ステップＳ２４でＹｅｓ）、ステップＳ２５に進む。 The display control device 40 determines whether or not the position of the adjacent vehicle has changed (step S24). When the display control device 40 determines that the position of the adjacent vehicle has not changed as a result of the comparison by the comparison unit 45 (No in step S24), the display control device 40 ends the process. In this case, the bird's-eye view image 100 is not displayed. When the display control device 40 determines that the position of the adjacent vehicle has changed as a result of the comparison by the comparison unit 45 (Yes in step S24), the display control device 40 proceeds to step S25.

表示制御装置４０は、隣接車両の位置が車両Ｖ１に近接する方向に変化したか否かを判定する（ステップＳ２５）。表示制御装置４０は、第一障害物位置情報と第二障害物位置情報とを比較して、隣接車両の位置が車両Ｖ１に近接する方向に変化していないと判定される場合（ステップＳ２５でＮｏ）、処理を終了する。表示制御装置４０は、第一障害物位置情報と第二障害物位置情報とを比較して、隣接車両の位置が車両Ｖ１に近接する方向に変化したと判定される場合（ステップＳ２５でＹｅｓ）、ステップＳ２６に進む。 The display control device 40 determines whether or not the position of the adjacent vehicle has changed in the direction closer to the vehicle V1 (step S25). When the display control device 40 compares the first obstacle position information and the second obstacle position information and determines that the position of the adjacent vehicle has not changed in the direction close to the vehicle V1 (in step S25). No), the process ends. When the display control device 40 compares the first obstacle position information and the second obstacle position information and determines that the position of the adjacent vehicle has changed in the direction closer to the vehicle V1 (Yes in step S25). , Step S26.

表示制御装置４０は、前進を開始したか否かを判定する（ステップＳ２６）。表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、例えば、速度がゼロ以上であること、または、車両Ｖ１が前方に走行したことが検出された場合、前進を開始したと判定する。表示制御装置４０は、車両Ｖ１が前進していないと判定した場合（ステップＳ２６でＮｏ）、ステップＳ２６の処理を再度実行する。表示制御装置４０は、車両Ｖ１が前進したと判定した場合（ステップＳ２６でＹｅｓ）、ステップＳ２７に進む。 The display control device 40 determines whether or not the advance has started (step S26). Based on the own vehicle information acquired by the own vehicle information acquisition unit 42, the display control device 40 advances forward when, for example, it is detected that the speed is zero or more or that the vehicle V1 has traveled forward. Judge that it has started. When the display control device 40 determines that the vehicle V1 is not moving forward (No in step S26), the display control device 40 re-executes the process of step S26. When the display control device 40 determines that the vehicle V1 has advanced (Yes in step S26), the display control device 40 proceeds to step S27.

ステップＳ２６で前進を開始したと判定された場合（ステップＳ２６でＹｅｓ）、表示制御装置４０は、俯瞰映像表示を開始する（ステップＳ２７）。より詳しくは、表示制御装置４０は、俯瞰映像生成部４４で俯瞰映像１００を生成し、表示制御部４８で俯瞰映像１００を表示パネル３１に表示させる。表示制御装置４０は、ステップＳ２８に進む。 When it is determined in step S26 that the advance has started (Yes in step S26), the display control device 40 starts the bird's-eye view image display (step S27). More specifically, in the display control device 40, the bird's-eye view image generation unit 44 generates the bird's-eye view image 100, and the display control unit 48 displays the bird's-eye view image 100 on the display panel 31. The display control device 40 proceeds to step S28.

俯瞰映像１００を表示パネル３１に表示させるタイミングについては、一例としてステップＳ２７を例示したが、車両Ｖ１がエンジン始動したとき、シフトポジションが「ドライブ」にされたとき、車両Ｖ１が前進を開始したときなど、出庫する際に周辺状況を確認するために適切なタイミングであれば任意である。 Regarding the timing for displaying the bird's-eye view image 100 on the display panel 31, step S27 is illustrated as an example, but when the vehicle V1 starts the engine, when the shift position is set to "drive", and when the vehicle V1 starts moving forward. It is arbitrary if it is an appropriate timing to check the surrounding situation when leaving the warehouse.

図４を参照して、ステップＳ２７で表示される俯瞰映像１００について説明する。俯瞰映像１００は、駐車区画ＰＤに存在する隣接車両Ｖｄ、および、駐車区画ＰＥに存在する隣接車両Ｖｅが表示範囲に含まれる。 The bird's-eye view image 100 displayed in step S27 will be described with reference to FIG. In the bird's-eye view image 100, the adjacent vehicle Vd existing in the parking lot PD and the adjacent vehicle Ve existing in the parking lot PE are included in the display range.

表示制御装置４０は、俯瞰映像表示の終了条件を満たすか否かを判定する（ステップＳ２８）。より詳しくは、表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、例えば、前進を開始した位置から所定距離以上走行したことや、車速が所定速度以上になったことを検出した場合、俯瞰映像表示の終了条件を満たすと判定する。表示制御装置４０は、俯瞰映像表示の終了条件を満たすと判定した場合、俯瞰映像表示を終了すると判定し（ステップＳ２８でＹｅｓ）、ステップＳ２９に進む。表示制御装置４０は、俯瞰映像表示の終了条件を満たしていないと判定した場合、映像表示を終了しないと判定し（ステップＳ２８でＮｏ）、ステップＳ２８の処理を再度実行する。 The display control device 40 determines whether or not the end condition of the bird's-eye view image display is satisfied (step S28). More specifically, based on the own vehicle information acquired by the own vehicle information acquisition unit 42, the display control device 40 has, for example, traveled a predetermined distance or more from the position where the forward movement was started, or the vehicle speed became a predetermined speed or more. When this is detected, it is determined that the end condition of the bird's-eye view video display is satisfied. When the display control device 40 determines that the end condition of the bird's-eye view image display is satisfied, it determines that the bird's-eye view image display is finished (Yes in step S28), and proceeds to step S29. When the display control device 40 determines that the end condition of the bird's-eye view image display is not satisfied, the display control device 40 determines that the image display is not ended (No in step S28), and executes the process of step S28 again.

ステップＳ２８で俯瞰映像表示の終了条件を満たすと判定された場合（ステップＳ２８でＹｅｓ）、表示制御装置４０は、俯瞰映像表示を終了する（ステップＳ２９）。表示制御装置４０は、記憶部４９に記憶した第一障害物位置情報を削除する。そして、表示制御装置４０は、処理を終了する。 When it is determined in step S28 that the condition for ending the bird's-eye view image display is satisfied (Yes in step S28), the display control device 40 ends the bird's-eye view image display (step S29). The display control device 40 deletes the first obstacle position information stored in the storage unit 49. Then, the display control device 40 ends the process.

上述したように、本実施形態は、比較部４５が、車両Ｖ１が出庫する際に隣接車両の位置が車両Ｖ１に近接する方向に変化していると判定した場合、俯瞰映像生成部４４が生成する俯瞰映像１００を表示パネル３１に表示させる。このように、本実施形態は、出庫時に周辺状況の変化に応じて適切に俯瞰映像１００を表示させることができる。本実施形態によれば、出庫時に入庫時よりも隣接車両の位置が車両Ｖ１に近接する方向に変化しているときに、俯瞰映像１００を表示することができる。これにより、隣接車両の位置が車両Ｖ１に近接する方向に変化して、出庫時の操作が難しくなったとしても、運転者が、目視またはミラーによる確認に加えて、俯瞰映像１００によって車両Ｖ１の周辺を適切に確認することができる。 As described above, in the present embodiment, when the comparison unit 45 determines that the position of the adjacent vehicle is changing in the direction closer to the vehicle V1 when the vehicle V1 leaves the garage, the bird's-eye view image generation unit 44 is generated. The bird's-eye view image 100 is displayed on the display panel 31. As described above, in this embodiment, the bird's-eye view image 100 can be appropriately displayed according to the change in the surrounding situation at the time of delivery. According to the present embodiment, the bird's-eye view image 100 can be displayed when the position of the adjacent vehicle is changed in the direction closer to the vehicle V1 at the time of warehousing than at the time of warehousing. As a result, even if the position of the adjacent vehicle changes in the direction closer to the vehicle V1 and the operation at the time of leaving the vehicle becomes difficult, the driver can check the vehicle V1 by the bird's-eye view image 100 in addition to the visual or mirror confirmation. You can check the surrounding area properly.

本実施形態によれば、出庫時に周辺状況の変化に応じて、俯瞰映像１００の表示が必要なときに限って俯瞰映像１００を表示する。このように、本実施形態は、俯瞰映像を表示させる必要性が無い状況で俯瞰映像が表示されたり、ナビゲーションによる経路を確認したいときなどに俯瞰映像が表示されてしまうことを抑制することができる。 According to the present embodiment, the bird's-eye view image 100 is displayed only when it is necessary to display the bird's-eye view image 100 according to the change in the surrounding situation at the time of delivery. As described above, in the present embodiment, it is possible to suppress that the bird's-eye view image is displayed in a situation where there is no need to display the bird's-eye view image, or that the bird's-eye view image is displayed when it is desired to confirm the route by navigation. ..

［第二実施形態］
図７を参照しながら、本実施形態に係る表示制御システム１について説明する。図７は、第二実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。表示制御システム１は、基本的な構成は第一実施形態の表示制御システム１と同様である。以下の説明においては、表示制御システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。表示制御システム１は、生成する俯瞰映像１００において、位置が変化した隣接車両を強調表示する点で第一実施形態と異なる。 [Second Embodiment]
The display control system 1 according to the present embodiment will be described with reference to FIG. 7. FIG. 7 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the second embodiment. The basic configuration of the display control system 1 is the same as that of the display control system 1 of the first embodiment. In the following description, the same components as those of the display control system 1 are designated by the same reference numerals or corresponding reference numerals, and detailed description thereof will be omitted. The display control system 1 is different from the first embodiment in that the generated bird's-eye view image 100 highlights the adjacent vehicle whose position has changed.

合成処理部４４３は、比較部４５が、車両Ｖ１が出庫する際に隣接車両の位置が変化していると判定した場合、位置が変化した隣接車両を強調した俯瞰映像１００を生成する。例えば、合成処理部４４３は、位置が変化した隣接車両を着色したり、太い線で囲ったりすることで強調表示する。 When the comparison unit 45 determines that the position of the adjacent vehicle has changed when the vehicle V1 leaves the garage, the synthesis processing unit 443 generates a bird's-eye view image 100 that emphasizes the adjacent vehicle whose position has changed. For example, the synthesis processing unit 443 highlights the adjacent vehicle whose position has changed by coloring it or enclosing it with a thick line.

表示制御部４８は、比較部４５によって位置が変化していると判定された隣接車両を強調表示した俯瞰映像１００を表示パネル３１に表示させる。 The display control unit 48 causes the display panel 31 to display a bird's-eye view image 100 that highlights the adjacent vehicle whose position has been determined to be changed by the comparison unit 45.

図７を用いて、俯瞰映像１００について説明する。俯瞰映像１００は、位置が変化した隣接車両Ｖｅが着色されて強調表示されている。 The bird's-eye view image 100 will be described with reference to FIG. 7. In the bird's-eye view image 100, the adjacent vehicle Ve whose position has changed is colored and highlighted.

上述したように、本実施形態によれば、比較部４５が、車両Ｖ１が出庫する際に隣接車両の位置が変化していると判定した場合、位置が変化した隣接車両が強調表示された俯瞰映像１００を表示パネル３１に表示させる。本実施形態は、入庫時と出庫時とで位置が変化した隣接車両を容易に把握することができる。本実施形態によれば、俯瞰映像１００において、入庫時から変化した点を認識しやすいので、運転者が出庫時に留意すべき点を容易に確認することができる。 As described above, according to the present embodiment, when the comparison unit 45 determines that the position of the adjacent vehicle has changed when the vehicle V1 leaves the garage, the bird's-eye view in which the adjacent vehicle whose position has changed is highlighted. The image 100 is displayed on the display panel 31. In this embodiment, it is possible to easily grasp the adjacent vehicle whose position has changed between the time of warehousing and the time of warehousing. According to the present embodiment, in the bird's-eye view image 100, it is easy to recognize the points that have changed from the time of warehousing, so that the driver can easily confirm the points to be noted at the time of warehousing.

［第三実施形態］
図８を参照しながら、本実施形態に係る表示制御システム１について説明する。図８は、第三実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。表示制御システム１は、基本的な構成は第一実施形態の表示制御システム１と同様である。表示制御システム１は、生成する俯瞰映像１００において、位置が変化した隣接車両の存在する方向を報知する報知アイコン１２０を表示する点で第一実施形態と異なる。 [Third Embodiment]
The display control system 1 according to the present embodiment will be described with reference to FIG. FIG. 8 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the third embodiment. The basic configuration of the display control system 1 is the same as that of the display control system 1 of the first embodiment. The display control system 1 is different from the first embodiment in that the generated bird's-eye view image 100 displays a notification icon 120 that notifies the direction in which an adjacent vehicle whose position has changed.

合成処理部４４３は、比較部４５が、車両Ｖ１が出庫する際に隣接車両の位置が変化していると判定した場合、位置が変化した隣接車両が存在する方向を示す報知アイコン１２０を表示した俯瞰映像１００を生成する。例えば、合成処理部４４３は、矢印形状の報知アイコン１２０を表示させる。 When the comparison unit 45 determines that the position of the adjacent vehicle has changed when the vehicle V1 leaves the garage, the synthesis processing unit 443 displays a notification icon 120 indicating the direction in which the adjacent vehicle whose position has changed exists. A bird's-eye view image 100 is generated. For example, the synthesis processing unit 443 displays an arrow-shaped notification icon 120.

表示制御部４８は、比較部４５が、車両Ｖ１が出庫する際に隣接車両の位置が変化していると判定した場合、位置が変化していると判定された隣接車両の方向を示す報知アイコン１２０を含む俯瞰映像１００を表示パネル３１に表示させる。 When the comparison unit 45 determines that the position of the adjacent vehicle has changed when the vehicle V1 leaves the garage, the display control unit 48 indicates a notification icon indicating the direction of the adjacent vehicle determined to have changed. The bird's-eye view image 100 including the 120 is displayed on the display panel 31.

図８を用いて、俯瞰映像１００について説明する。本実施形態では、駐車区画ＰＣの隣接車両Ｖｃの位置が変化したものとする。俯瞰映像１００は、位置が変化した隣接車両Ｖｃが存在する方向を示す報知アイコン１２０が表示されている。 The bird's-eye view image 100 will be described with reference to FIG. In the present embodiment, it is assumed that the position of the adjacent vehicle Vc of the parking lot PC has changed. In the bird's-eye view image 100, a notification icon 120 indicating the direction in which the adjacent vehicle Vc whose position has changed exists is displayed.

上述したように、本実施形態によれば、比較部４５が、車両Ｖ１が出庫する際に隣接車両の位置が変化していると判定した場合、位置が変化した隣接車両が存在する方向を示す報知アイコン１２０を表示した俯瞰映像１００を表示パネル３１に表示させる。本実施形態は、俯瞰映像１００に位置が変化した隣接車両が表示されていない場合でも、入庫時と出庫時とで位置が変化した隣接車両が存在する方向を容易に把握することができる。本実施形態によれば、俯瞰映像１００に表示されていなくても入庫時から変化した点を認識しやすいので、運転者が出庫時に留意すべき点を容易に確認することができる。 As described above, according to the present embodiment, when the comparison unit 45 determines that the position of the adjacent vehicle has changed when the vehicle V1 leaves the garage, it indicates the direction in which the adjacent vehicle whose position has changed exists. The bird's-eye view image 100 displaying the notification icon 120 is displayed on the display panel 31. In the present embodiment, even when the adjacent vehicle whose position has changed is not displayed in the bird's-eye view image 100, it is possible to easily grasp the direction in which the adjacent vehicle whose position has changed between the time of entering and the time of leaving the vehicle exists. According to the present embodiment, it is easy to recognize the points that have changed from the time of warehousing even if they are not displayed on the bird's-eye view image 100, so that the driver can easily confirm the points to be noted at the time of warehousing.

［第四実施形態］
図９を参照しながら、本実施形態に係る表示制御システム１について説明する。図９は、第四実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。表示制御システム１は、基本的な構成は第一実施形態の表示制御システム１と同様である。表示制御システム１は、生成する俯瞰映像１００において、位置が変化した隣接車両が表示範囲に含まれるように表示範囲を変更した俯瞰映像１００を表示する点で第一実施形態と異なる。 [Fourth Embodiment]
The display control system 1 according to the present embodiment will be described with reference to FIG. FIG. 9 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the fourth embodiment. The basic configuration of the display control system 1 is the same as that of the display control system 1 of the first embodiment. The display control system 1 is different from the first embodiment in that the generated bird's-eye view image 100 displays the bird's-eye view image 100 whose display range is changed so that the adjacent vehicle whose position has changed is included in the display range.

切出処理部４４２は、視点変換処理を行った周辺映像データから、位置が変化した隣接車両が表示範囲に含まれるような切出範囲で切出し処理を行う。増加した隣接車両は、俯瞰映像１００の表示範囲に一部分が含まれていればよい。 The cutout processing unit 442 performs cutout processing in a cutout range such that the adjacent vehicle whose position has changed is included in the display range from the peripheral video data subjected to the viewpoint conversion process. The increased number of adjacent vehicles may be partially included in the display range of the bird's-eye view image 100.

表示制御部４８は、比較部４５が、車両Ｖ１が出庫する際に隣接車両の位置が変化していると判定した場合、位置が変化していると判定された隣接車両を含むように表示範囲を変更した俯瞰映像１００を表示パネル３１に表示させる。 When the comparison unit 45 determines that the position of the adjacent vehicle has changed when the vehicle V1 leaves the garage, the display control unit 48 includes the adjacent vehicle determined to have changed the position. The bird's-eye view image 100 in which the above is changed is displayed on the display panel 31.

図９を用いて、俯瞰映像１００について説明する。本実施形態では、駐車区画ＰＣの隣接車両Ｖｃの位置が変化したものとする。俯瞰映像１００は、位置が変化した隣接車両Ｖｃが表示されるように表示範囲を前方に広くした俯瞰映像１００が表示されている。 The bird's-eye view image 100 will be described with reference to FIG. In the present embodiment, it is assumed that the position of the adjacent vehicle Vc of the parking lot PC has changed. The bird's-eye view image 100 is displayed with the display range widened forward so that the adjacent vehicle Vc whose position has changed is displayed.

上述したように、本実施形態によれば、比較部４５が、車両Ｖ１が出庫する際に隣接車両の位置が変化していると判定した場合、位置が変化した隣接車両が表示されるように表示範囲を変更した俯瞰映像１００を表示パネル３１に表示させる。本実施形態は、俯瞰映像１００に位置が変化した隣接車両が表示されるので、入庫時と出庫時とで位置が変化した隣接車両を容易に把握することができる。本実施形態によれば、入庫時から変化した点を認識しやすいので、運転者が出庫時に留意すべき点を容易に確認することができる。 As described above, according to the present embodiment, when the comparison unit 45 determines that the position of the adjacent vehicle has changed when the vehicle V1 leaves the garage, the adjacent vehicle whose position has changed is displayed. The bird's-eye view image 100 whose display range has been changed is displayed on the display panel 31. In the present embodiment, since the adjacent vehicle whose position has changed is displayed on the bird's-eye view image 100, it is possible to easily grasp the adjacent vehicle whose position has changed between the time of entering and the time of leaving. According to the present embodiment, it is easy to recognize the points that have changed from the time of warehousing, so that the driver can easily confirm the points to be noted at the time of warehousing.

［第五実施形態］
図１０、図１１を参照しながら、本実施形態に係る表示制御システム１について説明する。図１０は、第五実施形態に係る表示制御システムの表示制御装置における処理を説明するための駐車区画を示す図である。図１１は、第五実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。表示制御システム１は、基本的な構成は第一実施形態の表示制御システム１と同様である。表示制御システム１は、出庫時に隣接車両の位置が車両の出庫方向に変化しているときに俯瞰映像を表示する点で第一実施形態と異なる。 [Fifth Embodiment]
The display control system 1 according to the present embodiment will be described with reference to FIGS. 10 and 11. FIG. 10 is a diagram showing a parking lot for explaining a process in the display control device of the display control system according to the fifth embodiment. FIG. 11 is a flowchart showing an example of a processing flow in the display control device of the display control system according to the fifth embodiment. The basic configuration of the display control system 1 is the same as that of the display control system 1 of the first embodiment. The display control system 1 is different from the first embodiment in that a bird's-eye view image is displayed when the position of the adjacent vehicle is changing in the direction of leaving the vehicle at the time of leaving the vehicle.

俯瞰映像生成部４４は、比較部４５が、車両Ｖ１が出庫する際に隣接車両の位置が車両Ｖ１の出庫方向に変化していると判定した場合、俯瞰映像１００を生成する。 The bird's-eye view image generation unit 44 generates the bird's-eye view image 100 when the comparison unit 45 determines that the position of the adjacent vehicle is changing in the exit direction of the vehicle V1 when the vehicle V1 leaves the garage.

車両Ｖ１の出庫方向に変化するとは、隣接車両が各駐車区画の前方に位置が変化することをいう。図１０に示す駐車区画では、隣接車両Ｖａおよび隣接車両Ｖｅが前方に位置が変化している、言い換えると、車両Ｖ１の出庫方向に位置が変化している。出庫時の隣接車両Ｖａの前端部は入庫時の隣接車両Ｖａの前端部より距離Ｄａ前方に移動している。出庫時の隣接車両Ｖｅの前端部は入庫時の隣接車両Ｖｅの前端部より距離Ｄｅ前方に移動している。入庫時の隣接車両Ｖａおよび隣接車両Ｖｅの位置を破線で示す。 The change in the exit direction of the vehicle V1 means that the position of the adjacent vehicle changes in front of each parking lot. In the parking lot shown in FIG. 10, the positions of the adjacent vehicle Va and the adjacent vehicle Ve have changed forward, in other words, the positions have changed in the exit direction of the vehicle V1. The front end of the adjacent vehicle Va at the time of warehousing is moving forward by a distance Da from the front end of the adjacent vehicle Va at the time of warehousing. The front end of the adjacent vehicle Ve at the time of warehousing is moved forward by a distance De from the front end of the adjacent vehicle Ve at the time of warehousing. The positions of the adjacent vehicle Va and the adjacent vehicle Ve at the time of warehousing are indicated by broken lines.

比較部４５は、第一障害物位置情報および第二障害物位置情報を比較して、車両Ｖ１が出庫する際に隣接車両の位置が車両Ｖ１の出庫方向に変化しているか否かを比較する。より詳しくは、比較部４５は、入庫時の各隣接駐車区画における隣接車両の位置と出庫時の各隣接駐車区画における隣接車両の位置とを比較し、位置が前方に変化した隣接車両が存在するとき、隣接車両の位置が車両Ｖ１の出庫方向に変化していると判定する。比較部４５は、入庫時の各隣接駐車区画における隣接車両の位置と出庫時の各隣接駐車区画における隣接車両の位置とを比較し、位置が後方に変化している、または、変化していない隣接車両のみが存在するとき、隣接車両の位置が車両Ｖ１の出庫方向に変化していないと判定する。比較部４５は、入庫時と出庫時とで隣接車両が入れ替わっていても位置が変化していない場合、変化していないと判定する。 The comparison unit 45 compares the first obstacle position information and the second obstacle position information, and compares whether or not the position of the adjacent vehicle changes in the leaving direction of the vehicle V1 when the vehicle V1 leaves the garage. .. More specifically, the comparison unit 45 compares the position of the adjacent vehicle in each adjacent parking lot at the time of warehousing with the position of the adjacent vehicle in each adjacent parking lot at the time of warehousing, and there is an adjacent vehicle whose position has changed forward. At this time, it is determined that the position of the adjacent vehicle is changing in the exit direction of the vehicle V1. The comparison unit 45 compares the position of the adjacent vehicle in each adjacent parking lot at the time of warehousing with the position of the adjacent vehicle in each adjacent parking lot at the time of warehousing, and the position has changed backward or has not changed. When only the adjacent vehicle is present, it is determined that the position of the adjacent vehicle has not changed in the exit direction of the vehicle V1. The comparison unit 45 determines that the position has not changed even if the adjacent vehicles have been exchanged between the time of warehousing and the time of warehousing.

表示制御部４８は、比較部４５が、車両Ｖ１が出庫する際に隣接車両の位置が車両Ｖ１の出庫方向に変化していると判定した場合、俯瞰映像１００を表示パネル３１に表示させる。より詳しくは、表示制御部４８は、比較部４５が、入庫時の隣接車両の位置に対して、出庫時の隣接車両の位置が車両Ｖ１の出庫方向に変化していると判定した場合、出庫時に俯瞰映像１００を表示パネル３１に表示させる。 When the comparison unit 45 determines that the position of the adjacent vehicle is changing in the warehousing direction of the vehicle V1 when the vehicle V1 leaves the garage, the display control unit 48 displays the bird's-eye view image 100 on the display panel 31. More specifically, when the display control unit 48 determines that the position of the adjacent vehicle at the time of warehousing is changed in the warehousing direction of the vehicle V1 with respect to the position of the adjacent vehicle at the time of warehousing, the display control unit 48 issues the warehousing. Occasionally, the bird's-eye view image 100 is displayed on the display panel 31.

次に、図１１を用いて、表示制御システム１の表示制御装置４０における処理の流れについて説明する。ステップＳ３１ないしステップＳ３４、ステップＳ３６ないしステップＳ３９の処理は、図６に示すフローチャートのステップＳ２１ないしステップＳ２４、ステップＳ２６ないしステップＳ２９と同様の処理を行う。 Next, the flow of processing in the display control device 40 of the display control system 1 will be described with reference to FIG. The processes of steps S31 to S34 and steps S36 to S39 are the same as those of steps S21 to S24 and steps S26 to S29 of the flowchart shown in FIG.

表示制御装置４０は、隣接車両の位置が出庫方向に変化したか否かを判定する（ステップＳ３５）。表示制御装置４０は、第一障害物位置情報と第二障害物位置情報とを比較して、隣接車両の位置が車両Ｖ１の出庫方向に変化していないと判定される場合（ステップＳ３５でＮｏ）、処理を終了する。表示制御装置４０は、第一障害物位置情報と第二障害物位置情報とを比較して、隣接車両の位置が車両Ｖ１の出庫方向に変化したと判定される場合（ステップＳ３５でＹｅｓ）、ステップＳ３６に進む。 The display control device 40 determines whether or not the position of the adjacent vehicle has changed in the exit direction (step S35). When the display control device 40 compares the first obstacle position information and the second obstacle position information and determines that the position of the adjacent vehicle has not changed in the exit direction of the vehicle V1 (No. in step S35). ), End the process. When the display control device 40 compares the first obstacle position information and the second obstacle position information and determines that the position of the adjacent vehicle has changed in the exit direction of the vehicle V1 (Yes in step S35). The process proceeds to step S36.

上述したように、本実施形態は、比較部４５が、車両Ｖ１が出庫する際に隣接車両の位置が車両Ｖ１の出庫方向に変化していると判定した場合、俯瞰映像生成部４４が生成する俯瞰映像１００を表示パネル３１に表示させる。このように、本実施形態は、出庫時に周辺状況の変化に応じて適切に俯瞰映像１００を表示させることができる。本実施形態によれば、出庫時に入庫時よりも隣接車両の位置が車両Ｖ１の出庫方向に変化しているときに、俯瞰映像１００を表示することができる。これにより、隣接車両の位置が車両Ｖ１の出庫方向に変化して、出庫時の操作が難しくなったとしても、運転者が、目視またはミラーによる確認に加えて、俯瞰映像１００によって車両Ｖ１の周辺を適切に確認することができる。 As described above, in the present embodiment, when the comparison unit 45 determines that the position of the adjacent vehicle is changing in the exit direction of the vehicle V1 when the vehicle V1 is released, the bird's-eye view image generation unit 44 is generated. The bird's-eye view image 100 is displayed on the display panel 31. As described above, in this embodiment, the bird's-eye view image 100 can be appropriately displayed according to the change in the surrounding situation at the time of delivery. According to the present embodiment, the bird's-eye view image 100 can be displayed when the position of the adjacent vehicle is changing in the warehousing direction of the vehicle V1 than at the time of warehousing. As a result, even if the position of the adjacent vehicle changes in the warehousing direction of the vehicle V1 and the operation at the time of warehousing becomes difficult, the driver can visually check or check with a mirror, and the bird's-eye view image 100 shows the surroundings of the vehicle V1. Can be confirmed properly.

図示した表示制御システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。 Each component of the displayed display control system 1 shown is functionally conceptual, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of each device is not limited to the one shown in the figure, and all or part of each device is functionally or physically dispersed or integrated in an arbitrary unit according to the processing load and usage status of each device. You may.

表示制御システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。 The configuration of the display control system 1 is realized, for example, by a program loaded in a memory as software. In the above embodiment, it has been described as a functional block realized by cooperation of these hardware or software. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。 The components described above include those that can be easily assumed by those skilled in the art and those that are substantially the same. Further, the configurations described above can be combined as appropriate. Further, various omissions, substitutions or changes of the configuration can be made without departing from the gist of the present invention.

図１２を用いて、駐車区画Ｐ１が自宅の駐車場である場合について説明する。図１２は、自宅駐車場の駐車区画を説明する図である。駐車区画Ｐ１は、車両Ｖ１を１台駐車するスペースである。センサユニット２１は、車両Ｖ１に隣接する障害物の位置として、駐車区画Ｐ１内に存在する、例えば、自転車Ｂなどの障害物の位置を検出する。隣接情報取得部４３は、車両Ｖ１が後退して入庫したときの、駐車区画Ｐ１内の障害物の位置情報を第一障害物位置情報として取得し、車両Ｖ１が入庫状態から前進して出庫するときの、駐車区画Ｐ１内の障害物の位置情報を第二障害物位置情報として取得する。表示制御部４８は、比較部４５が、車両Ｖ１が出庫する際に駐車区画Ｐ１内の障害物の位置が変化していると判定した場合、俯瞰映像１００を表示パネル３１に表示させる。このように、本実施形態は、隣接する駐車区画の隣接車両に限定されず、車両の周囲の障害物の位置が変化した場合、俯瞰映像を表示することができる。 A case where the parking lot P1 is a parking lot at home will be described with reference to FIG. FIG. 12 is a diagram illustrating a parking lot of a home parking lot. The parking lot P1 is a space for parking one vehicle V1. The sensor unit 21 detects the position of an obstacle existing in the parking lot P1 as the position of an obstacle adjacent to the vehicle V1, for example, a bicycle B or the like. The adjacent information acquisition unit 43 acquires the position information of the obstacle in the parking lot P1 as the first obstacle position information when the vehicle V1 retracts and enters the garage, and the vehicle V1 advances from the warehousing state and leaves the garage. At that time, the position information of the obstacle in the parking lot P1 is acquired as the second obstacle position information. When the comparison unit 45 determines that the position of the obstacle in the parking lot P1 has changed when the vehicle V1 leaves the parking lot, the display control unit 48 displays the bird's-eye view image 100 on the display panel 31. As described above, the present embodiment is not limited to the adjacent vehicle in the adjacent parking lot, and when the position of the obstacle around the vehicle changes, the bird's-eye view image can be displayed.

図１３を用いて、駐車区画Ｐ１が縦列駐車の区画である場合について説明する。図１３は、縦列駐車の駐車区画を説明する図である。駐車区画ＰＦは、駐車区画Ｐ１の後側に隣接している。駐車区画ＰＧは、駐車区画Ｐ１の前側に隣接している。隣接車両Ｖｆは、出庫時は入庫時より車両Ｖ１から離間する方向に位置が変化している。隣接車両Ｖｇは、出庫時は入庫時より車両Ｖ１に近接する方向に位置が変化している。センサユニット２１は、車両Ｖ１に隣接する障害物として、駐車区画ＰＦおよび駐車区画ＰＧに存在する隣接車両を検出する。図示しないナビゲーションシステムの地図情報に基づいて駐車区画Ｐ１が縦列駐車の区画であると判定される場合、センサユニット２１による障害物の検出範囲から車両Ｖ１の側方を除くことが好ましい。障害物の検出範囲から車両Ｖ１の側方を除くことにより、縦列駐車区画に隣接する車道を走行する車両を誤検出することが回避される。本実施形態では、表示制御部４８は、比較部４５が、車両Ｖ１が出庫する際に駐車区画ＰＦまたは駐車区画ＰＧに隣接車両の位置が変化していると判定した場合、俯瞰映像１００を表示パネル３１に表示させる。このように、本実施形態は、駐車区画Ｐ１の形態に合わせて、適切な方向の隣接車両を検出して、隣接車両の位置が変化した場合、俯瞰映像を表示することができる。 A case where the parking lot P1 is a parallel parking lot will be described with reference to FIG. FIG. 13 is a diagram illustrating a parking lot for parallel parking. The parking lot PF is adjacent to the rear side of the parking lot P1. The parking lot PG is adjacent to the front side of the parking lot P1. The position of the adjacent vehicle Vf changes in the direction away from the vehicle V1 at the time of warehousing from the time of warehousing. The position of the adjacent vehicle Vg changes in the direction closer to the vehicle V1 at the time of warehousing than at the time of warehousing. The sensor unit 21 detects adjacent vehicles existing in the parking lot PF and the parking lot PG as obstacles adjacent to the vehicle V1. When it is determined that the parking lot P1 is a parallel parking lot based on the map information of the navigation system (not shown), it is preferable to exclude the side of the vehicle V1 from the obstacle detection range by the sensor unit 21. By excluding the side of the vehicle V1 from the obstacle detection range, it is possible to avoid erroneous detection of a vehicle traveling on a roadway adjacent to a parallel parking lot. In the present embodiment, the display control unit 48 displays the bird's-eye view image 100 when the comparison unit 45 determines that the position of the vehicle adjacent to the parking lot PF or the parking lot PG has changed when the vehicle V1 leaves the garage. It is displayed on the panel 31. As described above, in this embodiment, it is possible to detect an adjacent vehicle in an appropriate direction according to the form of the parking lot P1 and display a bird's-eye view image when the position of the adjacent vehicle changes.

隣接情報取得部４３は、センサユニット２１から第一障害物位置情報および第二障害物位置情報を取得するものとして説明したが、これに限定されない。隣接情報取得部４３は、映像データ取得部４１で取得した映像データに画像処理を行って、被撮影物から車両Ｖ１の周囲の障害物を認識し、第一障害物位置情報および第二障害物位置情報として取得してもよい。 The adjacent information acquisition unit 43 has been described as acquiring the first obstacle position information and the second obstacle position information from the sensor unit 21, but the present invention is not limited to this. The adjacent information acquisition unit 43 performs image processing on the video data acquired by the video data acquisition unit 41, recognizes obstacles around the vehicle V1 from the object to be photographed, and recognizes the first obstacle position information and the second obstacle. It may be acquired as position information.

第一障害物位置情報は、車両Ｖ１が後退して入庫したとき、取得するものとして説明したがこれに限定されない。第一障害物位置情報は、車両Ｖ１が後退して入庫している駐車動作中に取得した情報に基づいて、入庫完了時の車両Ｖ１の周囲の障害物の情報を取得してもよい。 The first obstacle position information has been described as being acquired when the vehicle V1 retracts and enters the garage, but the present invention is not limited to this. The first obstacle position information may acquire information on obstacles around the vehicle V1 when the warehousing is completed, based on the information acquired during the parking operation in which the vehicle V1 is retracted and warehousing.

さらにまた、例えば、図示しないナビゲーションシステムの地図情報と車両の現在位置情報とから、車両の現在位置が駐車場であると判定された場合、または、映像データ取得部４１で取得した映像データに画像処理を行って、車両の現在位置が駐車場であると判定された場合、車両Ｖ１が入庫したと判定してもよい。 Furthermore, for example, when it is determined that the current position of the vehicle is a parking lot from the map information of the navigation system (not shown) and the current position information of the vehicle, or an image is added to the video data acquired by the video data acquisition unit 41. When the processing is performed and it is determined that the current position of the vehicle is a parking lot, it may be determined that the vehicle V1 has arrived.

車両Ｖ１が出庫時に駐車区画Ｐ１から出て進む方向である予測進行方向を判定可能なとき、表示制御部４８は、車両Ｖ１の予測進行方向側に位置する隣接車両の位置が変化した場合、俯瞰映像を表示するものとしてもよい。出庫時の車両Ｖ１の周辺状況が、図３に示す状況であり、車両Ｖ１の予測進行方向が右方向である場合、予測進行方向側の駐車区画ＰＢ、駐車区画ＰＣ、駐車区画ＰＥの隣接車両の位置が変化した場合、俯瞰映像を表示する。予測進行方向は、映像データ取得部４１で取得した映像データに画像処理を行って検出した駐車場内の進行方向を示す矢印や標示、または、ナビゲーション情報から取得してもよい。 When the predicted traveling direction, which is the direction in which the vehicle V1 leaves the parking lot P1 at the time of leaving the parking lot, can be determined, the display control unit 48 gives a bird's-eye view when the position of the adjacent vehicle located on the predicted traveling direction side of the vehicle V1 changes. The image may be displayed. When the surrounding situation of the vehicle V1 at the time of leaving the garage is the situation shown in FIG. 3, and the predicted traveling direction of the vehicle V1 is to the right, the adjacent vehicle of the parking lot PB, the parking lot PC, and the parking lot PE on the predicted traveling direction side. When the position of is changed, a bird's-eye view image is displayed. The predicted traveling direction may be acquired from an arrow or a sign indicating the traveling direction in the parking lot detected by performing image processing on the video data acquired by the video data acquisition unit 41, or from navigation information.

１表示制御システム
１１前方カメラ（撮影部）
１２後方カメラ（撮影部）
１３左側方カメラ（撮影部）
１４右側方カメラ（撮影部）
２１センサユニット（障害物検出部）
３１表示パネル（表示部）
４０表示制御装置
４１映像データ取得部
４２自車両情報取得部
４３隣接情報取得部
４４俯瞰映像生成部
４５比較部
４８表示制御部
４９記憶部 1 Display control system 11 Front camera (shooting unit)
12 Rear camera (shooting section)
13 Left side camera (shooting section)
14 Right side camera (shooting section)
21 Sensor unit (obstacle detection unit)
31 Display panel (display unit)
40 Display control device 41 Video data acquisition unit 42 Own vehicle information acquisition unit 43 Adjacent information acquisition unit 44 Bird's-eye view image generation unit 45 Comparison unit 48 Display control unit 49 Storage unit

Claims

車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得部と、
前記映像データ取得部が取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成部と、
前記車両が後退して入庫したときにおける前記車両の周囲の障害物の位置情報を含む第一障害物位置情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の障害物の位置情報を含む第二障害物位置情報を取得する隣接情報取得部と、
前記第一障害物位置情報と前記第二障害物位置情報とを比較して、前記車両の入庫時と出庫時の前記障害物の位置の変化を比較する比較部と、
前記比較部が、前記車両が出庫する際に前記障害物の位置が変化していると判定した場合、出庫するときに前記俯瞰映像生成部が生成する俯瞰映像を表示部に表示させる表示制御部と、
を備えることを特徴とする表示制御装置。 A video data acquisition unit that acquires video data from multiple shooting units that shoot the surroundings of the vehicle,
A bird's-eye view image generation unit that generates a bird's-eye view image by performing viewpoint conversion processing and composition processing on the video data acquired by the video data acquisition unit.
First obstacle position information including position information of obstacles around the vehicle when the vehicle retracts and enters the garage, and obstacles around the vehicle when the vehicle advances from the warehousing state and leaves the garage. Adjacent information acquisition unit that acquires the position information of the second obstacle including the position information of the object,
A comparison unit that compares the position information of the first obstacle and the position information of the second obstacle and compares the change in the position of the obstacle at the time of entering and leaving the vehicle.
When the comparison unit determines that the position of the obstacle has changed when the vehicle leaves the garage, the display control unit displays the bird's-eye view image generated by the bird's-eye view image generation unit when the vehicle leaves the garage. When,
A display control device comprising.

前記隣接情報取得部は、前記車両が後退して入庫したときにおける前記車両に隣接する隣接車両の位置情報を含む情報を第一障害物位置情報として取得し、前記車両が入庫状態から前進して出庫するときにおける前記車両に隣接する隣接車両の位置情報を含む情報を第二障害物位置情報として取得し、
前記比較部は、前記第一障害物位置情報と前記第二障害物位置情報とを比較して、前記車両が出庫する際に隣接車両の位置が変化しているか否かを比較し、
前記表示制御部は、前記比較部が、前記車両が出庫する際に隣接車両の位置が変化していると判定した場合、前記俯瞰映像生成部が生成する俯瞰映像を表示部に表示させる、
請求項１に記載の表示制御装置。 The adjacent information acquisition unit acquires information including the position information of the adjacent vehicle adjacent to the vehicle as the first obstacle position information when the vehicle retracts and enters the garage, and the vehicle advances from the warehousing state. Information including the position information of the adjacent vehicle adjacent to the vehicle at the time of leaving the garage is acquired as the second obstacle position information.
The comparison unit compares the first obstacle position information with the second obstacle position information, and compares whether or not the position of the adjacent vehicle has changed when the vehicle leaves the garage.
When the comparison unit determines that the position of the adjacent vehicle has changed when the vehicle leaves the garage, the display control unit causes the display unit to display the bird's-eye view image generated by the bird's-eye view image generation unit.
The display control device according to claim 1.

前記比較部は、前記第一障害物位置情報と前記第二障害物位置情報とを比較して、前記車両の出庫時の隣接車両の位置が前記車両に近接する方向に変化しているか否かを比較し、
前記表示制御部は、前記比較部が、入庫時の隣接車両の位置に対して出庫時の隣接車両の位置が前記車両に近接する方向に変化していると判定した場合、出庫時に前記俯瞰映像生成部が生成する俯瞰映像を表示部に表示させる、
請求項２に記載の表示制御装置。 The comparison unit compares the first obstacle position information with the second obstacle position information, and determines whether or not the position of the adjacent vehicle at the time of leaving the vehicle has changed in the direction closer to the vehicle. Compare and
When the display control unit determines that the position of the adjacent vehicle at the time of warehousing has changed in the direction closer to the vehicle with respect to the position of the adjacent vehicle at the time of warehousing, the bird's-eye view image at the time of warehousing. Display the bird's-eye view image generated by the generation unit on the display unit,
The display control device according to claim 2.

前記隣接情報取得部は、前記第一障害物位置情報および前記第二障害物位置情報として、前記車両の左右側方、左右前方、前方の少なくともいずれかの車両の位置を示す情報を取得する、
請求項２または３に記載の表示制御装置。 The adjacent information acquisition unit acquires, as the first obstacle position information and the second obstacle position information, information indicating the position of at least one of the left and right sides, left and right front, and front of the vehicle.
The display control device according to claim 2 or 3.

前記比較部は、前記第一障害物位置情報と前記第二障害物位置情報とを比較して、前記車両の出庫時の隣接車両の位置が前記車両の出庫方向に変化しているか否かを比較し、
前記表示制御部は、前記比較部が、入庫時の隣接車両の位置に対して出庫時の隣接車両の位置が前記車両の出庫方向に変化していると判定した場合、出庫時に前記俯瞰映像生成部が生成する俯瞰映像を表示部に表示させる、
請求項２に記載の表示制御装置。 The comparison unit compares the first obstacle position information with the second obstacle position information, and determines whether or not the position of the adjacent vehicle at the time of leaving the vehicle changes in the leaving direction of the vehicle. Compare and
When the comparison unit determines that the position of the adjacent vehicle at the time of warehousing is changing in the warehousing direction of the vehicle with respect to the position of the adjacent vehicle at the time of warehousing, the display control unit generates the bird's-eye view image at the time of warehousing. Display the bird's-eye view image generated by the unit on the display unit,
The display control device according to claim 2.

前記隣接情報取得部は、前記第一障害物位置情報および前記第二障害物位置情報として、前記車両の左右側方の車両の位置を示す情報を取得する、
請求項５に記載の表示制御装置。 The adjacent information acquisition unit acquires information indicating the positions of the vehicles on the left and right sides of the vehicle as the first obstacle position information and the second obstacle position information.
The display control device according to claim 5.

前記表示制御部は、前記比較部が、前記車両が出庫する際に前記障害物の位置が変化していると判定した場合、位置が変化していると判定された前記障害物を強調表示する、
請求項１から６のいずれか一項に記載の表示制御装置。 When the comparison unit determines that the position of the obstacle has changed when the vehicle leaves the garage, the display control unit highlights the obstacle determined to have changed its position. ,
The display control device according to any one of claims 1 to 6.

前記表示制御部は、前記比較部が、前記車両が出庫する際に前記障害物の位置が変化していると判定した場合、位置が変化していると判定された障害物の方向を示す情報を含む俯瞰映像を表示部に表示させる、請求項１から６のいずれか一項に記載の表示制御装置。 When the comparison unit determines that the position of the obstacle has changed when the vehicle leaves the garage, the display control unit indicates information indicating the direction of the obstacle determined to have changed the position. The display control device according to any one of claims 1 to 6, wherein a bird's-eye view image including the above is displayed on a display unit.

前記表示制御部は、前記比較部が、前記車両が出庫する際に前記障害物の位置が変化していると判定した場合、位置が変化していると判定された障害物を含むように表示範囲を変更した俯瞰映像を表示部に表示させる、請求項１から６のいずれか一項に記載の表示制御装置。 When the comparison unit determines that the position of the obstacle has changed when the vehicle leaves the garage, the display control unit displays the obstacle so as to include the obstacle determined to have changed the position. The display control device according to any one of claims 1 to 6, wherein a bird's-eye view image having a changed range is displayed on a display unit.

請求項１から９のいずれか一項に記載の表示制御装置と、
前記映像データ取得部が映像データを取得する複数の撮影部、前記隣接情報取得部が前記第一障害物位置情報および前記第二障害物位置情報を取得する障害物検出部、前記表示制御部が俯瞰映像を表示させる表示部の少なくともいずれかと、
を備えることを特徴とする表示制御システム。 The display control device according to any one of claims 1 to 9,
A plurality of photographing units in which the video data acquisition unit acquires video data, an obstacle detection unit in which the adjacent information acquisition unit acquires the first obstacle position information and the second obstacle position information, and the display control unit At least one of the display units that displays the bird's-eye view image,
A display control system characterized by being equipped with.

車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、
前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、
前記車両が後退して入庫したときにおける前記車両の周囲の障害物の位置情報を含む第一障害物位置情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の障害物の位置情報を含む第二障害物位置情報を取得する隣接情報取得ステップと、
前記第一障害物位置情報と前記第二障害物位置情報とを比較して、前記車両の入庫時と出庫時の前記障害物の位置の変化を比較する比較ステップと、
前記比較ステップで、前記車両が出庫する際に前記障害物の位置が変化していると判定した場合、出庫するときに前記俯瞰映像生成ステップが生成する俯瞰映像を表示部に表示させる表示制御ステップと、
を含むことを特徴とする表示制御方法。 A video data acquisition step to acquire video data from multiple shooting units that shoot the surroundings of the vehicle,
A bird's-eye view video generation step that generates a bird's-eye view video by performing viewpoint conversion processing and composition processing on the video data acquired in the video data acquisition step, and
First obstacle position information including position information of obstacles around the vehicle when the vehicle retracts and enters the garage, and obstacles around the vehicle when the vehicle advances from the warehousing state and leaves the garage. Adjacent information acquisition step to acquire the second obstacle position information including the position information of the object,
A comparison step of comparing the position information of the first obstacle with the position information of the second obstacle and comparing the change in the position of the obstacle at the time of entering and leaving the vehicle.
When it is determined in the comparison step that the position of the obstacle has changed when the vehicle leaves the garage, a display control step of displaying the bird's-eye view image generated by the bird's-eye view image generation step when the vehicle leaves the garage is displayed on the display unit. When,
A display control method characterized by including.

車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、
前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、
前記車両が後退して入庫したときにおける前記車両の周囲の障害物の位置情報を含む第一障害物位置情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の障害物の位置情報を含む第二障害物位置情報を取得する隣接情報取得ステップと、
前記第一障害物位置情報と前記第二障害物位置情報とを比較して、前記車両の入庫時と出庫時の前記障害物の位置の変化を比較する比較ステップと、
前記比較ステップで、前記車両が出庫する際に前記障害物の位置が変化していると判定した場合、出庫するときに前記俯瞰映像生成ステップが生成する俯瞰映像を表示部に表示させる表示制御ステップと、
を表示制御装置として動作するコンピュータに実行させるためのプログラム。 A video data acquisition step to acquire video data from multiple shooting units that shoot the surroundings of the vehicle,
A bird's-eye view video generation step that generates a bird's-eye view video by performing viewpoint conversion processing and composition processing on the video data acquired in the video data acquisition step, and
First obstacle position information including position information of obstacles around the vehicle when the vehicle retracts and enters the garage, and obstacles around the vehicle when the vehicle advances from the warehousing state and leaves the garage. Adjacent information acquisition step to acquire the second obstacle position information including the position information of the object,
A comparison step of comparing the position information of the first obstacle with the position information of the second obstacle and comparing the change in the position of the obstacle at the time of entering and leaving the vehicle.
When it is determined in the comparison step that the position of the obstacle has changed when the vehicle leaves the garage, a display control step of displaying the bird's-eye view image generated by the bird's-eye view image generation step when the vehicle leaves the garage is displayed on the display unit. When,
Is a program to be executed by a computer that operates as a display control device.