JP6787272B2

JP6787272B2 - Display control device, display control system, display control method and program

Info

Publication number: JP6787272B2
Application number: JP2017148336A
Authority: JP
Inventors: 林　直人; 直人林; 清水　義之; 義之清水; 一郎石田; 昇勝俣; 拓之照内
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2017-07-31
Filing date: 2017-07-31
Publication date: 2020-11-18
Anticipated expiration: 2037-07-31
Also published as: JP2019029858A

Description

本発明は、表示制御装置、表示制御システム、表示制御方法およびプログラムに関する。 The present invention relates to a display control device, a display control system, a display control method and a program.

車両の俯瞰画像を車両画像と共に表示する車両周辺表示装置に関する技術が知られている（例えば、特許文献１参照）。この技術は、車両が前進から後退に切り替わったとき、車両画像よりも後方について俯瞰画像の表示領域を広げる。 A technique related to a vehicle peripheral display device for displaying a bird's-eye view image of a vehicle together with a vehicle image is known (see, for example, Patent Document 1). This technology expands the display area of the bird's-eye view image behind the vehicle image when the vehicle switches from forward to backward.

特開２０１５−０７６６４５号公報Japanese Unexamined Patent Publication No. 2015-0764645

特許文献１に記載のように、車両の俯瞰映像は、駐車区画への入庫時の駐車支援を主な目的とするため、駐車区画への後退入庫時に表示される。これにより、後退入庫時、運転者は、目視またはミラーにおける死角範囲を含む周辺状況を俯瞰映像によって確認する。 As described in Patent Document 1, the bird's-eye view image of the vehicle is displayed when the vehicle is retracted into the parking lot because the main purpose is to support parking at the time of entering the parking lot. As a result, at the time of reverse warehousing, the driver visually confirms the surrounding situation including the blind spot range in the mirror by a bird's-eye view image.

駐車区画からの前進出庫時は俯瞰映像が表示されないため、運転者は、目視またはミラーによって周辺状況を確認する。駐車区画からの前進出庫時は、後退入庫時に比べ操作が容易である。しかしながら、運転者が変わったことにより出庫時の運転者の運転技能や車両の慣れによっては、目視またはミラーによる確認に加えて、俯瞰映像によって周辺状況を確認することが望ましいこともある。また、駐車区画からの前進出庫時に、いつでも俯瞰映像を表示すると、入庫時と同一の運転者による出庫時、俯瞰映像を表示させる必要性が無い状況で俯瞰映像が表示されたり、ナビゲーションによる経路を確認したいときなどに俯瞰映像が表示されてしまう。 Since the bird's-eye view image is not displayed when the vehicle is in front of the parking lot, the driver confirms the surrounding conditions visually or visually. It is easier to operate when moving forward from the parking lot than when moving backward. However, depending on the driving skill of the driver at the time of leaving the vehicle and the familiarity of the vehicle due to the change of the driver, it may be desirable to confirm the surrounding situation by a bird's-eye view image in addition to the visual or mirror confirmation. In addition, if the bird's-eye view image is displayed at any time when the vehicle is moving forward from the parking lot, the bird's-eye view image will be displayed when the same driver leaves the parking lot as when entering the parking lot, and there is no need to display the bird's-eye view image. A bird's-eye view image is displayed when you want to check.

本発明は、上記に鑑みてなされたものであって、出庫時に運転者の変化に応じて適切に俯瞰映像を表示させることを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to appropriately display a bird's-eye view image according to a change in the driver at the time of delivery.

上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得部と、前記映像データ取得部が取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成部と、前記車両が後退して入庫したときにおける前記車両の運転者の第一運転者情報、および、前記車両が入庫状態から前進して出庫するときにおける前記運転者の第二運転者情報を取得する運転者情報取得部と、前記第一運転者情報と前記第二運転者情報とを比較して、前記車両の入庫時と出庫時の前記運転者を比較する比較部と、前記比較部が、前記車両が出庫するときの前記第二運転者情報が前記第一運転者情報と異なると判定した場合、出庫するときに前記俯瞰映像生成部が生成する俯瞰映像を表示部に表示させる表示制御部と、を備えることを特徴とする。 In order to solve the above-mentioned problems and achieve the object, the display control device according to the present invention includes a video data acquisition unit that acquires video data from a plurality of shooting units that shoot the surroundings of the vehicle, and the video data acquisition unit. A bird's-eye view image generation unit that generates a bird's-eye view image by performing viewpoint conversion processing and composition processing on the image data acquired by the unit, first driver information of the driver of the vehicle when the vehicle retracts and enters the garage, and The driver information acquisition unit that acquires the second driver information of the driver when the vehicle advances from the warehousing state and leaves the garage is compared with the first driver information and the second driver information. , The comparison unit that compares the driver at the time of warehousing and the time of leaving the vehicle, and the comparison unit have determined that the second driver information when the vehicle leaves the garage is different from the first driver information. In this case, it is characterized by including a display control unit for displaying the bird's-eye view image generated by the bird's-eye view image generation unit on the display unit when the goods are delivered.

本発明に係る表示制御システムは、上記の表示制御装置と、前記映像データ取得部が映像データを取得する複数の撮影部、前記表示制御部が俯瞰映像を表示させる表示部の少なくともどちらかとを備える。 The display control system according to the present invention includes at least one of the above display control device, a plurality of photographing units for which the video data acquisition unit acquires video data, and a display unit for which the display control unit displays a bird's-eye view image. ..

本発明に係る表示制御方法は、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、前記車両が後退して入庫したときにおける前記車両の運転者の第一運転者情報、および、前記車両が入庫状態から前進して出庫するときにおける前記運転者の第二運転者情報を取得する運転者情報取得ステップと、前記第一運転者情報と前記第二運転者情報とを比較して、前記車両の入庫時と出庫時の前記運転者を比較する比較ステップと、前記比較ステップで、前記車両が出庫するときの前記第二運転者情報が前記第一運転者情報と異なると判定した場合、出庫するときに前記俯瞰映像生成ステップで生成する俯瞰映像を表示部に表示させる表示制御ステップとを含む。 The display control method according to the present invention includes a video data acquisition step of acquiring video data from a plurality of shooting units that shoot the surroundings of the vehicle, and a viewpoint conversion process and a composition process on the video data acquired in the video data acquisition step. A bird's-eye view image generation step for generating a bird's-eye view image, first driver information of the driver of the vehicle when the vehicle retracts and enters the garage, and the above when the vehicle advances from the warehousing state and leaves the garage. The driver information acquisition step for acquiring the second driver information of the driver is compared with the first driver information and the second driver information to determine the driver at the time of entering and leaving the vehicle. When it is determined in the comparison step to be compared and the second driver information when the vehicle leaves the garage is different from the first driver information, it is generated in the bird's-eye view image generation step when the vehicle leaves the garage. It includes a display control step for displaying a bird's-eye view image on the display unit.

本発明に係るプログラムは、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、前記車両が後退して入庫したときにおける前記車両の運転者の第一運転者情報、および、前記車両が入庫状態から前進して出庫するときにおける前記運転者の第二運転者情報を取得する運転者情報取得ステップと、前記第一運転者情報と前記第二運転者情報とを比較して、前記車両の入庫時と出庫時の前記運転者を比較する比較ステップと、前記比較ステップで、前記車両が出庫するときの前記第二運転者情報が前記第一運転者情報と異なると判定した場合、出庫するときに前記俯瞰映像生成ステップで生成する俯瞰映像を表示部に表示させる表示制御ステップとを表示制御装置として動作するコンピュータに実行させる。 The program according to the present invention performs a video data acquisition step of acquiring video data from a plurality of shooting units that shoot the surroundings of a vehicle, and a viewpoint conversion process and a composite process on the video data acquired in the video data acquisition step to obtain a bird's-eye view. A bird's-eye view image generation step for generating an image, first driver information of the driver of the vehicle when the vehicle retracts and enters the garage, and the driver when the vehicle advances from the warehousing state and leaves the garage. The driver information acquisition step for acquiring the second driver information of the above is compared with the first driver information and the second driver information, and the driver at the time of entering and leaving the vehicle is compared. If it is determined in the comparison step and the comparison step that the second driver information when the vehicle leaves the garage is different from the first driver information, the bird's-eye view image generated in the bird's-eye view image generation step when the vehicle leaves the garage Is to be displayed on the display unit, and the display control step is executed by the computer operating as the display control device.

本発明によれば、出庫時に運転者の変化に応じて適切に俯瞰映像を表示させることができるという効果を奏する。 According to the present invention, there is an effect that the bird's-eye view image can be appropriately displayed according to the change of the driver at the time of delivery.

図１は、第一実施形態に係る表示制御システムの構成例を示すブロック図である。FIG. 1 is a block diagram showing a configuration example of a display control system according to the first embodiment. 図２は、第一実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。FIG. 2 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the first embodiment. 図３は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。FIG. 3 is a flowchart showing an example of a processing flow in the display control device of the display control system according to the first embodiment. 図４は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの他の例を示すフローチャートである。FIG. 4 is a flowchart showing another example of the processing flow in the display control device of the display control system according to the first embodiment. 図５は、第二実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。FIG. 5 is a flowchart showing an example of a processing flow in the display control device of the display control system according to the second embodiment.

以下に添付図面を参照して、本発明に係る表示制御装置４０、表示制御システム１、表示制御方法及びプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。 The display control device 40, the display control system 1, the display control method, and the embodiment of the program according to the present invention will be described in detail with reference to the accompanying drawings. The present invention is not limited to the following embodiments.

［第一実施形態］
図１は、第一実施形態に係る表示制御システムの構成例を示すブロック図である。表示制御システム１は、例えば、出庫時の運転者が入庫時の運転者と異なる場合などに適切に俯瞰映像を表示させる。表示制御システム１は、車両Ｖ１に搭載されている。表示制御システム１は、車両Ｖ１に載置されているものに加えて、可搬型で車両Ｖ１において利用可能な装置であってもよい。 [First Embodiment]
FIG. 1 is a block diagram showing a configuration example of a display control system according to the first embodiment. The display control system 1 appropriately displays a bird's-eye view image when, for example, the driver at the time of warehousing is different from the driver at the time of warehousing. The display control system 1 is mounted on the vehicle V1. The display control system 1 may be a portable device that can be used in the vehicle V1 in addition to the device mounted on the vehicle V1.

図１を用いて、表示制御システム１について説明する。表示制御システム１は、前方カメラ（撮影部）１１と、後方カメラ（撮影部）１２と、左側方カメラ（撮影部）１３と、右側方カメラ（撮影部）１４と、運転席用カメラ（運転席用検出部）２１と、表示パネル（表示部）３１と、表示制御装置４０とを有する。 The display control system 1 will be described with reference to FIG. The display control system 1 includes a front camera (shooting unit) 11, a rear camera (shooting unit) 12, a left side camera (shooting unit) 13, a right side camera (shooting unit) 14, and a driver's seat camera (driving). It has a seat detection unit (21), a display panel (display unit) 31, and a display control device 40.

前方カメラ１１は、俯瞰映像用カメラである。前方カメラ１１は、車両Ｖ１の前方に配置され、車両Ｖ１の前方を中心とした周辺を撮影する。前方カメラ１１は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両Ｖ１の前方に広い範囲を含む。前方カメラ１１は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。 The front camera 11 is a camera for a bird's-eye view image. The front camera 11 is arranged in front of the vehicle V1 and photographs the surroundings centered on the front of the vehicle V1. The front camera 11 captures, for example, a shooting range of about 180 °. The shooting range includes a wider range in front of the vehicle V1 than the display range of the bird's-eye view image 100. The front camera 11 outputs the captured image to the image data acquisition unit 41 of the display control device 40.

後方カメラ１２は、俯瞰映像用カメラである。後方カメラ１２は、車両Ｖ１の後方に配置され、車両Ｖ１の後方を中心とした周辺を撮影する。後方カメラ１２は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両Ｖ１の後方に広い範囲を含む。後方カメラ１２は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。 The rear camera 12 is a bird's-eye view video camera. The rear camera 12 is arranged behind the vehicle V1 and photographs the surroundings centered on the rear of the vehicle V1. The rear camera 12 captures, for example, a shooting range of about 180 °. The shooting range includes a wider range behind the vehicle V1 than the display range of the bird's-eye view image 100. The rear camera 12 outputs the captured image to the image data acquisition unit 41 of the display control device 40.

左側方カメラ１３は、俯瞰映像用カメラである。左側方カメラ１３は、車両Ｖ１の左側方に配置され、車両Ｖ１の左側方を中心とした周辺を撮影する。左側方カメラ１３は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両Ｖ１の左側方に広い範囲を含む。左側方カメラ１３は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。 The left side camera 13 is a camera for a bird's-eye view image. The left-side camera 13 is arranged on the left side of the vehicle V1 and photographs the surroundings centered on the left side of the vehicle V1. The left-side camera 13 captures, for example, a shooting range of about 180 °. The shooting range includes a wider range on the left side of the vehicle V1 than the display range of the bird's-eye view image 100. The left-side camera 13 outputs the captured image to the image data acquisition unit 41 of the display control device 40.

右側方カメラ１４は、俯瞰映像用カメラである。右側方カメラ１４は、車両Ｖ１の右側方に配置され、車両Ｖ１の右側方を中心とした周辺を撮影する。右側方カメラ１４は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両Ｖ１の右側方に広い範囲を含む。右側方カメラ１４は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。 The right side camera 14 is a camera for a bird's-eye view image. The right-side camera 14 is arranged on the right side of the vehicle V1 and photographs the periphery centered on the right side of the vehicle V1. The right-side camera 14 captures, for example, a shooting range of about 180 °. The shooting range includes a wider range on the right side of the vehicle V1 than the display range of the bird's-eye view image 100. The right-side camera 14 outputs the captured image to the image data acquisition unit 41 of the display control device 40.

前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで、車両Ｖ１の全方位を撮影する。 The front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14 photograph the vehicle V1 in all directions.

運転席用カメラ２１は、車両Ｖ１の運転席の着座位置に向けて配置されている。運転席用カメラ２１は、運転席に着座した運転者を人物認識可能に撮影する。言い換えると、運転席用カメラ２１によって撮影した映像は、運転者を人物認識可能な情報を含む。運転席用カメラ２１は、撮影した映像を表示制御装置４０の運転者情報取得部４３へ出力する。 The driver's seat camera 21 is arranged toward the seating position of the driver's seat of the vehicle V1. The driver's seat camera 21 photographs the driver seated in the driver's seat so that the driver can be recognized as a person. In other words, the image taken by the driver's seat camera 21 includes information that can recognize the driver as a person. The driver's seat camera 21 outputs the captured image to the driver information acquisition unit 43 of the display control device 40.

表示パネル３１は、一例としてはナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示パネル３１は、必要なタイミングで、車両Ｖ１の周囲を確認するためのモニタである。表示パネル３１は、車両Ｖ１の周囲を確認することができれば、様々な形態をとりうることができる。表示パネルの一例としては、電子ルームミラーを用いたり、インストルメントパネルの機能とすることも可能である。表示パネル３１は、例えば、液晶ディスプレイ（ＬＣＤ：ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）または有機ＥＬ（ＯｒｇａｎｉｃＥｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示パネル３１は、運転者から視認容易な位置に配置されている。本実施形態では、表示パネル３１は、車両Ｖ１の運転者前方の、ダッシュボード、インストルメントパネル、センターコンソールなどに配置されている。表示パネル３１は、表示制御装置４０の表示制御部４８から出力された映像信号に基づき、車両Ｖ１の俯瞰映像１００を表示する。 The display panel 31 is, for example, a display device shared with other systems including a navigation system. The display panel 31 is a monitor for checking the surroundings of the vehicle V1 at a required timing. The display panel 31 can take various forms as long as the surroundings of the vehicle V1 can be confirmed. As an example of the display panel, it is also possible to use an electronic rearview mirror or to function as an instrument panel. The display panel 31 is a display including, for example, a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL (Organic Electro-Luminence) display. The display panel 31 is arranged at a position that is easily visible to the driver. In the present embodiment, the display panel 31 is arranged on the dashboard, instrument panel, center console, etc. in front of the driver of the vehicle V1. The display panel 31 displays a bird's-eye view image 100 of the vehicle V1 based on the image signal output from the display control unit 48 of the display control device 40.

表示制御装置４０は、駐車を支援するための情報を提供する。より詳しくは、表示制御装置４０は、入庫時および出庫時に、俯瞰映像１００を生成し表示する。 The display control device 40 provides information for assisting parking. More specifically, the display control device 40 generates and displays a bird's-eye view image 100 at the time of warehousing and warehousing.

表示制御装置４０は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）や映像処理用プロセッサなどで構成された演算処理装置（制御部）である。表示制御装置４０は、記憶部４９に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。表示制御装置４０は、映像データ取得部４１と、自車両情報取得部４２と、運転者情報取得部４３と、俯瞰映像生成部４４と、比較部４５と、表示制御部４８と、内部メモリである記憶部４９とが含まれる。表示制御装置４０は、一または複数の装置で構成されていてもよい。 The display control device 40 is, for example, an arithmetic processing unit (control unit) composed of a CPU (Central Processing Unit), a video processing processor, and the like. The display control device 40 loads the program stored in the storage unit 49 into the memory and executes the instruction included in the program. The display control device 40 includes a video data acquisition unit 41, an own vehicle information acquisition unit 42, a driver information acquisition unit 43, a bird's-eye view image generation unit 44, a comparison unit 45, a display control unit 48, and an internal memory. A storage unit 49 is included. The display control device 40 may be composed of one or more devices.

映像データ取得部４１は、車両Ｖ１の周辺を撮影した映像データを取得する。より詳しくは、映像データ取得部４１は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とが出力した映像データを取得する。映像データ取得部４１は、取得した映像データを俯瞰映像生成部４４に出力する。 The video data acquisition unit 41 acquires video data obtained by photographing the periphery of the vehicle V1. More specifically, the video data acquisition unit 41 acquires the video data output by the front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14. The video data acquisition unit 41 outputs the acquired video data to the bird's-eye view video generation unit 44.

自車両情報取得部４２は、車両Ｖ１のギア操作情報など、駐車支援表示トリガである駐車開始トリガまたは駐車終了トリガとなる車両情報を、ＣＡＮ（ＣｏｎｔｒｏｌｌｅｒＡｒｅａＮｅｔｗｏｒｋ）や車両Ｖ１の状態をセンシングする各種センサなどから取得する。自車両情報取得部４２は、車両情報として、ＣＡＮや各種センサなどから取得した駐車時に行われたステアリング操作の操作情報を取得する。自車両情報取得部４２は、取得した車両情報を運転者情報取得部４３および表示制御部４８に出力する。 The own vehicle information acquisition unit 42 senses various states of CAN (Control Area Network) and vehicle V1 for vehicle information that is a parking start trigger or parking end trigger, such as gear operation information of vehicle V1. Obtained from a sensor or the like. The own vehicle information acquisition unit 42 acquires operation information of the steering operation performed at the time of parking acquired from CAN, various sensors, and the like as vehicle information. The own vehicle information acquisition unit 42 outputs the acquired vehicle information to the driver information acquisition unit 43 and the display control unit 48.

運転者情報取得部４３は、運転席用カメラ２１によって、車両Ｖ１が後退して入庫したときにおける車両Ｖ１の運転者を認識した第一運転者情報、および、車両Ｖ１が入庫状態から前進して出庫するときにおける車両Ｖ１の運転者を認識した第二運転者情報を取得する。より詳しくは、運転者情報取得部４３は、車両Ｖ１が後退して入庫したとき、運転席用カメラ２１で撮影した映像データを第一運転者情報として取得する。運転者情報取得部４３は、入庫時の第一運転者情報を記憶部４９で記憶させる。また、運転者情報取得部４３は、車両Ｖ１が入庫状態から前進して出庫するとき、運転席用カメラ２１で撮影した映像データを第二運転者情報として取得する。車両Ｖ１が後退して入庫した判断、および車両Ｖ１が前進して出庫する判断は、自車両情報取得部４２から取得した車両Ｖ１のギア操作情報やエンジンのオン／オフ情報などによって判断する。運転者情報取得部４３は、出庫時の第二運転者情報を記憶部４９で記憶させる。 The driver information acquisition unit 43 uses the driver's seat camera 21 to recognize the driver of the vehicle V1 when the vehicle V1 retracts and enters the garage, and the first driver information and the vehicle V1 move forward from the warehousing state. Acquires the second driver information that recognizes the driver of the vehicle V1 at the time of leaving the garage. More specifically, the driver information acquisition unit 43 acquires the video data captured by the driver's seat camera 21 as the first driver information when the vehicle V1 retracts and enters the garage. The driver information acquisition unit 43 stores the first driver information at the time of warehousing in the storage unit 49. Further, the driver information acquisition unit 43 acquires the video data captured by the driver's seat camera 21 as the second driver information when the vehicle V1 advances from the warehousing state and leaves the garage. The determination that the vehicle V1 moves backward and enters the garage and the determination that the vehicle V1 moves forward and leaves the garage are determined based on the gear operation information of the vehicle V1 acquired from the own vehicle information acquisition unit 42, the on / off information of the engine, and the like. The driver information acquisition unit 43 stores the second driver information at the time of delivery in the storage unit 49.

第一運転者情報は、車両Ｖ１が後退して入庫したときにおける車両Ｖ１の運転者の顔を撮影した映像データである。 The first driver information is video data obtained by photographing the face of the driver of the vehicle V1 when the vehicle V1 retracts and enters the garage.

第二運転者情報は、車両Ｖ１が入庫状態から前進して出庫するときにおける車両Ｖ１の運転者の顔を撮影した映像データである。 The second driver information is video data obtained by photographing the driver's face of the vehicle V1 when the vehicle V1 advances from the warehousing state and leaves the garage.

車両Ｖ１が後退して入庫したことは、例えば、シフトポジションが「リバース」とされて、車両Ｖ１が後方に走行した後に、シフトポジションが「パーキング」または「ニュートラル」とされたこと、または、５秒以上の時間、速度がゼロとなったこと、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などで検出する。または、車両Ｖ１が後退して入庫したことは、ユーザ操作など任意のトリガで検出してもよい。 The fact that the vehicle V1 retracts and enters the garage means that, for example, the shift position is set to "reverse" and the shift position is set to "parking" or "neutral" after the vehicle V1 travels backward, or 5 It is detected when the speed becomes zero for a time of more than a second, the engine is stopped, or the side brake or foot brake is operated. Alternatively, the fact that the vehicle V1 has moved backward and entered the garage may be detected by an arbitrary trigger such as a user operation.

車両Ｖ１が入庫状態から前進して出庫することは、例えば、シフトポジションが「パーキング」または「ニュートラル」であること、または、５秒以上の時間、速度がゼロであること、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などの入庫状態から、エンジン始動されたこと、シフトポジションが「ドライブ」にされたこと、サイドブレーキやフットブレーキが解除されたことなどで検出する。または、車両Ｖ１が入庫状態から前進して出庫することは、ユーザ操作など任意のトリガで検出してもよい。 When the vehicle V1 moves forward from the warehousing state and leaves the garage, for example, the shift position is "parking" or "neutral", or the speed is zero for a time of 5 seconds or more, or the engine is stopped. Alternatively, it is detected when the engine is started, the shift position is set to "drive", the side brake or foot brake is released, etc. from the warehousing state such as the operation of the side brake or the foot brake. Alternatively, the fact that the vehicle V1 moves forward from the warehousing state and leaves the garage may be detected by an arbitrary trigger such as a user operation.

俯瞰映像生成部４４は、映像データ取得部４１で取得した周辺映像データに視点変換処理および合成処理を行い、俯瞰映像１００を生成する。俯瞰映像生成部４４は、入庫時、俯瞰映像１００を生成する。俯瞰映像生成部４４は、車両Ｖ１が出庫するときの第二運転者情報が第一運転者情報と異なると判定した場合、俯瞰映像１００を生成する。本実施形態では、俯瞰映像生成部４４は、比較部４５が、車両Ｖ１が出庫する際に運転者が入庫時の運転者と異なると判定した場合、俯瞰映像１００を生成する。俯瞰映像生成部４４は、生成した俯瞰映像１００を表示制御部４８に出力する。俯瞰映像生成部４４は、視点変換処理部４４１と、切出処理部４４２と、合成処理部４４３とを有する。 The bird's-eye view image generation unit 44 performs viewpoint conversion processing and composition processing on the peripheral image data acquired by the image data acquisition unit 41 to generate the bird's-eye view image 100. The bird's-eye view image generation unit 44 generates the bird's-eye view image 100 at the time of warehousing. The bird's-eye view image generation unit 44 generates the bird's-eye view image 100 when it is determined that the second driver information when the vehicle V1 leaves the garage is different from the first driver information. In the present embodiment, the bird's-eye view image generation unit 44 generates the bird's-eye view image 100 when the comparison unit 45 determines that the driver is different from the driver at the time of warehousing when the vehicle V1 leaves the garage. The bird's-eye view image generation unit 44 outputs the generated bird's-eye view image 100 to the display control unit 48. The bird's-eye view image generation unit 44 includes a viewpoint conversion processing unit 441, a cutting processing unit 442, and a composition processing unit 443.

視点変換処理部４４１は、映像データ取得部４１で取得した周辺映像データに対して、車両Ｖ１を上方から見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部４４１は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部４４１は、視点変換処理を行った周辺映像データを切出処理部４４２に出力する。 The viewpoint conversion processing unit 441 performs viewpoint conversion processing on the peripheral video data acquired by the video data acquisition unit 41 so as to look down on the vehicle V1 from above. More specifically, the viewpoint conversion processing unit 441 generates an image that has undergone viewpoint conversion processing based on peripheral image data captured by the front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14. The method of the viewpoint conversion process may be any known method and is not limited. The viewpoint conversion processing unit 441 outputs the peripheral video data that has undergone the viewpoint conversion processing to the cutout processing unit 442.

切出処理部４４２は、視点変換処理を行った周辺映像データから所定の範囲の映像を切出す切出処理を行う。どの範囲を切出範囲とするかは、あらかじめ登録され記憶されている。切出処理部４４２は、切出処理を行った映像の映像データを合成処理部４４３に出力する。 The cutout processing unit 442 performs cutout processing for cutting out an image in a predetermined range from the peripheral image data that has undergone the viewpoint conversion process. Which range is to be the cutout range is registered and stored in advance. The cutout processing unit 442 outputs the video data of the cutout processed video to the synthesis processing unit 443.

合成処理部４４３は、切出処理を行った映像データを合成する合成処理を行う。合成処理部４４３は、合成した映像に車両アイコン１１０を表示した俯瞰映像１００を生成する。 The compositing processing unit 443 performs a compositing process for synthesizing the video data that has been cut out. The composition processing unit 443 generates a bird's-eye view image 100 in which the vehicle icon 110 is displayed on the combined image.

図２を用いて、俯瞰映像１００について説明する。図２は、第一実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。俯瞰映像１００は、車両Ｖ１から２ｍ程度の範囲を表示する。俯瞰映像１００は、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４と、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４とで囲まれた中央部に位置する車両アイコン１１０とを含む。車両アイコン１１０は、車両Ｖ１の位置と向きとを示す。車両アイコン１１０は、前後方向を俯瞰映像１００の前後方向と平行にして、中央部に配置されている。 The bird's-eye view image 100 will be described with reference to FIG. FIG. 2 is a diagram showing an example of a bird's-eye view image generated by the display control device of the display control system according to the first embodiment. The bird's-eye view image 100 displays a range of about 2 m from the vehicle V1. The bird's-eye view image 100 is located in the central portion surrounded by the front image 101, the rear image 102, the left image 103, the right image 104, the front image 101, the rear image 102, the left image 103, and the right image 104. Includes the vehicle icon 110. The vehicle icon 110 indicates the position and orientation of the vehicle V1. The vehicle icon 110 is arranged at the center of the bird's-eye view image 100 with the front-rear direction parallel to the front-rear direction.

図１に戻って、比較部４５は、第一運転者情報および第二運転者情報を比較して、車両Ｖ１の入庫時と出庫時の運転者を比較する。本実施形態では、比較部４５は、入庫時の運転者を撮影した映像と出庫時の運転者を撮影した映像とを画像処理を行い比較して、入庫時の運転者と出庫時の運転者とが同一であるか否かを判定する。 Returning to FIG. 1, the comparison unit 45 compares the first driver information and the second driver information, and compares the drivers at the time of entering and leaving the vehicle V1. In the present embodiment, the comparison unit 45 performs image processing to compare the image of the driver at the time of warehousing and the image of the driver at the time of warehousing, and compares the image of the driver at the time of warehousing with the driver at the time of warehousing. Determine if and are the same.

表示制御部４８は、入庫時、俯瞰映像生成部４４が生成する俯瞰映像１００を表示パネル３１に表示させる。表示制御部４８は、比較部４５が、車両Ｖ１が出庫するときの第二運転者情報が第一運転者情報と異なると判定した場合、俯瞰映像生成部４４が生成する俯瞰映像１００を表示パネル３１に表示させる。本実施形態では、表示制御部４８は、比較部４５が、入庫時の運転者と出庫時の運転者とが異なると判定した場合、俯瞰映像１００を表示パネル３１に表示させる。 The display control unit 48 causes the display panel 31 to display the bird's-eye view image 100 generated by the bird's-eye view image generation unit 44 at the time of warehousing. When the comparison unit 45 determines that the second driver information when the vehicle V1 leaves the garage is different from the first driver information, the display control unit 48 displays the bird's-eye view image 100 generated by the bird's-eye view image generation unit 44. Display on 31. In the present embodiment, when the comparison unit 45 determines that the driver at the time of warehousing and the driver at the time of warehousing are different, the display control unit 48 displays the bird's-eye view image 100 on the display panel 31.

記憶部４９は、表示制御装置４０におけるデータの一時記憶などに用いられる。記憶部４９は、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ（ＦｌａｓｈＭｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。または、図示しない通信装置を介して無線接続される外部記憶装置であってもよい。 The storage unit 49 is used for temporary storage of data in the display control device 40 and the like. The storage unit 49 is, for example, a semiconductor memory element such as a RAM (Random Access Memory), a ROM (Read Only Memory), or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk. Alternatively, it may be an external storage device wirelessly connected via a communication device (not shown).

次に、図３、図４を用いて、表示制御システム１の表示制御装置４０における処理の流れについて説明する。図３は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。図４は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの他の例を示すフローチャートである。 Next, the flow of processing in the display control device 40 of the display control system 1 will be described with reference to FIGS. 3 and 4. FIG. 3 is a flowchart showing an example of a processing flow in the display control device of the display control system according to the first embodiment. FIG. 4 is a flowchart showing another example of the processing flow in the display control device of the display control system according to the first embodiment.

表示制御システム１が起動されると、表示制御装置４０は、映像データ取得部４１で映像データを取得する。表示制御装置４０は、自車両情報取得部４２で車両情報を取得する。 When the display control system 1 is activated, the display control device 40 acquires video data by the video data acquisition unit 41. The display control device 40 acquires vehicle information by the own vehicle information acquisition unit 42.

まず、入庫時の処理の流れについて説明する。 First, the flow of processing at the time of warehousing will be described.

表示制御装置４０は、運転者情報取得部４３で第一運転者情報を取得し、記憶部４９に記憶させる（ステップＳ１１）。そして、表示制御装置４０は、ステップＳ１２に進む。 The display control device 40 acquires the first driver information in the driver information acquisition unit 43 and stores it in the storage unit 49 (step S11). Then, the display control device 40 proceeds to step S12.

表示制御装置４０は、後退を開始したか否かを判定する（ステップＳ１２）。表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、後退トリガの有無を判定する。後退トリガは、例えば、シフトポジションが「リバース」とされたこと、または、車両Ｖ１の進行方向が後方になったことで検出する。表示制御装置４０は、後退を開始していないと判定した場合（ステップＳ１２でＮｏ）、ステップＳ１２の処理を再度実行する。表示制御装置４０は、後退を開始したと判定した場合（ステップＳ１２でＹｅｓ）、ステップＳ１３に進む。 The display control device 40 determines whether or not the retreat has started (step S12). The display control device 40 determines the presence / absence of the reverse trigger based on the own vehicle information acquired by the own vehicle information acquisition unit 42. The reverse trigger is detected, for example, when the shift position is set to "reverse" or the traveling direction of the vehicle V1 is set to the rear. When the display control device 40 determines that the retreat has not started (No in step S12), the display control device 40 re-executes the process of step S12. When the display control device 40 determines that the retreat has started (Yes in step S12), the display control device 40 proceeds to step S13.

ステップＳ１２で後退を開始したと判定された場合（ステップＳ１２でＹｅｓ）、表示制御装置４０は、俯瞰映像表示を開始する（ステップＳ１３）。より詳しくは、表示制御装置４０は、俯瞰映像生成部４４で俯瞰映像１００を生成し、表示制御部４８で俯瞰映像１００を表示パネル３１に表示させる。表示制御装置４０は、ステップＳ１４に進む。 When it is determined in step S12 that the retreat has started (Yes in step S12), the display control device 40 starts the bird's-eye view image display (step S13). More specifically, in the display control device 40, the bird's-eye view image generation unit 44 generates the bird's-eye view image 100, and the display control unit 48 displays the bird's-eye view image 100 on the display panel 31. The display control device 40 proceeds to step S14.

表示制御装置４０は、入庫が完了したか否かを判定する（ステップＳ１４）。より詳しくは、表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、例えば、シフトポジションが「パーキング」または「ニュートラル」であること、または、５秒以上の時間、速度がゼロであること、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などを検出した場合、入庫が完了したと判定する。表示制御装置４０は、入庫が完了したと判定した場合、俯瞰映像表示を終了すると判定し（ステップＳ１４でＹｅｓ）、ステップＳ１５に進む。表示制御装置４０は、入庫が完了していないと判定した場合、映像表示を終了しないと判定し（ステップＳ１４でＮｏ）、ステップＳ１４の処理を再度実行する。 The display control device 40 determines whether or not the warehousing is completed (step S14). More specifically, the display control device 40 is based on the own vehicle information acquired by the own vehicle information acquisition unit 42, for example, the shift position is "parking" or "neutral", or the time of 5 seconds or more. When the speed is zero, the engine is stopped, or the side brake or foot brake is operated, it is determined that the warehousing is completed. When the display control device 40 determines that the warehousing is completed, it determines that the bird's-eye view image display is finished (Yes in step S14), and proceeds to step S15. When it is determined that the warehousing is not completed, the display control device 40 determines that the video display is not finished (No in step S14), and executes the process of step S14 again.

表示制御装置４０は、入庫が完了したと判定された場合（ステップＳ１４でＹｅｓ）、俯瞰映像表示を終了する（ステップＳ１５）。表示制御装置４０は、処理を終了する。 When it is determined that the warehousing is completed (Yes in step S14), the display control device 40 ends the bird's-eye view video display (step S15). The display control device 40 ends the process.

次に、出庫時の処理の流れについて説明する。 Next, the flow of processing at the time of delivery will be described.

表示制御装置４０は、運転者情報取得部４３で第二運転者情報を取得し、記憶部４９に記憶させる（ステップＳ２１）。そして、表示制御装置４０は、ステップＳ２２に進む。 The display control device 40 acquires the second driver information in the driver information acquisition unit 43 and stores it in the storage unit 49 (step S21). Then, the display control device 40 proceeds to step S22.

表示制御装置４０は、前進トリガの有無を判定する（ステップＳ２２）。表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、前進トリガの有無を判定する。前進トリガは、例えば、エンジンが始動されたこと、シフトポジションが前進可能な「ドライブ」などにされたこと、サイドブレーキやフットブレーキが解除されたことなどで検出する。表示制御装置４０は、前進トリガがないと判定した場合（ステップＳ２２でＮｏ）、ステップＳ２２の処理を再度実行する。表示制御装置４０は、前進トリガがあると判定した場合（ステップＳ２２でＹｅｓ）、ステップＳ２３に進む。 The display control device 40 determines the presence / absence of the forward trigger (step S22). The display control device 40 determines the presence / absence of the forward trigger based on the own vehicle information acquired by the own vehicle information acquisition unit 42. The forward trigger is detected, for example, when the engine is started, the shift position is set to a "drive" that allows forward movement, the side brake or the foot brake is released, and the like. When the display control device 40 determines that there is no forward trigger (No in step S22), the display control device 40 re-executes the process of step S22. When the display control device 40 determines that there is a forward trigger (Yes in step S22), the display control device 40 proceeds to step S23.

ステップＳ２２で前進トリガがあると判定された場合（ステップＳ２２でＹｅｓ）、表示制御装置４０は、入庫からの前進であるか否かを判定する（ステップＳ２３）。より詳しくは、表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、前進トリガを検出する直前の状態が、例えば、シフトポジションが「パーキング」または「ニュートラル」であった、または、５秒以上の時間、速度がゼロであった、または、エンジンが停止していた、または、サイドブレーキやフットブレーキが操作されていたと判定された場合、入庫からの前進であると判定する。または、表示制御装置４０は、記憶部４９に、第一運転者情報が記憶されている場合、入庫からの前進であると判定してもよい。表示制御装置４０は、入庫からの前進ではないと判定した場合（ステップＳ２３でＮｏ）、ステップＳ２２の処理を再度実行する。表示制御装置４０は、入庫からの前進であると判定した場合（ステップＳ２３でＹｅｓ）、ステップＳ２４に進む。 When it is determined in step S22 that there is a forward trigger (Yes in step S22), the display control device 40 determines whether or not the advance is from warehousing (step S23). More specifically, the display control device 40 has a state immediately before detecting the forward trigger based on the own vehicle information acquired by the own vehicle information acquisition unit 42, for example, the shift position is "parking" or "neutral". Or, if it is determined that the speed was zero for 5 seconds or more, the engine was stopped, or the side brake or foot brake was operated, it is considered to be a forward movement from the warehousing. judge. Alternatively, when the first driver information is stored in the storage unit 49, the display control device 40 may determine that the vehicle is moving forward from the warehousing. When the display control device 40 determines that the advance is not from the warehousing (No in step S23), the display control device 40 executes the process of step S22 again. When the display control device 40 determines that the vehicle is moving forward from the warehousing (Yes in step S23), the display control device 40 proceeds to step S24.

表示制御装置４０は、比較部４５で第一運転者情報と第二運転者情報とを比較させる（ステップＳ２４）。表示制御装置４０は、比較部４５で比較することによって、入庫時と出庫時との車両Ｖ１の運転者が同一であるか否かを判定する。表示制御装置４０は、ステップＳ２５に進む。 The display control device 40 causes the comparison unit 45 to compare the first driver information and the second driver information (step S24). The display control device 40 determines whether or not the driver of the vehicle V1 at the time of warehousing and at the time of warehousing is the same by comparing with the comparison unit 45. The display control device 40 proceeds to step S25.

表示制御装置４０は、運転者が異なるか否かを判定する（ステップＳ２５）。表示制御装置４０は、比較部４５による比較の結果、運転者が同一であると判定した場合（ステップＳ２５でＮｏ）、処理を終了する。この場合、俯瞰映像１００は表示されない。表示制御装置４０は、比較部４５による比較の結果、運転者が異なると判定した場合（ステップＳ２５でＹｅｓ）、ステップＳ２６に進む。 The display control device 40 determines whether or not the drivers are different (step S25). When the display control device 40 determines that the drivers are the same as a result of the comparison by the comparison unit 45 (No in step S25), the display control device 40 ends the process. In this case, the bird's-eye view image 100 is not displayed. When the display control device 40 determines that the drivers are different as a result of the comparison by the comparison unit 45 (Yes in step S25), the display control device 40 proceeds to step S26.

表示制御装置４０は、前進を開始したか否かを判定する（ステップＳ２６）。表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、例えば、速度がゼロ以上であること、または、車両Ｖ１が前方に走行したことが検出された場合、前進を開始したと判定する。表示制御装置４０は、車両Ｖ１が前進していないと判定した場合（ステップＳ２６でＮｏ）、ステップＳ２６の処理を再度実行する。表示制御装置４０は、車両Ｖ１が前進したと判定した場合（ステップＳ２６でＹｅｓ）、ステップＳ２７に進む。 The display control device 40 determines whether or not the advance has started (step S26). Based on the own vehicle information acquired by the own vehicle information acquisition unit 42, the display control device 40 advances forward when, for example, it is detected that the speed is zero or more or that the vehicle V1 has traveled forward. Judge that it has started. When the display control device 40 determines that the vehicle V1 is not moving forward (No in step S26), the display control device 40 re-executes the process of step S26. When the display control device 40 determines that the vehicle V1 has advanced (Yes in step S26), the display control device 40 proceeds to step S27.

ステップＳ２６で前進を開始したと判定された場合（ステップＳ２６でＹｅｓ）、表示制御装置４０は、俯瞰映像表示を開始する（ステップＳ２７）。より詳しくは、表示制御装置４０は、俯瞰映像生成部４４で俯瞰映像１００を生成し、表示制御部４８で俯瞰映像１００を表示パネル３１に表示させる。表示制御装置４０は、ステップＳ２８に進む。 When it is determined in step S26 that the advance has started (Yes in step S26), the display control device 40 starts the bird's-eye view image display (step S27). More specifically, in the display control device 40, the bird's-eye view image generation unit 44 generates the bird's-eye view image 100, and the display control unit 48 displays the bird's-eye view image 100 on the display panel 31. The display control device 40 proceeds to step S28.

俯瞰映像１００を表示パネル３１に表示させるタイミングについては、一例としてステップＳ２６を例示したが、車両Ｖ１がエンジン始動したとき、シフトポジションが「ドライブ」にされたとき、車両Ｖ１が前進を開始したときなど、出庫する際に周辺状況を確認するために適切なタイミングであれば任意である。 Regarding the timing of displaying the bird's-eye view image 100 on the display panel 31, step S26 is illustrated as an example, but when the vehicle V1 starts the engine, when the shift position is set to "drive", and when the vehicle V1 starts moving forward. It is arbitrary if it is an appropriate timing to check the surrounding situation when leaving the warehouse.

表示制御装置４０は、俯瞰映像表示の終了条件を満たすか否かを判定する（ステップＳ２８）。より詳しくは、表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、例えば、前進を開始した位置から所定距離以上走行したことや、車速が所定速度以上になったことを検出した場合、俯瞰映像表示の終了条件を満たすと判定する。表示制御装置４０は、俯瞰映像表示の終了条件を満たすと判定した場合、俯瞰映像表示を終了すると判定し（ステップＳ２８でＹｅｓ）、ステップＳ２９に進む。表示制御装置４０は、俯瞰映像表示の終了条件を満たしていないと判定した場合、映像表示を終了しないと判定し（ステップＳ２８でＮｏ）、ステップＳ２８の処理を再度実行する。 The display control device 40 determines whether or not the end condition of the bird's-eye view video display is satisfied (step S28). More specifically, based on the own vehicle information acquired by the own vehicle information acquisition unit 42, the display control device 40 has, for example, traveled a predetermined distance or more from the position where the forward movement was started, or the vehicle speed became a predetermined speed or more. When this is detected, it is determined that the end condition of the bird's-eye view video display is satisfied. When the display control device 40 determines that the end condition of the bird's-eye view image display is satisfied, the display control device 40 determines that the bird's-eye view image display is terminated (Yes in step S28), and proceeds to step S29. When the display control device 40 determines that the end condition of the bird's-eye view image display is not satisfied, it determines that the image display is not terminated (No in step S28), and executes the process of step S28 again.

ステップＳ２８で俯瞰映像表示の終了条件を満たすと判定された場合（ステップＳ２８でＹｅｓ）、表示制御装置４０は、俯瞰映像表示を終了する（ステップＳ２９）。表示制御装置４０は、記憶部４９に記憶した第一運転者情報を削除する。そして、表示制御装置４０は、処理を終了する。 When it is determined in step S28 that the condition for ending the bird's-eye view image display is satisfied (Yes in step S28), the display control device 40 ends the bird's-eye view image display (step S29). The display control device 40 deletes the first driver information stored in the storage unit 49. Then, the display control device 40 ends the process.

上述したように、本実施形態は、比較部４５が、入庫時の運転者と出庫時の運転者とが異なると判定した場合、俯瞰映像生成部４４が生成する俯瞰映像１００を表示パネル３１に表示させる。このように、本実施形態は、出庫時に運転者の変化に応じて適切に俯瞰映像１００を表示させることができる。これにより、入庫時の運転者と出庫時の運転者とが異なった場合、運転者が、目視またはミラーによる確認に加えて、俯瞰映像１００によって車両Ｖ１の周辺を適切に確認することができる。 As described above, in the present embodiment, when the comparison unit 45 determines that the driver at the time of warehousing and the driver at the time of warehousing are different, the bird's-eye view image 100 generated by the bird's-eye view image generation unit 44 is displayed on the display panel 31. Display it. As described above, in this embodiment, the bird's-eye view image 100 can be appropriately displayed according to the change of the driver at the time of delivery. As a result, when the driver at the time of warehousing and the driver at the time of warehousing are different, the driver can appropriately confirm the surroundings of the vehicle V1 by the bird's-eye view image 100 in addition to the visual or mirror confirmation.

本実施形態によれば、出庫時に運転者の変化に応じて、俯瞰映像１００の表示が必要なときに限って俯瞰映像１００を表示する。このように、本実施形態は、入庫時と同一の運転者による出庫時、俯瞰映像を表示させる必要性が無い状況で俯瞰映像が表示されたり、ナビゲーションによる経路を確認したいときなどに俯瞰映像が表示されてしまうことを抑制することができる。 According to the present embodiment, the bird's-eye view image 100 is displayed only when it is necessary to display the bird's-eye view image 100 according to the change of the driver at the time of delivery. As described above, in the present embodiment, the bird's-eye view image is displayed when the same driver leaves the garage as at the time of warehousing, the bird's-eye view image is displayed in a situation where there is no need to display the bird's-eye view image, or when the route is confirmed by navigation. It is possible to suppress the display.

［第二実施形態］
図５を参照しながら、本実施形態に係る表示制御システム１について説明する。図５は、第二実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。表示制御システム１は、基本的な構成は第一実施形態の表示制御システム１と同様である。表示制御システム１は、入庫時の運転者の顔位置より出庫時の運転者の顔位置が所定以上、下方にあるときに俯瞰映像１００を表示する点で第一実施形態と異なる。 [Second Embodiment]
The display control system 1 according to the present embodiment will be described with reference to FIG. FIG. 5 is a flowchart showing an example of a processing flow in the display control device of the display control system according to the second embodiment. The basic configuration of the display control system 1 is the same as that of the display control system 1 of the first embodiment. The display control system 1 is different from the first embodiment in that the bird's-eye view image 100 is displayed when the driver's face position at the time of warehousing is above or below a predetermined position from the driver's face position at the time of warehousing.

運転席用カメラ２１は、車両Ｖ１に対する相対的な運転者の顔位置を認識可能に撮影する。例えば、運転席用カメラ２１は、車両Ｖ１において位置が固定された部分と運転者の顔とを被撮影物として撮影する。または、運転席用カメラ２１は、運転者の顔位置の変化を認識可能に撮影する。例えば、運転席用カメラ２１は、入庫時と出庫時とで、同じ撮影範囲で撮影する。このような運転席用カメラ２１で撮影された映像に画像処理を行うことによって、運転者の顔位置が取得される。ここで言う運転者の顔位置とは、運転者の目の位置と置き換えてもよい。 The driver's seat camera 21 recognizablely captures the driver's face position relative to the vehicle V1. For example, the driver's seat camera 21 photographs a portion of the vehicle V1 whose position is fixed and the driver's face as an object to be photographed. Alternatively, the driver's seat camera 21 takes a recognizable change in the driver's face position. For example, the driver's seat camera 21 shoots in the same shooting range at the time of warehousing and at the time of warehousing. By performing image processing on the image captured by the driver's seat camera 21, the driver's face position is acquired. The position of the driver's face referred to here may be replaced with the position of the driver's eyes.

運転者情報取得部４３は、運転者の顔位置の情報を取得する。運転者情報取得部４３は、入庫時の運転者の顔位置の情報を第一運転者情報として、出庫時の運転者の顔位置の情報を第二運転者情報として取得する。 The driver information acquisition unit 43 acquires information on the driver's face position. The driver information acquisition unit 43 acquires the information on the driver's face position at the time of warehousing as the first driver information and the information on the driver's face position at the time of warehousing as the second driver information.

俯瞰映像生成部４４は、比較部４５が、入庫時の運転者の顔位置より出庫時の運転者の顔位置が所定以上、下方にあると判定した場合、俯瞰映像１００を生成する。 The bird's-eye view image generation unit 44 generates the bird's-eye view image 100 when the comparison unit 45 determines that the driver's face position at the time of warehousing is lower than the predetermined position of the driver's face position at the time of warehousing.

比較部４５は、画像処理を行い、入庫時の運転者の顔位置と出庫時の運転者の顔位置とを比較して、入庫時の運転者の顔位置と出庫時の運転者の顔位置とが上下方向に所定以上の位置の差があるか否かを判定する。例えば、所定以上の位置の差とは、５ｃｍとする。 The comparison unit 45 performs image processing, compares the face position of the driver at the time of warehousing with the face position of the driver at the time of warehousing, and compares the face position of the driver at the time of warehousing with the face position of the driver at the time of warehousing. Determines whether or not there is a difference of a predetermined position or more in the vertical direction. For example, the difference in position above a predetermined value is 5 cm.

表示制御部４８は、比較部４５が、入庫時の運転者の顔位置より出庫時の運転者の顔位置が所定以上、下方にあると判定した場合、俯瞰映像１００を表示パネル３１に表示させる。 When the comparison unit 45 determines that the driver's face position at the time of warehousing is lower than the predetermined position by the driver's face position at the time of warehousing, the display control unit 48 displays the bird's-eye view image 100 on the display panel 31. ..

次に、図５を用いて、表示制御システム１の表示制御装置４０における処理の流れについて説明する。ステップＳ３１ないしステップＳ３４、ステップＳ３６ないしステップＳ３９の処理は、図４に示すフローチャートのステップＳ２１ないしステップＳ２４、ステップＳ２６ないしステップＳ２９と同様の処理を行う。 Next, the flow of processing in the display control device 40 of the display control system 1 will be described with reference to FIG. The processes of steps S31 to S34 and steps S36 to S39 are the same as those of steps S21 to S24 and steps S26 to S29 of the flowchart shown in FIG.

表示制御装置４０は、出庫時の運転者の顔位置は入庫時の運転者の顔位置より低いか否かを判定する（ステップＳ３５）。表示制御装置４０は、第一運転者情報と第二運転者情報とを比較して、入庫時の運転者の顔位置より出庫時の運転者の顔位置が所定以上、下方ではないと判定される場合（ステップＳ３５でＮｏ）、処理を終了する。表示制御装置４０は、第一運転者情報と第二運転者情報とを比較して、入庫時の運転者の顔位置より出庫時の運転者の顔位置が所定以上、下方であると判定される場合（ステップＳ３５でＹｅｓ）、ステップＳ３６に進む。 The display control device 40 determines whether or not the driver's face position at the time of warehousing is lower than the driver's face position at the time of warehousing (step S35). The display control device 40 compares the first driver information and the second driver information, and determines that the driver's face position at the time of warehousing is not lower than the predetermined position of the driver's face position at the time of warehousing. (No in step S35), the process ends. The display control device 40 compares the first driver information and the second driver information, and determines that the driver's face position at the time of warehousing is lower than the predetermined position of the driver's face position at the time of warehousing. (Yes in step S35), the process proceeds to step S36.

上述したように、本実施形態は、比較部４５が、出庫時の運転者の顔位置が入庫時の運転者の顔位置より低いと判定した場合、俯瞰映像生成部４４が生成する俯瞰映像１００を表示パネル３１に表示させる。このように、本実施形態は、出庫時に運転者の顔位置の変化に応じて適切に俯瞰映像１００を表示させることができる。これにより、出庫時に運転者の顔位置が入庫時より低くなって、運転席から視認可能な範囲が変化したとしても、運転者が、目視またはミラーによる確認に加えて、俯瞰映像１００によって車両Ｖ１の周辺を適切に確認することができる。 As described above, in the present embodiment, when the comparison unit 45 determines that the face position of the driver at the time of warehousing is lower than the face position of the driver at the time of warehousing, the bird's-eye view image 100 generated by the bird's-eye view image generation unit 44. Is displayed on the display panel 31. As described above, in this embodiment, the bird's-eye view image 100 can be appropriately displayed according to the change in the driver's face position at the time of delivery. As a result, even if the driver's face position becomes lower than that at the time of warehousing and the visible range from the driver's seat changes at the time of leaving the garage, the driver can check the vehicle V1 by the bird's-eye view image 100 in addition to the visual or mirror confirmation. You can properly check the surrounding area of.

図示した表示制御システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。 Each component of the displayed display control system 1 shown is functionally conceptual, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of each device is not limited to the one shown in the figure, and all or part of each device is functionally or physically dispersed or integrated in an arbitrary unit according to the processing load and usage status of each device. You may.

表示制御システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。 The configuration of the display control system 1 is realized, for example, by a program loaded in a memory as software. In the above embodiment, it has been described as a functional block realized by linking these hardware or software. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。 The components described above include those that can be easily assumed by those skilled in the art and those that are substantially the same. Further, the configurations described above can be appropriately combined. Further, various omissions, substitutions or changes of the configuration can be made without departing from the gist of the present invention.

運転者情報取得部４３は、運転席用カメラ２１によって撮影された映像データから第一運転者情報および第二運転者情報を取得するものとして説明したが、これに限定されない。 The driver information acquisition unit 43 has been described as acquiring the first driver information and the second driver information from the video data captured by the driver's seat camera 21, but the present invention is not limited to this.

例えば、第一実施形態では、運転者が所持し、個々を識別する識別情報を有するスマートキーや情報端末などの電子機器から取得した識別情報によって運転者が異なるか否かを判定してもよい。より詳しくは、例えば、運転者が車内に持ち込んだ電子機器を運転席用検出部とする。運転者情報取得部４３は、電子機器から識別情報を取得して、入庫時の識別情報を第一運転者情報として、出庫時の識別情報を第二運転者情報として取得してもよい。 For example, in the first embodiment, it may be determined whether or not the driver differs depending on the identification information possessed by the driver and acquired from an electronic device such as a smart key or an information terminal having identification information for identifying each individual. .. More specifically, for example, an electronic device brought into the vehicle by the driver is used as a driver's seat detector. The driver information acquisition unit 43 may acquire identification information from an electronic device, and may acquire the identification information at the time of warehousing as the first driver information and the identification information at the time of warehousing as the second driver information.

または、例えば、第一実施形態では、運転席の重量情報とプリセット位置を示す位置情報との少なくともいずれかを含む運転席情報によって運転者が異なるか否かを判定してもよい。より詳しくは、例えば、運転席に着座された際に作用する重量情報を含む運転席情報を検出する重量センサを運転席用検出部とする。運転者情報取得部４３は、重量センサによって検出した、入庫時の運転席情報を第一運転者情報として、出庫時の運転席情報を第二運転者情報として取得してもよい。または、例えば、運転席のプリセット位置を含む位置情報を検出するセンサを運転席用検出部とする。運転者情報取得部４３は、センサによって検出した、入庫時の運転席の位置情報を第一運転者情報として、出庫時の運転席の位置情報を第二運転者情報として取得してもよい。比較部４５は、入庫時の運転席情報と出庫時の運転席情報とを比較して、入庫時の運転者と出庫時の運転者とが同一であるか否かを判定する。 Alternatively, for example, in the first embodiment, it may be determined whether or not the driver is different depending on the driver's seat information including at least one of the weight information of the driver's seat and the position information indicating the preset position. More specifically, for example, a weight sensor that detects driver's seat information including weight information that acts when seated in the driver's seat is used as a driver's seat detection unit. The driver information acquisition unit 43 may acquire the driver's seat information at the time of warehousing as the first driver information and the driver's seat information at the time of warehousing as the second driver information detected by the weight sensor. Alternatively, for example, a sensor that detects position information including a preset position of the driver's seat is used as a driver's seat detection unit. The driver information acquisition unit 43 may acquire the position information of the driver's seat at the time of warehousing as the first driver information and the position information of the driver's seat at the time of leaving the garage as the second driver information detected by the sensor. The comparison unit 45 compares the driver's seat information at the time of warehousing with the driver's seat information at the time of warehousing, and determines whether or not the driver at the time of warehousing and the driver at the time of warehousing are the same.

または、例えば、第二実施形態では、ルームミラーの位置情報を運転者の顔位置の情報としてもよい。より詳しくは、例えば、ルームミラーの位置情報を検出するセンサを運転席用検出部とする。運転者情報取得部４３は、センサによって検出した、入庫時のルームミラーの位置情報を第一運転者情報として、出庫時のルームミラーの位置情報を第二運転者情報として取得してもよい。 Alternatively, for example, in the second embodiment, the position information of the rearview mirror may be used as the information on the driver's face position. More specifically, for example, a sensor that detects the position information of the rearview mirror is used as a driver's seat detection unit. The driver information acquisition unit 43 may acquire the position information of the rearview mirror at the time of warehousing as the first driver information and the position information of the rearview mirror at the time of warehousing as the second driver information detected by the sensor.

第一運転者情報は、車両Ｖ１が後退して入庫したとき、取得するものとして説明したがこれに限定されない。第一運転者情報は、車両Ｖ１が後退して入庫している駐車動作中に取得した情報に基づいて、入庫完了時の車両Ｖ１の周囲の障害物の情報を取得してもよい。 The first driver information has been described as being acquired when the vehicle V1 retracts and enters the garage, but the first driver information is not limited to this. The first driver information may acquire information on obstacles around the vehicle V1 when the warehousing is completed, based on the information acquired during the parking operation in which the vehicle V1 is retracted and warehousing.

さらにまた、例えば、図示しないナビゲーションシステムの地図情報と車両Ｖ１の現在位置情報とから、車両Ｖ１の現在位置が駐車場であると判定された場合、または、映像データ取得部４１で取得した映像データに画像処理を行って、車両Ｖ１の現在位置が駐車場であると判定された場合、車両Ｖ１が入庫したと判定してもよい。 Furthermore, for example, when it is determined from the map information of the navigation system (not shown) and the current position information of the vehicle V1 that the current position of the vehicle V1 is a parking lot, or the video data acquired by the video data acquisition unit 41. If it is determined that the current position of the vehicle V1 is a parking lot by performing image processing on the vehicle V1, it may be determined that the vehicle V1 has arrived.

１表示制御システム
１１前方カメラ（撮影部）
１２後方カメラ（撮影部）
１３左側方カメラ（撮影部）
１４右側方カメラ（撮影部）
２１運転席用カメラ（運転席用検出部）
３１表示パネル（表示部）
４０表示制御装置
４１映像データ取得部
４２自車両情報取得部
４３運転者情報取得部
４４俯瞰映像生成部
４５比較部
４８表示制御部
４９記憶部 1 Display control system 11 Front camera (shooting unit)
12 Rear camera (shooting section)
13 Left side camera (shooting section)
14 Right side camera (shooting section)
21 Driver's seat camera (driver's seat detector)
31 Display panel (display unit)
40 Display control device 41 Video data acquisition unit 42 Own vehicle information acquisition unit 43 Driver information acquisition unit 44 Bird's-eye view video generation unit 45 Comparison unit 48 Display control unit 49 Storage unit

Claims

車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得部と、
前記映像データ取得部が取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成部と、
前記車両が後退して入庫したときにおける前記車両の運転者の第一運転者情報、および、前記車両が入庫状態から前進して出庫するときにおける前記運転者の第二運転者情報を取得する運転者情報取得部と、
前記第一運転者情報と前記第二運転者情報とを比較して、前記車両の入庫時と出庫時の前記運転者を比較する比較部と、
前記比較部が、前記車両が出庫するときの前記第二運転者情報が前記第一運転者情報と異なると判定した場合、出庫するときに前記俯瞰映像生成部が生成する俯瞰映像を表示部に表示させる表示制御部と、
を備えることを特徴とする表示制御装置。 A video data acquisition unit that acquires video data from multiple shooting units that shoot the surroundings of the vehicle,
A bird's-eye view video generation unit that generates a bird's-eye view video by performing viewpoint conversion processing and composition processing on the video data acquired by the video data acquisition unit.
Driving to acquire the first driver information of the driver of the vehicle when the vehicle retracts and enters the garage, and the second driver information of the driver when the vehicle advances from the warehousing state and leaves the garage. Person information acquisition department and
A comparison unit that compares the first driver information and the second driver information and compares the driver at the time of entering and leaving the vehicle.
When the comparison unit determines that the second driver information when the vehicle leaves the garage is different from the first driver information, the bird's-eye view image generated by the bird's-eye view image generation unit when the vehicle leaves the garage is displayed on the display unit. The display control unit to be displayed and
A display control device comprising.

前記運転者情報取得部は、前記車両の運転席に配置され、運転者を人物認識可能な情報を検出する運転席用検出部によって、入庫時の運転者を認識した情報を前記第一運転者情報として、出庫時の運転者を認識した情報を前記第二運転者情報として取得し、
前記比較部は、入庫時の運転者を認識した情報と出庫時の運転者を認識した情報とを比較して、入庫時の運転者と出庫時の運転者とが同一であるか否かを判定し、
前記表示制御部は、前記比較部が、入庫時の運転者と出庫時の運転者とが異なると判定した場合、俯瞰映像を表示部に表示させる、
請求項１に記載の表示制御装置。 The driver information acquisition unit is arranged in the driver's seat of the vehicle, and the first driver uses information that recognizes the driver at the time of warehousing by the driver's seat detection unit that detects information that can recognize the driver as a person. As the information, the information recognizing the driver at the time of delivery is acquired as the second driver information, and the information is obtained.
The comparison unit compares the information recognizing the driver at the time of warehousing with the information recognizing the driver at the time of warehousing, and determines whether or not the driver at the time of warehousing and the driver at the time of warehousing are the same. Judge,
When the comparison unit determines that the driver at the time of warehousing and the driver at the time of warehousing are different, the display control unit displays a bird's-eye view image on the display unit.
The display control device according to claim 1.

前記運転者情報取得部は、入庫時の運転者の顔位置の情報を前記第一運転者情報として、出庫時の運転者の顔位置の情報を前記第二運転者情報として取得し、
前記比較部は、入庫時の運転者の顔位置と出庫時の運転者の顔位置とを比較して、入庫時の運転者の顔位置と出庫時の運転者の顔位置とが上下方向に所定以上の位置の差があるか否かを判定し、
前記表示制御部は、前記比較部が、入庫時の運転者の顔位置より出庫時の運転者の顔位置が所定以上、下方にあると判定した場合、俯瞰映像を表示部に表示させる、
請求項１または２に記載の表示制御装置。 The driver information acquisition unit acquires the information on the driver's face position at the time of warehousing as the first driver information and the information on the driver's face position at the time of warehousing as the second driver information.
The comparison unit compares the face position of the driver at the time of warehousing with the face position of the driver at the time of warehousing, and the face position of the driver at the time of warehousing and the face position of the driver at the time of warehousing are in the vertical direction. Judge whether there is a difference in position above the specified value,
The display control unit causes the display unit to display a bird's-eye view image when the comparison unit determines that the driver's face position at the time of warehousing is lower than the predetermined position of the driver's face position at the time of warehousing.
The display control device according to claim 1 or 2.

前記運転者情報取得部は、前記車両の運転席の着座位置に向けて配置された前記運転席用検出部としての運転席用撮影部によって、入庫時の運転者を撮影した映像を前記第一運転者情報として、出庫時の運転者を撮影した映像を前記第二運転者情報として取得し、
前記比較部は、入庫時の運転者を撮影した映像と出庫時の運転者を撮影した映像とを比較することによって判定する、
請求項２に記載の表示制御装置。 The driver information acquisition unit captures an image of the driver at the time of warehousing by the driver's seat photographing unit as the driver's seat detecting unit arranged toward the seating position of the driver's seat of the vehicle. As the driver information, the image of the driver at the time of leaving the vehicle is acquired as the second driver information.
The comparison unit determines by comparing the image of the driver at the time of warehousing with the image of the driver at the time of warehousing.
The display control device according to claim 2 .

前記運転者情報取得部は、前記車両の運転席に着座された際に作用する重量情報と前記運転席の位置情報との少なくともどちらかを含む運転席情報を検出する運転席用検出部によって検出した、入庫時の前記運転席情報を前記第一運転者情報として、出庫時の前記運転席情報を前記第二運転者情報として取得し、
前記比較部は、入庫時の前記運転席情報と出庫時の前記運転席情報とを比較することによって判定する、
請求項２に記載の表示制御装置。 The driver information acquisition unit is detected by a driver's seat detection unit that detects driver's seat information including at least one of weight information acting when seated in the driver's seat of the vehicle and the position information of the driver's seat. The driver's seat information at the time of warehousing is acquired as the first driver information, and the driver's seat information at the time of warehousing is acquired as the second driver information.
The comparison unit determines by comparing the driver's seat information at the time of warehousing with the driver's seat information at the time of warehousing.
The display control device according to claim 2.

請求項１から５のいずれか一項に記載の表示制御装置と、
前記映像データ取得部が映像データを取得する複数の撮影部、前記表示制御部が俯瞰映像を表示させる表示部の少なくともいずれかと、
を備えることを特徴とする表示制御システム。 The display control device according to any one of claims 1 to 5.
At least one of a plurality of shooting units in which the video data acquisition unit acquires video data, and at least one of display units in which the display control unit displays a bird's-eye view image.
A display control system characterized by being equipped with.

車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、
前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、
前記車両が後退して入庫したときにおける前記車両の運転者の第一運転者情報、および、前記車両が入庫状態から前進して出庫するときにおける前記運転者の第二運転者情報を取得する運転者情報取得ステップと、
前記第一運転者情報と前記第二運転者情報とを比較して、前記車両の入庫時と出庫時の前記運転者を比較する比較ステップと、
前記比較ステップで、前記車両が出庫するときの前記第二運転者情報が前記第一運転者情報と異なると判定した場合、出庫するときに前記俯瞰映像生成ステップで生成する俯瞰映像を表示部に表示させる表示制御ステップと、
を含むことを特徴とする表示制御方法。 A video data acquisition step to acquire video data from multiple shooting units that shoot the surroundings of the vehicle,
A bird's-eye view video generation step that generates a bird's-eye view video by performing viewpoint conversion processing and composition processing on the video data acquired in the video data acquisition step.
Driving to acquire the first driver information of the driver of the vehicle when the vehicle retracts and enters the garage, and the second driver information of the driver when the vehicle advances from the warehousing state and leaves the garage. Person information acquisition step and
A comparison step of comparing the first driver information with the second driver information and comparing the driver at the time of entering and exiting the vehicle, and a comparison step.
If it is determined in the comparison step that the second driver information when the vehicle leaves the garage is different from the first driver information, the bird's-eye view image generated in the bird's-eye view image generation step when the vehicle leaves the garage is displayed on the display unit. Display control steps to be displayed and
A display control method characterized by including.

車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、
前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、
前記車両が後退して入庫したときにおける前記車両の運転者の第一運転者情報、および、前記車両が入庫状態から前進して出庫するときにおける前記運転者の第二運転者情報を取得する運転者情報取得ステップと、
前記第一運転者情報と前記第二運転者情報とを比較して、前記車両の入庫時と出庫時の前記運転者を比較する比較ステップと、
前記比較ステップで、前記車両が出庫するときの前記第二運転者情報が前記第一運転者情報と異なると判定した場合、出庫するときに前記俯瞰映像生成ステップで生成する俯瞰映像を表示部に表示させる表示制御ステップと、
を表示制御装置として動作するコンピュータに実行させるためのプログラム。
A video data acquisition step to acquire video data from multiple shooting units that shoot the surroundings of the vehicle,
A bird's-eye view video generation step that generates a bird's-eye view video by performing viewpoint conversion processing and composition processing on the video data acquired in the video data acquisition step.
Driving to acquire the first driver information of the driver of the vehicle when the vehicle retracts and enters the garage, and the second driver information of the driver when the vehicle advances from the warehousing state and leaves the garage. Person information acquisition step and
A comparison step of comparing the first driver information with the second driver information and comparing the driver at the time of entering and exiting the vehicle, and a comparison step.
If it is determined in the comparison step that the second driver information when the vehicle leaves the garage is different from the first driver information, the bird's-eye view image generated in the bird's-eye view image generation step when the vehicle leaves the garage is displayed on the display unit. Display control steps to be displayed and
A program that allows a computer that operates as a display control device to execute.