JP7228614B2 - 画像表示システム - Google Patents

Description

本発明は、画像表示システムに関する。

従来、車両等の移動体とこの移動体の周囲の物標とを仮想視点から見た画像（以下、「仮想視点画像」と称する）を表示可能な画像表示システムが知られている。

例えば、特許文献１には、目標駐車領域の少なくとも一部と車両の少なくとも一部との両方が表示領域に含まれ続けるような仮想視点画像を生成する画像生成部と、仮想視点画像を表示装置に出力する出力部と、を含む周辺監視装置が開示されている。

特開２０２０－４３４１８号公報

上記のような画像表示システムでは、移動体の周りに設定された軌道に沿って仮想視点を移動させる場合がある。このような場合に、移動体及び物標を前方から見た仮想視点画像が表示されると、実際の空間上において物標が移動体の左右のどちらにあるのかをユーザが把握しにくくなる可能性がある。

本発明は、以上の背景に鑑み、実際の空間上において物標が移動体の左右のどちらにあるのかをユーザに容易に把握させることを課題とする。

上記課題を解決するために本発明のある態様は、画像表示システム（１）であって、移動体（Ｖ）の周囲の外界情報を取得する外界情報取得装置（１９）と、前記外界情報取得装置が取得した前記外界情報を表示する表示装置（３２）と、前記表示装置による前記外界情報の表示を制御する制御装置（１５）と、を備え、前記制御装置は、前記移動体と前記移動体の周囲の物標（Ｙ）とを仮想視点（Ａ）から見た仮想視点画像（５１）を生成して前記表示装置に表示させ、前記移動体の周りに設定された軌道（Ｂ）に沿って前記仮想視点を移動させ、前記軌道のうちの平面視で前記移動体の前方に位置する部分に制限領域（Ｃ）を設定し、前記制限領域内にある前記仮想視点から見た前記仮想視点画像の表示を制限する視点制限制御を実行可能に設けられている。

この態様によれば、移動体及び物標を前方から見た仮想視点画像の表示を制限することで、実際の空間上において物標が移動体の左右のどちらにあるのかをユーザに容易に把握させることができる。

上記の態様において、前記制御装置は、前記移動体から後方を見た画像を左右に反転させた後方反転画像（５２）を生成して前記表示装置に表示させても良い。

この態様によれば、表示装置上の画像が仮想視点画像と後方反転画像のいずれか一方から他方に切り替わる際に、これらの画像に含まれる物標の位置が移動体の左右いずれか一方側から他方側へと移動する可能性がある。このような物標の移動が発生すると、実際の空間上において物標が移動体の左右のどちらにあるのかをユーザが把握しにくくなる可能性がある。そこで、上記のように移動体及び物標を前方から見た仮想視点画像の表示を制限することで、上記のような物標の移動を抑制することができる。そのため、実際の空間上において物標が移動体の左右のどちらにあるのかをユーザに容易に把握させることができる。

上記の態様において、前記移動体のシフトレンジは、前記移動体を前進させる前進レンジと、前記移動体を後進させる後進レンジと、を含む複数のレンジの間で切り替え可能に設けられ、前記制御装置は、前記移動体の前記シフトレンジが前記前進レンジであるときに、前記視点制限制御を実行しても良い。

この態様によれば、移動体のシフトレンジが前進レンジであるときに、実際の空間上において物標が移動体の左右のどちらにあるのかをユーザに容易に把握させることができる。

上記の態様において、前記制御装置は、前記移動体の前記シフトレンジが前記後進レンジであるときに、前記視点制限制御を実行しなくても良い。

この態様によれば、移動体のシフトレンジが後進レンジであるときに、視点制限制御によって仮想視点画像の表示が制限されないため、移動体の周囲に対するユーザの視認性を向上させることができる。

上記の態様において、前記制御装置は、前記移動体から後方を見た画像を左右に反転させた後方反転画像を生成し、前記移動体の前記シフトレンジが前記後進レンジであるときに、前記後方反転画像を前記表示装置に表示させても良い。

この態様によれば、移動体のシフトレンジが後進レンジであるときに後方反転画像を表示することで、移動体の周囲に対するユーザの視認性を一層向上させることができる。

上記の態様において、前記表示装置が前記仮想視点画像を表示している状態で前記移動体の前記シフトレンジが前記前進レンジから前記後進レンジに切り替わった場合に、前記制御装置は、前記仮想視点画像を前記後方反転画像に切り替えても良い。

この態様によれば、シフトレンジの切り替えに応じて、表示装置上の画像も切り替え後のシフトレンジに適した画像に切り替わるため、移動体の周囲に対するユーザの視認性を一層向上させることができる。一方で、上記のように表示装置上の画像が仮想視点画像から後方反転画像に切り替わると、これらの画像に含まれる物標の位置が移動体の左右いずれか一方側から他方側へと移動する可能性がある。そこで、上記のように移動体及び物標を前方から見た仮想視点画像の表示を制限することで、上記のような物標の移動を抑制することができる。そのため、実際の空間上において物標が移動体の左右のどちらにあるのかをユーザに容易に把握させることができる。

上記の態様において、前記制御装置は、前記移動体の停止位置を探索する探索処理を実行可能に設けられ、前記探索処理の実行中に前記視点制限制御を実行しても良い。

この態様によれば、移動体の停止位置の探索中に視点制限制御を実行することで、停止位置が移動体の左右のどちらにあるのかをユーザに容易に把握させることができる。

上記の態様において、前記視点制限制御の実行中に、前記制御装置は、前記仮想視点が前記制限領域に進入するのを許容しつつ、前記仮想視点が前記制限領域内にある間は前記仮想視点画像の表示を制限しても良い。

この態様によれば、視点制限制御の実行中でも仮想視点が制限領域を通過できるため、制限領域の一方側の領域から制限領域の他方側の領域へと仮想視点を速やかに移動させることができる。そのため、ユーザの利便性が向上する。

上記の態様において、前記視点制限制御の実行中に、前記制御装置は、前記仮想視点が前記制限領域に進入するのを制限しても良い。

この態様によれば、仮想視点が制限領域に進入すること自体を制限することで、制限領域内にある仮想視点から見た仮想視点画像の表示が制限されることをユーザに確実に認識させることができる。

以上の構成によれば、実際の空間上において物標が移動体の左右のどちらにあるのかをユーザに容易に把握させることができる。

実施形態に係る駐車支援システムが搭載される車両の機能構成図 実施形態に係る駐車支援システムの自動入庫処理のフローチャート 実施形態に係る駐車支援システムの（Ａ）目標駐車位置受付処理中、（Ｂ）駆動処理中、及び（Ｃ）車両の駐車位置への移動が完了したときのタッチパネルの画面表示を示す図 実施形態に係る駐車支援システムにおいて、仮想視点が制限領域外にある状態を示す平面図 実施形態に係る駐車支援システムにおいて、仮想視点が制限領域内にある状態を示す平面図 実施形態に係る駐車支援システムにおいて、（Ａ）仮想視点画像及び俯瞰画像が表示されたタッチパネルの画面を示す図（Ｂ）仮想視点画像及び俯瞰画像が表示されたタッチパネルの画面を示す図（Ｃ）後方反転画像及び俯瞰画像が表示されたタッチパネルの画面を示す図 実施形態に係る駐車支援システムにおいて、探索処理中にタッチパネルに表示される画像を示す表

以下、図面を参照して、本発明の実施形態について詳細に説明する。

駐車支援システム１（画像表示システムの一例）は車両Ｖ（移動体の一例：本実施形態では自動車）を自律走行させる車両制御システム２を備えた車両Ｖに搭載される。

図１に示すように、車両制御システム２は、推進装置４、ブレーキ装置５、ステアリング装置６、外界センサ７、車両センサ８、ナビゲーション装置１０、運転操作子１１、運転操作センサ１２、状態検出センサ１３、ＨＭＩ１４、及び制御装置１５を有している。車両制御システム２の各構成は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信手段によって信号伝達可能に互いに接続されている。

推進装置４は車両Ｖに駆動力を付与する装置であり、例えば動力源及び変速機を含む。動力源はガソリンエンジンやディーゼルエンジン等の内燃機関及び電動機の少なくとも一方を有する。本実施形態では、推進装置４は自動変速機１６（動力伝達機構の一例）と、自動変速機１６のシフトレンジ（シフト位置）を変更するシフトアクチュエータ１７とを含む。ブレーキ装置５は車両Ｖに制動力を付与する装置であり、例えばブレーキロータにパッドを押し付けるブレーキキャリパと、ブレーキキャリパにブレーキ圧（油圧）を供給する電動シリンダとを含む。ブレーキ装置５はワイヤケーブルによって車輪の回転を規制する電動のパーキングブレーキ装置を含んでもよい。ステアリング装置６は車輪の舵角を変えるための装置であり、例えば車輪を転舵するラックアンドピニオン機構と、ラックアンドピニオン機構を駆動する電動モータとを有する。推進装置４、ブレーキ装置５、及びステアリング装置６は、制御装置１５によって制御される。

外界センサ７は車両Ｖの周辺からの電磁波や音波等を捉えて、車外の物体等を検出し、車両Ｖの周辺情報を取得する装置（外界取得装置）である。外界センサ７はソナー１８及び車外カメラ１９を含んでいる。外界センサ７はミリ波レーダやＬｉＤＡＲ（ライダ）を含んでいてもよい。外界センサ７は検出結果を制御装置１５に出力する。

ソナー１８はいわゆる超音波センサであり、超音波を車両Ｖの周囲に発射し、その反射波を捉えることにより物体の位置（距離及び方向）を検出する。ソナー１８は車両Ｖの後部及び前部にそれぞれ複数設けられている。本実施形態では、ソナー１８はリアバンパに左右一対、フロントバンパに左右一対、車両Ｖの左右側面前端及び後端にそれぞれ１個ずつ、合計８個設けられている。リアバンパに設けられたソナー１８は主に車両Ｖの後方にある物体の位置を検出し、フロントバンパに設けられたソナー１８は主に車両Ｖの前方にある物体の位置を検出する。車両Ｖの左右側面前端に設けられたソナー１８はそれぞれ車両Ｖの前端の左右外方にある物体の位置を検出し、車両Ｖの左右側面後端に設けられたソナー１８はそれぞれ車両Ｖの後端の左右外方にある物体の位置を検出する。

車外カメラ１９は車両Ｖの周囲を撮像する装置であり、例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。車外カメラ１９は車両Ｖの前方を撮像する前方カメラと後方を撮像する後方カメラとを含んでいる。車外カメラ１９は車両Ｖのドアミラー設置場所近傍に設けられ、左右側部を撮像する左右一対の側方カメラを含んでいるとよい。

車両センサ８は、車両Ｖの車速を検出する車速センサ８ａ、車両Ｖの加速度を検出する加速度センサ、車両Ｖの鉛直軸回りの角速度を検出するヨーレートセンサ、車両Ｖの向きを検出する方位センサ等を含む。車速センサ８ａは、例えば車輪速（各車輪の回転速度）を検出する複数の車輪速センサによって構成される。ヨーレートセンサは、例えばジャイロセンサである。

ナビゲーション装置１０は車両Ｖの現在位置を取得し、目的地への経路案内等を行う装置であり、ＧＰＳ受信部２０、及び地図記憶部２１を有する。ＧＰＳ受信部２０は人工衛星（測位衛星）から受信した信号に基づいて車両Ｖの位置（緯度や経度）を特定する。地図記憶部２１は、フラッシュメモリやハードディスク等の公知の記憶装置によって構成され、地図情報を記憶している。

運転操作子１１は車室内に設けられ、車両Ｖを制御するためにユーザが行う入力操作を受け付ける。運転操作子１１は、ステアリングホイール２２、アクセルペダル２３、ブレーキペダル２４（制動操作子）、及び、シフトレバー２５を含む。

運転操作センサ１２は、対応する運転操作子１１の操作量を検出する。運転操作センサ１２は、ステアリングホイール２２の回転角を検出する舵角センサ２６、及び、ブレーキペダル２４の踏込量を検出するブレーキセンサ２７、及び、アクセルペダル２３の踏込量を検出するアクセルセンサ２８を含む。運転操作センサ１２は検出した操作量をそれぞれ制御装置１５に出力する。

状態検出センサ１３は乗員の操作による車両Ｖの状態変化を検出するためのセンサである。状態検出センサ１３が検出する乗員の操作には、降車意思に対応する乗員の操作、及び、駐車動作中の車両Ｖの周辺監視を放棄することに対応する乗員の操作を含む。状態検出センサ１３は、降車意思に対応する乗員の操作を検出するためのセンサとして、車両Ｖのドアの開閉を検出するドア開閉センサ２９と、シートベルトの装着状態を検出するシートベルトセンサ３０とを含む。状態検出センサ１３は、駐車動作中の車両Ｖの周辺監視を放棄することに対応する乗員の操作を検出するためのセンサとして、ドアミラーの位置を検出するドアミラー位置センサ３１を含む。状態検出センサ１３は検出した車両Ｖの状態変化を示す信号をそれぞれ制御装置１５に出力する。

ＨＭＩ１４は、乗員に対して表示や音声によって各種情報を通知するとともに、乗員から入力操作を受け付ける出入力装置である。ＨＭＩ１４は、例えば、液晶や有機ＥＬ等の表示画面を有し、乗員からの画面への入力操作を受け付けるタッチパネル３２と、ブザーやスピーカ等の音発生装置３３と、駐車メインスイッチ３４と、選択操作子３５とを含む。駐車メインスイッチ３４は乗員から自動入庫や自動出庫等の自動駐車に係る入力操作を受け付ける。駐車メインスイッチ３４は乗員から押圧（プッシュ）操作が行われたときにのみオンとなる、いわゆるモーメンタリスイッチである。選択操作子３５は乗員から自動入庫や自動出庫等の自動駐車に係る選択操作を受け付ける。選択操作子３５は回転式であり、より好ましくは押し込むことで選択可能なセレクトスイッチであるとよい。

制御装置１５は、ＣＰＵ、不揮発性メモリ（ＲＯＭ）、及び、揮発性メモリ（ＲＡＭ）等を含む電子制御装置（ＥＣＵ）である。制御装置１５はＣＰＵでプログラムに沿った演算処理を実行することで、各種の車両制御を実行する。制御装置１５は１つのハードウェアとして構成されていてもよく、複数のハードウェアからなるユニットとして構成されていてもよい。また、制御装置１５の各機能部の少なくとも一部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ等のハードウェアによって実現されてもよく、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。

また、制御装置１５はプログラムに沿った演算処理を実行することで、車外カメラ１９により撮影された画像（映像）の変換処理を行い、車両Ｖ及びその周辺の平面視に相当する俯瞰画像４７や、車両Ｖ及びその進行方向の周辺を上方から見た三次元画像に相当する鳥瞰画像４８を生成する。制御装置１５は、前方カメラ、後方カメラ及び左右の側方カメラの各画像を組み合わせて俯瞰画像４７を生成し、進行方向を向く前方カメラ又は後方カメラの画像と左右の側方カメラの画像とを組み合わせて鳥瞰画像４８を生成するとよい。

駐車支援システム１は乗員によって選択された所定の目標位置（目標駐車位置、又は目標出庫位置）に車両Ｖを自律的に移動させて入庫及び出庫させる、いわゆる自動駐車を行うためのシステムである。

駐車支援システム１は、車外カメラ１９（外界情報取得装置の一例）と、タッチパネル３２（表示装置及び入力装置の一例）と、制御装置１５と、を備えている。車外カメラ１９は、車両Ｖの周辺画像（車両Ｖの周囲の外界情報の一例）を撮影する。タッチパネル３２は、車外カメラ１９が撮影した周辺画像を表示する。制御装置１５は、乗員による入力操作に応じてタッチパネル３２による周辺画像の表示を制御する。

制御装置１５は、推進装置４やブレーキ装置５、ステアリング装置６を制御して、車両Ｖに、目標駐車位置に車両Ｖを自律的に移動させて入庫させる自律的な入庫動作、及び目標出庫位置に車両Ｖを自律的に移動させて出庫させる自律的な出庫動作をそれぞれ実行させることができる。このような制御を行うため、制御装置１５は、外界認識部４１、自車位置特定部４２、行動計画部４３、走行制御部４４、及び表示制御部４５を含む。

外界認識部４１は、外界センサ７の検出結果に基づいて、車両Ｖの周辺に存在する例えば、駐車車両や壁などの障害物を認識し、障害物に関する位置や大きさ等の情報を取得する。また、外界認識部４１は車外カメラ１９によって取得した画像をパターンマッチング等の公知の画像解析手法に基づいて解析し、車止め（輪止め）や障害物の有無及びその大きさを取得する。更に、外界認識部４１はソナー１８からの信号を用いて障害物までの距離を算出し、障害物の位置を取得するとよい。

外界認識部４１はまた、外界センサ７の検出結果、より具体的には車外カメラ１９によって撮像された画像をパターンマッチング等の公知の画像解析手法に基づいて解析し、例えば、道路標示により区画された道路上の車線や、道路や駐車場等の路面に描かれた白線等により区画された駐車枠を取得することができる。

自車位置特定部４２は、ナビゲーション装置１０のＧＰＳ受信部２０からの信号に基づいて、車両Ｖ（自車両）の位置を検出する。また、自車位置特定部４２はＧＰＳ受信部２０からの信号に加えて、車両センサ８から車速やヨーレートを取得し、いわゆる慣性航法を用いて車両Ｖの位置及び姿勢を特定してもよい。

走行制御部４４は、行動計画部４３からの走行制御の指示に基づいて、推進装置４、ブレーキ装置５、及びステアリング装置６を制御し、車両Ｖを走行させる。

表示制御部４５は、車両Ｖの周辺画像を生成し、生成した周辺画像をタッチパネル３２に表示させる。表示制御部４５は、乗員による入力操作や行動計画部４３からの指示に基づいて、タッチパネル３２に表示させる周辺画像を切り替える。

行動計画部４３は、車両Ｖが所定の状態にあり、且つＨＭＩ１４や駐車メインスイッチ３４にユーザから自動駐車を希望することに対応する所定の入力があったときに、自動駐車処理を行う。具体的には、行動計画部４３は、車両Ｖが停止している又は車両Ｖが所定の駐車位置候補探索可能車速以下の低速で走行しているときに、対応する所定の入力があった場合に、自動入庫処理を行う。また、行動計画部４３は、車両Ｖが停止しているときに、対応する所定の入力があったときに、自動出庫処理（縦列駐車出庫処理）を行う。自動駐車処理及び自動出庫処理のうち、行うべき処理の選択は、行動計画部４３が車両Ｖの状態に基づいて判定してもよく、タッチパネル３２、又は選択操作子３５を介して乗員により選択されてもよい。自動入庫処理を行う場合には、行動計画部４３は、最初に目標駐車位置を設定するための駐車検索画面をタッチパネル３２に表示させ、目標駐車位置の設定後、入庫画面をタッチパネル３２に表示させる。自動出庫処理を行う場合には、行動計画部４３は、目標出庫位置を設定するための出庫検索画面をタッチパネル３２に表示させ、目標出庫位置の設定後、出庫画面をタッチパネル３２に表示させる。

自動入庫処理について図２を参照して説明を行う。行動計画部４３は最初に駐車可能位置の取得を行う取得処理（ステップＳＴ１）を行う。より具体的には、車両Ｖが停止している場合には、行動計画部４３はまず、ＨＭＩ１４のタッチパネル３２に乗員に車両Ｖを直進させるように指示する通知を表示させる。運転席に着座する乗員（以下、運転者）が車両Ｖを直進させている間に、外界認識部４１は外界センサ７からの信号に基づいて、障害物の位置及び大きさと、路面に描かれた白線の位置とを取得する。外界認識部４１は取得した障害物の位置及び大きさと白線とに基づいて、自車を駐車可能な大きさの利用可能な駐車空間（障害物がない空間）及び白線等により区画される他車両が停まっていない利用可能な空き駐車枠（以下、空き駐車空間と空き駐車枠とを併せて駐車可能位置という）を抽出する。

次に、行動計画部４３は、車両Ｖの現在地から抽出した駐車可能位置に至るまでの車両Ｖの軌道を算出する軌道算出処理（ＳＴ２）を行う。車両Ｖの軌道を算出可能である場合、行動計画部４３は駐車可能位置を入庫可能な駐車位置候補に設定し、駐車位置候補をタッチパネル３２の画面（駐車検索画面）上に表示させる。障害物の存在により車両Ｖの軌道を算出できない場合、行動計画部４３は駐車可能位置を駐車位置候補に設定せず、駐車可能位置をタッチパネル３２の画面上に表示させない。行動計画部４３は、車両Ｖの軌道を算出可能な複数の駐車位置候補を設定した場合、これらの駐車位置候補をタッチパネル３２に表示させる。

次に、行動計画部４３は、タッチパネル３２に表示した駐車位置候補の中から乗員が駐車させたい目標駐車位置の選択操作を乗員から受け付ける目標駐車位置受付処理（ＳＴ３）を行う。より具体的には、行動計画部４３は、図３（Ａ）に示す駐車検索画面にて、俯瞰画像４７及び進行方向の鳥瞰画像４８を表示させる。行動計画部４３は、駐車位置候補を少なくとも１つ取得すると、これらの周辺画像の少なくとも１つに駐車位置候補を示す枠と、枠に対応するアイコン（駐車位置候補であることを示す記号（図３（Ａ）の「Ｐ」を参照））とを重ねて表示する。また行動計画部４３は、目標駐車位置の選択操作を受け付けるべく、運転者に車両Ｖを停止させて駐車位置（目標駐車位置）を設定するように指示する通知をタッチパネル３２の駐車検索画面上に表示させる。目標駐車位置の選択操作は、タッチパネル３２を介して行われてもよく、選択操作子３５を介して行われてもよい。

車両Ｖが停止し、目標駐車位置が運転者により選択された後、行動計画部４３は、タッチパネル３２の画面を駐車検索画面から入庫画面に切り替える。入庫画面は、図３（Ｂ）に示すように、タッチパネル３２の左半分に車両進行方向の正面画像４９を、右半分に車両Ｖ及びその周辺を含む俯瞰画像４７をそれぞれ表示した画面である。このとき、行動計画部４３は駐車位置候補から選択された目標駐車位置を示す太線の枠と、枠に対応するアイコン（目標駐車位置であることを示す、駐車位置候補のアイコンとは異なる色で表示された記号）とを俯瞰画像４７に重ねて表示するとよい。

目標駐車位置が設定され、タッチパネル３２の画面が入庫画面に切り替わった後、行動計画部４３は車両Ｖを算出された軌道に沿って走行させる駆動処理（ＳＴ４）を行う。このとき、行動計画部４３はＧＰＳ受信部２０によって取得した車両Ｖの位置や、車外カメラ１９、車両センサ８等の信号に基づいて、車両Ｖを算出された軌道に沿って走行するように制御する。このとき、行動計画部４３は、推進装置４、ブレーキ装置５、及びステアリング装置６を制御して、車両Ｖに前進及び後退を繰り返し行わせる切り返しを実行する。

駆動処理中において、行動計画部４３は車外カメラ１９から車両Ｖの進行方向の画像を取得し、タッチパネル３２の左半分に表示させるとよい。より具体的には、例えば、図３（Ｂ）に示すように、行動計画部４３は、車両Ｖが後退しているときにはタッチパネル３２の左半分に車外カメラ１９によって撮像された車両Ｖの後方の画像を表示させるとよい。行動計画部４３が駆動処理を実行している間、タッチパネル３２の右半分の俯瞰画像４７上の自車周辺の周辺画像は車両Ｖの移動に合わせて変化する。行動計画部４３は車両Ｖが駐車位置に到達すると、車両Ｖを停止させて、駆動処理を終了する。

駆動処理が終了すると、行動計画部４３は駐車処理（ＳＴ５）を実行する。駐車処理において行動計画部４３は最初に、シフトアクチュエータ１７を駆動させてシフトレンジ（シフト位置）を駐車レンジ（駐車位置）にする。その後、行動計画部４３は、パーキングブレーキ装置を駆動させ、行動計画部４３はタッチパネル３２の画面上に駐車が完了したことを示すポップアップ（図３（Ｃ）参照）を所定時間表示させる。その後、行動計画部４３は、タッチパネル３２の画面表示を、ナビゲーション装置１０の操作画面や地図画面に切り替えるとよい。

また、駐車処理において、行動計画部４３は、シフトアクチュエータ１７に異常がありシフトレンジを駐車レンジに変更できない場合や、パーキングブレーキ装置に異常があり、パーキングブレーキ装置を駆動させることができない場合には、タッチパネル３２の画面に異常原因を表示させるとよい。

＜シフトレンジ＞
行動計画部４３は、乗員（ユーザの一例）によるシフトレバー２５に対する操作に応じてシフトアクチュエータ１７を作動させ、少なくとも前進レンジと後進レンジと中立レンジと駐車レンジとの間で車両Ｖのシフトレンジを切り替える。前進レンジは、車両Ｖを前進させるシフトレンジである。後進レンジは、車両Ｖを後進させるシフトレンジである。中立レンジは、車輪が回転可能で、且つ、推進装置４の駆動力が車輪に伝達されないシフトレンジである。駐車レンジは、車輪の回転が規制され、且つ、推進装置４の駆動力が車輪に伝達されないシフトレンジである。

＜仮想視点画像５１及び後方反転画像５２＞
以下、図４～図６を参照しつつ、仮想視点画像５１及び後方反転画像５２（いずれも周辺画像の一例）について説明する。図４、図５の直線Ｌ１は車両Ｖの前後中心線Ｌ１（車両Ｖの前後方向中央を通過して左右方向に延びる直線）を示し、図４、図５の直線Ｌ２は車両Ｖの左右中心線Ｌ２（車両Ｖの左右方向中央を通過して前後方向に延びる直線）を示している。以下、画像上の左右関係と実際の空間上の左右関係が一致する画像のことを「正像」と称し、画像上の左右関係が実際の空間上の左右関係に対して反転する画像のことを「鏡像」と称する。

図４、図５を参照して、表示制御部４５は、車両Ｖの周りに仮想視点Ａの軌道Ｂ（以下、単に「軌道Ｂ」と称する）を設定する。仮想視点Ａは、車両Ｖの斜め上方（車両Ｖの外部）に設定されている。なお、他の実施形態では、仮想視点Ａは、車両Ｖと同じ高さに設定されていても良い。軌道Ｂは、平面視で車両Ｖを中心とする正円形状を成している。なお、他の実施形態では、軌道Ｂは、上記の形状以外の形状（例えば、平面視で車両Ｖを中心とする楕円形状や多角形状、側面視で車両Ｖを中心とする円弧形状、車両Ｖを中心とするドーム形状）を成していても良い。図４、図５の角度θは、仮想視点Ａから車両Ｖとその周辺の物標Ｙを見下ろすときの視野角を例示している。物標Ｙには、車両Ｖの駐車位置Ｘ（停止位置の一例）を区画する区画線Ｙ１、障害物Ｙ２、他車両（図示せず）などが含まれる。

表示制御部４５は、軌道Ｂのうちの平面視で車両Ｖの前方に位置する部分に、円弧状の制限領域Ｃを設定する。本実施形態では、制限領域Ｃの全体が車両Ｖの前端部Ｖａよりも前方に位置している。なお、他の実施形態では、制限領域Ｃの一部が車両Ｖの前端部Ｖａよりも後方に位置していても良い。制限領域Ｃは、平面視で車両Ｖの左右中心線Ｌ２と交差している。制限領域Ｃの左右中心は、車両Ｖの左右中心線Ｌ２上に位置している。なお、図４は仮想視点Ａが制限領域Ｃ外にある状態を示しており、図５は仮想視点Ａが制限領域Ｃ内（制限領域Ｃの左右中心）にある状態を示している。

図６（Ａ）、図６（Ｂ）を参照して、表示制御部４５は、車外カメラ１９が撮影した画像に画像処理を施すことで仮想視点画像５１を生成し、生成した仮想視点画像５１を前述の俯瞰画像４７と共にタッチパネル３２に表示させる。仮想視点画像５１は、車両Ｖとその周囲の物標Ｙとを仮想視点Ａから見下ろした三次元画像（正像）である。図６（Ａ）は、制限領域Ｃ外にある仮想視点Ａ（図４参照）から見下ろした仮想視点画像５１を示している。図６（Ｂ）は、制限領域Ｃ内にある仮想視点Ａ（図５参照）から見下ろした仮想視点画像５１を示している。

表示制御部４５は、乗員によるタッチパネル３２に対する左右方向へのスワイプ操作（入力操作の一例）に応じて、軌道Ｂに沿って仮想視点Ａを水平方向に連続的に移動させる。このように仮想視点Ａが連続的に移動すると、仮想視点画像５１における車両Ｖの角度や物標Ｙの位置が連続的に変化する。なお、他の実施形態では、表示制御部４５は、乗員によるタッチパネル３２に対する上下方向へのスワイプ操作に応じて、仮想視点Ａを上下方向に連続的に移動させても良い。また、他の実施形態では、表示制御部４５は、乗員によるスワイプ操作以外の操作（例えば、タップ操作）に応じて仮想視点Ａを移動させても良いし、乗員によるタッチパネル３２以外の構成要素（例えば、タッチパネル３２の周りに設けられたボタン）に対する操作に応じて仮想視点Ａを移動させても良い。

図６（Ａ）、図６（Ｂ）を参照して、表示制御部４５は、仮想視点画像５１の下部と重なるように操作促進画像５４を表示する。操作促進画像５４は、乗員によるタッチパネル３２に対するスワイプ操作を促す画像である。操作促進画像５４は、手の画像と、手の画像の左右両側に配置される一対の矢印画像とによって構成されている。なお、他の実施形態では、操作促進画像５４は、手の画像や矢印画像以外の画像によって構成されていても良い。

図６（Ｃ）を参照して、表示制御部４５は、車外カメラ１９が撮影した画像に画像処理を施すことで後方反転画像５２を生成し、生成した後方反転画像５２を前述の俯瞰画像４７と共にタッチパネル３２に表示させる。後方反転画像５２は、車両Ｖから後方を見た画像を左右に反転させた画像（鏡像）である。表示制御部４５は、後方反転画像５２と重なるようにガイド枠５５を表示する。ガイド枠５５は、車両Ｖが所定の距離だけ後進したときの車両Ｖの輪郭を示す枠である。

＜探索処理中にタッチパネル３２に表示される画像＞
行動計画部４３は、車両Ｖの駐車位置Ｘを探索する探索処理を実行可能に設けられている。探索処理は、前述の自動入庫処理における取得処理、軌道算出処理、及び目標駐車位置受付処理に相当する処理である。以下、車両Ｖの前方の鳥瞰画像４８（図３（Ａ）参照）のことを「前方鳥瞰画像４８」と称する。以下、探索処理の実行中にタッチパネル３２の左半分に表示される画像についてのみ説明を行い、探索処理の実行中にタッチパネル３２の右半分に表示される画像（即ち、俯瞰画像４７）については説明を省略する。

図７を参照して、乗員が駐車位置Ｘを選択しておらず、且つ、車両Ｖのシフトレンジが前進レンジであるときに、表示制御部４５は、前方鳥瞰画像４８又は仮想視点画像５１をタッチパネル３２に表示させる。一方で、乗員が駐車位置Ｘを選択しておらず、且つ、車両Ｖのシフトレンジが後進レンジであるときに、表示制御部４５は、後方反転画像５２をタッチパネル３２に表示させる。

乗員が駐車位置Ｘを選択しておらず、且つ、タッチパネル３２が前方鳥瞰画像４８又は仮想視点画像５１を表示している状態で、車両Ｖのシフトレンジが前進レンジから後進レンジに切り替わる場合がある。このような場合に、表示制御部４５は、前方鳥瞰画像４８又は仮想視点画像５１を後方反転画像５２に切り替える。これとは逆に、乗員が駐車位置Ｘを選択しておらず、且つ、タッチパネル３２が後方反転画像５２を表示している状態で、車両Ｖのシフトレンジが後進レンジから前進レンジに切り替わる場合がある。このような場合に、表示制御部４５は、後方反転画像５２を前方鳥瞰画像４８又は仮想視点画像５１に切り替える。

乗員が駐車位置Ｘを選択しており、且つ、車両Ｖのシフトレンジが前進レンジであるときに、表示制御部４５は、前方鳥瞰画像４８をタッチパネル３２に表示させる。一方で、乗員が駐車位置Ｘを選択しており、且つ、車両Ｖのシフトレンジが後進レンジであるときに、表示制御部４５は、後方反転画像５２をタッチパネル３２に表示させる。

乗員が駐車位置Ｘを選択しており、且つ、タッチパネル３２が前方鳥瞰画像４８を表示している状態で、車両Ｖのシフトレンジが前進レンジから後進レンジに切り替わる場合がある。このような場合に、表示制御部４５は、前方鳥瞰画像４８を後方反転画像５２に切り替える。これとは逆に、乗員が駐車位置Ｘを選択しており、且つ、タッチパネル３２が後方反転画像５２を表示している状態で、車両Ｖのシフトレンジが後進レンジから前進レンジに切り替わる場合がある。このような場合に、表示制御部４５は、後方反転画像５２を前方鳥瞰画像４８に切り替える。

以上のように、探索処理の実行中において、表示制御部４５は、車両Ｖのシフトレンジが前進レンジである場合に限って仮想視点画像５１をタッチパネル３２に表示させる。なお、他の実施形態では、探索処理の実行中において、表示制御部４５は、車両Ｖのシフトレンジが前進レンジ以外のレンジ（例えば、後進レンジ）になっている場合も仮想視点画像５１をタッチパネル３２に表示させても良い。

また、探索処理の実行中に車両Ｖのシフトレンジが後進レンジである場合に、表示制御部４５は、後方反転画像５２のみをタッチパネル３２に表示させる。そのため、車両Ｖの周囲に対する乗員の視認性を向上させることができる。なお、他の実施形態では、探索処理の実行中に車両Ｖのシフトレンジが後進レンジである場合に、表示制御部４５は、後方反転画像５２以外の画像（例えば、仮想視点画像５１）をタッチパネル３２に表示させても良い。

＜視点制限制御＞
上記のように、乗員が駐車位置Ｘを選択しておらず、且つ、タッチパネル３２が仮想視点画像５１を表示している状態で、車両Ｖのシフトレンジが前進レンジから後進レンジに切り替わると、表示制御部４５は、仮想視点画像５１を後方反転画像５２に切り替える。以下、このような仮想視点画像５１から後方反転画像５２への切り替えに伴って生じる課題について説明する。

図６（Ｂ）は、制限領域Ｃ内にある仮想視点Ａ（車両Ｖの前方にある仮想視点Ａ）から見下ろした仮想視点画像５１（正像）を示している。この仮想視点画像５１では、障害物Ｙ２が車両Ｖの左側に表示されている。一方で、図６（Ｃ）は、車両Ｖから後方を見た画像を左右に反転させた後方反転画像５２（鏡像）を示している。この後方反転画像５２では、図６（Ｂ）と同じ障害物Ｙ２が車両Ｖの右側に表示されている。このように、仮想視点画像５１が後方反転画像５２に切り替わると、正像が鏡像に切り替わることで、これらの画像に含まれる物標Ｙの位置が車両Ｖの左右いずれか一方側から他方側へと移動する可能性がある。このような物標Ｙの移動が発生すると、実際の空間上において物標Ｙが車両Ｖの左右のどちらにあるのかを乗員が把握しにくくなる可能性がある。

そこで、探索処理の実行中において車両Ｖのシフトレンジが前進レンジにあるときに、表示制御部４５は、視点制限制御を実行する。この視点制限制御において、表示制御部４５は、制限領域Ｃ内にある仮想視点Ａから見た仮想視点画像５１の表示を制限する。これにより、車両Ｖ及び物標Ｙを前方から見下ろした仮想視点画像５１の表示が制限されるため、上記のような物標Ｙの移動を抑制することができる。そのため、実際の空間上において物標Ｙや駐車位置Ｘが車両Ｖの左右のどちらにあるのかを乗員に容易に把握させることができる。

また、視点制限制御の実行中に、表示制御部４５は、仮想視点Ａが制限領域Ｃに進入するのを許容しつつ、仮想視点Ａが制限領域Ｃ内にある間は仮想視点画像５１の表示を制限する。このように視点制限制御の実行中に仮想視点Ａが制限領域Ｃに進入するのを許容することで、視点制限制御の実行中でも仮想視点Ａが制限領域Ｃを通過可能となる。そのため、制限領域Ｃの左右一方側の領域から制限領域Ｃの左右他方側の領域へと仮想視点Ａを速やかに移動させることができ、乗員の利便性が向上する。

具体的には、視点制限制御の実行中に、表示制御部４５は、仮想視点Ａが制限領域Ｃ内にある間は、仮想視点画像５１の代わりに単色画像（例えば、黒色画像）をタッチパネル３２にさせる。このときに、表示制御部４５は、単色画像と重なるように、仮想視点Ａが制限領域Ｃ内にある間は仮想視点画像５１の表示が制限されることを示すメッセージをタッチパネル３２に表示させても良い。なお、他の実施形態では、表示制御部４５は、仮想視点Ａが制限領域Ｃ内にある間は、車両Ｖや物標Ｙを認識できないレベルまで仮想視点画像５１の解像度を低下させても良い。このように、「仮想視点画像５１の表示を制限すること」には、「仮想視点画像５１を表示しないこと」と「仮想視点画像５１を見えにくくすること」の両方が含まれる。

なお、他の実施形態では、視点制限制御の実行中に、表示制御部４５は、仮想視点Ａが制限領域Ｃに進入すること自体を制限しても良い。これにより、制限領域Ｃ内にある仮想視点Ａから見た仮想視点画像５１の表示が制限されることを乗員に確実に認識させることができる。

なお、表示制御部４５は、車両Ｖのシフトレンジが後進レンジであるときに、視点制限制御を実行しない。これにより、車両Ｖのシフトレンジが後進レンジであるときに、視点制限制御によって仮想視点画像５１の表示が制限されないため、車両Ｖの周囲に対する乗員の視認性を向上させることができる。

＜その他の変形例＞
上記実施形態では、タッチパネル３２を表示装置及び入力装置の一例としている。一方で、他の実施形態では、車両Ｖと通信可能に設けられた通信機器（例えば、スマートフォン、タブレットＰＣ、携帯電話、ＰＤＡ等）を表示装置及び入力装置の一例としても良い。つまり、表示装置及び入力装置は必ずしも車両Ｖに搭載されていなくても良い。また、上記実施形態では、タッチパネル３２が表示装置と入力装置を兼ねている。一方で、他の実施形態では、別々の構成要素によって表示装置と入力装置が構成されていても良い。

上記実施形態では、乗員をユーザの一例としている。一方で、他の実施形態では、乗員以外の者（即ち、車外の者）をユーザの一例としても良い。

上記実施形態では、車外カメラ１９が撮影した画像を、外界情報取得装置が取得した外界情報の一例としている。一方で、他の実施形態では、車外カメラ１９が撮影した画像以外の情報（例えば、車内カメラが撮影した画像やＬｉＤＡＲが取得した点群データ）を、外界情報取得装置が取得した外界情報の一例としても良い。

上記実施形態では、車両Ｖ（特に、自動車）を移動体の一例としている。一方で、他の実施形態では、自動車以外の車両Ｖ（例えば、二輪車）を移動体の一例としても良いし、車両Ｖ以外の移動体（例えば、セグウェイ、船舶、航空機）を移動体の一例としても良い。

上記実施形態では、駐車支援システム１を画像表示システムの一例としている。一方で、他の実施形態では、駐車支援システム１以外のシステム（例えば、移動体走行システム）を画像表示システムの一例としても良い。

以上で具体的な実施形態の説明を終えるが、本発明は上記実施形態や変形例に限定されることなく、幅広く変形実施することができる。

１ ：駐車支援システム（画像表示システムの一例）
１５ ：制御装置
１９ ：車外カメラ（外界情報取得装置の一例）
３２ ：タッチパネル（表示装置及び入力装置の一例）
５１ ：仮想視点画像
５２ ：後方反転画像
Ａ ：仮想視点
Ｂ ：軌道
Ｃ ：制限領域
Ｖ ：車両（移動体の一例）
Ｖａ ：車両の前端部
Ｘ ：駐車位置（停止位置の一例）
Ｙ ：物標

Claims (8)

1. 画像表示システムであって、
   移動体の周囲の外界情報を取得する外界情報取得装置と、
   前記外界情報取得装置が取得した前記外界情報を表示する表示装置と、
   前記表示装置による前記外界情報の表示を制御する制御装置と、を備え、
   前記制御装置は、
   前記移動体と前記移動体の周囲の物標とを仮想視点から見た仮想視点画像を生成して前記表示装置に表示させ、
   前記移動体の周りに設定された軌道に沿って前記仮想視点を移動させ、
   前記軌道のうちの平面視で前記移動体の前方に位置する部分に制限領域を設定し、
   前記制限領域内にある前記仮想視点から見た前記仮想視点画像の表示を制限する視点制限制御を実行可能に設けられており、
   前記視点制限制御の実行中に、前記制御装置は、前記仮想視点が前記制限領域に進入するのを許容することを特徴とする画像表示システム。
2. 画像表示システムであって、
   移動体の周囲の外界情報を取得する外界情報取得装置と、
   前記外界情報取得装置が取得した前記外界情報を表示する表示装置と、
   前記表示装置による前記外界情報の表示を制御する制御装置と、を備え、
   前記制御装置は、
   前記移動体と前記移動体の周囲の物標とを仮想視点から見た仮想視点画像を生成して前記表示装置に表示させ、
   前記移動体の周りに設定された軌道に沿って前記仮想視点を移動させ、
   前記軌道のうちの平面視で前記移動体の前方に位置する部分に制限領域を設定し、
   前記制限領域内にある前記仮想視点から見た前記仮想視点画像の表示を制限する視点制限制御を実行可能に設けられており、
   前記移動体のシフトレンジは、前記移動体を前進させる前進レンジと、前記移動体を後進させる後進レンジと、を含む複数のレンジの間で切り替え可能に設けられ、
   前記制御装置は、前記移動体の前記シフトレンジが前記前進レンジであるときに、前記視点制限制御を実行することを特徴とする画像表示システム。
3. 前記制御装置は、前記移動体の前記シフトレンジが前記後進レンジであるときに、前記視点制限制御を実行しないことを特徴とする請求項２に記載の画像表示システム。
4. 前記制御装置は、前記移動体から後方を見た画像を左右に反転させた後方反転画像を生成し、前記移動体の前記シフトレンジが前記後進レンジであるときに、前記後方反転画像を前記表示装置に表示させることを特徴とする請求項３に記載の画像表示システム。
5. 前記表示装置が前記仮想視点画像を表示している状態で前記移動体の前記シフトレンジが前記前進レンジから前記後進レンジに切り替わった場合に、前記制御装置は、前記仮想視点画像を前記後方反転画像に切り替えることを特徴とする請求項４に記載の画像表示システム。
6. 画像表示システムであって、
   移動体の周囲の外界情報を取得する外界情報取得装置と、
   前記外界情報取得装置が取得した前記外界情報を表示する表示装置と、
   前記表示装置による前記外界情報の表示を制御する制御装置と、を備え、
   前記制御装置は、
   前記移動体と前記移動体の周囲の物標とを仮想視点から見た仮想視点画像を生成して前記表示装置に表示させ、
   前記移動体の周りに設定された軌道に沿って前記仮想視点を移動させ、
   前記軌道のうちの平面視で前記移動体の前方に位置する部分に制限領域を設定し、
   前記制限領域内にある前記仮想視点から見た前記仮想視点画像の表示を制限する視点制限制御を実行可能に設けられており、
   前記制御装置は、前記移動体の停止位置を探索する探索処理を実行可能に設けられ、前記探索処理の実行中に前記視点制限制御を実行することを特徴とする画像表示システム。
7. 前記視点制限制御の実行中に、前記制御装置は、前記仮想視点が前記制限領域内にある間は前記仮想視点画像の表示を制限することを特徴とする請求項１に記載の画像表示システム。
8. 前記視点制限制御の実行中に、前記制御装置は、前記仮想視点が前記制限領域に進入するのを制限することを特徴とする請求項２～６のいずれか１項に記載の画像表示システム。

Images