JP7119798B2 - 表示制御装置 - Google Patents

Description

本発明の実施形態は、表示制御装置に関する。

従来、車両の周囲に設けられた複数の撮像部によって車両の周辺を撮像し、その撮像された複数の撮像画像データ等を車室内の表示装置で表示することで、車両の周囲の状況を運転者に認識させる車両周辺監視装置が提案されている（例えば、特許文献１参照）。

特開２０１４－０３３４６９号公報

上述した従来技術においては、表示装置に複数の撮像画像データに基づいた合成画像データを表示した後、ユーザから受け付けた操作に従って、当該合成データを拡大する際、予め定められた部分領域の拡大に留まるため、表示の制御性を向上させるという点で更なる改善の余地がある。

本発明の実施形態にかかる表示制御装置は、一例として、車両の周辺領域を撮像する撮像部から撮像画像データを取得する画像取得部と、前記撮像画像データに基づく画像データを画面に表示する表示制御部と、前記画面上の任意の点の指定を受け付ける操作受付部と、を備え、前記操作受付部は、第１の合成画像データにおいて任意の第１の点の指定を受け付け、前記表示制御部は、前記操作受付部が前記第１の点の指定を受け付けた場合に、当該第１の合成画像データに含まれる、第１の点を拡大の中心とし、かつ、前記第１の点の表示位置が前記画面上で移動しない状態で、前記第１の合成画像データの表示を拡大するとともに、前記第１の合成画像データの前記第１の点に対応する、第２の合成画像データの第２の点を拡大の中心とし、かつ、前記第２の点の表示位置が前記画面上で移動しない状態で、前記第２の合成画像データの表示を拡大する。

よって、一例としては、画像データの表示の制御性を向上させることができる。また、複数の画面で別々に操作を行う必要がない。

前記表示制御部は、前記操作受付部が前記画面上の前記任意の点の指定を受け付けた後、前記操作受付部が所定の操作を受け付けた場合に前記画面の表示を拡大する。

よって、一例としては、ユーザが自覚的に操作でき、誤操作等を抑制することができる。

前記画像取得部は、複数の撮像部から複数の撮像画像データを取得し、前記表示制御部は、前記複数の撮像画像データに基づいて生成された合成画像データが表示された前記画面の表示を拡大する。

よって、一例としては、合成画像データの所定位置を拡大表示することができる。

本発明の実施形態にかかる表示制御装置は、車両の周辺領域を撮像する撮像部から撮像画像データを取得する画像取得部と、前記撮像画像データに基づく画像データを画面に表示する表示制御部と、前記画面上の任意の点の指定を受け付ける操作受付部と、を備え、前記表示制御部は、前記操作受付部が前記第１の点の指定を受け付けた場合に、前記撮像画像データに基づく第１の画像データと、前記撮像画像データに基づき、前記第１の画像データと異なる第２の画像データと、を前記画面に表示し、前記操作受付部は、前記第１の画像データの任意の第１の点の指定を受け付け、前記表示制御部は、前記第１の点に対応する、前記第２の画像データの第２の点を拡大の中心とし、かつ、前記第２の点の表示位置が前記画面上で移動しない状態で前記第２の画像データの表示を拡大し、前記第１の画像データの表示の拡大は行わない。

よって、一例としては、画像データの表示の制御性を向上させることができる。また、拡大を必要とする表示のみを選択して拡大することができる。

前記第１の合成画像データは、車両形状モデルを立体的に表示する立体画像データであって、前記表示制御部は、前記操作受付部が前記第２の合成画像データの表示において任意の点の指定を受け付け、前記第１の合成画像データの表示において、これと対応する点が前記車両形状モデルにより隠れている場合には、前記第１の合成画像データの表示における視点を移動して、前記対応する点が現れた状態とする。

よって、一例としては、ユーザが予め立体画像データの表示の視点移動を行わなくてよい。

前記表示制御部は、前記画面の表示を拡大し、または拡大解除する場合において、前記画面の表示を徐々に変化させる。

よって、一例としては、表示の一貫性が得られる。

図１は、実施形態１にかかる表示制御装置を搭載する車両の車室の一部が透視された状態の一例を示す斜視図である。 図２は、実施形態１にかかる表示制御装置を搭載する車両の一例を示す平面図である。 図３は、実施形態１にかかるＥＣＵの構成およびその周辺構成の一例を示すブロック図である。 図４は、実施形態１にかかるＥＣＵで実現されるソフトウェア構成を例示した図である。 図５は、実施形態１にかかる表示制御部による拡大制御の手順の一例を示すフロー図である。 図６は、実施形態１にかかる表示制御部による拡大制御の手順の他の例を示すフロー図である。 図７は、実施形態１にかかる表示制御部による拡大制御の手順のさらに他の例を示すフロー図である。 図８は、実施形態１にかかる表示制御部による拡大制御の解除の手順の一例を示すフロー図である。 図９は、比較例にかかる表示制御部による拡大制御の手順の一例を示すフロー図である。 図１０は、比較例にかかる表示制御部により表示される拡大画面の一例を示す図である。 図１１は、実施形態２にかかる表示制御部による拡大制御の手順の一例を示すフロー図である。 図１２は、実施形態２にかかる表示制御部による拡大制御の手順の他の例を示すフロー図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。

［実施形態１］
図１～図１０を用いて実施形態１について説明する。

（車両の構成）
図１は、実施形態１にかかる表示制御装置を搭載する車両１の車室２ａの一部が透視された状態の一例を示す斜視図である。図２は、実施形態１にかかる表示制御装置を搭載する車両１の一例を示す平面図である。

実施形態１の車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができ、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

図１に示すように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。

また、車室２ａ内には、表示装置８、および音声出力装置９が設けられている。音声出力装置９は、例えば、スピーカである。表示装置８は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｓｐｌａｙ）等である。表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で、手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これらの表示装置８、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向、すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができる。またさらに、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

図１、図２に示すように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。

また、車体２には、複数の撮像部１５として、例えば４つの撮像部１５ａ～１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＩＳ（ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで撮像画像データを出力することができる。撮像画像データは動画データであってもよい。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°以上２２０°以下の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている場合もある。これにより、撮像部１５は、車両１が移動可能な路面や物体を含む車両１の外部の周辺の環境を逐次撮影し、撮像画像データとして出力する。ここで、物体は、車両１の走行時等に障害物となり得る岩、樹木、人間、自転車、他の車両等である。

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウインドウの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパやフロントグリル等に設けられている。撮像部１５ｄは、例えば、車体２の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられている。

（ＥＣＵのハードウェア構成）
次に、図３を用いて、実施形態１のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１４、及びＥＣＵ１４の周辺構成について説明する。図３は、実施形態１にかかるＥＣＵ１４の構成およびその周辺構成を示すブロック図である。

図３に示すように、表示制御装置としてのＥＣＵ１４の他、モニタ装置１１、操舵システム１３、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等は、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）として構成されている。

ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。

また、ＥＣＵ１４は、複数の撮像部１５で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。なお、俯瞰画像は、平面画像とも称されうる。

ＥＣＵ１４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、フラッシュメモリ等であるＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）１４ｆ等を有している。

ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の目標位置の決定、車両１の移動経路の演算、物体との干渉の有無の判断、車両１の自動制御、自動制御の解除等の、各種の演算処理および制御を実行することができる。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。

表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの合成等を実行する。

音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。

ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。

なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに代えて、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに代えてＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有し、少なくとも二つの車輪３を操舵する。すなわち、操舵システム１３は、ＥＣＵ１４等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（Ｓｔｅｅｒ ｂｙ Ｗｉｒｅ）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（Ａｎｔｉ－ｌｏｃｋ Ｂｒａｋｅ Ｓｙｓｔｅｍ）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Ｅｌｅｃｔｒｏｎｉｃ Ｓｔａｂｉｌｉｔｙ Ｃｏｎｔｒｏｌ）、ブレーキ力を増強させブレーキアシストを実行する電動ブレーキシステム、ＢＢＷ（Ｂｒａｋｅ ｂｙ Ｗｉｒｅ）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。

アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。

シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果を、ブレーキシステム１８を介して取得する。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定および変更することができる。

（ＥＣＵのソフトウェア構成）
次に、図４を用いて、実施形態１のＥＣＵ１４のソフトウェア構成について説明する。図４は、実施形態１にかかるＥＣＵ１４で実現されるソフトウェア構成を例示した図である。

図４に示すように、ＥＣＵ１４は、画像取得部４０１、俯瞰画像生成部４０２、立体画像生成部４０３、表示制御部４０４、音声制御部４０５、操作受付部４０７、および記憶部４０６を備える。ＣＰＵ１４ａは、プログラムにしたがって処理を実行することにより、画像取得部４０１、俯瞰画像生成部４０２、立体画像生成部４０３、表示制御部４０４、音声制御部４０５、操作受付部４０７等として機能する。また、ＲＡＭ１４ｃやＲＯＭ１４ｂなどは記憶部４０６として機能する。なお、上記各部の機能の少なくとも一部は、ハードウェアによって実現されてもよい。例えば、表示制御部４０４は、上述の表示制御部１４ｄにより実現されてもよい。また、音声制御部４０５は、上述の音声制御部１４ｅにより実現されてもよい。また、操作受付部４０７は、上述の操作入力部１０により実現されてもよい。

画像取得部４０１は、車両１の周辺領域を撮像する複数の撮像部１５から複数の撮像画像データを取得する。

俯瞰画像生成部４０２は、画像取得部４０１により取得された撮像画像データを変換し、仮想視点を基準にした合成画像データとしての俯瞰画像データを生成する。仮想視点としては、例えば、車両１の上方向に所定の距離離れた位置とすることが考えられる。俯瞰画像データは、画像取得部４０１により取得された撮像画像データを合成して生成する画像データであって、仮想視点を基準にした表示画像データになるように俯瞰画像生成部４０２により画像処理が施された画像データとする。俯瞰画像データは、車両１を示した車両アイコンを中央に配置した上で、かかる車両アイコンを基準に俯瞰視点で車両１の周辺を表した画像データとする。

立体画像生成部４０３は、車両１が存在する位置を基準として定められた、車両１の周囲を取り囲む仮想投影面（３次元形状モデル）に、画像取得部４０１が取得した撮像画像データを投影した、仮想投影画像のデータを生成する。また、立体画像生成部４０３は、仮想投影面を含む３次元仮想空間内に、記憶部４０６に記憶されている、車両１に対応する車両形状モデルを配置する。これにより、立体画像生成部４０３は、合成画像データとしての立体画像データを生成する。

表示制御部４０４は、撮像部１５により撮像された撮像画像データを表示装置８に表示する。また、表示制御部４０４は、俯瞰画像生成部４０２により生成された俯瞰画像データを表示装置８に表示する。また、表示制御部４０４は、立体画像生成部４０３により生成された立体画像データを表示装置８に表示する。また、表示制御部４０４は、撮像画像データ、俯瞰画像データ、立体画像データ等が表示された画面において、ユーザによる各種操作に応じて表示の内容を制御する。表示制御部４０４による各種制御については後述する。

音声制御部４０５は、表示装置８における操作音、各種報知音等を合成し、音声出力装置９に出力する。

操作受付部４０７は、ユーザからの操作を受け付ける。例えば、操作受付部４０７は、表示装置８に設けられた透明な操作入力部１０から入力された操作を受け付けてもよいし、スイッチ、ダイヤルからの操作を受け付けてもよい。さらには、操作受付部４０７は、表示装置８に対応するものとして設けられたタッチパッドから操作を受け付けてもよい。

記憶部４０６には、各部の演算処理で用いられるデータや、演算処理の結果のデータ等が記憶される。また、記憶部４０６には、表示制御部４０４により表示される各種アイコンや、車両形状モデル、音声データ等が記憶される。

（表示制御部による拡大）
次に、表示制御部４０４による俯瞰画像データの表示の拡大制御について図５を用いて説明する。図５は、実施形態１にかかる表示制御部４０４による拡大制御の手順の一例を示すフロー図である。図５においては、初期画面（通常画面）として、表示装置８の画面が左右に２分割されているものとする。左側には、俯瞰画像生成部４０２により生成された俯瞰画像データが表示されている。右側には、例えば、車両１前側の撮像部１５ｃにより撮像された車両１前方を示す撮像画像データが表示されている。

図５に示すように、表示制御部４０４は、ユーザによる所定の操作により、表示装置８の俯瞰画像データを拡大表示させることができる。

具体的には、図５（ａ）に示すように、表示装置８の俯瞰画像データが表示された領域の任意の位置がユーザにより指定される。ユーザは、画面の任意の位置をタッチすることで、その位置を指定点として指定することができる。操作受付部４０７は、かかるユーザからの指定を受け付ける。すると、表示制御部４０４は、図５（ｂ）に示すように、表示装置８のタッチ位置である指定点に拡大アイコン５１を表示する。

拡大アイコン５１は、例えば、「プラス」の付いた虫眼鏡のマークを有する。拡大アイコン５１は、また、逆さになった「Ｖ」の字を２つ重ねたようなマーク及びそれに添えられた手指のマークを有する。逆さになった「Ｖ」の字を２つ重ねたようなマークは、上方を示す矢印を意味している。換言すれば、当該マークは、ユーザに対して、次に行うことが可能な操作として、上方へのスライド操作を想起させるものである。つまり、拡大アイコン５１は、次に行うことが可能な上方へのスライド操作を想起させるマークと、当該スライド操作を受け付けた場合に行われる拡大制御（制御の一例）を示す虫眼鏡のマークと、を含むものである。ユーザが、任意の点の指定を行ったままの状態で、拡大アイコン５１上において上方へ手指を動かすことにより、操作受付部４０７が、かかるユーザの動作による指定を受け付け、表示制御部４０４に俯瞰画像データの表示の拡大制御を実行させることができる。操作受付部４０７が受け付けるユーザによる上記操作は、スライドやドラッグ等であり得る。

ユーザが、拡大アイコン５１にしたがって、拡大アイコン５１上において上方へスライドまたはドラッグ等を行う。操作受付部４０７は、かかるユーザの動作による指定を受け付け、図５（ｃ）に示すように、表示制御部４０４は、俯瞰画像データの表示を所定倍率まで拡大する。所定倍率は、予め定められた倍率であってよい。または、所定倍率は、ユーザが手指を動かした量、つまり、操作受付部４０７により受け付けられた、スライド量またはドラッグ量等に応じて変化してもよい。

表示を拡大する際、表示制御部４０４は、俯瞰画像データの表示を徐々に変化させる。また、表示制御部４０４は、ユーザにより指定され、操作受付部４０７により受け付けられた指定点、つまり、拡大アイコン５１の表示位置を中心に表示を拡大していく。このとき、受け付けられた指定点は、画面上の表示位置が固定されたままとなるようにする。つまり、受け付けられた指定点の表示位置を移動させることなく表示が拡大されるようにする。

以上のように、表示制御部４０４は、俯瞰画像データの表示を所定倍率まで拡大し、拡大制御を完了する。拡大制御が完了すると、拡大アイコン５１は非表示となる。ただし、拡大制御の開始とともに、拡大アイコン５１が非表示となってもよい。

このような拡大制御は、立体画像データの表示に対して行うこともできる。

図６は、実施形態１にかかる表示制御部４０４による拡大制御の手順の他の例を示すフロー図である。図６においては、初期画面（通常画面）として、表示装置８の左右に２分割された画面の左側には、俯瞰画像生成部４０２により生成された俯瞰画像データが表示されている。右側には、立体画像生成部４０３により生成された立体画像データが表示されている。

図６（ａ）に示すように、表示装置８の立体画像データが表示された領域の任意の位置がユーザによりタッチされることで指定点として指定される。操作受付部４０７は、かかるユーザからの指定を受け付ける。すると、表示制御部４０４は、図６（ｂ）に示すように、表示装置８の指定点に拡大アイコン５１を表示する。ユーザが、拡大アイコン５１にしたがって上方へのスライドまたはドラッグ等を行うと、操作受付部４０７は、かかるユーザの動作による指定を受け付け、図６（ｃ）に示すように、表示制御部４０４は、立体画像データの表示を所定倍率まで徐々に拡大する。

このような拡大制御は、さらに撮像画像データの表示に対して行うこともできる。

図７は、実施形態１にかかる表示制御部４０４による拡大制御の手順のさらに他の例を示すフロー図である。図７においては、図５と同様、画面左側に俯瞰画像データが表示され、画面右側に撮像画像データが表示されている。

図７（ａ）に示すように、表示装置８の撮像画像データが表示された領域の任意の位置がユーザによりタッチされると、操作受付部４０７は、かかるユーザの動作による指定を受け付け、表示制御部４０４は、表示装置８のタッチ位置である指定点に拡大アイコン５１を表示する。ユーザが、拡大アイコン５１にしたがって上方へのスライドまたはドラッグ等を行うと、操作受付部４０７は、かかるユーザの動作による指定を受け付け、図７（ｂ）に示すように、表示制御部４０４は、撮像画像データの表示を所定倍率まで徐々に拡大する。

（表示制御部による拡大解除）
図８を用い、上記のように拡大された表示において拡大解除（縮小）を行う例について説明する。図８は、実施形態１にかかる表示制御部４０４による拡大制御の解除の手順の一例を示すフロー図である。

図８（ａ）に示すように、左側の俯瞰画像データの表示は所定倍率まで拡大されている。表示装置８の俯瞰画像データが表示された領域の任意の位置がユーザによりタッチされると、操作受付部４０７は、かかるユーザの動作による指定を受け付け、表示制御部４０４は、図８（ｂ）に示すように、表示装置８のタッチ位置である指定点に縮小アイコン（拡大解除アイコン）５２を表示する。

縮小アイコン５２は、「マイナス」の付いた虫眼鏡のマークと、「Ｖ」の字を２つ重ねたようなマーク及びそれに添えられた手指のマークとを有する。「Ｖ」の字を２つ重ねたようなマークは、下方を示す矢印を意味している。換言すれば、当該マークは、ユーザに対して、次に行うことが可能な操作として、下方へのスライド操作を想起させるものである。つまり、縮小アイコン５２は、次に行うことが可能な下方へのスライド操作を想起させるマークと、当該スライド操作を受け付けた場合に行われる縮小制御（拡大解除の制御）を示す虫眼鏡のマークと、を含むものである。ユーザが、任意の点の指定を行ったままの状態で、縮小アイコン５２上においてスライドやドラッグ等を行うことにより、操作受付部４０７が、かかるユーザの動作による指定を受け付け、表示制御部４０４に俯瞰画像データの表示の拡大制御の解除を実行させることができる。

ユーザが、縮小アイコン５２にしたがって、縮小アイコン５２上において下方へスライドまたはドラッグ等を行うと、操作受付部４０７は、かかるユーザの動作による指定を受け付け、図８（ｃ）に示すように、表示制御部４０４は、俯瞰画像データの表示を所定倍率まで縮小する。所定倍率は、初期画面における初期値等、予め定められた倍率であってよい。または、所定倍率は、操作受付部４０７により受け付けられた、ユーザによるスライド量またはドラッグ量等に応じて変化してもよい。

表示を縮小する際、表示制御部４０４は、俯瞰画像データの表示を徐々に変化させる。また、表示制御部４０４は、ユーザにより指定され、操作受付部４０７により受け付けられた指定点、つまり、縮小アイコン５２の表示位置を中心に表示を縮小していく。このとき、受け付けられた指定点は、画面上の表示位置が固定されたままとなるようにする。つまり、受け付けられた指定点の表示位置を移動させることなく表示が縮小されるようにする。

以上のように、表示制御部４０４は、俯瞰画像データの表示を所定倍率まで縮小し、拡大制御の解除を完了する。拡大制御の解除が完了すると、縮小アイコン５２は非表示となる。ただし、拡大制御の解除の開始とともに、縮小アイコン５２が非表示となってもよい。

（比較例）
例えば、上述の特許文献１の構成においては、俯瞰画像表示領域の何れかの領域に接触する操作により指定された領域の画像を拡大対象画像として、俯瞰画像表示領域内に拡大表示する。しかしながら、特許文献１の構成では、所定の分割領域が拡大されるため、任意の位置を拡大することができなかった。また、拡大前後で表示対象物の位置が変化してしまい、拡大後に表示対象物を見失うなど、拡大後の画面把握に手間取ってしまうことがあった。

そこで、図９に示すように、例えば比較例の表示制御装置として、ユーザが指定した指定点を中心として画面の表示を拡大することが考えられる。このとき、例えば、指定点の表示位置を画面中央に移動したうえで拡大したとする。しかしながら、指定点が中央へ移動すると違和感が生じてしまう。また、指定点の移動により、撮像部の撮像範囲外や、合成画像データの生成領域外の領域が拡大画像に含まれることとなった場合、図１０に示すように、画像を表示することが不可能な非表示領域１００が発生してしまう。

実施形態１のＥＣＵ１４によれば、表示制御部４０４は、指定点を中心として表示を拡大する。また、表示制御部４０４は、指定点の表示位置を移動させることなく表示を拡大する。これにより、非表示領域１００を発生させることなく、画面上の任意の位置を拡大表示させることができる。指定点が移動しないまま拡大されるので違和感も生じない。このように、実施形態１のＥＣＵ１４によれば、撮像画像データや合成画像データ等の画像データの表示の制御性を向上させることができる。

実施形態１のＥＣＵ１４によれば、表示制御部４０４は、任意の位置がユーザにより指定され、操作受付部４０７により受け付けられると、各種アイコン５１，５２を表示する。これにより、例えば操作アイコン等を常時、画面に表示しておく必要がない。

実施形態１のＥＣＵ１４によれば、操作受付部４０７は、ユーザによる画面のタッチ、スライド、ドラッグ等の操作を受け付ける。これにより、ピンチインやピンチアウト等ができないマルチタップ非対応モニタにおいても、シングルタップで任意の位置での拡大および縮小の操作を行うことができる。また、ピンチインやピンチアウト等による操作よりも厳密に拡大位置を指定することができる。

（変形例）
実施形態１では、複数の撮像画像データに基づいて生成された俯瞰画像データ及び立体画像データ（合成画像データの一例）に対して拡大または縮小を行う例について説明した。しかしながら、本実施形態は、合成画像データに対して拡大または縮小を行う場合に制限するものではない。

つまり、表示制御部４０４が、撮像部１５から取得した撮像画像データに対して、実施形態１と同様に、表示の拡大または縮小を行ってもよい。詳細な例としては、表示制御部４０４は、撮像部１５から取得した撮像画像データが画面に表示されている際に、操作受付部４０７が撮像画像データ上の任意の点の指定を受け付けた場合に、当該撮像画像データ上で指定された点を拡大の中心とし、当該指定された点の表示位置が画面上で移動しない状態で、当該撮像画像データの表示を拡大する。

［実施形態２］
図１１および図１２を用いて実施形態２について説明する。以下の説明においては、図１～図４を引用し、実施形態２において実施形態１に対応する構成には同様の符号を付すものとする。実施形態２の例では、表示制御部４０４が、複数の表示を連動させて拡大する点が、実施形態１とは異なる。

（複数画面の連動）
図１１は、実施形態２にかかる表示制御部４０４による拡大制御の手順の一例を示すフロー図である。図１１においては、画面左側には、俯瞰画像生成部４０２により生成された俯瞰画像データが表示されている。画面右側には、立体画像生成部４０３により生成された立体画像データが表示されている。

図１１（ａ）に示すように、表示装置８の俯瞰画像データが表示された領域の任意の位置がユーザによりタッチされると、操作受付部４０７は、かかるユーザの動作による指定を受け付け、表示制御部４０４は、表示装置８のタッチ位置である指定点に拡大アイコン５１ａを表示する。ユーザが、拡大アイコン５１ａにしたがって上方へのスライドまたはドラッグ等を行うと、操作受付部４０７は、かかるユーザの動作による指定を受け付け、図１１（ｂ）に示すように、表示制御部４０４は、俯瞰画像データの表示を所定倍率まで徐々に拡大する。

このとき、表示制御部４０４は、俯瞰画像データの表示に連動させて、立体画像データの表示も徐々に拡大する。立体画像データの表示の拡大にあたっては、俯瞰画像データの表示における指定点と対応する点を指定点とする。表示制御部４０４は、この指定点を中心に、この指定点の表示位置を移動させることなく、立体画像データの表示を拡大する。

つまり、操作受付部４０７は、俯瞰画像データにおいて任意の点の指定を受け付ける。そして、表示制御部４０４は、操作受付部４０７が任意の点の指定を受け付けた場合に、俯瞰画像データに含まれる、指定された点を拡大の中心とし、かつ、当該指定された点の表示位置が画面上で移動しない状態で、俯瞰画像データを拡大するとともに、俯瞰画像データで指定された点とルックアップテーブルで対応付けられた、立体画像データの対応点を拡大の中心とし、かつ、対応点の表示位置が画面上で移動しない状態で、立体画像データを拡大する。

ここで、俯瞰画像データを例えば第１の画像データとし、俯瞰画像データ上の指定された点を例えば第１の点とする。また、立体画像データを例えば第２の画像データとし、立体画像データにおいて拡大の中心となる点を例えば第２の点とする。このとき、第１の点および第２の点は、車両の周辺領域のうち、同じ位置が表されている点とする。本実施形態においては、第１の画像データの第１の点と、第２の画像データの第２の点と、を対応付けたルックアップテーブルを、予めＲＯＭ１４ｂに記憶しておく。これにより、ルックアップテーブルに、第１の画像データの第１の点を代入することで、第２の画像データの第２の点を特定できる。

本例では、俯瞰画像データの表示領域が指定され、俯瞰画像データの表示に連動させて立体画像データの表示を拡大する手順について説明したが、この逆も可能である。すなわち、ユーザによる立体画像データの表示領域の指定が操作受付部４０７に受け付けられて拡大の操作が行われた場合、表示制御部４０４は、立体画像データの表示に連動させて俯瞰画像データの表示を拡大する。

つまり、本実施形態は、俯瞰画像データで指定された点に対応する、立体画像データの拡大の中心となる点を拡大の中心として、立体画像データを拡大させることに制限するものではない。例えば、第１の画像データである立体画像データで指定された第１の点に対応する、第２の画像データ俯瞰画像データの拡大の中心となる第２の点を拡大の中心として、俯瞰画像データを拡大させてもよい。

また、本例では、表示制御部４０４が表示の拡大制御を行う場合について説明したが、拡大制御の解除も同様の手順で行われる。すなわち、俯瞰画像データの表示上または立体画像データの表示上で任意の点が指定され拡大制御の解除の操作がなされると、表示制御部４０４は、俯瞰画像データの表示と立体画像データの表示とを連動させて拡大制御の解除を行う。

（視点移動を伴う拡大）
上述のように、俯瞰画像データの表示に連動して立体画像データの表示を拡大する場合、俯瞰画像データの表示における指定点と対応する点を、そのまま立体画像データの表示における指定点としてできない場合がある。対応する点が、立体画像データの表示における車両形状モデルの陰になるような場合である。このような例について、図１２を用いて以下に説明する。

図１２は、実施形態２にかかる表示制御部４０４による拡大制御の手順の他の例を示すフロー図である。図１２（ａ）に示すように、ユーザが俯瞰画像データの表示領域において車両アイコンの左横をタッチし、操作受付部４０７がこれを指定点として受け付けている。立体画像データの表示において、この指定点と対応する点は車両形状モデルの陰になっていて見えない。

そこで、図１２（ｂ）に示すように、表示制御部４０４は、立体画像データの表示において、指定点と対応する点が見える位置に視点を移動させる。つまり、当初、立体画像データの表示においては、俯瞰気味の右斜め後方からの視点になっているところ、例えば、左斜め後方からの視点へと移動させる。このとき、車両形状モデルの後方を回り込むような形で、視点を徐々に移動させていってもよい。

そして、図１２（ｃ）に示すように、表示制御部４０４は、俯瞰画像データの表示に連動させて、立体画像データの表示を拡大する。このとき、表示制御部４０４が、右斜め後方から左斜め後方への視点移動と並行して立体画像データの表示を拡大してもよい。

本例では、表示制御部４０４が表示の拡大制御を行う場合について説明したが、拡大制御の解除も視点移動を伴う同様の手順で行われる。

実施形態２のＥＣＵ１４においても、実施形態１のＥＣＵ１４と同様の効果を奏する。

また、実施形態２のＥＣＵ１４によれば、表示制御部４０４は、俯瞰画像データの表示と立体画像データの表示とを連動させて拡大する。これにより、複数の画面上で別々に操作を行うことなく、様々な視点から同じ位置における拡大画像を表示させることができる。

また、実施形態２のＥＣＵ１４によれば、表示制御部４０４は、俯瞰画像データの表示における指定点と対応する点が立体画像データの表示において車両形状モデルにより隠れている場合には、対応する点が現れるよう、立体画像データの表示における視点を移動させる。これにより、ユーザが予め立体画像データの表示における視点移動を行わなくとも、俯瞰画像データの表示と同じ位置における立体画像データの拡大画像を表示させることができる。

（変形例）
本変形例においては、複数の画像が表示された画面において、一方の画像に対して行われた操作により、他方の画像が、その操作に対応する制御を受ける。

すなわち、表示制御部４０４は、撮像画像データに基づく第１、第２の画像データを画面に表示する。操作受付部４０７は、第１の画像データの任意の第１の点の指定を受け付ける。表示制御部４０４は、第２の画像データの、第１の点に対応する第２の点を拡大の中心とし、かつ、第２の点の表示位置が画面上で移動しない状態で、第２の画像データの表示を拡大する。そして、表示制御部４０４は、第１の画像データの表示の拡大を行わない。

ここで、撮像画像データに基づく第１、第２の画像データが表示された画面は、俯瞰画像データ及び立体画像データが表示された画面であり得る。また、第１の画像データが俯瞰画像データであるとき、第２の画像データは立体画像データであり得る。また、第１の画像データが立体画像データであるとき、第２の画像データは俯瞰画像データであり得る。

より具体的には、例えば、俯瞰画像データ及び立体画像データが表示された画面において、操作受付部４０７が、俯瞰画像データにおける任意の点（第１の点）の指定を受け付けたとする。すると、表示制御部４０４は、立体画像データにおける、上記指定点に対応する点（第２の点）を拡大の中心とし、かつ、この指定点に対応する点の表示位置が画面上で移動しない状態で、立体画像データの表示を拡大する。このとき、実際に操作が行われた俯瞰画像データは拡大されない。なお、このときも、俯瞰画像データの表示における指定点と対応する立体画像データの表示における点が車両形状モデルの陰になるような場合、立体画像データの表示の視点移動を行うものとする。

また例えば、俯瞰画像データ及び立体画像データが表示された画面において、操作受付部４０７が、立体画像データにおける任意の点（第１の点）の指定を受け付けたとする。すると、表示制御部４０４は、俯瞰画像データにおける、上記指定点に対応する点（第２の点）を拡大の中心とし、かつ、この指定点に対応する点の表示位置が画面上で移動しない状態で、俯瞰画像データの表示を拡大する。このとき、実際に操作が行われた立体画像データは拡大されない。

すなわち、本変形例の構成においては、一方の画像データが、もう一方の画像データのリモートコントロール画面として機能する。上記では、いずれかの画像データを拡大する場合について説明したが、本変形例の構成は、画像データを縮小する操作および制御にも適用され得る。また、上記では、俯瞰画像データ及び立体画像データについて説明したが、一方または両方が、撮像部１５から取得された撮像画像データであってもよい。

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

１…車両、８…表示装置、１０…操作入力部、１１…モニタ装置、１４…ＥＣＵ、１５…撮像部、５１…拡大アイコン、５２…縮小アイコン、４０１…画像取得部、４０２…俯瞰画像生成部、４０３…立体画像生成部、４０４…表示制御部、４０５…音声制御部、４０６…記憶部、４０７…操作受付部。

Claims (8)

1. 車両の周辺領域を撮像する撮像部から撮像画像データを取得する画像取得部と、
   前記撮像画像データに基づく画像データを画面に表示する表示制御部と、
   前記画面上の任意の点の指定を受け付ける操作受付部と、を備え、
   前記操作受付部は、
   第１の合成画像データにおいて任意の第１の点の指定を受け付け、
   前記表示制御部は、
   前記操作受付部が前記第１の点の指定を受け付けた場合に、当該第１の合成画像データに含まれる、第１の点を拡大の中心とし、かつ、前記第１の点の表示位置が前記画面上で移動しない状態で、前記第１の合成画像データの表示を拡大するとともに、
   前記第１の合成画像データの前記第１の点に対応する、第２の合成画像データの第２の点を拡大の中心とし、かつ、前記第２の点の表示位置が前記画面上で移動しない状態で、前記第２の合成画像データの表示を拡大する、
   表示制御装置。
2. 前記表示制御部は、
   前記操作受付部が前記画面上の前記任意の点の指定を受け付けた後、前記操作受付部が所定の操作を受け付けた場合に前記画面の表示を拡大する、
   請求項１に記載の表示制御装置。
3. 前記画像取得部は、
   複数の撮像部から複数の撮像画像データを取得し、
   前記表示制御部は、
   前記複数の撮像画像データに基づいて生成された合成画像データが表示された前記画面の表示を拡大する、
   請求項１または請求項２に記載の表示制御装置。
4. 車両の周辺領域を撮像する撮像部から撮像画像データを取得する画像取得部と、
   前記撮像画像データに基づく画像データを画面に表示する表示制御部と、
   前記画面上の任意の点の指定を受け付ける操作受付部と、を備え、
   前記表示制御部は、
   前記撮像画像データに基づく第１の画像データと、前記撮像画像データに基づき、前記第１の画像データと異なる第２の画像データと、を前記画面に表示し、
   前記操作受付部は、
   前記第１の画像データの任意の第１の点の指定を受け付け、
   前記表示制御部は、
   前記操作受付部が前記第１の点の指定を受け付けた場合に、前記第１の点に対応する、前記第２の画像データの第２の点を拡大の中心とし、かつ、前記第２の点の表示位置が前記画面上で移動しない状態で前記第２の画像データの表示を拡大し、前記第１の画像データの表示の拡大は行わない、
   表示制御装置。
5. 前記表示制御部は、
   前記操作受付部が前記画面上の前記任意の点の指定を受け付けた後、前記操作受付部が所定の操作を受け付けた場合に前記画面の表示を拡大する、
   請求項４に記載の表示制御装置。
6. 前記画像取得部は、
   複数の撮像部から複数の撮像画像データを取得し、
   前記表示制御部は、
   前記複数の撮像画像データに基づいて生成された合成画像データが表示された前記画面の表示を拡大する、
   請求項４または請求項５に記載の表示制御装置。
7. 前記第１の合成画像データは、車両形状モデルを立体的に表示する立体画像データであって、
   前記表示制御部は、
   前記操作受付部が前記第２の合成画像データの表示において任意の点の指定を受け付け、前記第１の合成画像データの表示において、これと対応する点が前記車両形状モデルにより隠れている場合には、前記第１の合成画像データの表示における視点を移動して、前記対応する点が現れた状態とする、
   請求項１乃至請求項３のいずれか１項に記載の表示制御装置。
8. 前記表示制御部は、
   前記画面の表示を拡大し、または拡大解除する場合において、前記画面の表示を徐々に変化させる、
   請求項１乃至請求項７のいずれか１項に記載の表示制御装置。

Images