JP6861840B2 - 表示制御装置および表示制御方法 - Google Patents

Description

本発明は、カメラ画像に合成されるアイコン画像の表示位置を制御する表示制御装置および表示制御方法に関する。

自動車などの車両の運転者に情報を提供する装置として、インスツルメンタルパネル内に設けられたディスプレイ、または運転者の視線の前方に設けられたヘッドアップディスプレイ（ＨＵＤ）がある。特に、ＨＵＤは、運転者が視線を大きく動かすことなく情報を得ることができるため注目されている。

ＨＵＤは、半透明な透過板であるコンバイナと、コンバイナに情報を投影する投影機とを備えている。投影機は、表示制御装置からの指示に従って、例えば運転者に対する注意喚起を示すアイコン画像をコンバイナに投影する。これにより、運転者は、コンバイナ越しの車両前方の景色から視線を大きく動かすことなく、コンバイナに表示されるアイコン画像を見ることができる。

運転者がコンバイナを見るとき、コンバイナに表示されるアイコン画像は、コンバイナ越しの車両前方の景色に重畳される。また、コンバイナ越しの車両前方の景色は、車両の動きに伴って変化する。従って、車両前方の景色の色などの具合によって、アイコン画像が景色に埋もれてしまい、運転者はアイコン画像が見えにくくなる場合がある。このような問題の対策として、従来、車両前方の景色の状態に応じて、コンバイナに表示する情報の色またはコンバイナの表示面の色を変化させる、またはコンバイナに表示する情報の表示位置を変更する技術が開示されている（例えば、特許文献１参照）。

特開平１０−３１１７３２号公報

特許文献１では、車両前方の景色の情報を有する地図データと、車両前方の景色を撮影したカメラから得られたデータとに基づいて、推定アルゴリズムを用いて車両前方の景色の色を推定し、当該景色の色に応じて、コンバイナに表示する情報の色またはコンバイナの表示面の色を変化させている。特許文献１では、推定アルゴリズムについて具体的に言及されていないが、カメラから得られた車両前方の景色の色に対して補色となる色を表示情報の色とし、背景に対する情報のコントラストが大きくなるように、背景の輝度に基づいて情報の輝度を変える方法が推測される。

しかし、このような方法は、人間にとっての見易さを尺度としていないため、情報がギラギラした表示になったり、情報の色がぼんやりした色になったりする場合があり、見やすい情報の表示にならない可能性がある。また、特許文献１では、対向車両、障害物、信号機、または標識など、運転を行う上で重要なオブジェクトが車両前方に存在する場合は、当該オブジェクトに対して重畳しないように情報の表示位置を変更しているが、変更後の表示位置において情報が見やすくなっているとは限らない。このように、特許文献１では、必ずしも情報の視認性が良いとはいえなかった。

本発明は、このような問題を解決するためになされたものであり、情報の視認性を向上させることが可能な表示制御装置および表示制御方法を提供することを目的とする。

上記の課題を解決するために、本発明による表示制御装置は、カメラが撮影した画像であるカメラ画像を取得するカメラ画像取得部と、カメラ画像取得部が取得したカメラ画像を分割した複数のエリアのうちの一のエリアと、予め定められたアイコン画像とを合成して合成画像を生成する合成部と、合成部が生成した合成画像とアイコン画像とのパターンマッチングにより相関値を算出し、相関値を用いて合成画像におけるアイコン画像の認識しやすさを表す指標を算出する指標算出部と、指標算出部が算出した指標が予め定められた閾値以上である場合、一のエリアをアイコン画像の表示位置とし、指標が予め定められた閾値未満である場合、合成部に、複数のエリアのうち一のエリアと異なるエリアと、アイコン画像とを合成させる、指標に基づいてアイコン画像の表示位置を決定する表示位置決定部とを備える。

また、本発明による表示制御方法は、カメラが撮影した画像であるカメラ画像を取得し、取得したカメラ画像を分割した複数のエリアのうちの一のエリアと、予め定められたアイコン画像とを合成して合成画像を生成し、生成した合成画像とアイコン画像とのパターンマッチングにより相関値を算出し、相関値を用いて合成画像におけるアイコン画像の認識しやすさを表す指標を算出し、算出した指標が予め定められた閾値以上である場合、一のエリアをアイコン画像の表示位置とし、指標が予め定められた閾値未満である場合、複数のエリアのうち一のエリアと異なるエリアと、アイコン画像とを合成させ、指標に基づいてアイコン画像の表示位置を決定する。

本発明によれば、表示制御装置は、カメラが撮影した画像であるカメラ画像を取得するカメラ画像取得部と、カメラ画像取得部が取得したカメラ画像を分割した複数のエリアのうちの一のエリアと、予め定められたアイコン画像とを合成して合成画像を生成する合成部と、合成部が生成した合成画像とアイコン画像とのパターンマッチングにより相関値を算出し、相関値を用いて合成画像におけるアイコン画像の認識しやすさを表す指標を算出する指標算出部と、指標算出部が算出した指標が予め定められた閾値以上である場合、一のエリアをアイコン画像の表示位置とし、指標が予め定められた閾値未満である場合、合成部に、複数のエリアのうち一のエリアと異なるエリアと、アイコン画像とを合成させる、指標に基づいてアイコン画像の表示位置を決定する表示位置決定部とを備えるため、情報の視認性を向上させることが可能となる。

また、表示制御方法は、カメラが撮影した画像であるカメラ画像を取得し、取得したカメラ画像を分割した複数のエリアのうちの一のエリアと、予め定められたアイコン画像とを合成して合成画像を生成し、生成した合成画像とアイコン画像とのパターンマッチングにより相関値を算出し、相関値を用いて合成画像におけるアイコン画像の認識しやすさを表す指標を算出し、算出した指標が予め定められた閾値以上である場合、一のエリアをアイコン画像の表示位置とし、指標が予め定められた閾値未満である場合、複数のエリアのうち一のエリアと異なるエリアと、アイコン画像とを合成させ、指標に基づいてアイコン画像の表示位置を決定するため、情報の視認性を向上させることが可能となる。

本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

本発明の実施の形態による表示制御装置を含む全体的な構成の一例を示す図である。 本発明の実施の形態による表示制御装置の構成の一例を示すブロック図である。 本発明の実施の形態による表示制御装置の構成の一例を示すブロック図である。 本発明の実施の形態による表示制御装置のハードウェア構成の一例を示すブロック図である。 本発明の実施の形態による表示制御装置の動作の一例を示すフローチャートである。 本発明の実施の形態による表示制御装置の動作の一例を示すフローチャートである。 本発明の実施の形態によるカメラ画像の一例を示す図である。 本発明の実施の形態によるカメラ画像の分割の一例を示す図である。 本発明の実施の形態による合成画像の一例を示す図である。 本発明の実施の形態によるアイコン画像の表示位置の変更の一例を示す図である。 本発明の実施の形態によるアイコン画像の表示の一例を示す図である。 本発明の実施の形態によるカメラ画像の一例を示す図である。 本発明の実施の形態によるアイコン画像の表示位置の変更の一例を示す図である。 本発明の実施の形態によるアイコン画像の表示の一例を示す図である。 本発明の実施の形態によるアイコン画像の表示位置の変更順序の一例を示す図である。 本発明の実施の形態による表示制御システムの一例を示すブロック図である。

本発明の実施の形態について、図面に基づいて以下に説明する。

＜実施の形態＞
＜構成＞
図１は、本発明の実施の形態による表示制御装置を含む全体的な構成の一例を示す図である。

図１に示すように、コンバイナ３は、運転者５の視線を大きく移動させる必要がない場所に設けられている。投影機２は、車両内に設けられており、コンバイナ３に情報であるアイコン画像を投影する。ここで、アイコン画像は、運転者に対して注意喚起するものであり、例えば、現在位置から目的地までの経路に沿って走行中に、交差点においてどちらに進めば良いのかを示す矢印のアイコン画像、現在走行中のエリアは人通りが多いことを示すアイコン画像、またはガソリンの残量など車両内に設けられたセンサから得た情報を示すアイコン画像などが挙げられる。

表示制御装置１は、車両内に設けられており、アイコン画像をコンバイナ３に表示するために投影機２を制御する。ナビゲーション装置４は、車両内に設けられており、表示制御装置１に対してコンバイナ３にアイコン画像を表示する旨の要求を行う。

カメラ６は、コンバイナ３の全体を含む画像であり、かつ運転者５の視線の先に見える風景と同じ風景の画像、またはそれに近い風景の画像を撮影するために、例えば車両のルーフ８の内側であって運転者５の頭部付近に設けられている。なお、カメラ６を設ける位置は、例えば運転者５が座るシートのヘッドレスト付近など、コンバイナ３の全体を含む画像であり、かつ運転者５の視線の先に見える風景と同じ風景の画像、またはそれに近い風景の画像を撮影することが可能であれば、どのような位置に設けてもよい。

運転者５は、車両のフロントガラス７越しの前方の景色を見ながら運転を行う。また、運転者５は、コンバイナ３越しの前方の景色から視線を大きく動かすことなく、コンバイナ３に表示されるアイコン画像を見ることができる。

図２は、表示制御装置９の構成の一例を示すブロック図である。なお、図２では、本実施の形態による表示制御装置を構成する必要最小限の構成を示している。また、表示制御装置９は、図１に示す表示制御装置１に対応している。

図２に示すように、表示制御装置９は、カメラ画像取得部１０と、合成部１１と、指標算出部１２と、表示位置決定部１３とを備えている。カメラ画像取得部１０は、カメラ６が撮影した画像であるカメラ画像を取得する。合成部１１は、カメラ画像取得部１０が取得したカメラ画像を分割した複数のエリアのうちの一のエリアと、予め定められたアイコン画像とを合成して合成画像を生成する。

指標算出部１２は、合成部１１が生成した合成画像におけるアイコン画像の認識しやすさを表す指標を算出する。表示位置決定部１３は、指標算出部１２が算出した指標に基づいてアイコン画像の表示位置を決定する。

次に、図２に示す表示制御装置９を含む表示制御装置の他の構成について説明する。

図３は、他の構成に係る表示制御装置１４の構成の一例を示すブロック図である。なお、表示制御装置１４は、図１に示す表示制御装置１に対応している。

図３に示すように、表示制御装置１４は、カメラ画像取得部１０と、合成部１１と、カメラ画像記憶部１５と、特定エリア抽出部１６と、特定エリア記憶部１７と、アイコン取得部１８と、アイコン記憶部１９と、合成記憶部２０と、パターンマッチング部２１と、グラフィックメモリ２２と、映像信号生成部２３と、車両信号検知部２４と、電源２５と、時間計測部２６とを備えている。

カメラ画像取得部１０は、カメラ６が撮影したカメラ画像を取得する。カメラ画像には、コンバイナ３の全体と、コンバイナ３越しの車両前方の景色とが含まれている。カメラ画像取得部１０は、取得したカメラ画像をカメラ画像記憶部１５に記憶する。

特定エリア抽出部１６は、カメラ画像記憶部１５に記憶されているカメラ画像を複数のエリアに分割し、分割した複数のエリアのうちの一のエリアである特定エリアを抽出する。特定エリア抽出部１６は、抽出した特定エリアを特定エリア記憶部１７に記憶する。

アイコン取得部１８は、コンバイナ３にアイコン画像を表示する旨の要求をナビゲーション装置４から取得すると、当該要求に対応するアイコン画像をアイコン記憶部１９から取得する。また、アイコン取得部１８は、アイコン記憶部１９から取得したアイコン画像をパターンマッチング部２１に出力する。アイコン記憶部１９は、種々のアイコン画像を記憶している。

合成部１１は、特定エリア記憶部１７に記憶されている特定エリアと、パターンマッチング部２１から受け取ったアイコン画像とを合成記憶部２０で合成する。合成部１１は、特定エリアとアイコン画像とを合成した合成画像をパターンマッチング部２１に出力する。

パターンマッチング部２１は、指標算出部１２および表示位置決定部１３を有しており、合成画像に含まれているアイコン画像のパターンマッチングを行う。指標算出部１２は、合成部１１が生成した合成画像におけるアイコン画像の認識しやすさを表す指標であるマッチング係数を算出する。

例えば、指標算出部１２は、アイコン取得部１８から取得したアイコン画像のデータサイズ分、合成画像のデータを抜き取り、ＳＳＤ（Sum of Squared Difference、二乗誤差）、またはＳＡＤ（Sum of Absolute Difference、画素値の差分の絶対値の和）などによって、抜き取った合成画像における相関値を算出する。このような合成画像のデータの抜き取りと相関値の算出とは、合成画像の画素単位で行われ、合成画像の全てのエリアに対して行われる。アイコン画像のデータと類似するデータが存在する場所の相関値は、他の場所の相関値と比べると小さい値となる。なお、このような相関値は、公知の方法（例えば、「https://algorithm.joho.info/image-processing/template-matching-sad-ssd-ncc/」、または「http://compsci.world.coocan.jp/OUJ/2012PR/pr_12_a.pdf」）を用いて算出すればよい。指標算出部１２は、上記の相関値が小さいほど、合成画像におけるアイコン画像の認識のしやすさを表す指標であるマッチング係数が高くなるように算出する。すなわち、マッチング係数が高いほど、合成画像におけるアイコン画像が認識しやすいことになる。

表示位置決定部１３は、指標算出部１２が算出した指標であるマッチング係数に基づいて、コンバイナ３におけるアイコン画像の表示位置を決定する。グラフィックメモリ２２には、表示位置決定部１３で決定されたコンバイナ３におけるアイコン画像の表示位置と、当該アイコン画像とが対応付けて記憶される。

映像信号生成部２３は、グラフィックメモリ２２に記憶されている情報を映像信号に変換する。映像信号生成部２３が生成した映像信号は、投影機２に出力される。投影機２は、映像信号に従って、コンバイナ３における表示位置決定部１３が決定した表示位置にアイコン画像を投影する。コンバイナ３では、表示位置決定部１３が決定した表示位置にアイコン画像が表示される。

車両信号検知部２４は、信号線２７を介して、車両のＡＣＣ電源のＯＮまたはＯＦＦの信号、あるいは車両のイグニッション電源のＯＮまたはＯＦＦの信号を含む車両信号を検知する。信号線２７は、車両の状態を伝達するための信号線であり、例えばＣＡＮ（Controller Area Network）バスなどが挙げられる。電源２５は、表示制御装置１４の電源であり、車両信号検知部２４がＡＣＣ電源のＯＮ、またはイグニッション電源のＯＮを検知したときに表示制御装置１４の電源をＯＮにする。

時間計測部２６は、後述するパターンマッチング部２１によるパターンマッチングを行うタイミングを計測するために、時刻情報をパターンマッチング部２１に出力する。

図４は、表示制御装置１４のハードウェア構成の一例を示すブロック図である。

図４に示すように、表示制御装置１４は、カメラ制御ＩＣ（Integrated Circuit）２８と、カメラ画像用メモリ２９と、特定エリア用メモリ３０と、合成用メモリ３１と、アイコン用メモリ３２と、プログラム用メモリ３３と、ＣＰＵ（Central Processing Unit）３５と、通信Ｉ／Ｆ（Interface）回路３６と、グラフィックメモリ３７と、グラフィックコントローラ３８と、通信制御ＩＣ３９と、ＤＣ／ＤＣコンバータ４０と、クロック回路４１とを備えている。ＣＰＵ３５と、カメラ制御ＩＣ２８、カメラ画像用メモリ２９、特定エリア用メモリ３０、合成用メモリ３１、アイコン用メモリ３２、およびプログラム用メモリ３３とは、バス３４を介して接続されている。

カメラ制御ＩＣ２８は、ＣＰＵ３５の指示に従って、カメラ６からカメラ画像を取得する。通信Ｉ／Ｆ回路３６は、ＣＰＵ３５の指示に従って、ナビゲーション装置４との通信を行う。グラフィックコントローラ３８は、図３に示す映像信号生成部２３に対応している。

通信制御ＩＣ３９は、図３に示す車両信号検知部２４の機能、および通信Ｉ／Ｆ回路を有しており、例えばＣＡＮトランシーバである。ＤＣ／ＤＣコンバータ４０は、図３に示す電源２５を有している。クロック回路４１は、図３に示す時間計測部２６の機能である時間カウント、およびＣＰＵ３５が各メモリとの通信タイミング制御を行うために設けられている。

カメラ画像用メモリ２９は、図３に示すカメラ画像記憶部１５に対応している。特定エリア用メモリ３０は、特定エリア記憶部１７に対応している。合成用メモリ３１は、合成記憶部２０に対応している。アイコン用メモリ３２は、アイコン記憶部１９に対応している。

図３に示す表示制御装置１４におけるカメラ画像取得部１０、特定エリア抽出部１６、アイコン取得部１８、合成部１１、指標算出部１２、および表示位置決定部１３の各機能は、処理回路により実現される。すなわち、表示制御装置１４は、カメラ画像を取得し、特定エリアを抽出し、アイコン画像を取得し、特定エリアとアイコン画像とを合成し、指標を算出し、表示位置を決定するための処理回路を備える。処理回路は、プログラム用メモリ３３に格納されたプログラムを実行するＣＰＵ３５である。

図３に示す表示制御装置１４におけるカメラ画像取得部１０、特定エリア抽出部１６、アイコン取得部１８、合成部１１、指標算出部１２、および表示位置決定部１３の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、プログラム用メモリ３３に格納される。ＣＰＵ３５は、プログラム用メモリ３３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、表示制御装置１４は、カメラ画像を取得するステップ、特定エリアを抽出するステップ、アイコン画像を取得するステップ、特定エリアとアイコン画像とを合成するステップ、指標を算出するステップ、表示位置を決定するステップが結果的に実行されることになるプログラムを格納するためのプログラム用メモリ３３を備える。また、これらのプログラムは、カメラ画像取得部１０、特定エリア抽出部１６、アイコン取得部１８、合成部１１、指標算出部１２、および表示位置決定部１３の手順または方法をコンピュータに実行させるものであるともいえる。ここで、プログラム用メモリ３３は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Read Only Memory）等の不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等、または、今後使用されるあらゆる記憶媒体であってもよい。

＜動作＞
＜全体的な動作＞
図５は、表示制御装置１４の全体的な動作の一例を示すフローチャートである。

ステップＳ１１において、車両信号検知部２４は、車両信号を検知し、ＡＣＣ電源がＯＮ、またはイグニッション電源がＯＮであるか否かを判断する。ＡＣＣ電源がＯＮ、またはイグニッション電源がＯＮであることを検知するまでステップＳ１１の処理を繰り返し、ＡＣＣ電源がＯＮ、またはイグニッション電源がＯＮであることを検知した場合はステップＳ１２に移行する。車両信号検知部２４が、ＡＣＣ電源がＯＮ、またはイグニッション電源がＯＮであることを検知すると、電源２５は、表示制御装置１４の電源をＯＮにする。これにより、表示制御装置１４は、以降の各処理を実行する。

ステップＳ１２において、アイコン取得部１８は、コンバイナ３にアイコン画像を表示する旨の要求をナビゲーション装置４から取得したか否かを判断する。コンバイナ３にアイコン画像を表示する旨の要求をナビゲーション装置４から取得するまでステップＳ１２の処理を繰り返し、コンバイナ３にアイコン画像を表示する旨の要求をナビゲーション装置４から取得するとステップＳ１３に移行する。

ステップＳ１３において、アイコン取得部１８は、ナビゲーション装置４からの要求に対応するアイコン画像をアイコン記憶部１９から取得する。ステップＳ１４において、アイコン取得部１８は、アイコン記憶部１９から取得したアイコン画像をパターンマッチング部２１に出力する。

ステップＳ１５において、パターンマッチング部２１は、アイコン画像の初期表示位置を設定する。ステップＳ１６において、パターンマッチング部２１は、パターンマッチングを行う。

ステップＳ１７において、アイコン取得部１８は、コンバイナ３へのアイコン画像の表示を停止する旨の要求をナビゲーション装置４から取得したか否かを判断する。コンバイナ３へのアイコン画像の表示を停止する旨の要求をナビゲーション装置４から取得した場合は、ステップＳ１８に移行する。一方、コンバイナ３へのアイコン画像の表示を停止する旨の要求をナビゲーション装置４から取得していない場合は、ステップＳ１６に戻る。

ステップＳ１８において、パターンマッチング部２１は、コンバイナ３へのアイコン画像の表示を止める。その後、ステップＳ１１に戻る。

図６は、表示制御装置１４の動作の一例を示すフローチャートであり、図５のステップＳ１６の詳細な動作を示している。図６に示す表示制御装置１４の動作は、最初にアイコン画像をコンバイナ３に表示するときの動作と、既にアイコン画像がコンバイナ３に表示されているときの動作とに大別される。以下、これらの動作について順に説明する。

＜最初にアイコン画像をコンバイナ３に表示するときの動作＞
ステップＳ２１において、カメラ画像取得部１０は、カメラ６が撮影したコンバイナ３全体を含むカメラ画像を取得する。カメラ画像取得部１０は、取得したカメラ画像をカメラ画像記憶部１５に記憶する。図７は、カメラ画像取得部１０が取得したカメラ画像の一例を示す図である。なお、図７に示すカメラ画像は、コンバイナ３の全体に対応している。

ステップＳ２２において、特定エリア抽出部１６は、カメラ画像記憶部１５に記憶されているカメラ画像を複数のエリアに分割し、分割した複数のエリアのうちの一のエリアである特定エリアを抽出する。特定エリア抽出部１６は、抽出した特定エリアを特定エリア記憶部１７に記憶する。

図８は、カメラ画像の分割の一例を示す図である。図８の例では、特定エリア抽出部１６は、カメラ画像をエリアＡ〜Ｉの９つのエリアに分割し、エリアＡを特定エリアとして抽出する。

ステップＳ２３において、合成部１１は、特定エリア記憶部１７に記憶されている特定エリアを参照し、当該特定エリアにアイコン画像が含まれているか否かを判断する。このとき、合成部１１は、図５のステップＳ１５においてパターンマッチング部２１が設定したアイコン画像の初期表示位置の情報をパターンマッチング部２１から受け取っており、当該初期表示位置に基づいて特定エリアにアイコン画像が含まれているか否かを判断する。その結果、「最初にアイコン画像をコンバイナ３に表示するときの動作」は、コンバイナ３上にアイコン画像がない場合であり、この場合、ステップＳ２３の処理は常に「Ｎｏ」となる。なお、ここでは、アイコン画像の初期表示位置はエリアＡであるものとする。

特定エリアにアイコン画像が含まれていない場合、すなわちステップＳ２３の処理が「Ｎｏ」の場合は、ステップＳ２４に移行する。図８の例では、特定エリアであるエリアＡにアイコン画像が含まれていないため、ステップＳ２４に移行する。

ステップＳ２４において、合成部１１は、特定エリア記憶部１７に記憶されている特定エリアと、パターンマッチング部２１から受け取ったアイコン画像とを合成する。合成部１１は、特定エリアとアイコン画像とを合成した合成画像をパターンマッチング部２１に出力する。

図９は、合成画像の一例を示す図である。図９の例では、特定エリアであるエリアＡとアイコン画像４２とが合成されている。なお、図９では、説明の便宜上、他のエリアＢ〜Ｉも示している。

ステップＳ２５において、指標算出部１２は、合成部１１が生成した合成画像におけるアイコン画像の認識しやすさを表す指標であるマッチング係数を算出する。マッチング係数の算出方法は、上述の通りである。

ステップＳ２６において、パターンマッチング部２１は、指標算出部１２が算出したマッチング係数が閾値以上であるか否かを判断する。マッチング係数が閾値以上である場合は、ステップＳ２９に移行する。一方、マッチング係数が閾値以上でない場合、すなわちマッチング係数が閾値未満である場合は、ステップＳ２７に移行する。

図９の例では、アイコン画像４２は、特定エリアであるエリアＡに含まれる建物と重畳して見えづらくなっている。この場合、指標算出部１２が算出したマッチング係数は閾値未満となるため、ステップＳ２７に移行する。

ステップＳ２７において、パターンマッチング部２１は、特定エリア抽出部１６に対して次の特定エリアを抽出するよう指示する。当該指示には、分割したカメラ画像におけるどのエリアを抽出するかの指示も含まれている。ここでは、パターンマッチング部２１は、エリアＡ〜Ｉの順に特定エリアを抽出するよう指示するものとする。

特定エリア抽出部１６は、パターンマッチング部２１の指示に従って、カメラ画像記憶部１５に記憶されているカメラ画像から次の特定エリアを抽出する。ここでは、特定エリア抽出部１６は、次の特定エリアとしてエリアＢを抽出し、抽出したエリアＢを特定エリア記憶部１７に記憶する。

ステップＳ２８において、合成部１１は、特定エリア記憶部１７に記憶されている特定エリアであるエリアＢと、パターンマッチング部２１から受け取ったアイコン画像とを合成する。合成部１１は、特定エリアであるエリアＢとアイコン画像とを合成した合成画像をパターンマッチング部２１に出力する。

図１０は、合成画像の一例を示す図である。図１０の例では、特定エリアであるエリアＢとアイコン画像４２とが合成されている。なお、図１０では、説明の便宜上、他のエリアＡおよびエリアＣ〜Ｉも示しており、アイコン画像４２の表示位置がエリアＡからエリアＢに変更したことを示している。

ステップＳ２８の後、ステップＳ２５に移行し、ステップＳ２５およびステップＳ２６の処理を行う。ステップＳ２６においてマッチング係数が閾値以上であるとパターンマッチング部２１が判断するまでステップＳ２５〜ステップＳ２８までの処理を繰り返し、ステップＳ２６においてマッチング係数が閾値以上であるとパターンマッチング部２１が判断すると、ステップＳ２９に移行する。

ステップＳ２９において、表示位置決定部１３は、指標算出部１２が算出した指標であるマッチング係数に基づいて、コンバイナ３におけるアイコン画像の表示位置を決定する。具体的には、表示位置決定部１３は、指標算出部１２が算出したマッチング係数が閾値以上であるエリアをアイコン画像の表示位置とする。グラフィックメモリ２２には、表示位置決定部１３で決定されたコンバイナ３におけるアイコン画像の表示位置と、当該アイコン画像とが対応付けて記憶される。映像信号生成部２３は、グラフィックメモリ２２に記憶されている情報を映像信号に変換する。映像信号生成部２３が生成した映像信号は、投影機２に出力される。投影機２は、映像信号に従って、コンバイナ３における表示位置決定部１３が決定した表示位置にアイコン画像を投影する。コンバイナ３では、表示位置決定部１３が決定した表示位置にアイコン画像が表示される。図１１は、コンバイナ３に表示されたアイコン画像の一例を示す図である。

なお、ステップＳ２６において、特定エリアであるエリアＡで、指標算出部１２が算出したマッチング係数が閾値以上であれば、その時点でステップＳ２９に移行しステップＳ２９の処理を行うことは言うまでもない。

上記の動作が、最初にアイコン画像をコンバイナ３に表示するときの動作である。

＜既にアイコン画像がコンバイナ３に表示されているときの動作＞
ステップＳ２２、ステップＳ２４、およびステップＳ２６〜ステップＳ２８の処理は、上記の「最初にアイコン画像をコンバイナ３に表示するときの動作」で説明した処理と同様であるため、ここでは説明を省略する。以下では、ステップＳ２１、ステップＳ２３、およびステップＳ２５について説明する。

ステップＳ２１において、カメラ画像取得部１０は、カメラ６が撮影したコンバイナ３全体を含むカメラ画像を取得する。カメラ画像取得部１０は、取得したカメラ画像をカメラ画像記憶部１５に記憶する。図１２は、カメラ画像取得部１０が取得したカメラ画像の一例を示す図である。なお、図１２に示すカメラ画像は、コンバイナ３の全体に対応している。図１２に示すように、カメラ画像には、コンバイナ３に表示されているアイコン画像４２が含まれている。

ステップＳ２３において、合成部１１は、特定エリア記憶部１７に記憶されている特定エリアを参照し、当該特定エリアにアイコン画像が含まれているか否かを判断する。このとき、合成部１１は、図５のステップＳ１５においてパターンマッチング部２１が設定したアイコン画像の初期表示位置の情報をパターンマッチング部２１から受け取っており、当該初期表示位置に基づいて特定エリアにアイコン画像が含まれているか否かを判断する。

図１２の例において、例えばアイコン画像４２が特定エリアであるエリアＡに表示されている場合、合成部１１は、特定エリアであるエリアＡにアイコン画像４２が含まれていると判断し、ステップＳ２５に移行する。

ステップＳ２５において、指標算出部１２は、特定エリアであるエリアＡにおけるアイコン画像４２の認識しやすさを表す指標であるマッチング係数を算出する。マッチング係数の算出方法は、上述の通りである。

図１２の例では、アイコン画像４２は、特定エリアであるエリアＡに含まれる建物と重畳して見えづらくなっている。この場合、指標算出部１２が算出したマッチング係数は閾値未満となるため、ステップＳ２７およびステップＳ２８に移行する。その後、例えば図１３に示すように次の特定エリアにアイコン画像４２を重畳し、ステップＳ２６においてマッチング係数が閾値以上であるとパターンマッチング部２１が判断するまでステップＳ２５〜ステップＳ２８までの処理を繰り返す。そして、ステップＳ２６においてマッチング係数が閾値以上であるとパターンマッチング部２１が判断するとステップＳ２９に移行し、例えば図１４に示すように、コンバイナ３のエリアＣにアイコン画像４２を表示する。

上記の動作が、既にアイコン画像がコンバイナ３に表示されているときの動作である。

＜変形例＞
上記では、マッチング係数が最初に閾値以上になるエリアにアイコン画像を表示する場合について説明したが、これに限るものではない。例えば、ステップＳ２６において全てのエリアのマッチング係数が閾値未満である場合は、最もマッチング係数が高いエリアにアイコン画像を表示してもよく、予め定められたエリアにアイコン画像を表示してもよい。予め定められたエリアとしては、例えば、アイコン画像が矢印である場合はコンバイナ３の右上方のエリア、アイコン画像が矢印でない場合はコンバイナ３の左上方のエリア、またはアイコン画像の種類に関わらずコンバイナ３の中央のエリアなどが挙げられる。

上記では、分割したカメラ画像の複数のエリアについて順にマッチング係数を算出し、最初にマッチング係数が閾値以上となったエリアにアイコン画像を表示する場合について説明したが、これに限るものではない。最初にマッチング係数が閾値以上となったエリアよりもマッチング係数が高いエリアが存在する可能性があるため、全てのエリアについてマッチング係数を算出した後、閾値以上であるマッチング係数のうち最も高いマッチング係数のエリアにアイコン画像を表示してもよい。

上記では、マッチング係数が予め設定した閾値以上であるか否かを判断する場合について説明したが、これに限るものではない。例えば、閾値を設定せず、全てのエリアについてマッチング係数を算出した後、マッチング係数が最も高いエリアにアイコン画像を表示してもよい。また、最初のエリアのマッチング係数を閾値としてもよい。さらに、前回表示位置を決定したエリアのマッチング係数を閾値としてもよい。

上記では、分割したカメラ画像の複数のエリアについて、図１５に示すようなエリアＡ〜Ｉの順でマッチング係数を算出する場合について説明したが、これに限るものではない。例えば、図１５において、エリアＡ，Ｄ，Ｇ，Ｂ，Ｅ，Ｈ，Ｃ，Ｆ，Ｉの順にマッチング係数を算出してもよい。また、各エリアをランダムに抽出し、当該抽出したエリアのマッチング係数を算出してもよい。

上記では、図８に示すように、カメラ画像を９つに分割する場合について説明したが、これに限るものではない。カメラ画像を分割するエリア数は、複数あればよい。

上記では、図８に示すように、カメラ画像を分割したエリアの形状が矩形である場合について説明したが、これに限るものではない。例えば、矩形以外の四角形、三角形、多角形、または円形などであってもよい。

以上のことから、本実施の形態によれば、ＨＵＤのコンバイナにおいて、アイコン画像の視認しやすさを表す指標であるマッチング係数が高いエリアにアイコン画像を表示する。従って、運転者が視認しやすい位置にアイコン画像が表示されるため、運転者は必要な情報を確実に得ることができる。すなわち、ＨＵＤのコンバイナに表示される情報の視認性を向上させることが可能となる。

なお、本実施の形態では、コンバイナにアイコン画像を表示する場合について説明したが、これに限るものではない。例えば、ＨＵＤがコンバイナに代えてフロントガラスにアイコン画像を表示する構成であっても本実施の形態を適用することができる。

なお、本実施の形態では、ＨＵＤにアイコン画像を表示する場合について説明したが、これに限るものではない。例えば、車両の後方を撮影したカメラ画像を表示するバックモニタにも本実施の形態を適用することができる。また、ヘッドマウントディスプレイにも本実施の形態を適用することができる。

以上で説明した表示制御装置は、車載用ナビゲーション装置、すなわちカーナビゲーション装置だけでなく、車両に搭載可能なＰＮＤ（Portable Navigation Device）、および車両の外部に設けられるサーバなどを適宜に組み合わせてシステムとして構築されるナビゲーション装置あるいはナビゲーション装置以外の装置にも適用することができる。この場合、表示制御装置の各機能あるいは各構成要素は、上記システムを構築する各機能に分散して配置される。

具体的には、一例として、表示制御装置の機能をサーバに配置することができる。例えば、図１６に示すように、ユーザ側は、投影機２、コンバイナ３、ナビゲーション装置４、およびカメラ６を備えている。サーバ４３は、カメラ画像取得部１０、合成部１１、指標算出部１２、表示位置決定部１３、カメラ画像記憶部１５、特定エリア抽出部１６、特定エリア記憶部１７、アイコン取得部１８、アイコン記憶部１９、合成記憶部２０、パターンマッチング部２１、グラフィックメモリ２２、映像信号生成部２３、車両信号検知部２４、電源２５、および時間計測部２６を備えている。このような構成とすることによって、表示制御システムを構築することができる。

このように、表示制御装置の各機能を、システムを構築する各機能に分散して配置した構成であっても、上記の実施の形態と同様の効果が得られる。

また、上記の実施の形態における動作を実行するソフトウェアを、例えばサーバに組み込んでもよい。このソフトウェアをサーバが実行することにより実現される表示制御方法は、カメラが撮影した画像であるカメラ画像を取得し、取得したカメラ画像を分割した特定エリアと、予め定められたアイコン画像とを合成して合成画像を生成し、生成した合成画像におけるアイコン画像の認識しやすさを表す指標を算出し、算出した指標に基づいてアイコン画像の表示位置を決定する。

このように、上記の実施の形態における動作を実行するソフトウェアをサーバに組み込んで動作させることによって、上記の実施の形態と同様の効果が得られる。

なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。

本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１ 表示制御装置、２ 投影機、３ コンバイナ、４ ナビゲーション装置、５ 運転者、６ カメラ、７ フロントガラス、８ ルーフ、９ 表示制御装置、１０ カメラ画像取得部、１１ 合成部、１２ 指標算出部、１３ 表示位置決定部、１４ 表示制御装置、１５ カメラ画像記憶部、１６ 特定エリア抽出部、１７ 特定エリア記憶部、１８ アイコン取得部、１９ アイコン記憶部、２０ 合成記憶部、２１ パターンマッチング部、２２ グラフィックメモリ、２３ 映像信号生成部、２４ 車両信号検知部、２５ 電源、２６ 時間計測部、２７ 信号線、２８ カメラ制御ＩＣ、２９ カメラ画像用メモリ、３０ 特定エリア用メモリ、３１ 合成用メモリ、３２ アイコン用メモリ、３３ プログラム用メモリ、３４ バス、３５ ＣＰＵ、３６ 通信Ｉ／Ｆ回路、３７ グラフィックメモリ、３８ グラフィックコントローラ、３９ 通信制御ＩＣ、４０ ＤＣ／ＤＣコンバータ、４１ クロック回路、４２ アイコン画像、４３ サーバ。

Claims (8)

1. カメラが撮影した画像であるカメラ画像を取得するカメラ画像取得部と、
   前記カメラ画像取得部が取得した前記カメラ画像を分割した複数のエリアのうちの一のエリアと、予め定められたアイコン画像とを合成して合成画像を生成する合成部と、
   前記合成部が生成した前記合成画像と前記アイコン画像とのパターンマッチングにより相関値を算出し、前記相関値を用いて前記合成画像における前記アイコン画像の認識しやすさを表す指標を算出する指標算出部と、
   前記指標算出部が算出した前記指標が予め定められた閾値以上である場合、前記一のエリアを前記アイコン画像の表示位置とし、
   前記指標が予め定められた閾値未満である場合、前記合成部に、前記複数のエリアのうち前記一のエリアと異なるエリアと、前記アイコン画像とを合成させる、前記指標に基づいて前記アイコン画像の表示位置を決定する表示位置決定部と、
   を備える、表示制御装置。
2. 前記指標算出部は、各前記エリアの前記指標を順に算出し、
   前記表示位置決定部は、前記指標が予め定められた閾値以上となる最初の前記エリアを前記表示位置として決定することを特徴とする、請求項１に記載の表示制御装置。
3. 前記指標算出部は、全ての前記エリアの前記指標を算出し、
   前記表示位置決定部は、前記指標が予め定められた閾値以上となる前記エリアが複数存在する場合、最も前記指標が高い前記エリアを前記表示位置として決定することを特徴とする、請求項１に記載の表示制御装置。
4. 前記指標算出部は、全ての前記エリアの前記指標を算出し、
   前記表示位置決定部は、全ての前記エリアの前記指標が予め定められた閾値未満である場合、予め定められた位置を前記表示位置として決定することを特徴とする、請求項１に記載の表示制御装置。
5. 前記指標算出部は、各前記エリアの前記指標を順に算出し、
   前記表示位置決定部は、前記指標算出部が最初に算出した前記エリアの前記指標を閾値とし、当該閾値以上となる前記指標の前記エリアを前記表示位置として決定することを特徴とする、請求項１に記載の表示制御装置。
6. 前記指標算出部は、全ての前記エリアの前記指標を算出し、
   前記表示位置決定部は、全ての前記エリアのうち最も前記指標が高い前記エリアを前記表示位置として決定することを特徴とする、請求項１に記載の表示制御装置。
7. 前記表示位置決定部は、前回前記表示位置として決定した前記エリアの前記指標を閾値とすることを特徴とする、請求項１に記載の表示制御装置。
8. カメラが撮影した画像であるカメラ画像を取得し、
   前記取得した前記カメラ画像を分割した複数のエリアのうちの一のエリアと、予め定められたアイコン画像とを合成して合成画像を生成し、
   前記生成した前記合成画像と前記アイコン画像とのパターンマッチングにより相関値を算出し、前記相関値を用いて前記合成画像における前記アイコン画像の認識しやすさを表す指標を算出し、
   前記算出した前記指標が予め定められた閾値以上である場合、前記一のエリアを前記アイコン画像の表示位置とし、
   前記指標が予め定められた閾値未満である場合、前記複数のエリアのうち前記一のエリアと異なるエリアと、前記アイコン画像とを合成させ、前記指標に基づいて前記アイコン画像の表示位置を決定する、表示制御方法。

Images