JP6586226B2 - 端末装置位置推定方法、情報表示方法、及び端末装置位置推定装置 - Google Patents

Description

本発明は、端末装置位置推定方法、情報表示方法、及び端末装置位置推定装置に関するものである。

車両内の所定位置に配置された携帯端末の表示部にコンテンツを表示させる車両表示装置が知られている（例えば、特許文献１参照）。特許文献１に記載の車両表示装置では、携帯端末の撮像部により、車両内の基準位置と運転者の目の位置とが認識され、基準位置に対する運転者の目の位置に応じて、コンテンツの表示サイズ及び表示位置の少なくとも一方が変更される。

特開２０１４−９４６４７号公報

特許文献１に記載の車両表示装置では、上記基準位置が、運転者の前方の予め定められた携帯端末の設置位置に対して設定されており、携帯端末が運転者の前方の任意の位置に配置される状況には対応していない。

本発明が解決しようとする課題は、表示部を有する端末装置が運転者の前方の任意の位置に配置される状況においても、端末装置の位置を推定することが可能な端末装置位置推定方法、情報表示方法、及び端末装置位置推定装置を提供することである。

本発明は、端末装置の表示部が設けられた面の側に備えられた撮像装置により運転者の顔を撮影し、撮影された運転者の顔の位置又は向きに基づいて、端末装置の位置を推定することにより、上記課題を解決する。
また、本発明は、端末装置の表示部が設けられた面の側に備えられた第１の撮像装置により撮影された運転者の顔の位置が、撮影画像の右上又は左上の場合には、端末装置の位置をセンターコンソールの前と推定し、第１の撮像装置により撮影された運転者の顔の位置が、撮影画像の右上又は左上ではなく、且つ、端末装置の表示部が設けられた面の反対側に備えられた第２の撮像装置により取得された車両前方側の被写体までの距離が所定距離以上である場合には、端末装置の位置をダッシュボードの上と推定し、第１の撮像装置により撮影された運転者の顔の位置が、撮影画像の右上又は左上ではなく、且つ、第２の撮像装置により取得された車両前方側の被写体までの距離が上記所定距離未満である場合には、端末装置の位置をダッシュボードの手前と推定することにより、上記課題を解決する。

本発明によれば、表示部を有する端末装置が運転者の前方の任意の位置に配置される状況においても、端末装置の位置を推定することができるという効果を奏する。

本発明の一実施形態に係る車両用情報表示システムの概略を示す図である。 図１の表示装置の前面及び背面を示す図である。 図１の車両用情報表示システムを示すブロック図である。 図３のプロセッサの設置位置推定処理を説明するための図である。 図３のプロセッサの設置位置推定処理を説明するための図である。 本発明の一実施形態に係る車両用情報表示システムが実行する情報表示処理の制御手順を示すフローチャートである。 本発明の一実施形態に係る車両用情報表示システムが実行する情報表示処理の制御手順を示すフローチャートである。 本発明の他の実施形態に係る車両用情報表示システムが実行する情報表示処理の制御手順を示すフローチャートである。 本発明の他の実施形態に係る車両用情報表示システムが実行する情報表示処理の制御手順を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の一実施形態に係る車両用情報表示システム１０の概略を示す図である。この図に示す車両用情報表示システム１０は、車両１内の運転席の前方における任意の位置に設置された表示装置１００の表示部１０１（図２参照）に、その設置位置に応じて情報を表示させるシステムである。この車両用情報表示システム１０は、表示装置１００と、通信ユニット２０と、サーバー３０とを備える。表示装置１００は、固定装置４５により、車両のダッシュボード２の上やメーターパネル３の前等に固定することができる。

図２は、表示装置１００の前面及び背面を示す図である。この図に示すように、表示装置１００は、表示部１０１と、第１及び第２の撮像装置１０２、１０３とを備える移動可能な端末装置である。この表示装置１００としては、スマートフォンやタブレット端末やＰＤＡ等の携帯端末を例示することができる。本実施形態の表示装置１００はスマートフォンであり、表示部１０１は、液晶や有機ＥＬ等のディスプレイであり、第１の撮像装置１０２は、インカメラであり、第２の撮像装置１０３は、アウトカメラである。また、表示装置１００には、設置位置に応じた画像を表示部１０１に表示させる処理を実行するためのアプリケーションソフトウェアがインストールされている。設置位置に応じて表示部１０１に表示させる画像については後述する。

通信ユニット２０は、ＣＡＮ（Controller Area Network）等の車載ネットワークに接続されており、ＥＣＵ（Engine Control Unit又はElectronic Control Unit）等の車載機器から車両情報を受信する。この車両情報としては、速度、エンジンの回転数、ブレーキの状態、ステアリングの状態、車載カメラの撮影画像、ウィンカーの状態、前照灯スイッチや車幅灯スイッチのＯＮ／ＯＦＦ、イグニッションスイッチのＯＮ／ＯＦＦ等を例示することができる。また、通信ユニット２０は、Bluetooth（登録商標）等の無線通信又は有線ＬＡＮ等の有線通信を介して表示装置１００に接続されており、車両識別番号等の車両識別情報や車載機器から受信した車両情報等を表示装置１００に送信する。

サーバー３０は、無線通信網に接続されており、表示装置１００との間で情報を送受信する。この無線通信網としては、ＬＴＥ（Long Term Evolution）や３Ｇ等の携帯電話用通信回線網、ＷｉＭＡＸ（登録商標）等の無線通信網、及び、ビーコン等の高度道路交通システム用の無線通信網等を例示することができる。本実施形態では、サーバー３０は、表示装置１００から車両識別情報や車両情報や表示装置１００の情報を取得し、情報表示処理に必要な情報（以下、表示処理情報という）を、表示装置１００に送信する。なお、サーバー３０と表示装置１００との間での処理や機能の割り振りは適宜設定すればよい。例えば、サーバー３０が、表示装置１００から取得した情報に基づいて、表示装置１００の表示部１０１に表示させる情報を生成して表示装置１００に送信するように、サーバー３０と表示装置１００との連携を構築してもよい。

図３は、車両用情報表示システム１０の概略構成を示すブロック図である。この図に示すように、表示装置１００は、上述の表示部１０１、第１及び第２の撮像装置１０２、１０３に加えて、通信部１０４と、加速度センサ１０５と、ＧＰＳ（Global Positioning System）受信機１０６と、プロセッサ１１０とを備える。

通信部１０４は、通信ユニット２０から上述の車両識別情報や車両情報等を受信し、サーバー３０との間で、車両識別情報や車両情報や後述のＧＰＳ信号等の送信、及び、表示処理情報やナビゲーション情報等の受信を行う。加速度センサ１０５は、ＭＥＭＳ（Micro Electro Mechanical Systems）３軸加速度センサ等であり、Ｘ軸、Ｙ軸、Ｚ軸の３方向の加速度の加速度を計測でき、重力（静的加速度）の計測にも対応できる。ＧＰＳ受信機１０６は、表示装置１００の絶対位置座標（緯度・経度）に係るＧＰＳ信号をＧＰＳ衛星から受信する。

プロセッサ１１０は、表示制御プログラムが格納されたＲＯＭ１１２と、ＲＯＭ１１２に格納された表示制御プログラムを実行する動作回路としてのＣＰＵ１１１と、アクセス可能な記憶装置として機能するＲＡＭ１１３とを備えるコンピュータである。プロセッサ１１０は、情報取得処理、設置位置推定処理、表示情報生成処理、及び表示制御処理を実行する機能を備え、各処理を実現するためのソフトウェアと上述のハードウェアとの協働により、各処理を実行する。

サーバー３０は、通信部３０１と、データベース３０２と、プロセッサ３１０とを備える。通信部３０１は、表示装置１００の通信部１０４との間で、車両識別情報や車両情報やＧＰＳ信号等の受信、及び、表示処理情報やナビゲーション情報等の送信を行う。テータベース３０２は、地図情報や表示処理情報を格納している。

プロセッサ３１０は、表示制御プログラムが格納されたＲＯＭ３１２と、ＲＯＭ３１２に格納された表示制御プログラムを実行する動作回路としてのＣＰＵ３１１と、アクセス可能な記憶装置として機能するＲＡＭ３１３とを備えるコンピュータである。プロセッサ３１０は、情報取得処理、表示処理情報抽出処理、及び、ナビゲーション情報生成処理を実行する機能を備え、各処理を実現するためのソフトウェアと上述のハードウェアとの協働により、各処理を実行する。

図４及び図５は、プロセッサ１１０の設置位置推定処理を説明するための図である。図４に示すように、表示装置１００が、運転者の前方のダッシュボード２の上やメーターパネル３の前やセンターコンソール４の前に設置された場合には、インカメラである第１の撮像装置１０２の画角に運転者の顔が入り、撮影画像に運転者の顔が含まれることになる。

以下の説明では、右ハンドル車におけるダッシュボード２上の中央寄り（運転者から見て左側）の設置位置を設置位置（１）、ダッシュボード２上の運転者の正面の設置位置を設置位置（２）、ダッシュボード２上の運転者から見て右側の設置位置を設置位置（３）と称する。また、メーターパネル３の手前であり運転者の正面の設置位置を設置位置（４）、センターコンソール４の手前の設置位置を設置位置（５）と称する。なお、運転者が、表示装置１００の表示部１０１を自身が見易い向きに調整するのが通常であるが、表示装置１００の設置位置と第１の撮像装置１０２の撮影画像における運転者の顔の位置との関係を説明する際には、便宜上、表示装置１００の表示部１０１は、車両前後方向に対して垂直に配されているものとする。また、矩形状の表示装置１００は、横向きにして設置されているものとする。さらに、第１の撮像装置１０２は、表示部１０１の左側に位置するものとする。

図５は、設置位置（１）〜（５）に設置された表示装置１００の表示部１０１に第１の撮像装置１０２の撮影画像を表示させた場合に、運転者の顔が表示される位置及び運転者の顔の向きを示す図である。この図に示すように、インカメラである第１の撮像装置１０２の撮影画像は、鏡像となって表示部１０１に表示される。

運転者から見て左下の設置位置（５）に表示装置１００が設置されている場合には、運転者の顔は表示部１０１の右上に表示される。また、運転者から見て正面上側の設置位置（２）に表示装置１００が設置されている場合と、運転者から見て正面下側の設置位置（４）に表示装置１００が設置されている場合とでは、表示部１０１での運転者の顔の表示位置が上下反転する。なお、設置位置（４）に表示装置１００が設置されている場合には、運転者の顔は表示部１０１の真ん中よりやや左側の上部に表示される。

さらに、運転者から見て右上の設置位置（３）に表示装置１００が設置されている場合と、運転者から見て左上の設置位置（１）に表示装置１００が設置されている場合とでは、表示部１０１での運転者の顔の表示位置が左右反転する。なお、設置位置（１）に表示装置１００が設置されている場合には、運転者の顔は表示部１０１の真ん中よりやや右側に表示される。

運転者から見て左側の設置位置（１）、（５）に表示装置１００が設置されている場合には、運転者の顔が、左顔が前に出る向き（右向き）で表示部１０１に表示されるのに対して、運転者から見て右上の設置位置（３）に表示装置１００が設置されている場合には、運転者の顔が、右顔が前に出る向き（左向き）で表示部１０１に表示される。また、運転者から見て正面の設置位置（２）、（４）に表示装置１００が設置されている場合には、運転者の顔が、正面向きで表示部１０１に表示される。

なお、車両用情報表示システム１０を左ハンドル車に適用する場合には、センターコンソール４の手前の設置位置は、運転者から見て右下となる。そのため、左ハンドル車のセンターコンソール４の手前に表示装置１００が配置された場合には、運転者の顔は表示部１０１の左上に左向きで表示部１０１に表示される。

以上説明したように、表示装置１００の設置位置と、第１の撮像装置１０２の撮影画像における運転者の顔の位置及び向きとの間には相関関係がある。そこで、プロセッサ１１０は、情報取得処理において、第１の撮像装置１０２の撮影情報（ＡＦ制御時の測距情報、及び撮影画像）を取得し、設置位置推定処理において、第１の撮像装置１０２の撮影画像における運転者の顔の位置及び向きを判別し、その判別結果に基づいて、表示装置１００の設置位置を推定する。

また、図４に示すように、表示装置１００がダッシュボード２上に設置された場合には、アウトカメラである第２の撮像装置１０３の画角にフロントガラス又はフロントガラスの前方側に存在する物体が入り、フロントガラス又はフロントガラスの前方側に存在する物体が測距されると共に、ダッシュボード２上から車両前方側に広がる撮影範囲の明度が計測される。また、表示装置１００が、メーターパネル３の前に設置された場合には、第２の撮像装置１０３の画角にメーターパネル３が入り、メーターパネル３が測距されると共に、メーターパネル３の明度が計測される。さらに、表示装置１００が、センターコンソール４の前に設置された場合には、第２の撮像装置１０３の画角にセンターコンソール４が入り、センターコンソール４が測距されると共に、センターコンソール４の明度が計測される。

表示装置１００がダッシュボード２上に設置された場合における被写体までの距離は、表示装置１００がメーターパネル３の手前又はセンターコンソール４の手前に設置された場合における被写体までの距離と比較して長くなる。また、表示装置１００がダッシュボード２上に設置された場合における撮影範囲の明度の変化量は、表示装置１００がメーターパネル３の手前又はセンターコンソール４の手前に設置された場合における撮影範囲の明度の変化量と比較して大きくなる。

以上説明したように、表示装置１００の設置位置と、第２の撮像装置１０３の撮影情報としての被写体までの距離、及び撮影範囲の明度の変化量との間には相関関係がある。そこで、プロセッサ１１０は、情報取得処理において、第２の撮像装置１０３の撮影情報（ＡＦ制御時の測距情報、及び明度）を取得し、設置位置推定処理において、被写体までの距離、及び撮影範囲の明度の変化量を判別し、その判別結果に基づいて、表示装置１００の設置位置を推定する。

図６及び図７は、本実施形態に係る車両用情報表示システム１０が実行する情報表示処理の制御手順を示すフローチャートである。これらの図のフローチャートに示す処理ルーチンは、表示装置１００にインストールされたアプリケーションソフトウェアが起動されると開始される。

まず、表示装置１００のプロセッサ１１０は、車両識別情報、及び車両情報を車両１の通信ユニット２０から取得する（ステップＳ１０１）。本ステップにおいて取得する車両識別情報には、仕向地の情報が含まれており、仕向地の情報により、車両１の左ハンドル車と右ハンドル車との別や、車両１の装備を識別することができる。また、本ステップにおいて取得する車両情報には、少なくとも、ステアリングの状態、車載カメラの撮影画像、イグニッションスイッチのＯＮ／ＯＦＦが含まれる。

次に、プロセッサ１１０は、表示装置１００に搭載されたセンサの検出情報を取得する（ステップＳ１０２）。本ステップにおいて取得するセンサの検出情報には、加速度センサ１０５により検出された加速度情報が含まれる。

次に、プロセッサ１１０は、ステップＳ１０２において取得した加速度情報に基づいて、表示装置１００が固定状態であるか否かを判定する（ステップＳ１０３）。本ステップにおいて、プロセッサ１１０は、加速度センサ１０５により検出された重力方向（Ｚ軸方向）の加速度が、所定の閾値以下であるか否かを判定する。本ステップにおいて否定判定がされた場合には、ステップＳ１０２に戻り、本ステップにおいて肯定判定がされた場合には、ステップＳ１０４に移行する。

ステップＳ１０４において、プロセッサ１１０は、第１の撮像装置１０２から撮影情報を取得し、取得した撮影情報を解析することにより、撮影画像中の運転者の顔の位置と、被写体としての運転者の顔までの距離とを判別する。次に、プロセッサ１１０は、第２の撮像装置１０３から測距情報と明度情報とを含む撮影情報を取得し、被写体までの距離と、撮影範囲の明度の変化量とを算出する（ステップＳ１０５）。

次に、プロセッサ１１０は、第１の撮像装置１０２の撮影画像の右上に運転者の顔が位置するか否かを判定し（ステップＳ１０６）、肯定判定がされた場合には表示装置１００の設置位置を設置位置（５）と推定する（ステップＳ１０７）。即ち、運転者の正面から比較的大きく離れた設置位置（５）については、第１の撮像装置１０２の撮影画像における運転者の顔の位置に基づいて推定する。一方、ステップＳ１０６において否定判定がされた場合には、図７のステップＳ２０１に移行する。なお、左ハンドル車のセンターコンソール４の前に表示装置１００が設置されている場合には、第１の撮像装置１０２の撮影画像の左上に運転者の顔が位置するか否かを判定し、肯定判定がされた場合に表示装置１００の設置位置をセンターコンソール４の前と推定することになる。

ここで、表示装置１００を、設置位置（５）と比較して運転者から近い設置位置（１）〜（４）に設置する場合には、運転者から表示部１０１が見え易いように、運転者が表示装置１００の向きを調整していることが想定される。そのため、表示装置１００が設置位置（１）〜（４）に設置されている場合には、第１の撮像装置１０２の撮影画像における運転者の顔の位置には識別可能な差が生じない可能性がある。そのため、第１の撮像装置１０２の撮影画像における運転者の顔の位置に基づいて推定する設置位置は、設置位置（５）のみとし、設置位置（１）〜（４）については、第１の撮像装置１０２の撮影画像における運転者の顔の向きと、第２の撮像装置１０３の測距情報及び明るさ情報とに基づいて推定する。

ステップＳ２０１において、プロセッサ１１０は、通信ユニット２０から車両情報を取得する。本ステップにおいて取得する車両情報には、車速と操舵角とが含まれる。次に、プロセッサ１１０は、ステップＳ２０１において取得した車速と操舵角とに基づいて、車両１が直線走行中であるか否かを判定する（ステップＳ２０２）。本ステップにおいて肯定判定がされた場合にはステップＳ２０３に移行し、否定判定がされた場合にはステップＳ２０１に戻る。ステップＳ２０２において、プロセッサ１１０は、車速が所定の閾値以上であり、且つ、操舵角が所定の閾値以下であるか否かを判定する。ここで、車速の閾値は、例えば１０ｋｍ／ｈ等の車両１が走行中であると判定できる値に設定されている。また、操舵角の閾値は、例えば１０°等の車両１が直進中であると判定できる値に設定されている。

ステップＳ２０３において、プロセッサ１１０は、第１の撮像装置１０２の撮影画像を解析することにより、第１の撮影装置１０２の撮影画像における運転者の顔の向きを判別する。次に、プロセッサ１１０は、ステップＳ２０３において判別した運転者の顔の向きが正面向きであるか否かを判定する（ステップＳ２０４）。本ステップにおいて肯定判定がされた場合には、ステップＳ２０５に移行し、本ステップにおいて否定判定がされた場合には、ステップＳ３０１に移行する。

ステップＳ３０１において、プロセッサ１１０は、ステップＳ２０３において判別した運転者の顔の向きが右向き（左顔が前に出る向き）であるか否かを判定する。本ステップにおいて肯定判定がされた場合には、ステップＳ３０２に移行し、本ステップにおいて否定判定がされた場合には、ステップＳ３０３に移行する。

ステップＳ３０２において、プロセッサ１１０は、表示装置１００の設置位置を設置位置（１）と推定する。一方、ステップＳ３０３において、プロセッサ１１０は、表示装置１００の設置位置を設置位置（３）と推定する。そして、ステップＳ３０２、Ｓ３０３から図６のステップＳ１０８に移行する。

即ち、第１の撮像装置１０２の撮影画像における運転者の顔の向きが、右向きである場合には、プロセッサ１１０は、表示装置１００の設置位置を設置位置（１）と推定する。一方、第１の撮像装置１０２の撮影画像における運転者の顔の向きが、左向き（右顔が前に出る向き）である場合には、プロセッサ１１０は、表示装置１００の設置位置を設置位置（３）と推定する。さらに、プロセッサ１１０は、第１の撮像装置１０２の撮影画像における運転者の顔の向きが、正面向きである場合には、表示装置１００の設置位置を設置位置（２）又は設置位置（４）と推定する。

ステップＳ２０５において、プロセッサ１１０は、第２の撮像装置１０３の測距情報と明度情報とに基づいて、表示装置１００の設置位置が設置位置（２）、（４）の何れであるかを推定する。具体的には、プロセッサ１１０は、被写体までの距離が、所定の閾値以上であり、且つ、第２の撮像装置１０３の撮影範囲の明度の変化量が所定の閾値以上であるか否かを判定する。ここで、被写体までの距離の閾値は、メーターパネル３又はセンターコンソール４とその前に設置された表示装置１００との距離に短い距離（例えば１０ｃｍ）を加算した値、即ち、フロントガラスとダッシュボード２上の表示装置１００との距離と比較して小さい値に設定されている。また、撮影範囲の明度の変化量の閾値は、メーターパネル３又はセンターコンソール４の明度の変化量に微量を加えた値であって、車外の明度の変化量と比較して小さい値に設定されている。そして、ステップＳ２０５において肯定判定がされた場合にはステップＳ２０６に移行し、ステップＳ２０５において否定判定がされた場合にはステップＳ２０７に移行する。

ステップＳ２０６において、プロセッサ１１０は、表示装置１００の設置位置を設置位置（２）と推定する。一方、ステップＳ２０７において、プロセッサ１１０は、表示装置１００の設置位置を設置位置（４）と推定する。そして、ステップＳ２０６、Ｓ２０７から図６のステップＳ１０８に移行する。

即ち、第２の撮像装置１０３の被写体までの距離が、フロントガラスまでの距離と比較して短く、且つ、撮影範囲の明度の変化量が、車外の明度の変化量と比較して小さい場合には、プロセッサ１１０は、表示装置１００の設置位置を設置位置（４）と推定する。一方、第２の撮像装置１０３の被写体までの距離が、メーターパネル３又はセンターコンソール４までの距離と比較して大きく、且つ、撮影範囲の明度の変化量が、メーターパネル３又はセンターコンソール４の明度の変化量と比較して大きい場合には、プロセッサ１１０は、表示装置１００の設置位置を設置位置（２）と推定する。

ステップＳ１０８において、プロセッサ１１０は、表示部１０１に、表示装置１００の設置位置に応じた情報を表示させる。表示装置１００の設置位置が運転者から見て左上の設置位置（１）である場合には、例えば、左側への進路変更時に、車両１の左側に存在する他車両等の物体を検知したか否かの報知情報を表示させ、左側への進路変更時以外は、ナビゲーション情報（車載ナビゲーションの機能を代替する画像）を表示させる。また、表示装置１００の設置位置が運転者から見て正面上側の設置位置（２）である場合には、例えば、交差点通過時に、車載カメラによる車両前方の撮影画像を表示させ、交差点通過時以外は、メーターパネル３の機能を代替する画像を表示させる。

また、表示装置１００の設置位置が運転者から見て右上の設置位置（３）である場合には、例えば、右側への進路変更時に、車両１の右側に存在する他車両等の物体を検知したか否かの報知情報を表示させ、右側への進路変更時以外は、ナビゲーション情報を表示させる。また、表示装置１００の設置位置が運転者から見て正面下側の設置位置（４）である場合には、例えば、メーターパネル３の機能を代替する画像を表示させる。さらに、表示装置１００の設置位置が運転者から見て左下の設置位置（５）である場合には、例えば、常時、ナビゲーション情報を表示させる。

次に、プロセッサ１１０は、車両情報（イグニッションスイッチのＯＮ／ＯＦＦ）を取得し（ステップＳ１０９）、イグニッションスイッチがＯＦＦであるか否かを判定する（ステップＳ１１０）。ステップＳ１１０において肯定判定がされた場合には、プロセッサ１１０は、アプリケーションソフトウェアを終了して処理を終了する。一方、ステップＳ１１０において否定判定がされた場合には、ステップＳ１０８に戻り、表示部１０１への情報の表示を継続する。

以上説明したように、本実施形態に係る車両用情報表示システム１０では、表示装置１００の表示部１０１が設けられた面の側に備えられた第１の撮像装置１０２により運転者の顔を撮影し、撮影された運転者の顔の向きに基づいて、表示装置１００の位置を推定する。これにより、運転者の前方の任意の位置に配置された表示装置１００の位置を推定することができる。そして、運転者の前方の任意の位置に配された表示装置１００に、その位置に応じた情報を表示させることができる。

また、上述したように、表示装置１００の設置位置と、車両１の直線走行中の第１の撮像装置１０２の撮影画像における運転者の顔の向きとの間には相関関係がある。そこで、本実施形態に係る車両用情報表示システム１０では、車両１の直線走行中に第１の撮像装置１０２により撮像された運転者の顔が右向きである場合には、表示装置１００の位置を運転者から見て左側の位置（設置位置（１）又は設置位置（５））と推定し、車両１の直線走行中に第１の撮像装置１０２により撮像された運転者の顔が正面向きである場合には、表示装置１００の位置を運転者から見て正面の位置（設置位置（２）又は設置位置（４））と推定し、車両１の直線走行中に第１の撮像装置１０２により撮像された運転者の顔が左向きである場合には、表示装置１００の位置を運転者から見て右側の位置（設置位置（３））と推定する。これにより、運転者の前方の任意の位置に配置された表示装置１００の車幅方向の位置を精度良く推定することができる。

また、上述したように、表示装置１００の設置位置と、第１の撮像装置１０２の撮影画像における運転者の顔の位置との間には相関関係がある。そこで、本実施形態に係る車両用情報表示システム１０では、第１の撮像装置１０２により撮像された運転者の顔の位置に基づいて、表示装置１００の位置を推定する。これにより、例えば、センターコンソール４の手前等、運転者の正面からの距離が比較的遠い表示装置１００の位置を推定することができる。特に、本実施形態に係る車両用情報表示システム１０では、第１の撮像装置１０２により撮影された運転者の顔の位置が撮影画像の右上である場合には、表示装置１００の位置を右ハンドル車のセンターコンソール４の前と推定する。これにより、運転者が表示装置１００の向きを表示部１０１を見易いように微調整している場合でも、右ハンドル車のセンターコンソール４の前に配置された表示装置１００については、その位置を特定することができる。なお、第１の撮像装置１０２により撮影された運転者の顔の位置が撮影画像の左上である場合には、表示装置１００の位置を左ハンドル車のセンターコンソール４の手前と推定すればよい。

また、上述したように、表示装置１００の設置位置と、表示装置１００の背面側の第２の撮像装置１０３により取得された車両前方側の被写体までの距離との間には相関関係がある。そこで、本実施形態に係る車両用情報表示システム１０では、第２の撮像装置１０３により車両前方側を撮影し、第２の撮像装置１０３により取得された被写体までの距離が、所定距離以上である場合には、表示装置１００の位置をダッシュボード２の上（設置位置（１）〜（３））と推定し、第２の撮像装置１０３により取得された被写体までの距離が、上記所定距離未満である場合には、表示装置１００の位置をダッシュボード２の前面（メーターパネル３）の手前（設置位置（４）又は設置位置（５））と推定する。これにより、運転者の前方の任意の位置に配置された表示装置１００の上下方向の位置を精度良く推定することができる。

また、上述したように、表示装置１００の設置位置と、表示装置１００の背面側の第２の撮像装置１０３の撮影範囲の明度の変化量との間には相関関係がある。そこで、本実施形態に係る車両用情報表示システム１０では、第２の撮像装置１０３により車両前方側を撮影し、第２の撮像装置１０３により取得された撮影範囲の明度の変化量が、所定値以上である場合には、表示装置１００の位置をダッシュボード２の上（設置位置（１）〜（３））と推定し、第２の撮像装置１０３により取得された撮影範囲の明度の変化量が、上記所定値未満である場合には、表示装置１００の位置をダッシュボード２の前面の手前（設置位置（４）又は設置位置（５））と推定する。これにより、運転者の前方の任意の位置に配置された表示装置１００の上下方向の位置を精度良く推定することができる。

また、本実施形態に係る車両用情報表示システム１０では、推定した表示装置１００の位置に応じた情報を、表示部１０１に表示させる。これにより、運転者の前方の任意の位置に配された表示装置１００に、その位置に応じた情報を表示させることができる。

図８及び図９は、他の実施形態に係る車両用情報表示システム１０が実行する情報表示処理の制御手順を示すフローチャートである。なお、上述の実施形態に係る車両用情報表示システム１０と同様の手順については説明を省略して上述の説明を援用する。

ステップＳ１０１〜Ｓ１０４が実行された後、プロセッサ１１０は、第２の撮像装置１０３から明るさ情報を含む撮影情報を取得し、通信ユニット２０から前照灯スイッチのＯＮ／ＯＦＦの情報を取得する（ステップＳ４０１）。ここで、前照灯スイッチ又は車幅灯スイッチのＯＮ／ＯＦＦの切換に連動して、メーターパネル３のバックライトの光量の制御と、表示輝度の制御とが実行されるので、表示装置１００の設置位置が設置位置（４）である場合には、前照灯スイッチ又は車幅灯スイッチのＯＮ／ＯＦＦに連動して、第２の撮像装置１０３の撮影範囲の明度が変化する。

即ち、前照灯スイッチ又は車幅灯スイッチのＯＮ／ＯＦＦの切換が行われていないにもかかわらず、第２の撮像装置１０３の撮影範囲の明度に変化が生じた場合には、表示装置１００の設置位置は、設置位置（４）ではなく、設置位置（２）ということになる。一方、前照灯スイッチ又は車幅灯スイッチのＯＮ／ＯＦＦの切換が行われていない間に、第２の撮像装置１０３の撮影範囲の明度に変化が生じない場合には、表示装置１００の設置位置は、設置位置（４）ということになる。さらに、前照灯スイッチ又は車幅灯スイッチのＯＮ／ＯＦＦの切換が行われた時に、第２の撮像装置１０３の撮影範囲の明度に、メーターパネル３のバックライトの光量、表示輝度の制御に応じた変化があった場合には、表示装置１００の設置位置は、設置位置（４）ということになる。

そこで、ステップＳ１０６〜Ｓ２０４が実行された後、プロセッサ１１０は、前照灯スイッチのＯＮ／ＯＦＦの切換に連動して第２の撮像装置１０３の撮影範囲の明度が変化するか否かを判別する（ステップＳ４０２〜Ｓ４０４）。具体的には、プロセッサ１１０は、前照灯スイッチの切換が行われたか否かを判定し（ステップＳ４０２）、肯定判定の場合には、前照灯スイッチの切換時に第２の撮像装置１０３の撮影範囲の明度がメーターパネル３の明度の変化に従って変化したか否かを判定する（ステップＳ４０３）。一方、ステップＳ４０２において否定判定がされた場合には、プロセッサ１１０は、第２の撮像装置１０３の撮影範囲の明度の変化量が所定の閾値未満であるか否かを判定する（ステップＳ４０４）。ステップＳ４０４において、明度の変化量の閾値は、車外の明度の変化量と比較して小さい値に設定されている。

ステップＳ４０３において肯定判定がされた場合には、ステップＳ２０７に移行し、ステップＳ４０３において否定判定がされた場合には、ステップＳ２０６に移行する。一方、ステップＳ４０４において肯定判定がされた場合には、ステップＳ２０７に移行し、ステップＳ４０４において否定判定がされた場合には、ステップＳ２０６に移行する。ステップＳ２０６において、プロセッサ１１０は、表示装置１００の設置位置を設置位置（２）と推定する。一方、ステップＳ２０７において、プロセッサ１１０は、表示装置１００の設置位置を設置位置（４）と推定する。そして、ステップＳ２０６、Ｓ２０７から図８のステップＳ１０８に移行する。その後、ステップＳ１０８〜Ｓ１１０が実行される。

以上説明したように、本実施形態に係る車両用情報表示システム１０では、表示装置１００の表示部１０１が設けられた面の反対側に備えられた第２の撮像装置１０３により車両前方側の被写体を撮影し、第２の撮像装置１０３により取得された撮影範囲の明度が、メーターパネル３の光量切換スイッチ（前照灯スイッチ又は車幅灯スイッチ）に連動して変化した場合には、表示装置１００の位置をメーターパネル３の手前と推定する。これにより、ダッシュボード２の前方の明度の変化量が小さい場合でも、表示装置１００の設置位置が、メーターパネル３の手前であるか、ダッシュボード２の上であるかについては、識別することができる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態において開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

例えば、上述の実施形態では、センターコンソール４の手前に配置された表示装置１００の位置（設置位置（５））を、第１の撮像装置１０２の撮影画像における運転者の顔の位置に基づいて推定したが、これに限らず、設置位置（５）を、第１の撮像装置１０２の撮影画像における運転者の顔の向きに基づいて推定してもよい。

また、上述の実施形態では、ダッシュボード２上に配置された表示装置１００の位置（設置位置（２））と、メーターパネル３の手前に配置された表示装置１００の位置（設置位置（４））とを、第２の撮像装置１０３の測距情報、明度情報に基づいて推定したが、これに限らず、第１の撮像装置１０２の撮影画像における運転者の顔の位置に基づいて推定してもよい。この場合には、第１の撮像装置１０２の撮影画像における運転者の顔の上下の向きに基づいて（例えば、上向きであれば、表示装置１００の設置位置を設置位置（４）と推定）、表示装置１００の位置を推定すればよい。

また、上述の実施形態では、ダッシュボード２上に配置された表示装置１００の位置（設置位置（２））と、メーターパネル３の手前に配置された表示装置１００の位置（設置位置（４））とを、第２の撮像装置１０３の測距情報、明度情報に基づいて推定したが、これに限らず、測距情報のみ、あるいは、明度情報のみに基づいて推定してもよい。

さらに、上述の実施形態では、表示装置１００の設置位置の推定結果に応じて、表示装置１００に表示させる情報を設定したが、表示装置１００の設置位置の推定結果の用途はこれに限定されるものではない。例えば、表示装置１００の設置位置の推定結果に応じて、表示装置１００が備える音声装置をオン／オフする等、表示装置１００の設置位置の推定結果を他の用途に用いてもよい。

２ ダッシュボード
３ メーターパネル
４ センターコンソール
３０ サーバー
３１０ プロセッサ
１００ 表示装置
１０１ 表示部
１０２ 第１の撮像装置
１０３ 第２の撮像装置
１１０ プロセッサ

Claims (12)

1. 車両の中に設置される情報処理装置であって、
   第１の撮像装置により撮像された第１画像を取得する第１の入力部と、
   第２の撮像装置により撮像された第２画像を取得する第２の入力部と、
   所定の画像データを表示する表示部と、
   前記第１画像から検出した人物の顔の位置と、前記第２画像から取得した被写体までの距離に関する情報とに基づいて推定された当該情報処理装置の設置位置に応じて、前記表示部に表示する画像データを決定する制御部と、を備える情報処理装置。
2. 前記表示部に表示する画像データは、前記車両の外に存在する物体に関する画像データである請求項１に記載の情報処理装置。
3. 前記制御部は、前記情報処理装置の設置位置が、前記人物から見て上側にあると推定された場合、前記車両の前方の撮影画像を前記表示部に表示する画像データに決定する請求項１又は２に記載の情報処理装置。
4. 前記制御部は、前記情報処理装置の設置位置が、前記人物から見て下側にあると推定された場合、ナビゲーション情報又はメーターパネルを示す画像データを前記表示部に表示する画像データに決定する請求項１〜３のいずれか一項に記載の情報処理装置。
5. 前記制御部は、
   前記情報処理装置の前記表示部が設けられた面の側に備えられた第１の撮像装置により撮影された人物の顔の位置が、撮影画像の右上又は左上の場合には、前記情報処理装置の位置をセンターコンソールの前と推定し、
   前記第１の撮像装置により撮影された人物の顔の位置が、撮影画像の右上又は左上ではなく、且つ、前記情報処理装置の前記表示部が設けられた面の反対側に備えられた第２の撮像装置により取得された車両前方側の被写体までの距離が所定距離以上である場合には、前記情報処理装置の位置をダッシュボードの上と推定し、
   前記第１の撮像装置により撮影された人物の顔の位置が、撮影画像の右上又は左上ではなく、且つ、前記第２の撮像装置により取得された車両前方側の被写体までの距離が前記所定距離未満である場合には、前記情報処理装置の位置をダッシュボードの手前と推定する請求項１〜４のいずれか一項に記載の情報処理装置。
6. 車両の中に設置される情報処理装置に表示される画像データを決定する表示データ決定方法であって、
   前記情報処理装置の第１の撮像装置により撮像された第１画像から検出した人物の顔の位置と、前記情報処理装置の第２の撮像装置により撮像された第２画像から取得した被写体までの距離に関する情報とに基づいて、前記情報処理装置の設置位置を推定し、
   推定された前記情報処理装置の設置位置に応じて、前記情報処理装置の表示部に表示する画像データを決定する表示データ決定方法。
7. 前記画像データは、前記車両の外に存在する物体に関する画像データである請求項６に記載の表示データ決定方法。
8. 前記情報処理装置の設置位置が、前記人物から見て上側にあると推定された場合、前記車両の前方の撮影画像を前記表示部に表示する画像データに決定する請求項６又は７に記載の表示データ決定方法。
9. 前記情報処理装置の設置位置が、前記人物から見て下側にあると推定された場合、ナビゲーション情報又はメーターパネルを示す画像データを前記表示部に表示する画像データに決定する請求項６〜８のいずれか一項に記載の表示データ決定方法。
10. 前記情報処理装置の前記表示部が設けられた面の側に備えられた第１の撮像装置により撮影された人物の顔の位置が、撮影画像の右上又は左上の場合には、前記情報処理装置の位置をセンターコンソールの前と推定し、
    前記第１の撮像装置により撮影された人物の顔の位置が、撮影画像の右上又は左上ではなく、且つ、前記情報処理装置の前記表示部が設けられた面の反対側に備えられた第２の撮像装置により取得された車両前方側の被写体までの距離が所定距離以上である場合には、前記情報処理装置の位置をダッシュボードの上と推定し、
    前記第１の撮像装置により撮影された人物の顔の位置が、撮影画像の右上又は左上ではなく、且つ、前記第２の撮像装置により取得された車両前方側の被写体までの距離が前記所定距離未満である場合には、前記情報処理装置の位置をダッシュボードの手前と推定する請求項６〜９のいずれか一項に記載の表示データ決定方法。
11. 前記情報処理装置の前記表示部が設けられた面の側に備えられた第１の撮像装置により人物の顔を撮影し、
    前記第１の撮像装置により撮影された前記人物の顔の向きに基づいて、前記情報処理装置の位置を推定し、
    前記情報処理装置の前記表示部が設けられた面の反対側に備えられた第２の撮像装置により車両前方側を撮影し、
    前記第２の撮像装置により取得された撮影範囲の明度が、メーターパネルの光量切換スイッチに連動して変化した場合には、前記情報処理装置の位置を前記メーターパネルの前と推定する請求項６〜９のいずれか一項に記載の表示データ決定方法。
12. 前記車両の直線走行中に前記第１の撮像装置により撮像された前記人物の顔が右向きである場合には、前記情報処理装置の位置を前記人物から見て左側の位置と推定し、
    前記車両の直線走行中に前記第１の撮像装置により撮像された前記人物の顔が正面向きである場合には、前記情報処理装置の位置を前記人物から見て正面の位置と推定し、
    前記車両の直線走行中に前記第１の撮像装置により撮像された前記人物の顔が左向きである場合には、前記情報処理装置の位置を前記人物から見て右側の位置と推定する請求項６〜９のいずれか一項に記載の表示データ決定方法。

Images