以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、本発明の実施の形態1に係る表示システムの要部を示す機能ブロック図である。図2A及び図2Bは、本発明の実施の形態1に係る表示装置の要部を示す正面図である。図3は、本発明の実施の形態1に係る車内カメラ、車外カメラ及び表示装置を車両に設けた状態を示す説明図である。図4は、本発明の実施の形態1に係る表示装置を車両のAピラーに設けた状態を示す説明図である。図5は、本発明の実施の形態1に係る制御装置の要部を示すハードウェア構成図である。図6は、本発明の実施の形態1に係る制御装置の要部を示す他のハードウェア構成図である。図1〜図6を参照して、実施の形態1の表示システム100について、四輪自動車からなる車両2に設けた例を中心に説明する。
車内カメラ1は、車両2のダッシュボード又は天井などに設けられており、車両2の前部座席を前方から撮影するものである。視線検出部3は、車内カメラ1が撮影した画像に対する画像認識処理を実行して、車両2の前部座席に着座した搭乗者の視線を検出するものである。
車内カメラ1は、例えば、赤外線カメラ又は可視光カメラにより構成されている。視線検出部3は、例えば、専用の処理回路により構成されている。車内カメラ1及び視線検出部3により、視線検出装置4が構成されている。
同乗者判定部5は、視線検出装置4により検出された車両2の搭乗者の視線を示す情報(以下「視線情報」という。)を用いて、車両2の助手席に着座した同乗者の有無を判定するものである。すなわち、同乗者判定部5は、視線検出装置4により同乗者の視線が検出されている場合は同乗者が存在すると判定し、視線検出装置4により同乗者の視線が検出されていない場合は同乗者が存在しないと判定する。同乗者判定部5は、同乗者の有無を角度制御部6及び車外映像生成部12にそれぞれ通知するとともに、当該有無の判定に用いた視線情報を角度制御部6及び車外映像生成部12にそれぞれ出力するものである。
角度制御部6は、同乗者が存在する場合、視線情報を用いて、車両2のAピラーに対する運転者の視線方向(以下「第1視線方向」という。)と、車両2のAピラーに対する同乗者の視線方向(以下「第2視線方向」という。)とを算出するものである。角度制御部6は、同乗者が存在しない場合、視線情報を用いて、第1視線方向のみを算出するものである。角度制御部6は、算出した視線方向を用いて、車両2のAピラーに設けられた表示装置7a,7bの設置角度を制御するものである。
一方の表示装置7aは、図4に示す如く、車両2の右側のAピラーの車室内側の略全体に亘って設けられている。表示装置7aは、その表示部がAピラーの長手方向に沿って2分割されており、互いに並設された第1表示部8a及び第2表示部9aを有している。
第1表示部8aは、図2Aに示す如く、マトリクス状に配列された複数個のディスプレイ81a,82aにより構成されている。図2Aの例では、5行2列のマトリクス状に10個のディスプレイ81a,82aが配列されている。個々のディスプレイ81a,82aは、携帯情報端末などに用いられる汎用小型ディスプレイにより構成されている。具体的には、例えば、スマートフォン用の5インチ型の液晶ディスプレイ又は有機EL(Electro Luminescence)ディスプレイにより構成されている。
第2表示部9aは、図2Aに示す如く、マトリクス状に配列された複数個のディスプレイ91a,92aにより構成されている。図2Aの例では、5行2列のマトリクス状に10個のディスプレイ91a,92aが配列されている。個々のディスプレイ91a,92aは、携帯情報端末などに用いられる汎用小型ディスプレイにより構成されている。具体的には、例えば、スマートフォン用の5インチ型の液晶ディスプレイ又は有機ELディスプレイにより構成されている。
第1表示部8aと第2表示部9a間には、ヒンジ部10aが設けられている。表示装置7aは、ヒンジ部10aの開き角に応じて、Aピラーに対する第1表示部8aの設置角度が可変であり、かつ、Aピラーに対する第2表示部9aの設置角度が可変である。
角度制御部6は、ヒンジ部10aの開き角を制御することで、Aピラーに対する第1表示部8aの設置角度及びAピラーに対する第2表示部9aの設置角度を制御するものである。具体的には、例えば、ヒンジ部10aには図示しないモータが取り付けられている。角度制御部6は、当該モータへの駆動電流を供給又は停止することにより、ヒンジ部10aの開き角を制御する。
ここで、角度制御部6は、同乗者が存在する場合、ヒンジ部10aの開き角の制御により、第1表示部8aの画面を運転者から可視かつ同乗者から不可視な状態に設定するとともに、第2表示部9aの画面を運転者から不可視かつ同乗者から可視な状態に設定するようになっている。具体的には、例えば、角度制御部6は、第1表示部8aの画面を第2視線方向に沿う状態に設定するとともに、第2表示部9aの画面を第1視線方向に沿う状態に設定する。
図3及び図4に、運転者P1から右側のAピラーへの第1視線方向S1と、同乗者P2から右側のAピラーへの第2視線方向S2との一例を示す。図3及び図4に示す如く、第1表示部8aの画面が第2視線方向S2に沿う状態に設定されており、かつ、第2表示部9aの画面が第1視線方向S1に沿う状態に設定されている。すなわち、第1表示部8a及び第2表示部9aは、車両2の屋根側から見て略V字状に配置されている。
なお、第1表示部8aの画面は厳密に第2視線方向S2に沿う状態でなくとも良く、第2表示部9aの画面は厳密に第1視線方向S1に沿う状態でなくとも良い。ヒンジ部10aの開き角θHは、第1視線方向S1及び第2視線方向S2のなす鋭角θSとの誤差が概ね5度以内であれば良い。
また、角度制御部6は、同乗者が存在しない場合、ヒンジ部10aの開き角の制御により、第1表示部8aの画面を運転者から可視な状態に設定するとともに、第2表示部9aの画面を運転者から可視な状態に設定するようになっている。具体的には、例えば、角度制御部6は、第1視線方向S1がヒンジ部10aの開き角θH内を通る状態、すなわち第1表示部8aの画面及び第2表示部9aの画面の両方を運転者P1と対向した状態に設定する。
他方の表示装置7bは、車両2の左側のAピラーに設けられており、表示装置7aと同様に構成されている。すなわち、表示装置7bは、車両2の左側のAピラーの車室内側の略全体に亘って設けられており、互いに並設された第1表示部8b及び第2表示部9bを有している。図2Bに示す如く、第1表示部8bは複数個のディスプレイ81b,82bにより構成されており、第2表示部9bは複数個のディスプレイ91b,92bにより構成されている。第1表示部8bと第2表示部9b間にはヒンジ部10bが設けられており、ヒンジ部10bの開き角に応じて第1表示部8bの設置角度及び第2表示部9bの設置角度が可変である。
ここで、角度制御部6は、同乗者が存在する場合、ヒンジ部10bの開き角の制御により、第1表示部8bの画面を運転者から可視かつ同乗者から不可視な状態に設定するとともに、第2表示部9bの画面を運転者から不可視かつ同乗者から可視な状態に設定するようになっている。具体的には、例えば、角度制御部6は、第1表示部8bの画面を第2視線方向に沿う状態に設定するとともに、第2表示部9bの画面を第1視線方向に沿う状態に設定する。
また、角度制御部6は、同乗者が存在しない場合、ヒンジ部10bの開き角の制御により、第1表示部8bの画面を運転者から可視な状態に設定するとともに、第2表示部9bの画面を運転者から可視な状態に設定するようになっている。具体的には、例えば、角度制御部6は、第1視線方向S1がヒンジ部10bの開き角θH内を通る状態、すなわち第1表示部8bの画面及び第2表示部9bの画面の両方を運転者P1と対向した状態に設定する。
車外カメラ11aは、車両2の右側のAピラー又は当該Aピラーの近傍の部位(例えば右側のサイドミラーなど)に設けられており、車両2の外部の風景を撮影するものである。車外カメラ11bは、車両2の左側のAピラー又は当該Aピラーの近傍の部位(例えば左側のサイドミラーなど)に設けられており、車両2の外部の風景を撮影するものである。
車外映像生成部12は、同乗者が存在する場合、車外カメラ11a,11bが撮影した映像を用いて、運転者の視線に沿ってAピラー越しに車両2の外部の風景を見た映像に対応する映像(以下「第1車外映像」という。)と、同乗者の視線に沿ってAピラー越しに車両2の外部の風景を見た映像に対応する映像(以下「第2車外映像」という。)とを生成するものである。
すなわち、車外映像生成部12には、左右それぞれのAピラーの形状、寸法、運転席に対する傾き及び助手席に対する傾き、右側のAピラーにおける第1表示部8a及び第2表示部9aの配置位置及び範囲、並びに、左側のAピラーにおける第1表示部8b及び第2表示部9bの配置位置及び範囲などを示す情報(以下「補正用情報」という。)が予め記憶されている。車外映像生成部12は、補正用情報及び視線情報を用いて、車外カメラ11aが撮影した映像のうちの右側のAピラーにより運転者の死角となる領域の映像を切り出すとともに、車外カメラ11bが撮影した映像のうちの左側のAピラーにより運転者の死角となる領域の映像を切り出す。次いで、車外映像生成部12は、補正用情報及び視線情報を用いて、切り出した映像が、運転者の視線に沿ってフロントガラス越しに見える風景及びサイドガラス越しに見える風景と連続した映像となるように補正する。かかる補正後の映像が第1車外映像となる。
同様に、車外映像生成部12は、補正用情報及び視線情報を用いて、車外カメラ11aが撮影した映像のうちの右側のAピラーにより同乗者の死角となる領域の映像を切り出すとともに、車外カメラ11bが撮影した映像のうちの左側のAピラーにより同乗者の死角となる領域の映像を切り出す。次いで、車外映像生成部12は、補正用情報及び視線情報を用いて、切り出した映像が、同乗者の視線に沿ってフロントガラス越しに見える風景及びサイドガラス越しに見える風景と連続した映像となるように補正する。かかる補正後の映像が第2車外映像となる。
車外映像生成部12は、同乗者が存在しない場合、第1車外映像のみを生成するようになっている。
表示制御部13は、車外映像生成部12により第1車外映像及び第2車外映像が生成された場合、第1車外映像を第1表示部8a,8bに表示させるとともに、第2車外映像を第2表示部9a,9bに表示させるものである。このとき、表示制御部13は、右側のAピラーに対応する第1車外映像を第1表示部8aに表示させ、左側のAピラーに対応する第1車外映像を第1表示部8bに表示させるようになっている。また、表示制御部13は、右側のAピラーに対応する第2車外映像を第2表示部9aに表示させ、左側のAピラーに対応する第2車外映像を第2表示部9bに表示させるようになっている。
表示制御部13は、車外映像生成部12により第1車外映像のみが生成された場合、第1車外映像を第1表示部8a,8b及び第2表示部9a,9bに表示させるものである。このとき、表示制御部13は、右側のAピラーに対応する第1車外映像を第1表示部8a及び第2表示部9aに表示させ、左側のAピラーに対応する第1車外映像を第1表示部8b及び第2表示部9bに表示させるようになっている。
同乗者判定部5、角度制御部6、車外映像生成部12及び表示制御部13により、制御装置14が構成されている。表示装置7a,7b及び制御装置14により、表示システム100が構成されている。
図5は、制御装置14のハードウェア構成の一例を示している。図5に示す如く、制御装置14はコンピュータにより構成されており、プロセッサ21及びメモリ22を有している。メモリ22には、当該コンピュータを、図1に示す同乗者判定部5、角度制御部6、車外映像生成部12及び表示制御部13として機能させるためのプログラムが記憶されている。メモリ22に記憶されたプログラムをプロセッサ21が読み出して実行することで、図1に示す同乗者判定部5、角度制御部6、車外映像生成部12及び表示制御部13の機能が実現される。
プロセッサ21は、例えば、CPU(Central Processing Unit)又はGPU(Graphics Processing Unit)などにより構成されている。メモリ22は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)若しくはEEPROM(Electrically Erasable Programmable Read−Only Memory)その他の半導体メモリ、ハードディスクドライブ、フレキシブルディスク、光ディスク又は光磁気ディスクなどにより構成されている。
または、図6に示す如く、制御装置14は専用の処理回路23により構成されたものでも良い。処理回路23は、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)若しくはシステムLSI(Large−Scale Integration)又はこれらを組み合わせたものである。なお、図1に示す同乗者判定部5、角度制御部6、車外映像生成部12及び表示制御部13の各部の機能それぞれを処理回路で実現しても良いし、各部の機能をまとめて処理回路で実現しても良い。
または、図1に示す同乗者判定部5、角度制御部6、車外映像生成部12及び表示制御部13のうちの一部の機能を図5に示すプロセッサ21及びメモリ22により実現し、残余の機能を図6に示す処理回路23により実現したものでも良い。例えば、角度制御部6を表示装置7a,7bと一体の処理回路23により実現し、同乗者判定部5、車外映像生成部12及び表示制御部13を表示装置7a,7bと別部材のプロセッサ21及びメモリ22により実現したものでも良い。
次に、図7のフローチャートを参照して、制御装置14の動作について説明する。
制御装置14は、電源が投入されると各部の設定を初期化して、ステップST1の処理を開始する。
まず、ステップST1にて、同乗者判定部5は、視線検出装置4により検出された視線情報を用いて、助手席に着座した同乗者の有無を判定する。同乗者が存在する場合(ステップST2“YES”)、同乗者判定部5は、その旨を角度制御部6及び車外映像生成部12にそれぞれ通知するとともに、ステップST1の判定に用いた視線情報を角度制御部6及び車外映像生成部12にそれぞれ出力する。
次いで、ステップST3にて、角度制御部6は、ステップST2で同乗者判定部5から入力された視線情報を用いて、第1視線方向及び第2視線方向を算出する。
次いで、ステップST4にて、角度制御部6は、ステップST3で算出した第1視線方向及び第2視線方向を用いて、Aピラーに対する第1表示部8a,8bの設置角度及びAピラーに対する第2表示部9a,9bの設置角度を制御する。
このとき、角度制御部6は、ヒンジ部10aの開き角の制御により、第1表示部8aの画面を運転者から可視かつ同乗者から不可視な状態に設定するとともに、第2表示部9aの画面を運転者から不可視かつ同乗者から可視な状態に設定する。具体的には、角度制御部6は、第1表示部8aの画面を右側のAピラーに対する第2視線方向に沿う状態に設定するとともに、第2表示部9aの画面を右側のAピラーに対する第1視線方向に沿う状態に設定する。
同様に、角度制御部6は、ヒンジ部10bの開き角の制御により、第1表示部8bの画面を運転者から可視かつ同乗者から不可視な状態に設定するとともに、第2表示部9bの画面を運転者から不可視かつ同乗者から可視な状態に設定する。具体的には、角度制御部6は、第1表示部8bの画面を左側のAピラーに対する第2視線方向に沿う状態に設定するとともに、第2表示部9bの画面を左側のAピラーに対する第1視線方向に沿う状態に設定する。
次いで、ステップST5にて、車外映像生成部12は、車外カメラ11a,11bが撮影した映像を用いて、第1車外映像及び第2車外映像を生成する。
具体的には、車外映像生成部12は、予め記憶された補正用情報と、ステップST2で同乗者判定部5から入力された視線情報とを用いて、車外カメラ11aが撮影した映像のうちの右側のAピラーにより運転者の死角となる領域の映像を切り出すとともに、車外カメラ11bが撮影した映像のうちの左側のAピラーにより運転者の死角となる領域の映像を切り出す。次いで、車外映像生成部12は、補正用情報及び視線情報を用いて、切り出した映像が、運転者の視線に沿ってフロントガラス越しに見える風景及びサイドガラス越しに見える風景と連続した映像となるように補正する。かかる補正後の映像が第1車外映像となる。
同様に、車外映像生成部12は、予め記憶された補正用情報と、ステップST2で同乗者判定部5から入力された視線情報とを用いて、車外カメラ11aが撮影した映像のうちの右側のAピラーにより同乗者の死角となる領域の映像を切り出すとともに、車外カメラ11bが撮影した映像のうちの左側のAピラーにより同乗者の死角となる領域の映像を切り出す。次いで、車外映像生成部12は、補正用情報及び視線情報を用いて、切り出した映像が、同乗者の視線に沿ってフロントガラス越しに見える風景及びサイドガラス越しに見える風景と連続した映像となるように補正する。かかる補正後の映像が第2車外映像となる。
次いで、ステップST6にて、表示制御部13は、ステップST5で車外映像生成部12が生成した第1車外映像を第1表示部8a,8bに表示させるとともに、ステップST5で車外映像生成部12が生成した第2車外映像を第2表示部9a,9bに表示させる。このとき、表示制御部13は、右側のAピラーに対応する第1車外映像を第1表示部8aに表示させ、左側のAピラーに対応する第1車外映像を第1表示部8bに表示させる。また、表示制御部13は、右側のAピラーに対応する第2車外映像を第2表示部9aに表示させ、左側のAピラーに対応する第2車外映像を第2表示部9bに表示させる。
ステップST6の結果、運転者は、第1表示部8a,8bに表示された第1車外映像を視認できるとともに、第2表示部9a,9bの画面が見えない状態となる。他方、助手席に着座した同乗者は、第2表示部9a,9bに表示された第2車外映像を視認できるとともに、第1表示部8a,8bの画面が見えない状態となる。すなわち、運転者及び同乗者の両方が、それぞれフロントガラス及びサイドガラス越しに見える風景と連続した映像を見ることができ、両者が違和感を覚えるのを防ぐことができる。
他方、助手席に着座した同乗者が存在しない場合(ステップST2“NO”)、同乗者判定部5は、その旨を角度制御部6及び車外映像生成部12にそれぞれ通知するとともに、ステップST1の判定に用いた視線情報を角度制御部6及び車外映像生成部12にそれぞれ出力する。
次いで、ステップST7にて、角度制御部6は、ステップST2で同乗者判定部5から入力された視線情報を用いて、第1視線方向を算出する。
次いで、ステップST8にて、角度制御部6は、ステップST7で算出した第1視線方向を用いて、Aピラーに対する第1表示部8a,8bの設置角度及びAピラーに対する第2表示部9a,9bの設置角度を制御する。
このとき、角度制御部6は、ヒンジ部10aの開き角の制御により、第1表示部8aの画面を運転者から可視な状態に設定するとともに、第2表示部9aの画面を運転者から可視な状態に設定する。具体的には、角度制御部6は、右側のAピラーに対する第1視線方向がヒンジ部10aの開き角内を通る状態、すなわち第1表示部8aの画面及び第2表示部9aの画面の両方を運転者と対向した状態に設定する。
同様に、角度制御部6は、ヒンジ部10bの開き角の制御により、第1表示部8bの画面を運転者から可視な状態に設定するとともに、第2表示部9bの画面を運転者から可視な状態に設定する。具体的には、角度制御部6は、左側のAピラーに対する第1視線方向がヒンジ部10bの開き角内を通る状態、すなわち第1表示部8bの画面及び第2表示部9bの画面の両方を運転者と対向した状態に設定する。
次いで、ステップST9にて、車外映像生成部12は、車外カメラ11a,11bが撮影した映像を用いて、第1車外映像を生成する。
具体的には、車外映像生成部12は、予め記憶された補正用情報と、ステップST2で同乗者判定部5から入力された視線情報とを用いて、車外カメラ11aが撮影した映像のうちの右側のAピラーにより運転者の死角となる領域の映像を切り出すとともに、車外カメラ11bが撮影した映像のうちの左側のAピラーにより運転者の死角となる領域の映像を切り出す。次いで、車外映像生成部12は、補正用情報及び視線情報を用いて、切り出した映像が、運転者の視線に沿ってフロントガラス越しに見える風景及びサイドガラス越しに見える風景と連続した映像となるように補正する。かかる補正後の映像が第1車外映像となる。
次いで、ステップST10にて、表示制御部13は、ステップST9で車外映像生成部12が生成した第1車外映像を第1表示部8a,8b及び第2表示部9a,9bに表示させる。このとき、表示制御部13は、右側のAピラーに対応する第1車外映像を第1表示部8a及び第2表示部9aに表示させ、左側のAピラーに対応する第1車外映像を第1表示部8b及び第2表示部9bに表示させる。
ステップST10の結果、運転者は、第1表示部8a,8b及び第2表示部9a,9bに表示された第1車外映像を見ることができる。このように、同乗者が存在しない場合は第1表示部8a,8b及び第2表示部9a,9bの両方に運転者用の第1車外映像を表示させることで、第2表示部9a,9bが無駄になるのを防ぐとともに、運転者から見た表示装置7a,7bの表示面積を増やすことができる。
次に、図8のフローチャートを参照して、ステップST6の後に制御装置14が実行する処理について説明する。
まず、ステップST11にて、同乗者判定部5は、視線検出装置4により検出された視線情報を用いて、助手席に着座した同乗者の有無を判定する。同乗者が存在しない場合、すなわちステップST6の後に同乗者が降車又は助手席から後部座席に移動した場合(ステップST12“YES”)、同乗者判定部5は、その旨を角度制御部6及び車外映像生成部12にそれぞれ通知するとともに、ステップST11の判定に用いた視線情報を角度制御部6及び車外映像生成部12にそれぞれ出力する。
次いで、制御装置14は、図7のステップST7〜ST10の処理を実行する。すなわち、角度制御部6は、ステップST12で同乗者判定部5から入力された視線情報を用いて、第1視線方向を算出する(ステップST7)。角度制御部6は、ステップST7で算出した第1視線方向を用いて、第1表示部8a,8bの画面を運転者から可視な状態に設定するとともに、第2表示部9a,9bの画面を運転者から可視な状態に設定する(ステップST8)。車外映像生成部12は、補正用情報及びステップST12で同乗者判定部5から入力された視線情報を用いて、車外カメラ11a,11bが撮影した映像を補正することで第1車外映像を生成する(ステップST9)。表示制御部13は、ステップST9で車外映像生成部12が生成した第1車外映像を第1表示部8a,8b及び第2表示部9a,9bに表示させる(ステップST10)。
他方、同乗者が存在する場合、すなわちステップST6の後に同乗者が降車しておらずかつ助手席から後部座席に移動もしていない場合(ステップST12“NO”)、同乗者判定部5は、その旨を角度制御部6及び車外映像生成部12にそれぞれ通知するとともに、ステップST11の判定に用いた視線情報を角度制御部6及び車外映像生成部12にそれぞれ出力する。
次いで、ステップST13にて、角度制御部6は、ステップST12で同乗者判定部5から入力された視線情報を用いて、第1視線方向及び第2視線方向を算出する。
次いで、ステップST14にて、角度制御部6は、ステップST13で算出した第1視線方向と、前回算出した第1視線方向とがなす角の角度を算出する。また、角度制御部6は、ステップST13で算出した第2視線方向と、前回算出した第2視線方向とのなす角の角度を算出する。
ここで、図7に示す処理の直後の図8に示す処理において、「前回算出した第1視線方向」は図7のステップST3で算出した第1視線方向であり、「前回算出した第2視線方向」は図7のステップST3で算出した第2視線方向である。2回目以降の図8に示す処理において、「前回算出した第1視線方向」は前回のステップST13で算出した第1視線方向であり、「前記算出した第2視線方向」は前回のステップST13で算出した第2視線方向である。
次いで、ステップST15にて、角度制御部6は、ステップST14で算出した角度を、予め設定された基準値(例えば10度)と比較する。第1視線方向の角度又は第2視線方向の角度のうちの少なくとも一方が基準値以上である場合(ステップST15“YES”)、制御装置14は、図7のステップST4〜ST6の処理を再び実行する。
すなわち、角度制御部6は、ステップST13で算出した第1視線方向及び第2視線方向を用いて、第1表示部8a,8bの画面を運転者から可視かつ同乗者から不可視な状態に設定するとともに、第2表示部9a,9bの画面を運転者から不可視かつ同乗者から可視な状態に設定する(ステップST4)。車外映像生成部12は、補正用情報及びステップST12で同乗者判定部5から入力された視線情報を用いて、車外カメラ11a,11bが撮影した映像を補正することで第1車外映像及び第2車外映像を生成する(ステップST5)。表示制御部13は、ステップST5で車外映像生成部12が生成した第1車外映像を第1表示部8a,8bに表示させるとともに、ステップST5で車外映像生成部12が生成した第2車外映像を第2表示部9a,9bに表示させる(ステップST6)。
図8に示す処理により、表示システム100は、第1車外映像及び第2車外映像の表示を開始した後、同乗者が降車又は助手席から後部座席に移動した場合(ステップST12“YES”)、運転者の視線方向に合わせて自動で表示装置7a,7bの設置角度及び表示内容を調整することができる。また、表示システム100は、第1車外映像及び第2車外映像の表示を開始した後、例えば運転者が運転席のリクライニング角度を変更して第1視線方向が大きく変化した場合、又は同乗者が助手席のリクライニング角度を変更して第2視線方向が大きく変化した場合(ステップST15“YES”)、変化後の視線方向に合わせて自動で表示装置7a,7bの設置角度及び表示内容を調整することができる。
なお、制御装置14は、ステップST11〜ST14の処理を繰り返し実行して、ステップST14で算出した角度が基準値以上である状態が所定時間(例えば5秒)継続した場合のみ、ステップST15がYESであると判定するものであっても良い。これにより、例えば運転者若しくは同乗者が一時的に頭部を動かした場合、又は運転者若しくは同乗者がリクライニング角度を短時間に複数回変更した場合などに、表示装置7a,7bの不要な調整が行われるのを防ぐことができる。
次に、図9のフローチャートを参照して、ステップST10の後に制御装置14が実行する処理について説明する。
まず、ステップST21にて、同乗者判定部5は、視線検出装置4により検出された視線情報を用いて、助手席に着座した同乗者の有無を判定する。同乗者が存在する場合、すなわちステップST10の後に同乗者が乗車又は後部座席から助手席に移動した場合(ステップST22“YES”)、同乗者判定部5は、その旨を角度制御部6及び車外映像生成部12にそれぞれ通知するとともに、ステップST21の判定に用いた視線情報を角度制御部6及び車外映像生成部12にそれぞれ出力する。
次いで、制御装置14は、図7のステップST3〜ST6の処理を実行する。すなわち、角度制御部6は、ステップST22で同乗者判定部5から入力された視線情報を用いて、第1視線方向及び第2視線方向を算出する(ステップST3)。角度制御部6は、ステップST3で算出した第1視線方向及び第2視線方向を用いて、第1表示部8a,8bの画面を運転者から可視かつ同乗者から不可視な状態に設定するとともに、第2表示部9a,9bの画面を運転者から不可視かつ同乗者から可視な状態に設定する(ステップST4)。車外映像生成部12は、補正用情報及びステップST22で同乗者判定部5から入力された視線情報を用いて、車外カメラ11a,11bが撮影した映像を補正することで第1車外映像及び第2車外映像を生成する(ステップST5)。表示制御部13は、ステップST5で車外映像生成部12が生成した第1車外映像を第1表示部8a,8bに表示させるとともに、ステップST5で車外映像生成部12が生成した第2車外映像を第2表示部9a,9bに表示させる(ステップST6)。
他方、同乗者が存在しない場合、すなわちステップST10の後に同乗者が乗車しておらずかつ後部座席から助手席に移動もしていない場合(ステップST22“NO”)、同乗者判定部5は、その旨を角度制御部6及び車外映像生成部12にそれぞれ通知するとともに、ステップST21の判定に用いた視線情報を角度制御部6及び車外映像生成部12にそれぞれ出力する。
次いで、ステップST23にて、角度制御部6は、ステップST22で同乗者判定部5から入力された視線情報を用いて、第1視線方向を算出する。
次いで、ステップST24にて、角度制御部6は、ステップST23で算出した第1視線方向と、前回算出した第1視線方向とがなす角の角度を算出する。
ここで、図7に示す処理の直後の図9に示す処理において、「前回算出した第1視線方向」は図7のステップST3で算出した第1視線方向である。2回目以降の図9に示す処理において、「前回算出した第1視線方向」は前回のステップST23で算出した第1視線方向である。
次いで、ステップST25にて、角度制御部6は、ステップST24で算出した角度を、予め設定された基準値(例えば10度)と比較する。第1視線方向の角度が基準値以上である場合(ステップST25“YES”)、制御装置14は、図7のステップST8〜ST10の処理を再び実行する。
すなわち、角度制御部6は、ステップST23で算出した第1視線方向を用いて、第1表示部8a,8bの画面を運転者から可視な状態に設定するとともに、第2表示部9a,9bの画面を運転者から可視な状態に設定する(ステップST8)。車外映像生成部12は、補正用情報及びステップST22で同乗者判定部5から入力された視線情報を用いて、車外カメラ11a,11bが撮影した映像を補正することで第1車外映像を生成する(ステップST9)。表示制御部13は、ステップST9で車外映像生成部12が生成した第1車外映像を第1表示部8a,8b及び第2表示部9a,9bに表示させる(ステップST10)。
図9に示す処理により、表示システム100は、第1車外映像の表示を開始した後、同乗者が乗車又は後部座席から助手席に移動した場合(ステップST22“YES”)、運転者及び同乗者の視線方向に合わせて自動で表示装置7a,7bの設置角度及び表示内容を調整することができる。また、表示システム100は、第1車外映像の表示を開始した後、例えば運転者が運転席のリクライニング角度を変更して第1視線方向が大きく変化した場合(ステップST15“YES”)、変化後の視線方向に合わせて自動で表示装置7a,7bの設置角度及び表示内容を調整することができる。
なお、制御装置14は、ステップST21〜ST24の処理を繰り返し実行して、ステップST24で算出した角度が基準値以上である状態が所定時間(例えば5秒)継続した場合のみ、ステップST25がYESであると判定するものであっても良い。これにより、例えば運転者が一時的に頭部を動かした場合、又は運転者がリクライニング角度を短時間に複数回変更した場合などに、表示装置7a,7bの不要な調整が行われるのを防ぐことができる。
なお、角度制御部6は、第1表示部8a,8bの設置角度及び第2表示部9a,9bの設置角度を制御するものであれば良く、当該制御はヒンジ部10a,10bの開き角の制御に限定されるものではない。例えば、第1表示部8a,8bの右端部とAピラーとの間にヒンジ部を設けるとともに、第2表示部9a,9bの左端部とAピラーとの間にヒンジ部を設けて、角度制御部6が各々のヒンジ部の開き角を制御するとともに当該ヒンジ部をAピラーに対してスライドさせることで設置角度を制御するものであっても良い。このとき、第1表示部8a,8bの左端部は第2表示部9a,9bの右端部又は裏面部に当接し、第2表示部9a,9bの右端部は第2表示部9a,9bの左端部又は裏面部に当接する状態となるように制御するのが好適である。または、第1表示部8a,8bの裏面部から腕部を延伸し、当該腕部の先端部をAピラーに回動自在に取り付けるとともに、第2表示部9a,9bの裏面部から腕部を延伸し、当該腕部の先端部をAピラーに回動自在に取り付けて、角度制御部6が各々の腕部の回動を制御することで設置角度を制御するものであっても良い。
また、表示装置7a,7bは、同乗者が存在する場合、図10に示す如く、図3及び図4の例と逆向きのV字状に配置されるものであっても良い。この場合、表示装置7aのうちの左半部が第1表示部8aとなり、右半部が第2表示部9aとなる。同様に、表示装置7bのうちの左半部が第1表示部8bとなり、右半部が第2表示部9bとなる。
また、同乗者が存在する場合において、第1表示部8a,8bの画面が運転者から可視かつ同乗者から不可視な状態に設定されるものであれば良く、当該状態は第1表示部8a,8bの画面が第2視線方向に沿う状態に限定されるものではない。同様に、同乗者が存在する場合において、第2表示部9a,9bの画面が運転者から不可視かつ同乗者から可視な状態に設定されるものであれば良く、当該状態は第2表示部9a,9bの画面が第1視線方向に沿う状態に限定されるものではない。
例えば、図11に示す如く、第1表示部8aを構成するディスプレイ81a,82aのうち、第1列に配列されたディスプレイ81aと第2列に配列されたディスプレイ82aとの間にヒンジ部83aを追加する。また、第2表示部9aを構成するディスプレイ91a,92aのうち、第1列に配列されたディスプレイ91aと第2列に配列されたディスプレイ92aとの間にヒンジ部93aを追加する。角度制御部6は、ヒンジ部10aの開き角に加えて、ヒンジ部83a,93aの開き角を制御する。
図11に示す表示装置7aを用いた表示システム100において、角度制御部6は、同乗者が存在する場合、ヒンジ部10a,83a,93aの開き角を制御することで、表示装置7aを図12に示す状態に設定する。すなわち、角度制御部6は、ヒンジ部10aの開き角θHを第1視線方向S1と第2視線方向S2とがなす鋭角θSよりも小さい角度に設定し、ヒンジ部83aの開き角θH1を鈍角に設定し、ヒンジ部93aの開き角θH2を略180度に設定する。
このとき、ディスプレイ91a,92aは、図3及び図4の例と同様に第1視線方向S1に沿う状態である。したがって、第2表示部9aの画面は、図3及び図4の例と同様に運転者から不可視かつ同乗者から可視な状態となる。これに対し、ディスプレイ81a,82aは、図3及び図4の例と異なり第2視線方向S2からずらした状態である。しかしながら、第1表示部8aの画面は、図3及び図4の例と同様に運転者から可視かつ同乗者から不可視な状態となる。
また、図12に示す第1表示部8aは、ディスプレイ82aが第1視線方向S1に対して略垂直に配置されており、図3及び図4の例よりも運転者から見た第1表示部8aの表示面積が大きくなっている。これにより、運転者に対する第1表示部8aの視認性を向上することができる。
同様に、角度制御部6は、ヒンジ部93aの開き角θH2を鈍角に設定することで、同乗者から見た第2表示部9aの表示面積を大きくするものでも良い。これにより、同乗者に対する第2表示部9aの視認性を向上することができる。
また、表示装置7bを図11に示す表示装置7aと同様に構成したものでも良い。この場合、角度制御部6は、表示装置7bを図12に示す表示装置7aと同様の状態に設定するものであっても良い。
また、制御装置14は、図7〜図9を参照して説明したように同乗者が存在する場合に第2表示部9a,9bに第2車外映像を表示させる動作モード(以下「第1動作モード」という。)に加えて、同乗者の有無に関わらず第1表示部8a,8b及び第2表示部9a,9bの両方に第1車外映像を表示させる動作モード(以下「第2動作モード」という。)を有するものであっても良い。この場合、制御装置14は、ユーザの操作により第1動作モードと第2動作モードとを切替自在に構成される。または、制御装置14は、視線情報を用いて同乗者が車外の風景を眺めているか否かを判定し、風景を眺めている場合は動作モードを第1動作モードに設定し、風景を眺めていない場合は動作モードを第2動作モードに設定する。なお、第2動作モードにおいて、同乗者からは、第2表示部9a,9bの画面に代えて、Aピラー又は表示装置7a,7bに設けた意匠面が見えるようにするのが好適である。
また、表示制御部13は、車両2に搭載されたカーナビゲーション装置若しくはカーオーディオ装置などの車載情報機器により生成された映像、又は、車両2に持ち込まれたスマートフォン、タブレットコンピュータ若しくはPND(Portable Navigation Device)などの携帯情報端末により生成された映像(以下、総称して「外部機器映像」という。)を表示装置7a,7bに表示させる機能を有するものでも良い。表示制御部13は、例えば、同乗者が存在する場合、第2表示部9a,9bに、第2車外映像に代えて又は加えて外部機器映像を表示させるものであっても良い。
また、角度制御部6は、同乗者が存在しない場合、第1表示部8a,8bの画面のみを運転者から可視な状態に設定し、第2表示部9a,9bの画面を運転者から不可視な状態に設定するものでも良い。この設定は、特に、Aピラーの幅に対して第1表示部8a,8bの幅が十分に大きい場合などに有用である。
また、第1表示部8a,8bの設置角度及び第2表示部9a,9bの設置角度は、制御装置14による自動制御に代えて又は加えて、運転者又は同乗者により手動で変更自在なものであっても良い。すなわち、運転者又は同乗者は、第1表示部8a,8bの設置角度を手動で変更して、第1表示部8a,8bの画面を運転者から可視かつ同乗者から不可視な状態に設定する。同様に、運転者又は同乗者は、第2表示部9a,9bの設置角度を手動で変更して、第2表示部9a,9bの画面を運転者から不可視かつ同乗者から可視な状態に設定する。
また、表示システム100は、車両2に設けられた他のシステムが視線情報を用いるものである場合、当該他のシステムと視線検出装置4を共用するものであっても良い。これにより、車両2における視線検出装置4の個数を低減して、車両2全体のコストを低減することができる。
また、同乗者判定部5は、視線情報に代えて又は加えて、車両2の助手席に設けられた圧力センサの出力信号を用いて、同乗者の有無を判定するものであっても良い。例えば、視線情報と圧力センサの出力信号との両方を用いて同乗者の有無を判定することで、判定精度を向上することができる。
また、第1表示部8aを構成するディスプレイ81a,82aの個数は10個に限定されるものではなく、マトリクスは5行2列に限定されるものではない。第1表示部8aは、1個のディスプレイにより構成されたものでも良い。同様に、第1表示部8bを構成するディスプレイ81b,82bの個数は10個に限定されるものではなく、マトリクスは5行2列に限定されるものではない。第1表示部8bは、1個のディスプレイにより構成されたものでも良い。
また、第2表示部9aを構成するディスプレイ91a,92aの個数は10個に限定されるものではなく、マトリクスは5行2列に限定されるものではない。第2表示部9aは、1個のディスプレイにより構成されたものでも良い。同様に、第2表示部9bを構成するディスプレイ91b,92bの個数は10個に限定されるものではなく、マトリクスは5行2列に限定されるものではない。第2表示部9bは、1個のディスプレイにより構成されたものでも良い。
また、第1表示部8a,8bと第2表示部9a,bとは、互いに異なる個数のディスプレイにより構成されたものでも良い。すなわち、第1表示部8a,8bと第2表示部9a,bとは、画面の大きさが互いに異なるものでも良い。
また、表示装置7a,7bは、Aピラーの車室内側のうちの少なくとも一部に設けられたものであれば良く、図4に示す如く車室内側の略全体に亘って設けられたものに限定されるものではない。表示装置7a,7bは、Aピラーの大きさ又は前部座席に対する配置位置などに応じて、例えばAピラーの上半部、下半部又は中央部のみに設けられたものであっても良い。
また、表示システム100は、車両2の右側のAピラーに設けられた表示装置7a又は左側のAピラーに設けられた表示装置7bのうちのいずれか一方のみを有するものであっても良い。
また、表示装置7a,7bを設ける窓柱部はAピラーに限定されるものではない。表示装置7a,7bは、例えば、車両2の前部座席のサイドガラスと後部座席のサイドガラスとの間の窓柱部、いわゆる「Bピラー」に設けられたものでも良い。
表示装置7a,7bをBピラーに設けた場合、車内カメラ1は、車両2の天井に設けられて後部座席を前方から撮影する。視線検出部3は、車両2の後部座席に着座した搭乗者の視線を検出する。制御装置14は、実施の形態1の説明における「Aピラー」を「Bピラー」とし、「フロントガラス」を「前部座席のサイドガラス」とし、「サイドガラス」を「後部座席のサイドガラス」とし、「運転者」を「右側の後部座席に着座した搭乗者」とし、「同乗者」を「左側の後部座席に着座した搭乗者」として、図7〜図9に示したものと同様の各処理を実行する。
また、表示システム100を適用する移動体は、四輪自動車からなる車両2に限定されるものではない。表示システム100は、窓柱部を有する移動体であれば、自動車、自転車、鉄道車両、船舶又は航空機などを含む如何なる移動体にも用いることができる。
以上のように、実施の形態1の表示システム100は、移動体(車両2)の窓柱部に並設された第1表示部8a,8b及び第2表示部9a,9bを有する表示装置7a,7bと、第1表示部8a,8bの設置角度を制御して、第1表示部8a,8bの画面を移動体(車両2)の第1搭乗者から可視かつ移動体(車両2)の第2搭乗者から不可視な状態に設定するとともに、第2表示部9a,9bの設置角度を制御して、第2表示部9a,9bの画面を第1搭乗者から不可視かつ第2搭乗者から可視な状態に設定する角度制御部6を有する制御装置14とを備える。これにより、第1搭乗者から見える映像と第2搭乗者から見える映像とを分離して、両方の搭乗者が違和感を覚えるのを防ぐことができる。また、プロジェクタを用いた特許文献1の構成よりも外光の影響を受け難くすることができ、かつ、マルチビューディスプレイを用いた特許文献2の構成よりも確実に各搭乗者から見える映像を分離することができる。
また、制御装置14は、移動体(車両2)における第2搭乗者の有無を判定する同乗者判定部5を備え、角度制御部6は、第2搭乗者が存在しない場合、第1表示部8a,8bの画面を第1搭乗者から可視な状態に設定するとともに、第2表示部9a,9bの画面を第1搭乗者から可視な状態に設定する。これにより、第2搭乗者が存在しない場合に第2表示部9a,9bが無駄になるのを防ぐとともに、第1搭乗者から見た表示装置7a,7bの表示面積を増やすことができる。
また、制御装置14は、移動体(車両2)に設けられたカメラ(車外カメラ11a,11b)が移動体(車両2)の外部の風景を撮影した映像を用いて、第1搭乗者の視線に沿って窓柱部越しに風景を見た映像に対応する第1車外映像と、第2搭乗者の視線に沿って窓柱部越しに風景を見た映像に対応する第2車外映像とを生成する車外映像生成部12と、第1車外映像を第1表示部8a,8bに表示させるとともに、第2車外映像を第2表示部9a,9bに表示させる表示制御部13とを備える。これにより、第1搭乗者及び第2搭乗者の両方が、それぞれ窓ガラス越しに見える風景と連続した映像を見ることができる。
また、第1表示部8a,8b及び第2表示部9a,9bは、マトリクス状に配列された複数個のディスプレイにより構成されている。窓柱部の形状及び大きさに応じた個数のディスプレイにより第1表示部8a,8b及び第2表示部9a,9bを構成することで、窓柱部の形状及び大きさが異なる複数の車種のそれぞれに対して表示システム100を適用することができる。また、表示システム100は、個々のディスプレイに汎用小型ディスプレイを用いることで、表示装置7a,7bの製造コストを低減することができる。
また、実施の形態1の制御装置14は、移動体(車両2)の窓柱部に並設された第1表示部8a,8b及び第2表示部9a,9bを有する表示装置7a,7b用の制御装置14であって、第1表示部8a,8bの設置角度を制御して、第1表示部8a,8bの画面を移動体(車両2)の第1搭乗者から可視かつ移動体(車両2)の第2搭乗者から不可視な状態に設定するとともに、第2表示部9a,9bの設置角度を制御して、第2表示部9a,9bの画面を第1搭乗者から不可視かつ第2搭乗者から可視な状態に設定する角度制御部6を備える。かかる制御装置14は、表示装置7a,7bと連携することで表示システム100を実現することができる。
また、実施の形態1の表示装置7a,7bは、移動体(車両2)の窓柱部に並設される第1表示部8a,8b及び第2表示部9a,9bを備え、第1表示部8a,8bの設置角度が可変であり、当該設置角度に応じて第1表示部8a,8bの画面を車両2の第1搭乗者から可視かつ車両2の第2搭乗者から不可視な状態に設定自在であり、第2表示部9a,9bの設置角度が可変であり、当該設置角度に応じて第2表示部9a,9bの画面を第1搭乗者から不可視かつ第2搭乗者から可視な状態に設定自在である。かかる表示装置7a,7bは、制御装置14と連携することで表示システム100を実現することができる。
なお、本発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、または実施の形態の任意の構成要素の省略が可能である。