JP2017039373A - 車両用映像表示システム - Google Patents

Abstract

【課題】運転者の視界前方に投影表示される映像に対する運転者による見えやすさ（知覚しやすさ）の向上を図ることのできる車両用映像表示システムを提供する。
【解決手段】車両用映像表示システムは、車両の運転者の視界前方に車両の走行を補助する各種映像を投影表示するものである。このシステムは、運転者の視線を検出する視線検出部１２０と、投影表示される各種映像のうち視線検出部１２０によって検出される視線と所定時間一致する映像を運転者によって知覚された映像であると判定する知覚判定部１４０とを備える。そして、知覚判定部１４０を通じて運転者によって知覚されたと判定される映像についてその表示の目立ち具合を表示制御部１５１を通じて低下させる制御を行う。
【選択図】図１

Description

本発明は、例えば車両の経路案内時における交差点での右左折の指示や車両のその都度の走行位置周辺にある店舗情報等、車両の走行時に提示して有益な映像を運転者の視界前方に投影表示する車両用映像表示システムに関する。

例えば特許文献１に記載のシステムでは、車両の運転者の有効な視覚範囲を当該運転者の運転能力として判定するために、例えばボールや子供等、車両の障害物を模した判定用画像（映像）をヘッドアップディスプレイを通じて運転者の視界前方のフロントガラスに投影表示する。そして、そのときの運転者の視線の動きを検出することにより運転者が判定用画像を知覚できたか否かを判定し、その判定結果に基づいて運転者に見合った運転支援モードを実行するようにしている。

特開２０１２−１２６３２４号公報

ところで、上記文献に記載の技術では、運転支援モードを実行する際、運転者の視覚範囲に合った必要な情報だけが提供されるようにすることで、運転者の視界前方に投影表示される映像の情報量を抑えるようにはしているものの、運転者による映像の見えやすさ（知覚しやすさ）の向上を図ろうとすると、なお改善の余地を残すものとなっている。

本発明は、このような実情に鑑みてなされたものであり、その目的は、運転者の視界前方に投影表示される映像に対する運転者による見えやすさ（知覚しやすさ）の向上を図ることのできる車両用映像表示システムを提供することにある。

以下、上記課題を解決するための手段及びその作用効果について記載する。
上記課題を解決する車両用映像表示システムは、車両の運転者の視界前方に車両の走行を補助する各種映像を投影表示する車両用映像表示システムであって、運転者の視線を検出する視線検出部と、前記投影表示される各種映像のうち前記視線検出部によって検出される視線と所定時間一致する映像を運転者によって知覚された映像であると判定する知覚判定部と、前記知覚判定部を通じて運転者によって知覚されたと判定される映像についてその表示の目立ち具合を低下させる制御を行う表示制御部とを備える。

例えば車両の経路案内時における交差点での右左折の指示や車両のその都度の走行位置周辺にある店舗情報等、車両の走行を補助する情報を運転者の視界前方に映像として投影表示するようにすれば、運転者の視線移動を抑えつつそれら情報を提示することができる点で運転者の利便性が高められる。その一方で、運転者の視界前方への映像表示が頻繁に行われるようになると、運転者にとっては必要とされる映像の選別が難しくなり、背景等の映像以外の情報も含め、逆に、本来必要とされる情報の取得が困難になる状況ともなりかねない。

この点、上記構成によるように、運転者の視界前方に投影表示される各種映像のうち、運転者によって既に知覚されたと判定される映像の目立ち具合を低下させる表示制御を行えば、具体的には、「消去する」、「輝度を低下させる」、「明度を低下させる」、「色相を背景に近い色相や目立たない色相に変更する」、「点滅表示していたら点滅を止める」、等々の表示制御を行えば、運転者によって未だ知覚されていない映像の目立ち具合や背景の知覚のしやすさが相対的に高められるようになる。すなわち、結果としては、背景も含めて、運転者の視界前方に投影表示される映像の見えやすさ（知覚しやすさ）が向上されるようになる。

車両用映像表示システムの一実施の形態の概略構成を示すブロック図。 知覚行動判定テーブルの設定内容の一例を示す模式図。 同実施の形態の車両用映像表示システムが実行する知覚行動判定処理の処理手順を示すフローチャート。 運転者の視界前方に投影表示される映像の一例を示す模式図であって、（ａ）は運転者の視線の先にある映像の目立ち具合を低下させる前の模式図、（ｂ）は運転者の視線の先にある映像を知覚判定している最中の模式図、（ｃ）は運転者の視線の先にある映像のうち知覚判定された特定の映像の目立ち具合を低下させた後の模式図。

以下、車両用映像表示システムの一実施の形態について説明する。
本実施の形態の車両用映像表示システムは、例えば経路案内時における交差点での右左折の指示や車両のその都度の走行位置周辺にある店舗情報等、車両の走行時に提示して有益な各種映像をヘッドアップディスプレイを通じて運転者の視界前方に投影表示するものである。そして、ドライバモニタを通じて運転者の視線を検出し、その視線と所定時間一致する映像については運転者によって知覚された映像であると判定して当該映像の表示の目立ち具合を低下させる。その結果、背景も含めて、未だ知覚されていない映像の目立ち具合が相対的に高くなり、こうした映像に対する運転者の見えやすさ（知覚しやすさ）が高められる。

はじめに、その構成について図面を参照して説明する。
図１に示すように、車両１００はドライバモニタ１１０を備えている。このドライバモニタ１１０は、車室内における運転者の眼球Ａや顔Ｂを撮影する部分である。このうち、運転者の眼球Ａについては、眼球Ａを含めてその周辺に赤外光を照射する赤外線光源１１１と、運転者の眼球Ａ及びその周辺から赤外線画像を撮影する赤外線カメラ１１２とを有している。そして、この赤外線カメラ１１２で撮影された眼球Ａの赤外線画像が視線検出部１２０に取り込まれて運転者の視線が検出される。ここでは、こうした運転者の視線の検出に周知の角膜反射法を用いており、視線検出部１２０では、赤外線カメラ１１２により撮影された角膜の反射位置を基準とした瞳孔の位置に基づいて、眼球Ａの視線、すなわち運転者の視線を検出する。なお、視線検出に際し、角膜は通常、微小運動しており、視線検出部１２０では、この角膜の微小運動に伴う振幅、周期、滞留時間を併せて検出している。そして、これら検出された振幅、周期、滞留時間が知覚判定部１４０に送られる。

一方、ドライバモニタ１１０は、運転者の顔Ｂを撮影するためのカメラとして可視光カメラ１１３を有している。この可視光カメラ１１３による運転者の顔の撮影画像は顔検出部１３０に送られ、この顔検出部１３０において目や鼻といった特徴点が算出（検出）される。そして、この算出された特徴点の情報も上記知覚判定部１４０に送られ、ここでヘッドアップディスプレイ１５０により運転者の視界前方に投影表示された映像に対する運転者による知覚の有無が判定される。この判定には、上述した角膜の微小運動に伴って検出される振幅、周期、滞留時間と知覚行動の有無とを対応付けた図２に示す知覚行動判定テーブルＴが用いられる。

この知覚行動判定テーブルＴでは、角膜運動の滞留時間Ｄ１の長さが所定時間（例えば、５００ｍｓ）以上であるか否かに基づき、角膜運動の滞留時間Ｄ１の長さを「長」と「短」の二段階に分類している。そして、角膜運動の滞留時間Ｄ１の長さが「長」に分類されるときには、すなわち運転者の視線の先にある映像が運転者の視線と所定時間一致したときには、当該映像を運転者が知覚している可能性が高いものとして扱う。その一方で、角膜運動の滞留時間Ｄ１の長さが「短」に分類されるときには、すなわち運転者の視線の先にある映像が運転者の視線と所定時間一致しないときには、当該映像を運転者が十分に知覚していない可能性が高いものとして扱うようにしている。

また、この知覚行動判定テーブルＴでは便宜上、角膜運動の振幅Ｄ２の大きさを「大」と「小」の二段階に分類するとともに、角膜運動の周期Ｄ３の長さを「長」と「短」の二段階に分類している。そして本実施の形態では、角膜運動の振幅Ｄ２の大きさが「大」と「小」の何れに分類されたとしても、また、角膜運動の周期Ｄ３の長さが「長」と「短」の何れに分類されたとしても、上述した角膜運動の滞留時間Ｄ１の長さの分類に応じて、運転者による知覚の可能性の有無が判定されるようにしている。

ただし、角膜運動の振幅Ｄ２の大きさが「大」であると分類されたときには、角膜運動の振幅Ｄ２の大きさが「小」であると分類されたときよりも、例えば角膜運動の滞留時間Ｄ１の長さを分類する際の上記所定時間を短くする等して、運転者の視線の先にある映像を運転者が知覚したものとして判定しやすくすることが好ましい。これは、角膜運動の振幅Ｄ２が比較的大きいときには、運転者の運転習熟度が比較的低い状況にあり、運転者の視界前方への映像の表示が運転者の煩わしさを助長しやすいと考えられるためである。

一方、角膜運動の周期Ｄ３の長さが「長」であると分類されたときには、角膜運動の周期Ｄ３の長さが「短」であると分類されたときよりも、例えば角膜運動の滞留時間Ｄ１の長さを分類する際の上記所定時間を長くする等して、運転者の視線の先にある映像を運転者が知覚したものとして判定しにくくすることが好ましい。これは、角膜運動の周期Ｄ３が比較的長いときには、運転者の視線の先にある映像の情報量が多い状況にあり、その映像の目立ち具合を直ちに低下させてしまうと、その映像に含まれる情報を運転者が的確に知覚することができなくなる可能性が高まると考えられるためである。

こうした知覚判定部１４０による運転者の知覚の可能性の有無に関する判定結果は、ヘッドアップディスプレイ１５０が備える表示制御部１５１による表示制御に用いられる。この表示制御部１５１は、例えば車両の経路案内時における交差点での右左折の指示や車両のその都度の走行位置周辺にある店舗情報等の他、例えばエンジンオイルの不足、バッテリー電圧の低下、シートベルトの締め忘れ等、運転者への警告が必要とされる状況にあって、対応する映像を表示部１５２によりフロントガラスに出力するものである。そして、知覚判定部１４０が運転者の視線の先にある映像を運転者が知覚した可能性が高いと判定したときには、知覚判定部１４０から表示制御部１５１に表示変更指令が送信される（図１参照）。ここで、視線検出部１２０は、運転者の視線とヘッドアップディスプレイ１５０により投影表示される映像とが交差する点の三次元座標の算出を併せて行っており、知覚判定部１４０はこのとき、視線検出部１２０が算出した三次元座標を取得して、この取得した座標情報を上記表示変更指令とともに表示制御部１５１に送信する。

次に、車両用映像表示システムが実行する知覚行動判定処理についてその具体的な処理手順を説明する。ここで、車両用映像表示システムは、車両のイグニッションスイッチがオンなっている条件で、図３に示す知覚行動判定処理を実行する。

車両用映像表示システムはまず、車両の運転者の眼球Ａ及びその周辺に対する赤外線光源１１１からの赤外線の照射を開始する（ステップＳ１０）。
そして次に、車両用映像表示システムは、可視光カメラ１１３にて撮影された運転者の顔Ｂの画像に対し、顔検出部１３０を通じてパターン認識処理等を行うことにより、運転者の目の輪郭、及び運転者の目や鼻の位置といった特徴点を検出する（ステップＳ１１）。

続いて、車両用映像表示システムは、赤外線カメラ１１２が撮影した運転者の眼球Ａの赤外線画像のうち、上記ステップＳ１１において検出した運転者の目の輪郭の周辺にある光点を検出する一方で（ステップＳ１２）、同じく上記ステップＳ１１において検出した運転者の目の輪郭外にある光点を棄却する（ステップＳ１３）。こうして赤外線カメラ１１２が撮影した運転者の眼球Ａの赤外線画像のうち、上述した角膜反射法による視線の検出に用いるデータのみを選別することにより、ノイズ成分の除去とともに赤外線画像のデータ容量が抑えられて、運転者の視線の検出を高いリアルタイム性をもって実現することが可能となる。

そして次に、車両用映像表示システムは、赤外線カメラ１１２が撮影した運転者の眼球Ａの赤外線画像を処理する視線検出部１２０を通じて上述した角膜の微小運動に伴う振幅、周期、滞留時間を検出する（ステップＳ１４）。

併せて、車両用映像表示システムは、上記顔検出部１３０を通じて処理された運転者の目や鼻の位置から運転者の顔の動き量を推定する（ステップＳ１５）。
そして、車両用映像表示システムは、運転者の顔の動き量が所定値未満であると判断されるときには（ステップＳ１６＝ＹＥＳ）、上記ステップＳ１４において検出された角膜の微小運動の主な要因が運転者の周辺視による視認、即ち、ほぼ目の動きだけでみることのできる範囲内での視認によるものであると判断する（ステップＳ１７）。この場合、運転者の顔の動きが比較的少ないことから、角膜の微小運動のデータを元に運転者の知覚行動の有無を精度良く判定することが可能となる。そのため、車両用映像表示システムは、このときの角膜の微小運動のデータを知覚判定部１４０に取り込み、先の知覚行動判定テーブルＴ（図２）に基づいて運転者の知覚行動の有無を判定する（ステップＳ１８）。

そして、車両用映像表示システムは、運転者の視線の先にある映像を運転者が知覚したと判定したときには（ステップＳ１８＝ＹＥＳ）、その映像の目立ち具合を低下させるべく、視線検出部１２０が算出した前述の座標情報と共々、知覚判定部１４０から表示制御部１５１に表示変更指令を送信した上で（ステップＳ１９）、その処理をステップＳ１１に戻す。一方、車両用映像表示システムは、上記知覚行動判定テーブルＴに基づき運転者の視線の先にある映像を運転者が知覚していないと判定したときには（ステップ１８＝ＮＯ）、その映像の表示態様を変更することなく、その処理をステップＳ１１に戻す。

他方、車両用映像表示システムは、上述した運転者の顔の動き量が所定値以上であると判断されるときには（ステップＳ１６＝ＮＯ）、運転者が脇見運転をしていると判断する（ステップＳ２０）。この場合、運転者が自身の視界前方に投影表示されている映像を知覚している可能性は極めて低いことから、その処理をそのままステップＳ１１に戻す。

次に、本実施の形態の車両用映像表示システムの作用について説明する。
車両の経路案内時における交差点での右左折の指示や車両のその都度の走行位置周辺にある店舗情報等、車両の走行時に提示して有益な映像を運転者の視界前方に投影表示するようにすれば、運転者の視線移動を抑えつつそれら情報を提示することが可能となる。

例えば図４（ａ）に示す例では、車両が交差点に進入する時点で右折の指示を表す映像Ｇ１が車両前方の背景と重畳して表示されている。また、この右折の指示を表す映像Ｇ１と隣り合うように、車両の車速を示す映像Ｇ２の他、エンジンオイルの不足、バッテリー電圧の低下、シートベルトの締め忘れ等、運転者への警告を示す映像Ｇ３，Ｇ４，Ｇ５が同じく車両前方の背景と重畳して表示されている。また、同図に示す例では、運転者の視線方向が「×」印で表記されており、上方への僅かな視線移動をもって右折の指示を表す映像Ｇ１を視認可能であるとともに、下方への僅かな視線移動をもって車両の車速を示す映像Ｇ２や運転者への警告を示す映像Ｇ３，Ｇ４，Ｇ５を視認可能な状況にある。このように、車両の運転者にとって有益な情報を運転者の視線移動を抑えつつ提示することができれば、運転者の利便性を高めることができるようになる。その一方で、同図に示す例のように、運転者の視界前方に多くの映像が表示されると、それら映像の選択が困難となるだけでなく、運転者の煩わしさを助長することにもなりかねず、運転者の利便性を却って損ねてしまうという側面もある。

この点、本実施の形態では、図４（ｂ）に示すように、図４（ａ）に示す状態から運転者の視線が車両１００の右折の指示を表す映像Ｇ１に向けられたとき、その映像Ｇ１を対象として運転者による知覚の可能性の有無が判定される。

そして、運転者がその映像Ｇ１を知覚したと判定されたときには、図４（ｃ）に示すように、その映像Ｇ１を消去する。これにより、運転者にとっては、未だ知覚していない他の映像Ｇ２，Ｇ２，Ｇ３、Ｇ５の目立ち具合が相対的に高められることとなり、それら映像Ｇ２，Ｇ２，Ｇ３，Ｇ５に含まれる情報を的確に取得することが可能となる。また、運転者にとっては、その背景の目立ち具合も相対的に高められて背景の把握も容易となる。

特に、本実施の形態では、運転者が単に視線を向けただけでなく、運転者の眼球Ａの角膜運動に基づき映像を知覚したと判定されることをもって、その視線の先にある映像の目立ち具合を低下させるようにしている。そのため、運転者がいまだ知覚していないと判定される映像については、その表示も的確に維持される。

以上説明したように、本実施の形態によれば、以下に示す効果を得ることができる。
（１）運転者の視線の先にある映像が運転者によって知覚されたと判断されたとき、その映像表示の目立ち具合を低下させるようにしている。そのため、運転者の視界前方に投影表示される映像のうち、運転者によって既に知覚されたと判断される映像のみがその目立ち具合が低下されることとなり、運転者によって未だ知覚されていない映像の目立ち具合や背景の知覚のしやすさが相対的に高められるようになる。すなわち、背景も含めて、運転者の視界前方に投影表示される映像の見えやすさ（知覚しやすさ）を向上させることが可能となる。

なお、上記実施の形態は、以下のような形態にて実施することもできる。
・上記実施の形態では一例として、交差点での右（左）折を指示するための映像Ｇ１について知覚されたとの判定のもとにその目立ち具合を低下させる制御を行ったが、それら表示制御の対象とする映像は、車両のその都度の走行位置周辺にある店舗情報や各種警告灯などであってもよい。

・上記実施の形態においては、映像の目立ち具合を低下させる方法として、該当する映像を消去する場合について例示したが、その他にも、例えば「映像の輝度を低下させる」、「映像の明度を低下させる」、「映像の色相を背景に近い色相や目立たない色相に変更する」、「映像が点滅表示していたら点滅を止める」等を採用するようにしてもよい。

・上記実施の形態においては、運転者の視線の先にある映像が知覚されたと判定されたとき、その映像の目立ち具合を一律に低下させるようにしたが、これに限らず、映像の種別に応じて目立ち具合の低下の有無やその低下の度合いを個別に設定するようにしてもよい。

・上記実施の形態においては、運転者の視線の検出、及び運転者の顔の向きの検出を、赤外線カメラ１１２及び可視光カメラ１１３を用いて行うようにしたが、それらの検出を赤外線カメラ１１２及び可視光カメラ１１３の何れか一方により撮影された画像信号を元に実行するようにしてもよい。すなわち、例えば運転者の視線の検出にしろ、前述した角膜反射法に限らず、例えば可視光カメラ１１３により撮影される目頭を基準点にした虹彩の動きから視線の検出を行う方法等も適宜採用することができる。

１００…車両、１１０…ドライバモニタ、１１１…赤外線光源、１１２…赤外線カメラ、１１３…可視光カメラ、１２０…視線検出部、１３０…顔検出部、１４０…知覚判定部、１５０…ヘッドアップディスプレイ、１５１…表示制御部、１５２…表示部、Ａ…眼球、Ｂ…顔、Ｔ…知覚行動判定テーブル。

Claims (1)

1. 車両の運転者の視界前方に車両の走行を補助する各種映像を投影表示する車両用映像表示システムであって、
   運転者の視線を検出する視線検出部と、
   前記投影表示される各種映像のうち前記視線検出部によって検出される視線と所定時間一致する映像を運転者によって知覚された映像であると判定する知覚判定部と、
   前記知覚判定部を通じて運転者によって知覚されたと判定される映像についてその表示の目立ち具合を低下させる制御を行う表示制御部と
   を備える
   ことを特徴とする車両用映像表示システム。