JP6343808B2 - 視野算出装置および視野算出方法 - Google Patents

Description

本開示は、視野算出装置および視野算出方法に関する。

従来、車両を運転するユーザの視野範囲（「視野領域」ともいう）を算出する方法として、例えば特許文献１に開示されている方法がある。特許文献１に記載の方法では、車外の移動体を検出する手段を用いて車外の移動物体（例えば人物）を検出し、かつ、ユーザの視線方向を検出する手段を用いてユーザの視線方向を計測する。そして、移動物体および視線方向に基づいてユーザが車外の移動物体を注視していると判定した場合、注視点の位置に基づいて視野範囲を算出する。

特開２０１１−２０６０７２号公報

しかしながら、特許文献１の方法では、ユーザの視線方向を検出する手段に加えて、車外の移動体を検出する手段（例えば、カメラなどのデバイス）を備える必要があり、構成が複雑になる。

そこで、本開示の一態様は、より構成が簡易な、視野範囲を算出できる視野算出装置を提供する。

本開示の一態様に係る視野算出装置は、検出されたユーザの注視方向に基づいて前記ユーザの視野範囲を算出する視野算出装置であって、第１のタイミングで検出された第１の注視方向と、第２のタイミングで検出された第２の注視方向とに基づいて、サッケードを検出するサッケード検出部と、前記第１のタイミングと前記第２のタイミングとの時間差と、前記第１の注視方向と、前記第２の注視方向とに基づいて、前記サッケードの速度を算出するサッケード速度算出部と、前記サッケードの速度が第１の閾値を超えるサッケードを抽出し、抽出したサッケードの変位ベクトルを算出し、前記変位ベクトルの始点および終点を含む領域を前記ユーザの視野範囲として算出する視野範囲算出部と、を備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示に係る視野算出装置によれば、より簡易な構成により視野範囲を算出できる。

外因性サッケードと内因性サッケードの特性を示すグラフ 本開示の実施の形態１に係る運転支援システムおよび視野算出装置の構成例を示すブロック図 本開示の実施の形態１に係る視野算出動作の一例を示すフローチャート 本開示の実施の形態１に係るサッケード検出処理の一例を示す概念図 本開示の実施の形態１に係るサッケード速度閾値の一例を示す図 本開示の実施の形態１に係る視野算出装置で算出された視野の一例を示す概念図 本開示の実施の形態１に係る見落し判定動作の一例を示すフローチャート 本開示の実施の形態１に係る見落し判定動作の結果の一例を示す概念図 本開示の実施の形態１の変形例に係る運転支援システムおよび視野算出装置の構成例を示すブロック図 本開示の実施の形態１の変形例に係る視野パタンの一例を示す概念図 本開示の実施の形態１の変形例に係る視野算出動作の一例を示すフローチャート 本開示の実施の形態１の変形例に係る視野算出動作の一例を示す概念図 本開示の実施の形態２に係る運転支援システムおよび視野算出装置の構成例を示すブロック図 本開示の実施の形態２に係る視野算出動作の一例を示すフローチャート 本開示の実施の形態２に係る視野範囲の変化の一例を示す図 本開示の実施の形態３に係る運転支援システムおよび視野算出装置の構成例を示すブロック図 本開示の実施の形態３に係る視野算出動作の一例を示すフローチャート 本開示の実施の形態３に係るサッケード検出処理および顔変位量算出処理の一例を示す概念図 本開示の実施の形態３に係る情報提示制御動作の一例を示すフローチャート 本開示の実施の形態３に係るＡＲ表示の一例を示す概念図

（視標の提示を用いた視野範囲の算出）
まず、一般的な視野範囲の算出の例を示す。視標の提示を用いる方法が、例えば非特許文献１（TR S 0004 2010 視標検出視野の加齢変化に関するデータ集 日本規格協会発行 ２０１０年４月１日公表）に開示されている。非特許文献１に記載されている方法（以下、非特許文献１の方法ともいう）は、ユーザの前方に設置したスクリーンに視標を提示し、その視標に対するユーザの反応を計測することにより、視野範囲を算出する。

以下、具体的に解説する。非特許文献１の方法では、ユーザ前方のスクリーン上のユーザ正面の点を原点として、原点から上・下・左・右と、右上・左上・左下・右下の８方向に対して、離心角度１０〜６０度の位置に２００ｍｓｅｃ間視標を提示する。そして、非特許文献１の方法は、ユーザがスクリーン中央を固視した状態で各視標を視認できたか否かの判断結果に基づいて、視野範囲を算出する。ここでいう視野範囲とは、「物体の存在を検出することのできる視野」として定義されている。具体的には、視野範囲は、ユーザが正面を見た状態において視線の周辺に物体が出現した場合に、ユーザがその物体の存在に気づくことのできる範囲である。視野範囲は、非特許文献１では「検出視野」として定義されている。

一般に、視野範囲は、ユーザの年齢または状態（例えば、心理状態、覚醒状態）、前景の複雑さ、ユーザの動作などの様々な要因に起因して変化する。非特許文献１の方法は、実験環境下における若年者と高齢者の視野範囲の基本データの整備を目的に行われているため、車両の運転中等の、状況に応じて視野範囲が変化する場面における視野範囲の算出を想定していない。すなわち、スクリーンおよび視標などの構成を必須とする非特許文献１の方法を、運転中における視野範囲の算出に用いることは困難である。

（視野範囲の算出に用いる原理）
後述する本開示の各実施の形態において視野範囲の算出（以下、適宜「視野算出」ともいう）に用いる原理について説明する。

通常、自動車の運転をはじめとする何らかの行動をユーザがとる場合、周辺の環境を取得するために眼球運動が発生する。自動車の運転の場合、運転者は運転に必要な情報のおよそ９０％を視覚情報から得ていると言われており、運転者は注視する対象物を順次切り替えながら運転する。このように、注視する対象物を切り替えるときに発生する眼球運動を、サッケード（以下、適宜「ＳＣ」という）という。サッケードの変位量は０．５度〜５０度、サッケードの速度は１００〜５００度／秒である。よって、サッケードは、非常に高速な眼球運動である。

ＳＣは、その発生要因の違いから、外因性ＳＣと内因性ＳＣに分類される。外因性ＳＣは、外部誘発ＳＣとも言われ、視野内に突然現れた視覚刺激を原因として、ほぼ反射的に生じるＳＣである。一方、内因性ＳＣは、内部誘発ＳＣとも言われ、その発生起源がユーザ内部にあり、意識的に生じるものである。また、内因性ＳＣは、視野範囲とは無関係と考えられる。

外因性ＳＣと内因性ＳＣの特性については、様々な研究が行われている。その結果、非特許文献２（滑動性眼球運動中に発生するサッカードの動特性解析 電子情報通信学会論文誌Vol.J78-D-II No.5 pp．８４５−８５４、視覚誘発サッケードと内部誘発サッケードにおける覚醒水準依存性）において、外因性ＳＣは内因性ＳＣと比較して最高速度が大きいこと、また、ＳＣの変位量に応じて外因性ＳＣと内因性ＳＣの最高速度の分布が異なることなどが、明らかになっている。

図１は、外因性ＳＣと内因性ＳＣの特性を示すグラフである。図１において、縦軸はＳＣ速度（度／秒）、横軸はＳＣ変位量（度）を示し、外因性ＳＣを“＋”、内因性ＳＣを“−”で示している。また、図１において、外因性ＳＣの分布の近似曲線を実線、内因性ＳＣの分布の近似曲線を破線で示している。この図１から明らかなように、ＳＣ変位量に応じてＳＣ速度に閾値を設けることで、外因性ＳＣと内因性ＳＣを分離することが可能であると考えられる。

後述する本開示の各実施の形態は、上記原理を用い、視野範囲とは無関係な内因性ＳＣを除外し、視野内の視覚刺激に対する反応である外因性ＳＣのみを抽出することで、ユーザの視野範囲を高精度に算出できる。

以下、本開示の実施の形態１〜４について、図面を参照して説明する。

（実施の形態１）
本開示の実施の形態１について説明する。

図２は、本実施の形態に係る視野算出装置１３０を含む運転支援システム１００の構成例を示すブロック図である。図２において、運転支援システム１００は、情報取得部１１０、注視方向検出部１２０、視野算出装置１３０、視野範囲記録部１４０、見落し判定部１５０、表示部１６０を有する。

運転支援システム１００は、自動車等の車両に搭載され、その車両の周辺の障害物に対するユーザの見落しを検出して、聴覚的な手段および視覚的な手段のうち少なくとも一方を用いてユーザに注意喚起、警告等を行うシステムである。これにより、ユーザが車両周辺の障害物を見落すことを防止し、安全な運転を支援できる。なお、実施の形態１〜４でいう「ユーザ」は、運転支援システム１００が搭載された車両の運転者を意味する。

情報取得部１１０は、障害物情報を取得する。障害物情報とは、車両の周辺における障害物の有無、その障害物の位置、その障害物の車両との相対速度などを含む情報である。障害物情報は、車両に設置されたカメラ、ミリ波レーダなどの車載センサ、道路側に設置されたセンサ、無線通信などを用いて取得される。また、他の車両で取得された障害物情報は、車車間通信を手段として取得されてもよい。

注視方向検出部１２０は、ユーザの注視方向（以下、適宜「注視方向」という）を検出する。例えば、注視方向検出部１２０は、ユーザの眼球を撮影するカメラを用いて取得した画像から、角膜反射法などを用いて眼球運動を算出する。角膜反射法とは、近赤外線光源（点光源）が近赤外線を眼球に照射し、その眼球をカメラで撮影し、撮影した映像を用いて瞳孔の位置および角膜表面における光源の角膜反射像の位置を検出する方法である。算出された瞳孔と角膜反射像との位置関係に基づいて、注視方向検出部１２０は、ユーザの注視方向を検出する。注視方向とは、ユーザの視線が向いている方向を示す。注視方向は例えば、車両の正面方向を基準として、水平方向の角度と垂直方向の角度（単位：degree）で表現される。なお、注視方向検出部１２０は、例えば、運転席のステアリングコラム付近に設置された装置でもよいし、ユーザが装着するヘッドマウント式の計測器でもよい。

視野算出装置１３０は、注視方向検出部１２０で検出されたユーザの注視方向に基づいて、ユーザの視野範囲を算出する。視野算出装置１３０は、サッケード検出部１３１、サッケード速度算出部１３２、視野範囲算出部１３３を有する。

サッケード検出部１３１は、注視方向検出部１０２で検出されたユーザの注視方向を時系列に取得し、それに基づいてサッケードの有無を検出する。

サッケード速度算出部１３２は、サッケード検出部１３１で検出されたサッケードに対して、サッケード変位量（ＳＣ変位量）とサッケードの継続時間とに基づいて、サッケード速度（ＳＣ速度）を算出する。

視野範囲算出部１３３は、サッケード速度算出部１３２で算出されたサッケード速度が、所定の閾値以上であるサッケードのみを用いて、ユーザの視野範囲を算出する。この算出の詳細については後述する。ここでの閾値は、図１を用いて述べたように、外因性ＳＣと内因性ＳＣとを分離可能な値である。

視野範囲記録部１４０は、視野算出装置１３０で算出されたユーザの視野範囲を記録する。

見落し判定部１５０は、情報取得部１１０で取得された障害物情報と、注視方向検出部１２０で算出されたユーザの注視方向と、視野範囲記録部１４０に記録されたユーザの視野範囲とに基づいて、ユーザが障害物を見落としているか否かを判定する。

表示部１６０は、見落し判定部１５０で判定された障害物の見落としを示す情報をユーザに提示する。例えば、表示部１６０は、障害物を示すアイコンなどをカーナビゲーション装置などの表示装置に表示してもよいし、この表示とともに注意喚起音または警報を出力してもよい。

次に、運転支援システム１００の動作例として、視野算出動作および見落し判定動作について、それぞれ順に説明する。

＜視野算出動作＞
まず、図３のフローチャートを用いて、視野算出動作の一例について説明する。この視野算出動作は、視野算出装置１３０にて実行される。また、視野算出動作は、例として、１０分、３０分、６０分といった所定の時間間隔Ｔ１で、後述する見落とし判定動作とは独立して実行されるものとする。

ステップＳ１において、サッケード検出部１３１は、注視方向検出部１２０から注視方向情報を取得し、その情報が示すユーザの注視方向を所定時間分の注視方向として記録する。注視方向情報とは、注視方向検出部１２０で検出されたユーザの注視方向を示す情報である。

ステップＳ２において、サッケード検出部１３１は、視野算出動作の開始時点（図４のＴＰ１）から所定時間遡った時点までの間（以下、「サッケード検出区間」という。図４のＴ３）に取得した注視方向情報を用いて、サッケード検出区間Ｔ３におけるサッケードの検出を行う。ここで、サッケードが検出された場合（ステップＳ２：ＹＥＳ）、フローはステップＳ３へ進む。一方、サッケードが検出されなかった場合（ステップＳ２：ＮＯ）、フローがステップＳ７へ進む。

ここで、図４を用いて、ステップＳ２のサッケードの検出処理について説明する。図４において、縦軸はユーザの注視方向（単位：degree）、横軸は時刻（ｔ）を示しており、サッケード検出区間Ｔ３におけるユーザの注視方向の時間的な変化を模式的に示している。図４の縦軸に示すユーザの注視方向は、例として水平方向成分（左、右）の角度である。よって、以下では、水平方向成分に基づいたサッケードの検出について説明する。なお、説明は省略するが、下記と同様の方法を用いて、垂直方向成分（上、下）に基づくサッケード検出も行われる。

サッケードは、その速度が１００〜５００°／秒の非常に高速な眼球運動である。サッケード検出部１３１は、単位時間当たりの注視方向の移動量に基づいてサッケードの検出を行う。

まず、サッケード検出部１３１は、時刻Ｔにおける注視方向の水平角度と、時刻Ｔ＋１における注視方向の水平角度との差分をＤ（Ｔ）として、各時点のＤ（Ｔ）を算出する。図４において、ｔはＴの一例であり、ｔ＋１はＴ＋１の一例であり、Ｄ（ｔ）はＤ（Ｔ）の一例である。

次に、サッケード検出部１３１は、Ｄ（Ｔ）が閾値Ｄ＿ｔｈ（第１の閾値の一例）を上回った時点をサッケード開始時点Ｔｓとして検出する。このサッケード開始時点Ｔｓは、図４において、黒丸で示す。また、図４において、ｔはＴｓの一例である。

次に、サッケード検出部１３１は、閾値Ｄ＿ｔｈを下回った時点をサッケード終了時点Ｔｅとして検出する。このサッケード終了時点Ｔｅは、図４において、二重丸で示す。また、図４において、ｔ＋２はＴｅの一例である。

そして、サッケード検出部１３１は、時点Ｔｓ〜Ｔｅをサッケード区間ＳＴとして、また、Ｄ（Ｔｓ）＋Ｄ（Ｔｓ＋１）＋・・・＋Ｄ（Ｔｅ−１）をサッケード変位量ＳＤとして検出する。図４において、ｔ〜ｔ＋１はＳＴの一例であり、Ｄ（ｔ）＋Ｄ（ｔ＋１）はＳＤの一例である。

このようにして、サッケード検出部１３１は、サッケード検出区間Ｔ３において、サッケードＳＣ（１）〜サッケードＳＣ（Ｎ：Ｎは正の整数。以下同じ）と、それらのサッケードに対応する、サッケード区間ＳＴ（１）〜ＳＴ（Ｎ）およびサッケード変位量ＳＤ（１）〜ＳＤ（Ｎ）とを検出する。なお、図４において、サッケードＳＣ（２）〜ＳＣ（Ｎ）については、サッケード区間ＳＴおよびサッケード変位量ＳＤの図示を省略している。

ステップＳ３において、サッケード速度算出部１３２は、検出されたサッケード区間ＳＴ（ｉ）とサッケード変位量ＳＤ（ｉ）とに基づいて、サッケード速度ＳＶ（ｉ）を算出する。例えば、サッケード速度算出部１３２は、ＳＤ（ｉ）／ＳＴ（ｉ）を計算し、ＳＶ（ｉ）を算出する。

ステップＳ４において、視野範囲算出部１３３は、検出されたサッケードのうち、サッケード速度が所定の閾値以上のサッケードを抽出する。ここでの閾値は、上述した通り、外因性ＳＣと内因性ＳＣを分離可能な値である。従って、抽出されたサッケードは外因性ＳＣである。外因性ＳＣと内因性ＳＣとを精度良く分離するためには、図１に示す外因性ＳＣと内因性ＳＣの特性から分かるように、ＳＣ変位量の増加に伴ってより大きな閾値を用いることが望ましい。例えば、図５に示すように、サッケード変位量ＳＤに応じて閾値を変更してもよい。

ステップＳ５において、視野範囲算出部１３３は、抽出した外因性ＳＣに対して、サッケード開始時点における座標を始点とし、サッケード終了時点における座標を終点とするベクトル（以下、「外因性ＳＣベクトル」という）を算出する。そして、視野範囲算出部１３３は、複数の外因性ＳＣベクトルにより算出される領域を、視野範囲として算出する。上述したサッケード開始時点における座標およびサッケード終了時点における座標はともに、ユーザの注視方向（水平方向成分の角度と垂直方向成分の角度）に基づいて求められる座標である。

ステップＳ５で算出される視野範囲の例を図６に示す。図６Ａは、複数の外因性ＳＣベクトル全部の始点を一致させるとともに、複数の外因性ＳＣベクトル全部の終点を結合することにより定義される領域（図６Ａにおける多角形の輪郭線）を視野範囲として算出したものである。一方、図６Ｂは、複数の外因性ＳＣベクトル全部が含まれるように、複数の外因性ＳＣベクトル全部の始点を一致させ、かつ、複数の外因性ＳＣベクトルのうち、所定の値よりも大きな外因性ＳＣベクトルのみを用いて、外因性ＳＣベクトルの終点座標を基に楕円形状として近似された視野範囲を示している。外因性ＳＣベクトルの終端座標から楕円形状を近似する方法としては、最小二乗法などの一般的な方法を用いればよい。

ステップＳ６において、視野範囲記録部１４０は、上述のように算出された視野範囲を記録する。この視野範囲は、例えば、後述する見落とし判定に用いられる。

ステップＳ７において、視野範囲算出部１３３は視野範囲の算出を行わない。よって、視野範囲記録部１４０において視野範囲の記録も行われない。この場合、後述する見落とし判定では、視野範囲記録部１４０に記録済みの視野範囲が用いられることになる。

＜見落し判定動作＞
次に、図７のフローチャートを用いて、見落とし判定動作の一例について説明する。この見落とし判定動作は、見落とし判定部１５０にて実行される。また、見落し判定動作は、１０ｍｓｅｃ、２０ｍｓｅｃ、３０ｍｓｅｃといった所定の時間間隔Ｔ２で、上述した視野算出動作とは独立して実行されるものとする。

ステップＳ１０において、情報取得部１１０は、障害物情報を取得する。障害物情報とは、上述したとおり、車両の周辺における障害物の有無、その障害物の位置、その障害物の車両との相対速度などを含む情報である。情報取得部１１０は、取得した障害物情報を、見落とし判定部１５０へ出力する。

ステップＳ１１において、注視方向検出部１２０は、ユーザの注視方向を検出する。注視方向とは、上述したとおり、ユーザの視線が向いている方向を示し、例えば、車両の正面方向を原点方向として、水平方向の角度と垂直方向の角度で表現される。注視方向検出部１２０は、検出した注視方向を示す注視方向情報を、見落とし判定部１５０へ出力する。なお、原点方向は車両の正面方向に限定されず、任意の方向でもよい。

ステップＳ１２において、見落とし判定部１５０は、視野範囲記録部１４０から、視野範囲を取得する。

ステップＳ１３において、見落し判定部１５０は、障害物情報、注視方向情報、および視野範囲に基づいて、ユーザが障害物を見落としているか否かを判定する見落とし判定を行う。なお、この見落とし判定において、注視方向情報を用いてもよい。

ここで、図８を用いて、ステップＳ１３の見落とし判定処理について説明する。図８は、運転中の車両前方に歩行者（障害物の一例）が検出された場合における見落し判定を説明する概念図である。図８Ａでは、車両のフロントウィンドウ１０において、注視点３０を中心とした視野範囲２０内に、障害物（歩行者）の中心座標４０が含まれている。この場合、見落とし判定部１５０は、ユーザが障害物を見落していない（見落とし無し）と判定する。一方、図８Ｂでは、注視点３０を中心とした視野範囲２０内に、障害物（歩行者）の中心座標４０が含まれていない。この場合、見落とし判定部１５０は、ユーザが障害物を見落としている（見落し有り）と判定する。見落とし判定部１５０は、見落とし有りの場合、その旨を示す見落とし発生情報を、表示部１６０へ出力する。

なお、図８Ａ、Ｂでは、便宜上、視野範囲２０、注視点３０、障害物の中心座標４０がフロントウィンドウ１０の範囲内に含まれていることを示したが、実際には、視野範囲２０、注視点３０、障害物の中心座標４０がフロントウィンドウ１０上に表示されるわけではない。すなわち、ユーザは、視野範囲２０、注視点３０、障害物の中心座標４０を視認することはない。

ステップＳ１４において、表示部１６０は、見落しの発生情報に基づいて、ユーザに対して見落としを知らせるための情報（例えば、障害物を示すアイコン等）を提示する。なお、この情報提示は、情報の表示とともに注意喚起音または警報を出力してもよい。

以上説明したように、本実施の形態の視野算出装置１３０は、ユーザの注視方向に基づいてサッケードを検出し、それに基づいて視野範囲を算出することを特徴とする。この特徴により、視野算出装置１３０は、視標を提示する構成を使用することなく、また、車外の移動体を検出する手段（例えば、カメラ）で取得される情報も使用することなく、視野範囲を算出できる。よって、本実施の形態の視野算出装置１３０は、より簡易な構成で視野範囲を算出できる。

また、例えば上記特許文献１の方法では、ユーザが自由意志により視野範囲外の移動体を注視する場合またはユーザが安全確認のために視野範囲外の移動体を注視する場合、視野範囲の算出が不正確になるという課題がある。これに対し、本実施の形態の視野算出装置１３０は、検出したサッケードのうち、自由意志、安全確認による内因性ＳＣを除外し、外因性ＳＣのみに基づいて視野範囲を算出することを特徴とする。この特徴により、視野算出装置１３０は、より精度良く視野範囲を算出できる。

また、例えば、特許文献２（特開２００５−９５５７２号公報）に示されているとおり、ユーザの注視点と瞬目行為の有無に基づいてユーザの視野の算出を行う技術も知られている。しかしながら、瞬目行為の頻度はユーザの覚醒状態または個人差によって大きく異なるため、ユーザの覚醒状態が低下している場合または瞬目行為が少ないユーザにおいては、視野範囲の算出が困難になるという課題がある。これに対し、本実施の形態の視野算出装置１３０は、ユーザの注視方向に基づいてサッケードを検出し、それに基づいて視野範囲を算出することで、瞬目行為の頻度が少なくとも、視野範囲を算出できる。

また、本実施形態の運転支援システム１００は、精度良く算出された視野範囲に基づいて、ユーザの見落しを検出するので、ユーザの障害物の見落しを精度良く防止できる。

なお、本実施の形態において、注視方向検出部１２０は、ユーザの顔、眼球を撮影するカメラを用いて説明したが、ＥＯＧ（Electrooculogram）法を用いて注視方向を算出してもよい。ＥＯＧ法とは、眼球の左右または上下に配置した電極の電位変化から眼球運動を計測する方法である。ＥＯＧ法は、眼球の角膜が網膜に対して正に帯電する性質を利用する。この性質を利用して、眼球の左右または上下の電極における電位変化から、眼球運動を計測することができる。ＥＯＧ法を用いる場合、注視方向検出部１２０は、ヘッドマウント式で眼球運動を計測してもよいし、または、車のシート（主にヘッドレスト）に埋め込まれた電極が、着座した運転者の頭部付近と接するようにすることで、眼球運動を計測してもよい。

また、本実施の形態では、視野算出装置１３０が算出した視野範囲を用いて、ユーザが障害物を見落としている場合に情報提示を行うとして説明したが、情報提示の代わりに、または、情報提示とともに、見落とされた障害物に車両のヘッドライトを照射するように制御してもよい。これにより、ユーザは、見落した障害物にすぐに気づくことができる。上記ヘッドライトの照射の代わりに、または、ヘッドライトの照射とともに、アクセルおよびハンドルを制御することで、見落とした障害物と車両との衝突を回避するようにしてもよい。

また、サッケード検出部１３１は、水平方向におけるサッケード変位量ΔＸ、垂直方向におけるサッケード変位量ΔＹに基づいて、２次元平面上でのサッケード変位量ＳＤ＿ＸＹを以下の式（１）に従って算出し、所定の閾値を超えるＳＤ＿ＸＹを外因性ＳＣとして抽出してもよい。

また、本実施の形態では、ユーザの注視方向は、車両の正面方向を原点方向として、水平方向または垂直方向の角度（単位：degree）として表現するものとして説明したが、これに限定されない。例えば、ユーザの注視方向は、車両の正面方向に存在する原点に対して垂直に存在する所定の平面と、各注視方向との交点を注視点として定義し、水平方向、垂直方向の注視点座標（単位：ｃｍまたはｍ）として表現してもよい。

また、本実施の形態では、楕円形状で近似する例としたが、視野範囲算出部１４４が予め視野モデル（例えば、円形、楕円形など）を保持しており、例えば、少なくとも一本の外因性ＳＣベクトルと視野モデルとに基づいて、視野範囲を推定してもよい。なお、視野算出装置１３０が、視野範囲算出部１４４とは別に、視野モデルを格納・保持する「視野モデル保持部」を有してもよい。この例について以下に説明する。

図９は、本実施の形態の変形例に係る視野算出装置１３０を含む運転支援システム１００の構成例を示すブロック図である。図９に示す構成は、図２に示す構成と比べて、視野算出装置１３０が視野モデル保持部１３４を有する点が異なる。図９において、図２と同一の構成については同一の符号を付している。以下では、図２に示す構成との差分についてのみ説明する。

視野モデル保持部１３４は、基準点が定義された所定形状の視野モデルを少なくとも１つ記憶している。視野モデルとは、ユーザの視野範囲を示す雛形のデータである。視野モデルの例を図１０に示す。図１０は、例として、３種類の視野モデル５０、５１、５２を示している。視野モデル５０は、基準点を中心とした円である。視野モデル５１は、基準点を中心とし、長軸と短軸の比率が所定の値に設定された楕円である。また、視野モデル５２は、基準点が定義された任意の形状である。

＜視野算出動作＞
次に、図１１のフローチャートを用いて、視野算出動作の一例について説明する。この視野算出動作は、視野算出装置１３０にて実行される。また、視野算出動作は、例として、１０分、３０分、６０分といった所定の時間間隔Ｔ１で、上述した見落とし判定動作とは独立して実行されるものとする。図１１に示すフローは、図３に示すフローと比べて、ステップＳ２１、Ｓ２２を有する点が異なる。図１１において、図３と同一の処理については同一の符号を付している。以下では、図３に示すフローとの差分についてのみ説明する。

ステップＳ２１において、視野範囲算出部１３３は、視野モデル保持部１３４に保持されている視野モデルを取得する。

ステップＳ２２において、視野範囲算出部１３３は、抽出した外因性ＳＣの変位ベクトルと、取得した視野モデルとに基づいて、視野範囲の算出を行う。例えば、視野範囲算出部１３３は、少なくとも１つの外因性ＳＣの変位ベクトルの始点を視野モデルの基準点に合わせ、かつ、その変位ベクトルの終点に合わせて視野モデルの輪郭を拡大または縮小することで、視野範囲を算出する。

ここで、ステップＳ２２の視野範囲の算出の各例について、図１２を参照して説明する。図１２Ａにおいて、視野範囲算出部１３３は、外因性ＳＣの変位ベクトル６０の終点に合わせて視野モデル５０の輪郭を拡大している。これにより、視野範囲７０が算出される。また、図１２Ｂにおいて、視野範囲算出部１３３は、外因性ＳＣの変位ベクトル６１の終点に合わせて視野モデル５１の輪郭を拡大している。これにより、視野範囲７１が算出される。また、図１２Ｃにおいて、視野範囲算出部１３３は、外因性ＳＣの変位ベクトル６２の終点に合わせて視野モデル５２の輪郭を拡大している。これにより、視野範囲７２が算出される。

このようにして算出された視野範囲は、視野範囲記録部１４０に記録され、例えば、上述した見落とし判定に用いられる。

以上説明した本実施の形態の変形例の視野算出装置１３０は、図２に示す構成と同様の作用効果を得ることができる。さらに、本実施の形態の変形例の視野算出装置１３０は、少なくとも１つの外因性ＳＣの変位ベクトルを検出できた場合、予め定められた視野モデルを用いて、ユーザの視野範囲を算出することにより、サッケード検出区間Ｔ３で検出されるサッケードの数が少ない場合でも、視野範囲を正確に算出することができる。また、少ないサッケードから視野範囲を算出することができるため、視野算出装置１３０は、視野範囲の更新間隔である所定の時間間隔Ｔ１（例えば、１０分、３０分、６０分等）を短縮することが可能となる。その結果、視野算出装置１３０は、運転中の走行環境の複雑さ、または、走行速度などの影響により視野範囲が変動した場合にも、時間遅れなく、ユーザの視野範囲の変化を検出することが可能となる。

（実施の形態２）
本開示の実施の形態２について説明する。

図１３は、本実施の形態に係る視野算出装置１３０を含む運転支援システム１００の構成例を示すブロック図である。図１３に示す構成は、実施の形態１の構成（図２）と比べて、視野算出装置１３０が視野算出時間設定部１３５を有する点が異なる。図１３において、図２と同一の構成については同一の符号を付している。以下では、実施の形態１の構成との差分についてのみ説明する。

視野算出時間設定部１３５は、視野範囲が変化したと想定される時点を推定することにより、視野算出に用いるための時間として、サッケード検出区間Ｔ３を設定する。

＜視野算出動作＞
次に、図１４のフローチャートを用いて、視野算出動作の一例について説明する。この視野算出動作は、視野算出装置１３０にて実行される。また、視野算出動作は、例として、１０分、３０分、６０分といった所定の時間間隔Ｔ１で、上述した見落とし判定動作とは独立して実行されるものとする。図１４に示すフローは、実施の形態１のフロー（図３）と比べて、ステップＳ３１、Ｓ３２を有する点が異なる。図１４において、図３と同一の処理については同一の符号を付している。以下では、実施の形態１のフローとの差分についてのみ説明する。

ステップＳ３１において、視野算出装置１３０が視野算出動作を開始すると、視野範囲算出時間設定部１３５は、視野算出動作の開始時点以前において視野範囲が変化したと想定される時点（以下、「視野範囲変化時点」という）を推定する。この視野範囲変化時点の推定には、車両の速度の変化を示す情報、カーナビゲーションシステム用の情報（例えば、道路種別を示す情報、道路周辺の建物を示す情報）、および、ユーザの覚醒度、または、注意散漫状態を示す情報が用いられる。なお、この推定の詳細は、図５を用いて後述する。

ステップＳ３２において、視野範囲算出時間設定部１３５は、視野範囲変化時点から視野算出動作の開始時点までの区間（時間）を、新たなサッケード検出区間Ｔ３として設定する（Ｓ３２）。

一般に、運転中におけるユーザの視野範囲は、走行環境の複雑さ（車両周辺に存在する、注意を払うべき対象物の数）、車両の走行速度、ユーザの覚醒状態、注意散漫状態などにより、動的に変化することが知られている。具体的には、走行環境が複雑になる（車両周辺に存在する対象物の数が多くなる）ほど、ユーザの視野範囲は狭まり、走行速度が速くなるほど、ユーザの視野範囲が広がることが知られている。また、運転に眠気が発生し、ユーザの覚醒状態が低下する場合、また、考え事、同乗者との会話等のドライバ・ディストラクションの発生により注意散漫状態となる場合、視野範囲が狭まる傾向がある。

図１５は、車両の走行速度と視野範囲との関係に着目し、一般道路走行（低〜中速で走行）から、高速道路走行（高速で走行）に移行した際の視野範囲の変化を模式的に表したものである。図１５を参照して上記ステップＳ３１、Ｓ３２を説明する。視野範囲算出時間設定部１３５は、視野算出動作開始時点ＴＰ１より前において、視野範囲が大きくなった時点（一般道路から高速道路へ入った時点）を、視野範囲変化時点ＴＰ０として推定する（ステップＳ３１）。そして、視野範囲算出時間設定部１３５は、視野範囲変化時点ＴＰ０から視野範囲算出動作開始時点ＴＰ１までを、新たなサッケード検出区間Ｔ３として設定する（ステップＳ３２）。

以上説明した本実施の形態の視野算出装置１３０は、実施の形態１と同様の作用効果を得ることができる。さらに、本実施の形態の視野算出装置１３０は、予めサッケード検出区間Ｔ３が設定されていたとしても、視野範囲変化時点が検出された場合には、その時点を起点として新たなサッケード検出区間Ｔ３に変更するので、より正確にユーザの視野範囲を算出することが可能となる。

（実施の形態３）
本開示の実施の形態３について説明する。

図１６は、本実施の形態に係る視野算出装置１３０を含む運転支援システム１００の構成例を示すブロック図である。図１６に示す構成は、実施の形態１の構成（図２）と比べて、視野算出装置１３０が顔方向検出部１３６を有する点、および、運転支援システム１００が車両情報取得部１７０、ナビゲーション情報取得部１８０を有する点が異なる。図１６において、図２と同一の構成については同一の符号を付している。以下では、実施の形態１の構成との差分についてのみ説明する。

運転支援システム１００は、障害物情報の他に、車両情報およびナビゲーション情報（ともに後述）を、ユーザに分かりやすくかつ煩わしく無いように、ヘッドアップディスプレイ上において前景に重畳して表示（以下、「ＡＲ（Augmented Reality）表示」という）するシステムである。よって、本実施の形態では、運転支援システム１００は、ユーザに各種情報を提示する情報提示システムといえる。

運転支援システム１００は、情報取得部１１０、注視方向検出部１２０、視野算出装置１３０、視野範囲記録部１４０、車両情報取得部１７０、ナビゲーション情報取得部１８０、ＡＲ情報表示制御部１５１、ヘッドアップディスプレイ１６１を有する。さらに、視野算出装置１３０は、サッケード検出部１３１、サッケード速度算出部１３２、視野範囲算出部１３３に加えて、顔方向検出部１３６を有する。

車両情報取得部１７０は、車両情報を取得する。車両情報とは、例えば、車両の速度、シフトレバー情報、燃料情報といった車両に関連する情報を含む。

ナビゲーション情報取得部１８０は、ナビゲーション情報を取得する。ナビゲーション情報とは、例えば、車両の位置、道路の名称、道路の種別、道路周辺の建物（施設、店舗等）の名称などを示す情報である。

ＡＲ情報提示制御部１５１は、情報取得部１１０からの障害物情報、車両情報取得部１７０からの車両情報、ナビゲーション情報取得部１８０からのナビゲーション情報の表示方法を、視野範囲記録部１４０に記録されたユーザの視野範囲に応じて制御する。

ヘッドアップディスプレイ１６１は、ＡＲ情報提示制御部１５１により制御された表示方法に従って、障害物情報、車両情報およびナビゲーション情報を前景に重畳してＡＲ表示する。このヘッドアップディスプレイ１６１は、例えば、車両のフロントウィンドウの全部または一部のエリアである。なお、ヘッドアップディスプレイ１６１は、フロントウィンドウとは独立したヘッドアップディスプレイでもよいし、または、ユーザが装着する眼鏡型のヘッドマウンドディスプレイでもよい。

顔方向検出部１３６は、例えば、運転席のステアリングコラム付近に設置される装置であり、ユーザの顔および眼球の画像からユーザの顔向きを検出する。例えば、顔方向検出部１３６は、まず、パターンマッチングによりユーザの顔の領域およびユーザの目の領域を検出する。その後、顔方向検出部１３６は、ユーザの顔の領域に対するユーザの目の領域の位置に基づいてユーザの垂直方向および水平方向の顔の向きの角度を算出し、この角度を示す顔向き情報を生成する。なお、顔方向検出部１３６としては、ユーザが装着するヘッドマウント式の計測器を用いてもよい。ヘッドマウント式の計測器の場合、計測器に内蔵されたジャイロセンサを用いて、ユーザの垂直方向および水平方向の顔の向きの角度を算出することができる。

次に、運転支援システム１００の動作例として、有効視野算出動作および情報提示制御動作について、それぞれ順に説明する。有効視野算出動作とは、サッケード発生時のユーザの顔向きと注視方向の関係から、有効視野範囲を算出する動作である。有効視野範囲とは、ユーザが運転中に顔を動かさずに視線移動のみで情報を受容可能な範囲をいう。また、情報提示制御動作とは、優先度の高い情報（例えば、障害物情報）を有効視野範囲内にＡＲ表示し、優先度の低い情報（例えば、車両情報およびナビゲーション情報）を有効視野範囲外に表示する動作である。

＜有効視野算出動作＞
まず、図１７のフローチャートを用いて、有効視野算出動作の一例について説明する。この有効視野算出動作は、視野算出装置１３０にて実行される。また、有効視野算出動作は、例として、１０分、３０分、６０分といった所定の時間間隔Ｔ１で、後述する情報提示制御動作とは独立して実行されるものとする。図１７に示すフローは、実施の形態１のフロー（図３）と比べて、ステップＳ４１、Ｓ４２、Ｓ４３を有する点が異なる。図１７において、図３と同一の処理については同一の符号を付している。以下では、実施の形態１のフローとの差分についてのみ説明する。

ステップＳ４１において、視野算出装置１３０が有効視野算出動作を開始すると、顔方向検出部１３６は、所定のサッケード検出区間Ｔ３におけるユーザの顔の向きの角度（垂直方向の角度および水平方向の角度）を検出し、顔向き情報を生成する。上述したとおり、顔向き方向情報とは、垂直方向および水平方向におけるユーザの顔の向きの角度を示す情報である。顔方向検出部１３６は、生成した顔向き情報を視野範囲算出部１３３へ出力する。

ステップＳ４２において、視野範囲算出部１３３は、検出されたサッケード毎に、サッケード発生時の顔向き変位量を算出する。

ここで、ステップＳ４２の顔向き変位量の算出の例について、図１８を参照して説明する。図１８Ａは、サッケード検出区間Ｔ３におけるユーザの注視方向の変化を時系列に示した図であり、図４と同じ図である。一方、図１８Ｂは、サッケード検出区間Ｔ３におけるユーザの顔の方向の変化を時系列に示した図である。図１８Ａのｔ、ｔ＋１、ｔ＋２、ｔ＋３は、それぞれ、図１８Ｂのｔ、ｔ＋１、ｔ＋２、ｔ＋３と対応している。図１８Ｂに示すように、視野範囲算出部１３３は、各サッケードＳＣ（１）〜ＳＣ（Ｎ）おいて、ユーザの注視方向から検出されたＳＣ開始点（黒丸で示す時点）とＳＣ終了点（二重丸で示す時点）における顔向き方向の差分を、顔向き変位量ＳＤ（ｉ）＿ｆａｃｅ（単位：degree）として算出する。

ステップＳ４３において、視野範囲算出部１３３は、抽出した外因性ＳＣのうち、顔向き変位量ＳＤ（ｉ）＿ｆａｃｅが閾値ＳＤ＿ｆａｃｅ＿Ｔｈ（第２の閾値の一例）以下の外因性ＳＣのみを、有効視野内のサッケードとして抽出する。閾値ＳＤ＿ｆａｃｅ＿Ｔｈは、例えば、水平方向に±３度、垂直方向に±２度などのように、水平方向、垂直方向ごとに予め定められている。

ステップＳ５において、視野範囲算出部１３３は、有効視野内のサッケードのみを用いて、有効視野範囲の算出を行う。その後、有効視野範囲は、視野範囲記録部１４０に記録される。なお、ここで算出された有効視野範囲の具体例は、図２０を用いて後述する。

＜情報提示制御動作＞
続いて、図１９のフローチャートを用いて、情報提示制御動作の一例について説明する。この情報提示制御動作は、視野算出装置１３０にて実行される。また、情報提示制御動作は、例として、１０ｍｓｅｃ、２０ｍｓｅｃ、３０ｍｓｅｃといった所定の時間間隔Ｔ２で、上述した有効視野算出動作とは独立して実行されるものとする。

ステップＳ５１において、情報取得部１１０は、障害物情報を取得する。障害物情報とは、上述したとおり、車両の周辺における障害物の有無、その障害物の位置、その障害物の車両との相対速度などを含む情報である。また、本実施の形態では、障害物情報は、障害物に関するユーザへの警告の表示を含む。情報取得部１１０は、取得した障害物情報を、ＡＲ情報提示制御部１５１へ出力する。

ステップＳ５２において、車両情報取得部１７０は、車両情報を取得する。車両情報とは、上述したとおり、例えば、車両の速度、シフトレバー情報、燃料情報などを含む情報である。車両情報取得部１７０は、取得した車両情報を、ＡＲ情報提示制御部１５１へ出力する。

ステップＳ５３において、ナビゲーション情報取得部１８０は、ナビゲーション情報を取得する。ナビゲーション情報とは、上述したとおり、例えば、車両の位置、道路の名称、道路の種別、道路周辺の建物（施設、店舗等）の名称などを含む情報である。

ステップＳ５４において、ＡＲ情報表示制御部１５１は、視野範囲記録部１４０に記録されている有効視野範囲を読み込む。

ステップＳ５５において、ＡＲ情報提示制御部１５１は、読み込んだ有効視野範囲内に、優先度の高い障害物情報をＡＲ表示し、かつ、有効視野範囲外に、優先度の低い車両情報およびナビゲーション情報を表示するように、ヘッドアップディスプレイ１６１の表示を制御する。障害物情報、車両情報、ナビゲーション情報の優先度は、予め定められているとする。

ステップＳ５６において、ヘッドアップディスプレイ１６１は、ＡＲ情報提示制御部１５１の制御に基づいて情報提示を行う。

ここで、ステップＳ５６のヘッドアップディスプレイ１６１における表示例について説明する。図２０は、ヘッドアップディスプレイ１６１における情報提示の例を示す図である。

図２０において、車両８０および車線８１は、実画像である。車両８０は、前方を走行中の他の車両であり、障害物情報が示す障害物の一例である。また、図２０において、ユーザの正面付近の基準点３０を中心として、有効視野範囲２１が存在する。この有効視野範囲２１は、ユーザに視認されない。この有効視野範囲２１内において、「車間距離注意」という警告の文字９０（障害物情報の一例）がＡＲ表示される。一方、進行方向を案内する矢印（ナビゲーション情報の一例）９１、残り燃料量の表示９２、車両の速度の表示９３（ともに車両情報の一例）は、有効視野範囲２１外の任意の位置（例えば、ヘッドアップディスプレイ１６１の下方）に表示される。

なお、図２０において、基準点３０は、例として、ユーザの正面付近の固定点としているが、注視方向検出部１２０により検出されるユーザの注視方向を基準点としてもよい。

以上説明した本実施の形態の視野算出装置１３０は、ユーザの注視方向に基づいてサッケードを検出し、それに基づいて、ユーザが運転中に顔を動かさずに視線移動のみで情報を受容可能な有効視野範囲を算出する。したがって、視野算出装置１３０は、視標を提示する構成を使用することなく、また、車外の移動体を検出する手段（例えば、カメラ）で取得される情報も使用することなく、有効視野範囲を算出できる。よって、視野算出装置１３０は、より簡易な構成で有効視野範囲を算出できる。また、瞬目行為の頻度が少なくとも、有効視野範囲を算出できる。

また、本実施の形態の視野算出装置１３０は、外因性ＳＣのみに基づいて有効視野範囲を算出することにより、より精度良く有効視野範囲を算出できる。

また、以上説明した本実施の形態の運転支援システム１００は、有効視野範囲に優先度の高い情報を表示し、有効視野範囲外に優先度の低い情報を表示する。これにより、運転中のユーザは、顔を動かさずに視線の移動だけで、優先度の高い情報を視認することができるとともに、優先度の低い情報の表示に煩わしさを感じることがない。また、運転支援システム１００は、運転中にユーザの有効視野範囲が変化した場合においても、その変化に合わせて、ＡＲ表示の表示位置を変更することで、常時、わかりやすく、煩わしくない情報提示を行うことができる。

なお、本実施の形態では、情報提示制御動作に有効視野範囲のみを用いているが、実施形態１〜３において算出されるユーザの視野範囲を有効視野範囲と併せて用いることにより、優先度の低い情報を、有効視野範囲外かつ視野範囲内に表示するようにしてもよい。

本開示は、ユーザの視野範囲を算出する技術（例えば、装置、システム、方法、プログラムなど）に有用である。なお、本開示は、運転中のユーザに限らず、ユーザが装着可能なデバイス等を用いることで、運転中以外の状況におけるユーザの視野範囲を算出する技術にも応用が可能である。

１００ 運転支援システム
１１０ 情報取得部
１２０ 注視方向検出部
１３０ 視野算出装置
１３１ サッケード検出部
１３２ サッケード速度算出部
１３３ 視野範囲算出部
１３４ 視野モデル保持部
１３５ 視野算出時間設定部
１３６ 顔方向検出部
１４０ 視野範囲記録部
１５０ 見落し判定部
１５１ ＡＲ情報提示制御部
１６０ 表示部
１６１ ヘッドアップディスプレイ
１７０ 車両情報取得部
１８０ ナビゲーション情報取得部

Claims (8)

1. 検出されたユーザの注視方向に基づいて前記ユーザの視野範囲を算出する視野算出装置であって、
   第１のタイミングで検出された第１の注視方向と、第２のタイミングで検出された第２の注視方向とに基づいて、サッケードを検出するサッケード検出部と、
   前記第１のタイミングと前記第２のタイミングとの時間差と、前記第１の注視方向と、前記第２の注視方向とに基づいて、前記サッケードの速度を算出するサッケード速度算出部と、
   前記サッケードの速度が第１の閾値を超えるサッケードを抽出し、抽出したサッケードの変位ベクトルを算出し、前記変位ベクトルの始点および終点を含む領域を前記ユーザの視野範囲として算出する視野範囲算出部と、
   を備える視野算出装置。
2. 前記第１の閾値は、
   前記サッケードの変位ベクトルの大きさであるサッケード変位量に応じた値であり、前記サッケード変位量が大きいほど大きい、
   請求項１記載の視野算出装置。
3. 予め定められた所定形状の視野モデルを保持するモデル保持部をさらに備え、
   前記視野範囲算出部は、
   前記変位ベクトルの始点および終点に基づいて前記視野モデルを拡大または縮小することで、前記ユーザの視野範囲を算出する、
   請求項１記載の視野算出装置。
4. 前記視野モデルは、
   円、長軸と短軸の比率が所定の値に設定された楕円、基準点が定義された任意の形状のうち、少なくとも１つを含む、
   請求項３記載の視野算出装置。
5. サッケードの検出が行われる時間であるサッケード検出区間を設定する視野算出時間設定部をさらに備え、
   前記視野算出時間設定部は、
   前記ユーザの視野範囲の算出を開始した第１の時点より前において前記ユーザの視野範囲が変化したと想定される第２の時点を推定し、
   前記第２の時点から前記第１の時点までの時間を前記サッケード検出区間として設定する、
   請求項１記載の視野算出装置。
6. 前記ユーザの顔の方向を検出する顔方向検出部をさらに備え、
   前記視野範囲算出部は、
   前記サッケード毎に、当該サッケードの開始時点と終了時点における前記ユーザの顔の方向の差分を、顔向き変位量として算出し、
   前記第１の閾値に基づいて抽出したサッケードのうち、前記顔向き変位量が第２の閾値以下に対応するサッケードのみを、有効視野内のサッケードとして抽出し、
   前記有効視野内のサッケードのみの変位ベクトルを算出し、当該変位ベクトルに基づいて、前記ユーザが顔を動かさずに視線移動のみで情報を受容可能な範囲である有効視野範囲を算出する、
   請求項１記載の視野算出装置。
7. 前記有効視野範囲は、所定の情報がＡＲ（Augmented Reality）表示される範囲として用いられる、
   請求項６記載の視野算出装置。
8. ユーザの注視方向を検出する検出部を含む視野算出システムにおいて、前記ユーザの視野範囲を算出する視野算出方法であって、
   前記検出部が第１のタイミングで検出した第１の注視方向と、前記検出部が第２のタイミングで検出した第２の注視方向とに基づいて、サッケードを検出し、
   前記第１のタイミングと前記第２のタイミングとの時間差と、前記第１の注視方向と、前記第２の注視方向とに基づいて、前記サッケードの速度を算出し、
   前記サッケードの速度が第１の閾値を超えるサッケードを抽出し、前記抽出されたサッケードの変位ベクトルを算出し、前記変位ベクトルの始点および終点を含む領域を前記ユーザの視野範囲として算出する、
   視野算出方法。

Images