JP6589991B2 - ヒューマンインターフェース - Google Patents

Description

本発明は、ヒューマンインターフェースに関し、特に、車両で用いられるヒューマンインターフェースに関する。

近年、例えば、前方の歩行者や車両などを検知して運転者に注意を促すとともに、接触等の可能性がある場合には自動的に車両を制動するプリクラッシュセーフティ・システム（自動ブレーキ・システム）や、先行車両を検知して該先行車両との車間距離を保ちつつ所定の設定速度で走行するアダプティブオートクルーズ・システムなどの先進的運転支援システム（ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ））の開発が進められている。

一方、特許文献１には、運転者が運転中にクエリ検索操作を行うことができるシステム（ヒューマンインターフェース）が開示されている。このシステムでは、第一の入力装置を用いて、運転者の指のオブジェクト（又はアイテム）へのポインティングを検知し、第二の入力装置を用いて、上記オブジェクト（又はアイテム）の選択指示を受け取る。より具体的には、このシステムでは、第一の入力装置（例えばカメラ）により手の画像を撮像し、該撮像画像を処理してポインティングする指の指先の位置に対応する表示装置（例えばヘッドアップディスプレイ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ：ＨＵＤ））上のオブジェクト等の位置を判定する。そして、第二の入力装置（例えばマイクロフォン）を用いて運転者によるオブジェクト等の選択指示を受け取り、選択されたアイテム等に関連付けされたオペレーションを実行する。

特開２０１４−１７９０９７号公報

ところで、上述したプリクラッシュセーフティ・システムなどでは、検知した歩行者や車両などの物体に関する詳細な情報を提示することが望まれる状況がある。このような状況において、例えば、複数の物体が検知されている場合には、すべての物体について詳細情報を提示すると、表示情報が煩雑になり、安全運転の観点からも好ましくない。そこで、このような場合には、複数の検知物体の中から運転者が所望する物体をマッチング（選択）して、当該物体の詳細情報のみを提示させることが望ましい。

ここで、上述したように、特許文献１に記載のシステムによれば、運転者が運転中にクエリ検索操作を行うことができる。しかしながら、このシステム（ヒューマンインターフェース）では、オブジェクト等を選択するために、例えば、指先でポインティングする動作と発声等の動作とを行う必要があるため、運転者の注意が運転よりもオブジェクト等を選択（マッチング）することに注がれるおそれがあり、また、選択（マッチング）に要する時間も長くなるおそれがあった。

本発明は、上記問題点を解消する為になされたものであり、視線を操作スイッチなどに移動させることなく、かつステアリングホイールから両手を離すことなく、運転者が所望する車両周囲に存在する物体の情報を、よりシンプルな動作によって、より短い時間で、マッチングして提示することが可能なヒューマンインターフェースを提供することを目的とする。

本発明に係るヒューマンインターフェースは、車両の周辺に存在する周辺物体の情報を取得する周辺物体情報取得手段と、周辺物体情報取得手段により取得された周辺物体を示す目印情報を車両の周辺の実景に重畳させて表示する表示手段と、車両のステアリングホイールを握っている運転者の手の指を検知する指検知手段と、指検知手段により検知された指の位置又は動きに応じて、表示手段によって重畳表示されている目印情報の中から、運転者が所望する目印情報をマッチングするマッチング手段と、マッチング手段によりマッチングされた目印情報が示す周辺物体の情報を表示手段によって重畳表示させる表示制御手段とを備えることを特徴とする。

本発明に係るヒューマンインターフェースによれば、車両の周辺に存在する周辺物体の情報が取得され、取得された周辺物体を示す目印情報が車両の周辺の実景に重畳されて表示される。そのため、運転者は、視線を例えば前方に向けたまま情報提供可能な周辺物体を認識することができる。なお、その際に、目印情報のみが重畳表示されるため、表示される情報が煩雑になることを防止できる。一方、車両のステアリングホイールを握っている運転者の手の指が検知され、検知された指の位置（有無を含む）又は動きに応じて、重畳表示されている目印情報の中から、運転者が所望する目印情報がマッチングされる。そして、マッチングされた目印情報が示す周辺物体の情報が重畳表示される。そのため、運転者は、両手でステアリングホイールを握った状態のまま、単一の動作（指先の動きのみ）により、所望の目印情報をマッチングして、該目印情報が示す周辺物体の情報（詳細情報）を重畳表示させることができる。その結果、視線を操作スイッチなどに移動させることなく、かつステアリングホイールから両手を離すことなく、運転者が所望する車両周囲に存在する物体の情報を、よりシンプルな動作によって、より短い時間で、マッチングして提示することが可能となる。

本発明に係るヒューマンインターフェースでは、指検知手段が、ステアリングホイールから前方に出ている指を検知することが好ましい。このようにすれば、運転者の指の位置又は動きを確実にかつ精度よく検知でき、その検知結果（検知情報）を用いて運転者が所望する目印情報を的確にマッチングすることが可能となる。

本発明に係るヒューマンインターフェースでは、指検知手段が、車両の車室内の上部に配設され、当該配設された箇所から下方に向けた検知範囲を有しており、該検知範囲には、ステアリングホイールから前方に出ている指が入り、かつ、ステアリングホイールが入らないことが好ましい。このようにすれば、検知情報を処理する際に、該検知情報からステアリングホイールを除去する必要がなくなるため、処理負荷を軽減でき、処理時間を短縮することが可能となる。

本発明に係るヒューマンインターフェースでは、マッチング手段が、検知範囲を複数の領域に分け、指検知手段により検知された指の位置又は動きに応じて、複数の領域に含まれるいずれかの領域に運転者の指が入っているか否かを判定するとともに、指が入っていると判定した場合に、該指が入っている領域に対応する目印情報をマッチングすることが好ましい。この場合、検知範囲に設定された領域に指が入ったか否かを判定することにより、運転者が所望する目印情報を判別できるため、処理負荷を軽減でき、処理時間をより短縮することが可能となる。

本発明に係るヒューマンインターフェースでは、マッチング手段が、指検知手段により検知された指の位置又は動きに基づいて、指が指している方向を取得するとともに、取得した方向から運転者が指で指している目印情報をマッチングすることが好ましい。この場合、検知された指の位置又は動き（軌跡）に基づいて、該指が指している方向が取得されるとともに、取得された方向から運転者が指で指している目印情報がマッチングされる。そのため、取得された周辺物体が多数存在し、多数の目印情報が重畳表示されている場合であっても、その多数の目印情報の中から運転者が所望する目印情報を的確に判別することが可能となる。

本発明に係るヒューマンインターフェースでは、上記指検知手段が距離画像センサにより構成されることが好ましい。このようにすれば、距離画像センサによって指の位置を示す三次元の位置情報（３次元座標）を高精度に得ることができる。さらに、その三次元位置情報から、例えば、運転者が指で指している方向等を的確に取得することが可能となる。

本発明に係るヒューマンインターフェースでは、上記目印情報がアイコンであることが好ましい。このようにすれば、車両の周辺の実景に重畳表示されるアイコンによって、運転者に情報提供可能な周辺物体を容易に認識させることができる。

本発明によれば、視線を操作スイッチなどに移動させることなく、かつステアリングホイールから両手を離すことなく、運転者が所望する車両周囲に存在する物体の情報を、よりシンプルな動作によって、より短い時間で、マッチングして提示することが可能となる。

第１実施形態に係る運転支援システムの構成を示すブロック図である。 運転支援システムを構成するモーションセンサの検知範囲を示す図であり、（ａ）は正面図、（ｂ）は側面図である。 第１実施形態に係る運転支援システムにおいて、車両前方の実景に周辺物体のアイコンを重畳表示したときの一例を示す図である。 第１実施形態に係る運転支援システムにおいて、車両前方の実景に周辺物体の詳細情報を重畳表示したときの一例を示す図である。 第２実施形態に係る運転支援システムの構成を示すブロック図である。 第２実施形態に係る運転支援システムにおいて、車両前方の実景に周辺物体のアイコンを重畳表示したときの一例を示す図である。 第２実施形態に係る運転支援システムにおいて、車両前方の実景に周辺物体の詳細情報を重畳表示したときの一例を示す図である。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、図中、同一又は相当部分には同一符号を用いることとする。また、各図において、同一要素には同一符号を付して重複する説明を省略する。

（第１実施形態）
ここでは、本発明に係るヒューマンインターフェース（ヒューマンマシンインターフェース（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ：ＨＭＩ））を、ヘッドアップディスプレイを用いたＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）を利用して、車両の周辺（特に、車両の前方）に存在する物体（周辺物体）の情報を運転者に提示する運転支援システムに適用した場合を例にして説明する。なお、本実施形態では、車両の前進方向を「前方（前側）」とし、車両の後退方向を「後方（後側）」とし、車両の前進方向を向いた場合の右側を「右方（右側）」とし、車両の前進方向を向いた場合の左側を「左方（左側）」とする。

まず、図１、図２を併せて参照して、第１実施形態に係る運転支援システム１の構成について説明する。図１は、運転支援システム１の構成を示すブロック図である。また、図２は、運転支援システム１を構成するモーションセンサ１１の検知範囲を示す図であり、（ａ）は正面図、（ｂ）は側面図である。

運転支援システム１は、情報提供可能な周辺物体を示すアイコン（請求の範囲に記載の目印情報に相当）を車両周辺の実景に重畳表示し、重畳表示しているアイコンの中から運転者によってポインティング（選択）されたアイコンに対応する周辺物体の詳細情報を重畳表示する。その際に、運転支援システム１は、運転者がステアリングホイールを握った手の指（例えば、人差し指）によるジェスチャを検知し、運転者が指で指しているアイコンをマッチングする。特に、運転支援システム１は、指の検知範囲を複数の領域に分け、複数の領域のうちの任意の領域に指が入ったか否かを判定することでポインティングされているアイコンを判別する。なお、本実施形態では、アイコンを左側と右側とに１個ずつ重畳表示し、検知範囲を左側の領域と右側の領域との２つの領域に分けた場合を例にして説明する。

運転支援システム１は、周辺物体情報取得装置１０（請求の範囲に記載の周辺物体情報取得手段に相当）と、モーションセンサ１１（請求の範囲に記載の指検知手段に相当）と、ヘッドアップディスプレイ２０（請求の範囲に記載の表示手段に相当）と、電子制御装置（以下、「ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）」という）３１とを備えている。

周辺物体情報取得装置１０は、車両の周辺（特に、車両の前方）に存在する周辺物体の情報を取得する装置である。周辺物体情報取得装置１０は、車両に搭載されるセンサを用いて周辺物体を検知することで情報を取得するものでもよいし、車両の外部から周辺物体の情報を取得するものでもよい。周辺物体情報取得装置１０は、取得した周辺物体の情報（周辺物体情報）をＥＣＵ３１に送信する。周辺物体は、例えば、自動車、自動二輪車、原動機付自転車、自転車、歩行者、動物などである。周辺物体情報は、例えば、位置（例えば、自車両を基準とした相対座標や緯度経度等の絶対座標）、移動速度、移動方向、種別、車種、排気量などである。

上記車両に搭載されるセンサとしては、例えば、ミリ波レーダ、レーザレーダ等のレーダセンサ、カメラを用いた画像センサなどを用いることができる。これらのセンサにより、車両の周辺の物体の有無、物体が存在する場合にはその物体の位置、大きさ、種別等の情報を取得する。さらに、物体の位置の時系列データを取得することで、物体の移動速度や移動方向等も取得できる。なお、画像センサの場合、近赤外線カメラや赤外線カメラを用いることで夜間等の周辺が暗い状況でも物体を検知することができる。

また、上記車両の外部からの取得装置としては、例えば、車車間通信装置、路車間通信装置などを挙げることができる。車車間通信装置を用いた場合には、車車間通信装置の通信可能範囲内に存在する他車両から、例えば、位置、移動速度、移動方向、種別、車種、及び排気量等の情報を取得できる。一方、路車間通信装置を用いた場合には、路側装置（交通インフラ）の通信可能範囲内に自車両が入ったときに、路側装置で取得している物体の位置、移動速度、移動方向、及び種別等の情報を取得できる。なお、車車間通信や路車間通信によって周辺物体の情報を取得する場合には、車両（運転者）の死角になる場所に存在する周辺物体の情報も取得できる。

モーションセンサ１１は、運転者が手（特に、両手）でステアリングホイールを握っている状態でステアリングホイールから前方（フロントガラス側）に出した指の位置（有無を含む）及び動き（手振り／ジェスチャ）を検知するセンサである。モーションセンサ１１としては、例えば、近赤外線を利用したＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式の距離画像センサを用いることが好ましい。

この距離画像センサは、例えば、近赤外線を発光するＬＥＤと、物体（例えば、手の指など）で反射された反射光を受光し、画素毎に光電変換した電気信号を出力するイメージセンサ（例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ）と、近赤外線の発光から受光までの時間を計測し、その時間と光の速度から物体までの距離を画素毎に算出するＴＯＦ処理部とを有している。

モーションセンサ１１は、この画素毎の距離情報を用いて、検知範囲に入った物体（ステアリングホイールよりも前方に出ている指）の位置情報（例えば、モーションセンサ１１を基準とした３次元の相対座標）を取得する。例えば、モーションセンサ１１は、画素毎に距離が所定値よりも短いか否かを判定することで物体が存在するか否かを判定し、物体が存在すると判定した場合には、その物体が存在する領域内の複数の各画素での距離と画素の２次元の位置から位置情報を取得する。モーションセンサ１１は、検知した物体の位置情報を示す検知情報をＥＣＵ３１に送信する。なお、モーションセンサ１１は画素毎の距離情報をＥＣＵ３１に送信し、ＥＣＵ３１で画素毎の距離情報から物体が存在するか否かの判定や物体の位置情報を取得する処理を行ってもよい。

モーションセンサ１１は、車両の車室内の上部における運転席側かつステアリングホイールよりも前側の所定の箇所（例えば、車室の天井における運転席側の前端部の所定の箇所、又はフロントガラスにおける運転席側の上端部の所定の箇所等）に配設されている。モーションセンサ１１は、配設された箇所から下方に向けて近赤外線を発光し、下方に向けた検知範囲を有している。

図２に示すように、モーションセンサ１１の検知範囲Ｒは、ステアリングホイールＷが入らず、かつステアリングホイールＷから前方に出ている指ＦＦが入る範囲に設定することが好ましい。特に、検知範囲Ｒは、運転者が両手でステアリングホイールＷをホームポジション（例えば、車両直進時に１０時１０分の位置）等で握っているときに、前方の任意の方向を指している指（人差し指）ＦＦだけが入り、かつそれ以外の指が入らない範囲に設定することが望ましい。また、検知範囲Ｒは、ステアリングホイールＷの前方に配置されているインスツルメントパネルが入らない範囲に設定することが望ましい。

ここで、検知範囲Ｒは、例えば、中心軸Ａの左側の視野角ＬＡ、右側の視野角ＲＡ、前側の視野角ＦＡ、後側の視野角ＢＡ及び検知距離Ｌにより規定される。検知距離Ｌは、モーションセンサ１１とステアリングホイールＷとの上下方向の距離等に基づいて決められる。左右の視野角ＬＡ，ＲＡは、ステアリングホイールＷの直径（例えば３５ｃｍ）と検知距離Ｌ等に基づいて決められる（例えば３０°）。前後の視野角ＦＡ，ＢＡは、ステアリングホイールＷの設置角度θ等に基づいて決められる（例えば１５°）。

ヘッドアップディスプレイ２０は、車両の前方の実景（風景）に各種情報を重畳表示する表示装置である。ヘッドアップディスプレイ２０は、例えば、映像（実像）をフロントガラスに向けて投影し、その映像をフロントガラスの内側の一部に設けられたハーフミラーで運転者の方向へ反射させることでその映像をフロントガラスの前方に結像させて虚像を形成する。ヘッドアップディスプレイ２０は周知の表示装置であるので、詳細な構成については説明を省略する。

ヘッドアップディスプレイ２０は、ＥＣＵ３１から表示制御情報を受信すると、その表示制御情報に示されるフロントガラスの所定の表示位置に所定の映像（例えば、周辺物体を示すアイコンや周辺物体の詳細情報）を投影する。

ＥＣＵ３１は、運転支援システム１を総合的に制御するコントロールユニットである。ＥＣＵ３１は、例えば、演算を行うマイクロプロセッサ、該マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するＲＯＭ、演算結果等の各種データを記憶するＲＡＭ、その記憶内容が保持されるバックアップＲＡＭ及び入出力Ｉ／Ｆ等を有している。ＥＣＵ３１では、ＲＯＭなどに記憶されているプログラムがマイクロプロセッサによって実行されることにより、マッチング部３１ａ（請求の範囲に記載のマッチング手段に相当）、及び表示制御部３１ｂ（請求の範囲に記載の表示制御手段に相当）の各機能が実現される。

マッチング部３１ａは、ヘッドアップディスプレイ２０で重畳表示されている左側のアイコンと右側のアイコンから運転者が指ＦＦで指しているアイコンをマッチングする。具体的には、マッチング部３１ａは、モーションセンサ１１の検知範囲Ｒを中心軸Ａの左側と右側とに分け、検知範囲Ｒに左側の領域と右側の領域を設定している。左側のアイコンと右側のアイコンが重畳表示されている場合、マッチング部３１ａは、モーションセンサ１１で検知した物体の位置情報を用いて、運転者の指ＦＦが左側の領域に入っているかあるいは右側の領域に入っているかを判定する。例えば、マッチング部３１ａは、いずれか一方の領域に指ＦＦが連続して所定時間（例えば数秒からコンマ数秒程度）入っている場合に、当該領域に運転者の指ＦＦが入っていると判定する。マッチング部３１ａは、左側の領域に運転者の指ＦＦが入っていると判定した場合には運転者が左側のアイコンを指していると判定し、右側の領域に運転者の指ＦＦが入っていると判定した場合には運転者が右側のアイコンを指していると判定する。

なお、上述のマッチング部３１ａでは検知範囲Ｒを左側の領域と右側の領域の２つの領域に分け、各領域に対応してアイコンをマッチングする場合を示したが、中間領域とその左側の領域および右側の領域の３つの領域に分ける場合など、検知範囲Ｒを３つ以上の領域に分け、３つ以上の領域に対応してアイコンをマッチングする構成としてもよい。

表示制御部３１ｂは、周辺物体情報取得装置１０で情報を取得している周辺物体（情報提供可能な周辺物体）を示すアイコンをヘッドアップディスプレイ２０で重畳表示させる。特に、表示制御部３１ｂは、ヘッドアップディスプレイ２０の表示範囲を左側と右側とに分け、左側と右側にアイコンを１個ずつ重畳表示する。

具体的には、表示制御部３１ｂは、左側と右側の各周辺物体について、周辺物体情報取得装置１０の座標系での周辺物体の位置をヘッドアップディスプレイ２０の座標系での位置に変換する。また、表示制御部３１ｂは、左側と右側の各周辺物体について、ヘッドアップディスプレイ２０の座標系において周辺物体の位置の近傍にアイコンを重畳表示する位置を設定する。そして、表示制御部３１ｂは、左側と右側の各周辺物体について、アイコンの映像情報と重畳表示の位置等を示す表示制御情報をヘッドアップディスプレイ２０に送信する。アイコンの絵柄、色等については、運転者が視認しやすいものが適宜選ばれる。図３，４，６，７において一例として示したアイコンは、三角形の中にエクスクラメーションマーク（感嘆符）を配置した絵柄である。

なお、左側と右側の少なくとも一方の側において、２つ以上の周辺物体の情報が取得されている場合、例えば、周辺物体に優先順位を付けて、優先順位が最も高い周辺物体のアイコンを重畳表示するようにすることが好ましい。ここで、優先順位は、例えば、周辺物体が動物体かあるいは静止物体か、走行している道路上に存在するか否か、走行中の道路に向かって移動しているか否か、車両から死角になる場所に存在するか否か、移動速度等により決めることが好ましい。

また、表示制御部３１ｂは、マッチング部３１ａでいずれか一方のアイコンがマッチングされた場合に、そのアイコンが示す周辺物体の詳細情報をヘッドアップディスプレイ２０で重畳表示させる。具体的には、表示制御部３１ｂは、ヘッドアップディスプレイ２０の座標系において周辺物体（アイコンでもよい）の位置の近傍に詳細情報を重畳表示する位置を設定する。そして、表示制御部３１ｂは、詳細情報の映像情報（例えば、詳細情報の文字列からなる映像情報）と重畳表示の位置等を示す表示制御情報をヘッドアップディスプレイ２０に送信する。重畳表示する詳細情報は、例えば、種別、車種、排気量、移動速度、移動方向などである。

なお、詳細情報を重畳表示する場合、全てのアイコンの重畳表示を停止してもよいし、詳細情報を表示しない周辺物体のアイコンの重畳表示のみを停止してもよい。詳細情報を表示する周辺物体のアイコンを重畳表示し続ける場合、表示制御部３１ｂは、そのアイコンを重畳表示するための表示制御情報をヘッドアップディスプレイ２０に送信する。

次に、運転支援システム１の動作について説明する。ここでは、図３及び図４に示す例を用いて、動作を説明する。図３は、運転支援システム１において、車両前方の実景に周辺物体のアイコンを重畳表示したときの一例を示す図である。また、図４は、運転支援システム１において、車両前方の実景に周辺物体の詳細情報を重畳表示したときの一例を示す図である。

図３，４に示す例では、運転支援システム１が搭載された車両の前方の左側に停車している駐車車両ＰＶの前側（車両から死角となる場所）に存在する原動機付自転車Ｏ１（図３等に示す例では、駐車車両ＰＶから原動機付自転車Ｏ１の運転者のヘルメットだけが見えている）と、車両の前方の右側に存在する動物（猫）Ｏ２とが、車両の前方に存在する周辺物体である。周辺物体情報取得装置１０は、これらの周辺物体Ｏ１，Ｏ２の各情報をそれぞれ取得し、これらの各情報を示す周辺物体情報信号をＥＣＵ３１に送信する。

ＥＣＵ３１は、各周辺物体Ｏ１，Ｏ２について、周辺物体情報取得装置１０で取得した周辺物体の位置をヘッドアップディスプレイ２０の座標系での位置に変換し、その変換した位置の近傍にアイコンを重畳表示する位置を設定し、アイコンの映像情報と重畳表示の位置等を示す表示制御情報をヘッドアップディスプレイ２０に送信する。ヘッドアップディスプレイ２０は、この表示制御情報を受信すると、表示制御情報で示される位置にアイコンの映像を投影する。これにより、図３に示すように、車両の前方における左側の駐車車両ＰＶの前側の上方にアイコンＩ１が重畳表示され、右側の猫Ｏ２の近傍にアイコンＩ２が重畳表示される。

前方を見ている運転者は、この２つのアイコンＩ１，Ｉ２を視認し、このアイコンＩ１，Ｉ２により情報提供可能な周辺物体があることを容易に認識することができる。この例の場合、運転者は、アイコンＩ２で示される周辺物体（猫Ｏ２）を視認できているが、駐車車両ＰＶの死角に入っているアイコンＩ１で示される周辺物体を視認できていないので、アイコンＩ１で示される周辺物体の詳細情報を得ようとする。このアイコンＩ１をマッチングするために、運転者は、ステアリングホイールＷを両手ＬＨ，ＲＨで握ったまま、かつ前方を見ている状態で、左手ＬＨの人差し指ＦＦをアイコンＩ１の方向に向けて指さす。その際、運転者は、モーションセンサ１１の検知範囲Ｒの左側の領域内に入るように人差し指ＦＦを出せばよい。モーションセンサ１１は、検知範囲Ｒに入った指ＦＦを検知し、検知した指ＦＦの位置情報を示す検知信号をＥＣＵ３１に送信する。

ＥＣＵ３１は、モーションセンサ１１で検知した指ＦＦの位置情報を用いて検知範囲Ｒの左側の領域に指ＦＦが入っていると判定し、運転者が指ＦＦによる操作で左側のアイコンＩ１を指していると判定する。そして、ＥＣＵ３１は、アイコンＩ１の位置の近傍に周辺物体Ｏ１の詳細情報を重畳表示する位置を設定し、周辺物体Ｏ１の詳細情報の映像情報と重畳表示の位置等を示す表示制御情報をヘッドアップディスプレイ２０に送信する。ヘッドアップディスプレイ２０は、この表示制御情報を受信すると、表示制御情報で示される位置に周辺物体Ｏ１の詳細情報の映像を投影する。

これにより、図４に示すように、周辺物体Ｏ１（アイコンＩ１）の近傍に周辺物体Ｏ１の詳細情報ＤＩ（例えば、原動機付自転車（５０ｃｃ）、５ｋｍ／ｈ）が重畳表示される。この例の場合、詳細表示ＤＩが重畳表示された周辺物体Ｏ１を示すアイコンＩ１は重畳表示され続け、周辺物体Ｏ２を示すアイコンＩ２の重畳表示は停止される。

前方を見ている運転者は、この詳細情報ＤＩを視認する。この詳細情報Ｄ１により、運転者は、駐車車両ＰＶの前側に原動機付自転車が存在し、この原動機付自転車が道路上に出てくる可能性があることを知る。そこで、運転者は、駐車車両ＰＶを追い越す際に原動機付自転車が出てくることを想定して、例えば、車両を減速させる運転操作等を行うことができる。

以上、詳細に説明したように、本実施形態によれば、車両の周辺に存在する周辺物体の情報が取得され、取得された周辺物体を示すアイコンが車両の周辺の実景に重畳されて表示される。そのため、運転者は、視線を例えば前方に向けたまま情報提供可能な周辺物体を認識することができる。一方、車両のステアリングホイールＷを握っている運転者の手の指ＦＦが検知され、検知された指ＦＦの位置（検知領域）に応じて、重畳表示されているアイコンの中から、運転者が所望するアイコンがマッチングされる。そして、マッチングされたアイコンに対応する周辺物体の情報が重畳表示される。そのため、運転者は、両手でステアリングホイールＷを握った状態のまま、単一の動作（操作）により、所望のアイコンをマッチングして、該アイコンが示す周辺物体の情報（詳細情報）を重畳表示させることができる。その結果、運転者は、視線を操作スイッチなどに移動させることなく、かつステアリングホイールＷから両手を離すことなく、所望する車両周囲に存在する物体の情報を、よりシンプルな動作により、より短い時間で、マッチングして提示させることが可能となる。

本実施形態によれば、ステアリングホイールＷから前方に出ている指ＦＦを検知することにより、運転者の指ＦＦの位置（検知領域）を確実にかつ精度よく検知することができ、その検知結果（検知情報）を用いて運転者が所望するアイコンを的確にマッチングすることが可能となる。また、本実施形態によれば、モーションセンサ１１が車室内の上部に配設され、配設された箇所から下方に向けた検知範囲が、ステアリングホイールＷが入らない範囲かつステアリングホイールＷから前方に出ている指ＦＦが入る範囲に設定されているので、モーションセンサ１１の検知情報からステアリングホイールＷを除去する必要がなく、ＥＣＵ３１の処理負荷を軽減でき、処理時間を短縮することが可能となる。

本実施形態によれば、モーションセンサ１１がＴＯＦ方式の距離画像センサによって構成されているため、モーションセンサ１１によって指ＦＦの位置を示す三次元の位置情報を高精度に得ることができ、その三次元位置情報から、例えば、運転者が指ＦＦで指している向き等を的確に取得することが可能となる。

本実施形態によれば、モーションセンサ１１の検知範囲を複数（例えば２つ）の領域に分け、モーションセンサ１１の検知情報を用いて複数の領域のうちの任意の領域に運転者の指が入ったか否かを判定することでアイコンをマッチングする構成としているので、ＥＣＵ３１の処理負荷を軽減でき、処理時間をより短縮することが可能となる。また、いずれかの領域に指が入ればよいので、運転者は大雑把な指差し動作（操作）でアイコンをマッチングすることができる。

（第２実施形態）
次に、図５を参照して、第２実施形態に係る運転支援システム２の構成について説明する。運転支援システム２は、第１実施形態に係る運転支援システム１と比較すると、運転者が指で指しているアイコンのマッチング方法が異なる。運転支援システム２では、指が指している方向を算出し、その指している方向から運転者が所望しているアイコンをマッチングする。なお、第１実施形態ではアイコンを重畳表示する数が検知範囲を分ける領域の数に応じて制限されたが、第２実施形態では重畳表示するアイコンの数は制限されない。

運転支援システム２は、周辺物体情報取得装置１０と、モーションセンサ１１と、ヘッドアップディスプレイ２０と、ＥＣＵ３２とを備えている。周辺物体情報取得装置１０、モーションセンサ１１及びヘッドアップディスプレイ２０について第１の実施形態で説明したものと同様のものなので、説明を省略し、以下ではＥＣＵ３２について説明する。

ＥＣＵ３２は、運転支援システム２を総合的に制御するコントロールユニットである。ＥＣＵ３２は、上述したＥＣＵ３１と同様に、例えば、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、バックアップＲＡＭ及び入出力Ｉ／Ｆ等を有している。ＥＣＵ３２では、ＲＯＭなどに記憶されているプログラムがマイクロプロセッサによって実行されることにより、マッチング部３２ａ（請求の範囲に記載のマッチング手段に相当）、及び表示制御部３２ｂ（請求の範囲に記載の表示制御手段に相当）の各機能が実現される。

マッチング部３２ａは、ヘッドアップディスプレイ２０で重畳表示されているアイコンから運転者が指ＦＦで指しているアイコンをマッチングする。具体的には、アイコンが重畳表示されている場合、マッチング部３２ａは、モーションセンサ１１で検知した物体（指ＦＦ）の位置情報を用いて、運転者の指ＦＦが指している方向を算出する。例えば、マッチング部３２ａは、物体の複数の三次元座標データを用いてステアリングホイール側からフロントガラス側に延びる仮想線を求め、この仮想線がステアリングホイール側からフロントガラス側に指す方向を求める。

マッチング部３２ａは、この指ＦＦが指している方向からヘッドアップディスプレイ２０の座標系での指ＦＦが指している位置を算出する。そして、マッチング部３２ａは、重畳表示されている各アイコンについてヘッドアップディスプレイ２０の座標系において指ＦＦが指している位置とアイコンの位置とをそれぞれ比較し、指ＦＦがいずれのアイコンを指しているかを判定する。例えば、マッチング部３２ａは、アイコンの位置を中心として所定の判定領域を設定し、その判定領域に指ＦＦが指している位置が連続して所定時間（例えば、数秒からコンマ数秒程度）入っている場合に指ＦＦがそのアイコンを指していると判定する。

表示制御部３２ｂは、周辺物体情報取得装置１０で情報を取得している周辺物体を示すアイコンをヘッドアップディスプレイ２０に重畳表示させる。具体的には、表示制御部３２ｂは、周辺物体情報取得装置１０が情報を取得している各周辺物体について、第１実施形態に係る表示制御部３１ｂと同様の処理により周辺物体を示すアイコンを重畳表示する位置を求め、アイコンの映像情報と重畳表示の位置等を示す表示制御情報をヘッドアップディスプレイ２０に送信する。

また、表示制御部３２ｂは、運転者の指ＦＦが指している位置を示すカーソルをヘッドアップディスプレイ２０に重畳表示させる。具体的には、表示制御部３２ｂは、マッチング部３２ａで求めた指ＦＦが指している位置をカーソルを重畳表示する位置（例えば、カーソンの中心位置、カーソルの先端位置）として設定し、カーソルの映像情報と重畳表示の位置等を示す表示制御情報をヘッドアップディスプレイ２０に送信する。カーソルの絵柄、色等については、運転者が視認しやすいものが適宜選ばれる。図６で一例として示すカーソルは、矢印の絵柄である。カーソルの重畳表示は、アイコンがマッチングされると停止される。なお、カーソルの重畳表示を行わない構成としてもよい。また、カーソルの表示に代えて、例えば、指ＦＦで指されたアイコンを反転表示（表示色を変更）するようにしてもよい。

また、表示制御部３２ｂは、マッチング部３２ａで１つのアイコンをマッチングした場合にそのアイコンが示す周辺物体の詳細情報をヘッドアップディスプレイ２０に重畳表示させる。具体的には、表示制御部３２ｂは、上述した表示制御部３１ｂと同様の処理により詳細情報を重畳表示する位置を求め、詳細情報の映像情報と重畳表示の位置等を示す表示制御情報をヘッドアップディスプレイ２０に送信する。

次に、運転支援システム２の動作について説明する。ここでは、図６及び図７に示す例を用いて、動作を説明する。図６は、運転支援システム２において、車両前方の実景に周辺物体のアイコンを重畳表示したときの一例を示す図である。図７は、運転支援システム２において、車両前方の実景に周辺物体の詳細情報を重畳表示したときの一例を示す図である。

図６，７に示す例では、運転支援システム２が搭載された車両の前方の左側に停車している駐車車両ＰＶの前側に存在する原動機付自転車Ｏ１と、車両の前方の右側に存在する猫Ｏ２と、車両の前方の横断歩道を渡ろうとしている歩行者Ｏ３，Ｏ４と、車両の前方に存在する先行車両Ｏ５と、対向車両Ｏ６が、車両の前方に存在する周辺物体である。周辺物体情報取得装置１０は、これらの周辺物体Ｏ１〜Ｏ６の各情報を取得し、これらの各情報を示す周辺情報信号をＥＣＵ３２に送信する。

ＥＣＵ３２は、各周辺物体Ｏ１〜Ｏ６について、周辺物体情報取得装置１０で取得した周辺物体の位置をヘッドアップディスプレイ２０の座標系での位置に変換し、その変換した位置の近傍にアイコンを重畳表示する位置を設定し、アイコンの映像情報と重畳表示の位置等を示す表示制御情報をヘッドアップディスプレイ２０に送信する。

ヘッドアップディスプレイ２０は、この表示制御情報を受信すると、表示制御情報で示される位置にアイコンの映像を投影する。これにより、図６に示すように、車両の前方における左側の駐車車両ＰＶの前側の上方にアイコンＩ１が重畳表示され、右側の猫Ｏ２の近傍にアイコンＩ２が重畳表示され、各歩行者Ｏ３，Ｏ４の近傍にアイコンＩ３，Ｉ４が重畳表示され、先行車両Ｏ５の近傍にアイコンＩ５が重畳表示され、対向車両Ｏ６の近傍にアイコンＩ６が重畳表示される。

前方を見ている運転者は、この６つのアイコンＩ１〜Ｉ６を視認する。この例の場合、運転者は、アイコンＩ２〜Ｉ６で示される周辺物体（猫Ｏ２、各歩行者Ｏ３，Ｏ４、各車両Ｏ５，Ｏ６）を視認できているが、駐車車両ＰＶの死角に入っているアイコンＩ１で示される周辺物体を視認できていないので、アイコンＩ１で示される周辺物体の詳細情報を得ようとする。このアイコンＩ１をマッチングするために、運転者は、ステアリングホイールＷを両手ＬＨ，ＲＨで握ったまま前方を見ている状態で、左手ＬＨの人差し指ＦＦをアイコンＩ１の方向に向けて指さす。モーションセンサ１１は、検知範囲Ｒに入った指ＦＦを検知し、検知した指ＦＦの位置情報をＥＣＵ３２に送信する。

ＥＣＵ３２は、モーションセンサ１１で検知した指ＦＦの位置情報を用いて指ＦＦが指している方向を算出し、その指している方向からヘッドアップディスプレイ２０の座標系において指ＦＦが指している位置を算出する。そして、ＥＣＵ３２は、この指ＦＦが指している位置にカーソルを重畳表示するために、カーソルの映像情報と重畳表示の位置等を示す表示制御情報をヘッドアップディスプレイ２０に送信する。ヘッドアップディスプレイ２０は、この表示制御情報を受信すると、表示制御情報で示される位置にカーソルの映像を投影する。これにより、図６に示すように、運転者が指ＦＦで指している位置を示すカーソルＣが重畳表示される。なお、カーソルＣの表示に代えて、例えば、指ＦＦで指されたアイコンＩ１〜Ｉ６を反転表示（表示色を変更）するようにしてもよい。

前方を見ている運転者は、このカーソルＣを視認し、カーソルＣを見ながら指ＦＦを動かす。カーソルＣとマッチング対象のアイコンＩ１とが離れている場合、運転者は、カーソルＣがアイコンＩ１に近づくように指ＦＦを動かす。

カーソルＣがアイコンＩ１の直近まで近づくとあるいはアイコン１１に重なると、ＥＣＵ３２は、モーションセンサ１１で検知した指ＦＦの位置情報から算出した指ＦＦが指している方向（指ＦＦが指している位置）により、運転者が指ＦＦで指しているアイコンＩ１をマッチングする。そして、ＥＣＵ３２は、アイコンＩ１で示す周辺物体Ｏ１の詳細情報の映像情報と重畳表示の位置等を示す表示制御情報をヘッドアップディスプレイ２０に送信する。

ヘッドアップディスプレイ２０は、表示制御情報で示される位置に周辺物体Ｏ１の詳細情報の映像を投影する。これにより、図７に示すように、周辺物体Ｏ１の近傍に詳細情報ＤＩが重畳表示される。この例の場合、詳細表示ＤＩが重畳表示された周辺物体Ｏ１を示すアイコンＩ１は重畳表示され続け、周辺物体Ｏ２〜Ｏ６を示すアイコンＩ２〜Ｉ６の重畳表示は停止される。前方を見ている運転者は、上述した第１実施形態と同様に、この詳細情報ＤＩを視認し、駐車車両ＰＶの前側に存在する原動機付自転車が道路上に出てくる可能性があることを知ることができる。

本実施形態によれば、モーションセンサ１１により検知された運転者の指ＦＦの三次元位置に基づいて、指ＦＦしている指の方向が取得されるとともに、取得された方向から運転者が指で指しているアイコンがマッチングされる。そのため、取得された周辺物体が多数存在し、多数のアイコンが重畳表示されている場合であっても、その多数のアイコンの中から運転者が所望しているアイコンを的確に判別することができる。また、本実施形態によれば、運転者の指ＦＦによるマッチング操作中にカーソルを重畳表示する構成としているので、指ＦＦで指す位置を所望のアイコンに合わせ易くできる。

また、本実施形態によれば、重畳表示する周辺物体（アイコン）の数が制限されない。さらに、詳細情報として、マッチングされたアイコンの詳細情報（所望の詳細情報）のみが表示されるため、重畳表示される画像により煩雑さを与えることが防止できる。

以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、上記実施形態では、実景に重畳表示するためにヘッドアップディスプレイ２０を用いたが、ヘッドアップディスプレイ２０に代えて、例えば、ヘッドマウントディスプレイ等の表示装置を用いてもよい。

上記実施形態では、車両の前方の実景に重畳表示する場合を例にして説明したが、車両の後方等の他の方向の実景に重畳表示する場合にも適用することができる。また、上記実施形態では前方の実景に前方に存在する周辺物体のアイコンを重畳表示する構成としたが、これに加えて後方や側方に存在する周辺物体のアイコンを重畳表示する構成としてもよい。例えば、後方や側方に存在する物体を検知する検知手段により後方や側方を走行する車両等を検知し、その車両等を示すアイコンを重畳表示し、そのアイコンがポインティングされた場合には後方や側方の車両等の詳細情報を重畳表示する。これにより、ドアミラー等で得られる情報に相当する情報を運転者が視線を前方から移動させることなく得ることができる。また、ドアミラーの代替としてカメラ等で取得した画像を表示させ、例えば、左右に並走車両が存在している状態のときにのみ、アイコンにて運転者に知らせるとともに、該アイコンが指差しされたときに、カメラで取得した画像を表示すること（ドアミラーレス対応）も可能となる。

上記実施形態では、情報提供可能な周辺物体が存在することをアイコンで示したが、周辺物体を囲む矩形枠等の他の目印情報を用いて周辺物体が存在することを示してもよい。また、上記実施形態では周辺物体の詳細情報を文字列で重畳表示する例を示したが、カメラで撮像した画像等の他の形態の詳細情報を重畳表示してもよい。例えば、夜間等で暗い場合には赤外線カメラの撮像画像を詳細情報として重畳表示したり、後方や側方を撮像するカメラの撮像画像を詳細情報として重畳表示したりしてもよい。

上記実施形態では、指検知手段として距離画像センサで構成されるモーションセンサを示したが、三次元カメラ、レーダセンサ等で構成される他の指検知手段を適用してもよい。

上記実施形態ではモーションセンサ１１の検知範囲としてステアリングホイールＷの入らない範囲を設定したが、ステアリングホイールＷが入る検知範囲を設定してもよい。この場合、例えば、モーションセンサ１１の検知情報からステアリングホイールＷの情報をマスクし、マスク後の検知情報を用いて運転者が所望するアイコン（詳細情報）を判定することが好ましい。

上記実施形態では、モーションセンサ１１（距離画像センサ）を、運転席側の車室内上部かつステアリングホイールよりも前側の箇所（例えば、天井の運転席側の前端部や、フロントガラスの運転席側の上端部等）に配設したが、これらの位置に代えて、例えば、フロントガラスとダッシュボードとの間や、メータの筐体部などに配設してもよい。

また、上記実施形態では、モーションセンサ１１（距離画像センサ）によって取得された指の三次元位置情報に基づいて、運転者が指差している方向を取得し、アイコンとのマッチングを行う構成としたが、このような構成に代えて、例えば、モーションセンサ１１（距離画像センサ）により指先の３次元座標を検出し、該３次元座標をヘッドアップディスプレイ２０上の座標と同期させ、任意のアイコンと座標マッチングを行う構成としてもよい。なお、この場合も、重畳表示されるアイコンの数は制限されない。

１，２ 運転支援システム
１０ 周辺物体情報取得装置（周辺物体情報取得手段）
１１ モーションセンサ（指検知手段）
２０ ヘッドアップディスプレイ（表示手段）
３１，３２ ＥＣＵ
３１ａ，３２ａ マッチング部（マッチング手段）
３１ｂ，３２ｂ 表示制御部（表示制御手段）

Claims (10)

1. 車両の周辺に存在する周辺物体の情報を自動的に取得する周辺物体情報取得手段と、
   前記周辺物体情報取得手段により取得された情報を表示可能な周辺物体を示す目印情報を前記車両の周辺の実景に重畳させて自動的に表示する表示手段と、
   前記車両のステアリングホイールを握っている運転者の手の指を検知する指検知手段と、
   前記指検知手段により検知された指の位置又は動きに応じて、前記表示手段によって重畳表示されている目印情報の中から、運転者が所望する目印情報をマッチングするマッチング手段と、
   前記マッチング手段によりマッチングされた目印情報が示す周辺物体の情報を前記表示手段によって重畳表示させる表示制御手段と、を備え、
   前記表示手段は、表示範囲を左側と右側とに分け、左側と右側に前記目印情報を１個ずつ重畳表示することを特徴とするヒューマンインターフェース。
2. 前記指検知手段は、前記ステアリングホイールから前方に出ている指を検知することを特徴とする請求項１に記載のヒューマンインターフェース。
3. 前記指検知手段は、前記車両の車室内の上部に配設され、当該配設された箇所から下方に向けた検知範囲を有しており、
   前記検知範囲には、前記ステアリングホイールから前方に出ている指が入り、かつ、前記ステアリングホイールが入らないことを特徴とする請求項２に記載のヒューマンインターフェース。
4. 前記マッチング手段は、前記検知範囲を複数の領域に分け、前記指検知手段により検知された指の位置又は動きに応じて、前記複数の領域に含まれるいずれかの領域に運転者の指が入っているか否かを判定するとともに、指が入っていると判定した場合に、該指が入っている領域に対応する前記目印情報をマッチングすることを特徴とする請求項３に記載のヒューマンインターフェース。
5. 前記マッチング手段は、前記指検知手段により検知された指の位置又は動きに基づいて、該指が指している方向を取得するとともに、取得した方向から運転者が指で指している目印情報をマッチングすることを特徴とする請求項３に記載のヒューマンインターフェース。
6. 前記指検知手段は、距離画像センサにより構成されることを特徴とする請求項１〜５のいずれか１項に記載のヒューマンインターフェース。
7. 前記指の位置は、前記距離画像センサにより検知された指先の３次元座標であることを特徴とする請求項６に記載のヒューマンインターフェース。
8. 前記目印情報は、アイコンであることを特徴とする請求項１〜７のいずれか１項に記載のヒューマンインターフェース。
9. 前記表示手段は、左側と右側の少なくとも一方の側において、２つ以上の周辺物体の情報が取得されている場合、該周辺物体に優先順位を付けて、優先順位が最も高い周辺物体の目印情報を重畳表示することを特徴とする請求項１〜８のいずれか１項に記載のヒューマンインターフェース。
10. 前記表示手段は、前記情報を重畳表示する場合、全ての目印情報、又は、前記情報を表示しない周辺物体の目印情報の重畳表示を停止することを特徴とする請求項１〜９のいずれか１項に記載のヒューマンインターフェース。

Images