JP7484756B2 - 表示システム - Google Patents

Description

この明細書における開示は、表示システムおよび表示制御方法に関する。

特許文献１は、ジェスチャ入力の認識に応答した情報であるフィードバック情報を表示する車両用情報表示装置を開示している。先行技術文献の記載内容は、この明細書における技術的要素の説明として、参照により援用される。

特開２０１８－１０３６４６号公報

先行技術文献の構成では、運転状況に応じてフィードバック情報をヘッドアップディスプレイの異なる位置に表示している。これにより、走行中は運転に集中しやすく、停車中はフィードバック情報の視認性を高める構成としている。しかしながら、ジェスチャを行う操作者が常にヘッドアップディスプレイを含む領域を視認しているとは限らない。仮に、ヘッドアップディスプレイを視認していない場合には、ジェスチャを行った運転手がフィードバック情報を確認することができない。このため、ジェスチャを行った操作者の意図とは異なる操作結果となった場合に、意図と異なる操作であることを気づきにくい場合がある。上述の観点において、または言及されていない他の観点において、表示システムにはさらなる改良が求められている。

開示される１つの目的は、ジェスチャによる操作結果を確認しやすい表示システム等を提供することにある。

ここに開示された表示システムは、操作者のジェスチャによって表示を変化させる表示システムであって、
ジェスチャを検出するジェスチャ検出装置（５３、２５３）と、
操作者の視認領域を検出する視認領域検出装置（５１）と、
ジェスチャによる操作結果であるジェスチャ操作結果を表示可能な表示装置（１０）と、
表示装置の表示に関する制御を行う表示制御装置（７０）とを備え、
表示制御装置は、
視認領域検出装置で検出した視認領域と、表示装置の表示領域とを取得する領域取得部（７２）と、
視認領域と表示領域との位置関係を判断する位置判断部（７３）と、
ジェスチャ操作結果を操作者に対して表示する表示実行部（７４）とを備え、
表示実行部は、視認領域と表示領域との位置関係に基づいてジェスチャ操作結果の表示方法を決定する。
表示装置は、タッチ操作を受け付け可能なタッチパネルを有するセンターインフォメーションディスプレイ（１３ｃ）を備え、
表示実行部は、車両が停車中である場合には、視認領域と表示領域との位置関係によらずセンターインフォメーションディスプレイにジェスチャ操作結果を表示する。
ここに開示された表示システムは、操作者のジェスチャによって表示を変化させる表示システムであって、
ジェスチャを検出するジェスチャ検出装置（５３、２５３）と、
操作者の視認領域を検出する視認領域検出装置（５１）と、
ジェスチャによる操作結果であるジェスチャ操作結果を表示可能な表示装置（１０）と、
表示装置の表示に関する制御を行う表示制御装置（７０）とを備え、
表示制御装置は、
視認領域検出装置で検出した視認領域と、表示装置の表示領域とを取得する領域取得部（７２）と、
視認領域と表示領域との位置関係を判断する位置判断部（７３）と、
ジェスチャ操作結果を操作者に対して表示する表示実行部（７４）とを備え、
表示実行部は、視認領域と表示領域との位置関係に基づいてジェスチャ操作結果の表示方法を決定し、
表示装置は、周辺監視を行うための電子ミラー（１５）を含み、
表示実行部は、視認領域に含まれる表示領域が電子ミラーである場合に、電子ミラーが視認領域に含まれなくなるまで、ジェスチャ操作結果の表示を保留する。

開示された表示システムによると、視認領域と表示領域との位置関係に基づいてジェスチャ操作結果の表示方法を決定する表示実行部を備えている。このため、操作者の状態によって変化し得る視認領域に対応してジェスチャ操作結果の表示方法を変更できる。したがって、ジェスチャによる操作結果を確認しやすい表示システムを提供できる。

この明細書における開示された複数の態様は、それぞれの目的を達成するために、互いに異なる技術的手段を採用する。請求の範囲およびこの項に記載した括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。この明細書に開示される目的、特徴、および効果は、後続の詳細な説明、および添付の図面を参照することによってより明確になる。

表示装置の配置を示す構成図である。 表示システムの制御に関するブロック図である。 前方を注視している運転手の視認領域を説明するための説明図である。 表示システムの制御に関するフローチャートである。 センターインフォメーションディスプレイを注視している運転手の視認領域を説明するための説明図である。 メータディスプレイを注視している運転手の視認領域を説明するための説明図である。 第２実施形態における表示システムの制御に関するブロック図である。 第２実施形態における表示システムの制御に関するフローチャートである。 電子ミラーを注視している運転手の視認領域を説明するための説明図である。

図面を参照しながら、複数の実施形態を説明する。複数の実施形態において、機能的におよび／または構造的に対応する部分および／または関連付けられる部分には同一の参照符号、または百以上の位が異なる参照符号が付される場合がある。対応する部分および／または関連付けられる部分については、他の実施形態の説明を参照することができる。

第１実施形態
図１において、表示システム１を構成している表示装置１０は、車両に搭載されている。表示システム１は、車両の走行に関する情報や娯楽を提供する情報等を表示することで乗員に様々な情報を提供するシステムである。ただし、表示システム１は視覚情報のみを用いるのではなく、音声情報などの視覚によらない情報と視覚情報とを併用可能に構成されている。表示システム１に表示する内容、表示する位置、表示するタイミング等の様々な項目が表示方法に含まれている。このため、表示方法を決定することは、表示する内容等の各項目を決定することとも言える。

表示装置１０は、ヘッドアップディスプレイ１１とディスプレイユニット１３と電子ミラー１５とを備えている。ただし、表示装置１０として上述した全ての装置を含んでいる必要はなく、上述していない他の装置を含んでいてもよい。

ヘッドアップディスプレイ１１は、フロントウィンドウに重ねて虚像を表示する装置である。ヘッドアップディスプレイ１１は、本体部１１ｈと表示部１１ｄとを備えている。ヘッドアップディスプレイ１１は、本体部１１ｈから表示部１１ｄに向かって画像を投影することで、必要な表示を行う。

ヘッドアップディスプレイ１１は、主に運転手に対して走行に関する気づきを与えるための表示を行う。ヘッドアップディスプレイ１１には、例えば、経路案内表示や警告表示等が必要に応じて表示される。ヘッドアップディスプレイ１１の表示は、運転手が車両を運転するために前方を注視している状況であっても、運転手が認識可能な表示である。ヘッドアップディスプレイ１１の表示部１１ｄは、運転席の前方位置に設けられている。ヘッドアップディスプレイ１１は、小表示装置の一例を提供する。

ディスプレイユニット１３は、主に車両の前席に着座している乗員に対して必要な情報を表示するための装置である。ディスプレイユニット１３は、例えば液晶ディスプレイや有機ＥＬディスプレイで構成されている。ディスプレイユニット１３は、ヘッドアップディスプレイ１１に比べて、表示可能な領域が広く、かつ、解像度が高いディスプレイである。このため、ディスプレイユニット１３には、ヘッドアップディスプレイ１１の表示よりも細かな表示を広範囲に表示可能である。したがって、ディスプレイユニット１３は、ヘッドアップディスプレイ１１よりも多くの情報を表示可能な装置である。ディスプレイユニット１３は、大表示装置の一例を提供する。

ディスプレイユニット１３は、車両のインストルメントパネルに設けられている。このため、ディスプレイユニット１３は、ヘッドアップディスプレイ１１の表示部１１ｄよりも低い位置に設けられた装置であると言える。ディスプレイユニット１３は、インストルメントパネルの左右方向に沿って設けられており、運転席の前方位置と助手席の前方位置とを含むように横長に設けられている。

ディスプレイユニット１３は、複数の表示画面を備え、互いに種類の異なる複数の情報を同時に表示可能である。ディスプレイユニット１３には、例えば車速や燃料残量や電池残量等の車両の状態に関する情報が表示される。ディスプレイユニット１３のうち、車両の状態に関する情報が表示されている部分は、メータディスプレイ１３ｍである。メータディスプレイ１３ｍは、インストルメントパネルのうちステアリングホイールの前方領域に位置して設けられている。

ディスプレイユニット１３には、例えばカーナビゲーション装置に関する経路案内や映像コンテンツの再生動画等の情報が表示される。ディスプレイユニット１３のうち、経路案内等の情報が表示されている部分は、インフォテインメントディスプレイ１３ｉである。インフォテインメントディスプレイ１３ｉは、乗員に対して情報と娯楽を提供する装置とも言える。インフォテインメントディスプレイ１３ｉは、インストルメントパネルのうち、主に助手席の前方位置に設けられている。

ディスプレイユニット１３には、例えば空調装置やオーディオ装置等の状態に関する情報が表示される。ディスプレイユニット１３のうち、空調装置等の状態に関する情報が表示されている部分は、センターインフォメーションディスプレイ１３ｃである。センターインフォメーションディスプレイ１３ｃは、インストルメントパネルのうちセンタークラスタに設けられている。

センターインフォメーションディスプレイ１３ｃは、乗員の操作によって変更可能な情報を表示している。乗員の操作によって変更可能な情報は、例えば、空調運転の設定温度、空調運転の設定風量、オーディオ装置の音量等の情報である。

センターインフォメーションディスプレイ１３ｃは、タッチパネルを備えている。このため、センターインフォメーションディスプレイ１３ｃは、情報を表示する機能と、乗員からの操作を受け付ける機能との２つの機能を備えている。言い換えると、センターインフォメーションディスプレイ１３ｃは、表示装置１０として機能するだけでなく、後述するジェスチャ検出装置５３としても機能する。センターインフォメーションディスプレイ１３ｃのタッチパネルは、パネルに接触した状態で行う乗員の動作をジェスチャとして検出する。具体的なジェスチャの例については、後に説明する。

センターインフォメーションディスプレイ１３ｃのタッチパネルは、ジェスチャ以外の操作も受け付け可能である。例えば、タッチパネル上の操作ボタンを押すことでも、操作を受け付け可能である。センターインフォメーションディスプレイ１３ｃは、乗員による操作を受け付けるための操作用ディスプレイとも言える。一方、メータディスプレイ１３ｍとインフォテインメントディスプレイ１３ｉは、表示のみを行う表示専用ディスプレイとも言える。

センターインフォメーションディスプレイ１３ｃが検出可能なジェスチャは、タッチパネルへの接触を伴う動作に限られない。例えば、投光した光の反射光や透過光を検出する光センサを備えて、乗員の動作による光の変化からジェスチャを検出してもよい。例えば、静電容量を検出する静電容量センサを備えて、乗員の動作による静電容量の変化からジェスチャを検出してもよい。このように、センターインフォメーションディスプレイ１３ｃへの接触を伴わない非接触の動作をジェスチャとして検出する構成も採用可能である。

メータディスプレイ１３ｍとインフォテインメントディスプレイ１３ｉとは、互いに左右方向に隣り合って設けられている。メータディスプレイ１３ｍとインフォテインメントディスプレイ１３ｉとの間に、現在時刻や天気などの情報を表示する表示画面を備えていてもよい。インフォテインメントディスプレイ１３ｉとセンターインフォメーションディスプレイ１３ｃとは、互いに上下方向に隣り合って設けられている。センターインフォメーションディスプレイ１３ｃは、インフォテインメントディスプレイ１３ｉよりも下側に設けられている。このため、乗員は、センターインフォメーションディスプレイ１３ｃを指で操作する際に、インフォテインメントディスプレイ１３ｉの表示を自身の手や指で遮ることがない。

ディスプレイユニット１３は、左右のＡピラーの根本付近にわたって設けられているピラートゥーピラータイプのディスプレイである。ディスプレイユニット１３は、表示内容の異なる複数の表示画面がつなぎ目のないように連続する１つのディスプレイで構成されている。言い換えると、１つの連続するディスプレイの一部がメータディスプレイ１３ｍとして機能し、他の一部がインフォテインメントディスプレイ１３ｉとして機能し、他の一部がセンターインフォメーションディスプレイ１３ｃとして機能している。ディスプレイユニット１３において、どの部分に何を表示させるかを任意に設定可能である。例えば、センターインフォメーションディスプレイ１３ｃとして機能する部分をインストルメントパネルのセンタークラスタではなく、助手席の前方領域に位置させてもよい。

ディスプレイユニット１３は、連続する１つのディスプレイで構成する場合に限られない。例えば、複数のディスプレイをインストルメントパネルに互いに離間して配置することで全体としてディスプレイユニット１３を構成してもよい。

電子ミラー１５は、車両に取り付けた鏡に光を反射させる代わりに、カメラ装置で撮像した画像をディスプレイに表示することで、バックミラーとして機能する装置である。左右のサイドミラーとして機能する電子ミラー１５は、車両の左右後側方をカメラ装置で撮像して各ディスプレイに表示することとなる。電子ミラー１５は、車両の周辺を監視するための周辺監視装置とも言える。

電子ミラー１５は、ディスプレイユニット１３とは別体のディスプレイで構成されている。ただし、電子ミラー１５をディスプレイユニット１３と一体のディスプレイで構成してもよい。

ヘッドアップディスプレイ１１の表示部１１ｄは、表示領域の一例を提供する。また、ディスプレイユニット１３の表示画面は、表示領域の一例を提供する。また、電子ミラー１５の表示画面は、表示領域の一例を提供する。まとめると、表示領域は、表示部１１ｄと複数の表示画面とを含んで構成されている。

図２において、表示システム１は、表示装置１０と表示制御装置７０とを備えている。表示制御装置７０は、視認領域検出装置５１に接続している。視認領域検出装置５１は、運転手等の操作者が視認している領域である視認領域ＶＡを検出する装置である。以下では、操作者が車両の運転手である場合を例に説明を行う。ただし、運転手以外の乗員を操作者に設定してもよい。視認領域検出装置５１は、例えば運転手の目を含む車内を撮像する車内カメラである。視認領域検出装置５１は運転手の状態を把握するための装置、すなわちドライバステータスモニタの視線検知センサとして機能する。

図３を用いて、運転手が前方注視している場合の視認領域ＶＡについて説明する。図において、視認領域ＶＡをドットハッチングで示している。視認領域ＶＡの中心位置は、ヘッドアップディスプレイ１１の表示部１１ｄよりも上部に位置している。視認領域ＶＡの中心位置は、視線位置とも言える。視認領域ＶＡには、ヘッドアップディスプレイ１１の表示部１１ｄが含まれている。このため、運転手は、前方注視しながらヘッドアップディスプレイ１１の表示部１１ｄに表示されている内容を確認することができる。また、視認領域ＶＡには、ヘッドアップディスプレイ１１の表示部１１ｄ以外の表示領域は含まれていない。

視認領域ＶＡは、視線位置を中心位置とする略円形に形成されている。また、視認領域ＶＡは、車速が速いほど狭くなりやすい。このため、視認領域検出装置５１は、視線位置の情報と車速の情報とを用いて視認領域ＶＡの位置と大きさを検出する。

図２において、表示制御装置７０は、ヘッドアップディスプレイ１１とディスプレイユニット１３と電子ミラー１５とを有する表示装置１０に接続している。表示制御装置７０は、表示装置１０を制御して乗員に対して必要な表示を行う。図において、メータディスプレイ１３ｍをＭＥＴ、インフォテインメントディスプレイ１３ｉをＩＶＩ、センターインフォメーションディスプレイ１３ｃをＣＩＤと表記している。ここで、ＩＶＩは、Ｉｎ－Ｖｅｈｉｃｌｅ Ｉｎｆｏｔａｉｎｍｅｎｔの略称である。

表示制御装置７０は、センターインフォメーションディスプレイ１３ｃのジェスチャ検出装置５３に接続している。ジェスチャ検出装置５３は、タッチパネルに対する乗員のタッチ操作や、非接触センサに対する乗員の操作をジェスチャとして検出する。表示制御装置７０は、ジェスチャ検出装置５３を制御して、乗員によるジェスチャを検出する。

表示制御装置７０は、スピーカ２１に接続している。スピーカ２１は、車内に音を出力可能な装置である。スピーカ２１は、経路案内における音声ガイダンス等の乗員に気づきを与える音を車内に出力可能である。また、スピーカ２１は、音楽や動画の音声等の乗員に娯楽を与える音を車内に出力可能である。表示制御装置７０は、スピーカ２１を制御して車内に音を出力する。

表示制御装置７０は、ジェスチャ取得部７１と領域取得部７２と位置判断部７３と表示実行部７４とを備えている。ジェスチャ取得部７１は、ジェスチャ検出装置５３で検出したジェスチャをジェスチャ操作結果として取得する。ジェスチャ操作結果とは、乗員のジェスチャによって空調装置やオーディオ装置等の操作対象装置に加えられた変更内容の結果のことである。ジェスチャ操作結果は、例えば冷房の設定温度を２℃下げるという内容である。ジェスチャ操作結果は、例えば音楽の音量をゼロにするという内容である。

領域取得部７２は、視認領域検出装置５１で検出した乗員の視認領域ＶＡを取得する。また、領域取得部７２は、ヘッドアップディスプレイ１１の表示部１１ｄとディスプレイユニット１３の表示画面と電子ミラー１５の表示画面の位置を認識することで表示領域を取得する。表示領域の情報には、メータディスプレイ１３ｍとインフォテインメントディスプレイ１３ｉとセンターインフォメーションディスプレイ１３ｃとの各表示画面が、ディスプレイユニット１３の表示画面のうちどの位置にあるかの情報が含まれる。

位置判断部７３は、領域取得部７２が取得した視認領域ＶＡと表示領域との位置関係を判断する。より詳細には、視認領域ＶＡに表示領域が含まれるか否かを判断する。視認領域ＶＡに一部でも表示領域が含まれている場合には、視認領域ＶＡに含まれている表示領域がどの表示装置１０の表示画面であるかを判断する。

表示実行部７４は、ジェスチャを行った操作者に対してジェスチャの反応をジェスチャ操作結果としてフィードバックする制御である表示制御を実行する。表示制御には、表示装置１０に表示を行う制御やスピーカ２１から音を出力する制御を含んでいる。

図４を用いて、ジェスチャに対する表示制御の流れについて説明する。ジェスチャに対する表示制御は、例えば、車両のパワースイッチが乗員によってオンされるなどして、車両に電力が供給されると開始される。ジェスチャに対する表示制御が開始されると、ステップＳ１０１で、ジェスチャ検出装置５３が乗員によるジェスチャの受け付けを開始する。ジェスチャの受け付けを開始した後、ステップＳ１１１に進む。

ステップＳ１１１では、乗員によるジェスチャがあるか否かを表示制御装置７０が判断する。ジェスチャとしては、例えばセンターインフォメーションディスプレイ１３ｃのタッチパネルを左右方向になぞる動作や上下方向になぞる動作があげられる。この場合、タッチパネルを左右方向になぞる動作を設定風量の変更に対応させ、上下方向になぞる動作を設定温度の変更に対応させるなどして、変更したい項目毎に異なるジェスチャを設定可能である。

また、ジェスチャの回数や大きさを、設定温度等を変化させる程度の大きさに連動させることができる。例えば、タッチパネルを下方向に２回なぞる動作を、冷房の設定温度を２℃下げるジェスチャとすることができる。例えば、タッチパネルを下方向に２ｃｍ分なぞる動作を冷房の設定温度を２℃下げるジェスチャとすることができる。ジェスチャがある場合には、ステップＳ１１２に進む。一方、ジェスチャがない場合には、ジェスチャに対して表示すべき情報がないと判断して、ステップＳ１９１に進む。

ステップＳ１１２では、車両が停車中か否かを表示制御装置７０が判断する。車両が停車中か否かは、車両のシフトレンジや車速センサで検知した車速などから判断可能である。車両が走行中であれば、ステップＳ１２１に進む。一方、車両が停車中であれば、運転手が前方を注視する必要性が低いと判断して、ステップＳ１６１に進む。

ステップＳ１２１では、領域取得部７２が運転手の視認領域ＶＡを取得する。図５は、運転手がセンターインフォメーションディスプレイ１３ｃを注視している場合の視認領域ＶＡを示している。視認領域ＶＡの中心位置は、センターインフォメーションディスプレイ１３ｃの表示画面上に位置している。また、視認領域ＶＡには、センターインフォメーションディスプレイ１３ｃのみでなく、インフォテインメントディスプレイ１３ｉの一部も含まれている。ステップＳ１２１は、領域取得ステップの一例を提供する。

図６は、運転手がメータディスプレイ１３ｍを注視している場合の視認領域ＶＡを示している。視認領域ＶＡの中心位置は、メータディスプレイ１３ｍの表示画面上に位置している。また、視認領域ＶＡに含まれる表示領域は、メータディスプレイ１３ｍの表示画面のみである。また、領域取得部７２は、視認領域ＶＡを取得するとともに、最新の表示領域を取得する。視認領域ＶＡ等を取得した後、ステップＳ１２２に進む。

ステップＳ１２２では、視認領域ＶＡに表示領域が含まれているか否かを位置判断部７３が判断する。視認領域ＶＡに表示領域が含まれない状況としては、例えば運転手が左右確認のため、左右方向を注視している状況が想定される。あるいは、前方の信号機を見上げるなどして、ヘッドアップディスプレイ１１の表示部１１ｄを含まずに前方注視している状況が想定される。ステップＳ１２２は、位置判断ステップの一例を提供する。

視認領域ＶＡに一部でも表示領域が含まれている場合には、ステップＳ１３１に進む。一方、視認領域ＶＡに表示領域が含まれていない場合には、表示装置１０を用いて情報を表示しても運転手が表示を即座に視認できないと判断して、ステップＳ１５１に進む。

ステップＳ１３１では、視認領域ＶＡにセンターインフォメーションディスプレイ１３ｃの表示画面を含んでいるか否かを位置判断部７３が判断する。視認領域ＶＡにセンターインフォメーションディスプレイ１３ｃが含まれている場合には、ステップＳ１６１に進む。一方、視認領域ＶＡにセンターインフォメーションディスプレイ１３ｃの表示画面が含まれていない場合には、ステップＳ１４１に進む。ステップＳ１３１は、位置判断ステップの一例を提供する。

ステップＳ１４１では、表示実行部７４が視認領域ＶＡ内の表示画面にジェスチャ操作結果を表示する。例えば、視認領域ＶＡがヘッドアップディスプレイ１１の表示部１１ｄに位置している場合には、表示部１１ｄにジェスチャ操作結果を表示する。ここで、ヘッドアップディスプレイ１１は、表示部１１ｄにおける表示区画毎に表示される内容があらかじめ設定されている装置である。例えば、経路案内表示とジェスチャ操作結果とは、表示部１１ｄ内の互いに異なる表示区画に表示される。このため、表示部１１ｄにおけるジェスチャ操作結果を表示するための表示区画にジェスチャ操作結果を表示することとなる。ステップＳ１４１は、表示実行ステップの一例を提供する。

視認領域ＶＡの中心位置がインフォテインメントディスプレイ１３ｉの中央画面に位置している場合には、インフォテインメントディスプレイ１３ｉの左画面や右画面ではなく、中央画面にジェスチャ操作結果を表示する。ここで、インフォテインメントディスプレイ１３ｉは、表示画面における任意の場所に任意の内容を表示可能な装置である。このため、インフォテインメントディスプレイ１３ｉの中央画面の内、視認領域ＶＡの中心位置を含む位置にジェスチャ操作結果を表示する。

インフォテインメントディスプレイ１３ｉにおいて、表示画面の一部にジェスチャ操作結果を表示可能な表示区画があらかじめ設定されていてもよい。例えば、右画面の一部に右表示区画を備え、左画面の一部に左表示区画を備え、中央画面の一部に中央表示区画を備える構成とする。この場合、互いに離間して設けられている右表示区画と左表示区画と中央表示区画との内、視認領域ＶＡの中心位置に最も近い表示区画にジェスチャ操作結果を表示することとなる。

視認領域ＶＡがメータディスプレイ１３ｍの表示画面に位置している場合には、メータディスプレイ１３ｍの表示画面にジェスチャ操作結果を表示する。また、視認領域ＶＡが電子ミラー１５の表示画面に位置している場合には、電子ミラー１５の表示画面にジェスチャ操作結果を表示する。この時、視認領域ＶＡに含まれている方の電子ミラー１５にジェスチャ操作結果を表示し、視認領域ＶＡに含まれていない方の電子ミラー１５にはジェスチャ操作結果を表示しない。

ヘッドアップディスプレイ１１の表示部１１ｄに表示を行う場合には、運転手に対してジェスチャ操作結果をアイコンで表示する。より詳細には、ジェスチャによって操作対象装置の設定が変更されたことを示すアイコンをジェスチャ操作結果として表示する。アイコンは、情報を直感的に理解しやすく表現した簡素な表示である。これにより、運転手は、ヘッドアップディスプレイ１１の表示部１１ｄに表示されたアイコンを視認して、ジェスチャによって操作対象装置の設定が変更されたことを認識できる。

インフォテインメントディスプレイ１３ｉに表示を行う場合には、運転手に対してジェスチャ操作結果を詳細表示で表示する。詳細表示は、アイコンよりも情報量の多い表示である。詳細表示としては、操作対象装置の設定がどのような内容に変更されたかについての情報が含まれている。例えば、冷房の設定温度を２℃下げたことを表示する。あるいは、変更後の設定温度が２８℃から２６℃に変更したことを表示する。視認領域ＶＡ内の表示画面にジェスチャ操作結果を表示した後、ステップＳ１９１に進む。

ステップＳ１５１では、表示実行部７４が音でジェスチャ操作結果を出力する。例えば、冷房の設定温度を２℃下げたことをスピーカ２１から音声で出力する。あるいは、設定温度を２８℃から２６℃に変更したことをスピーカ２１から音声で出力する。あるいは、冷房の設定温度を変更したことのみをスピーカ２１から通知音として出力する。音でジェスチャ操作結果を出力した後、ステップＳ１９１に進む。

ステップＳ１６１では、表示実行部７４がセンターインフォメーションディスプレイ１３ｃにジェスチャ操作結果を表示する。センターインフォメーションディスプレイ１３ｃには、アイコンではなく詳細表示を表示する。ここで、詳細表示は、インフォテインメントディスプレイ１３ｉに表示した詳細表示とは異なる表示を採用可能である。例えば、詳細表示として、ジェスチャによって変更された最終結果のみを詳細表示として表示する。より詳細には、冷房の設定温度が２６℃であることを表示する。センターインフォメーションディスプレイ１３ｃに詳細表示を表示した後、ステップＳ１９１に進む。ステップＳ１６１は、表示実行ステップの一例を提供する。

ステップＳ１９１では、ジェスチャの受け付けを終了したか否かを表示制御装置７０が判断する。例えば、車両のパワースイッチがオフされている場合には、ジェスチャ受け付けが終了した状態である。ジェスチャの受け付けが終了している場合には、乗員による新たなジェスチャが行われる可能性がないと判断してジェスチャに対する表示制御を終了する。一方、ジェスチャの受け付けが維持されている場合には、乗員による新たなジェスチャが行われる可能性があると判断して、ステップＳ１１１に戻ってジェスチャに対する一連の表示制御を繰り返す。

以下、上述した実施形態による効果を説明する。上述した実施形態によると、表示実行部７４は、視認領域ＶＡと表示領域との位置関係に基づいてジェスチャ操作結果の表示方法を決定する。このため、操作者の状況によって変化し得る視認領域ＶＡによらず、常に一定の表示を行う場合に比べて、ジェスチャに対する反応を適切に操作者に返しやすい。したがって、ジェスチャによる操作が操作対象装置の制御に適切に反映されているか否かを操作者が把握しやすい。よって、ジェスチャによる操作結果を確認しやすい表示システム１を提供できる。

特に、ジェスチャは、操作画面等を視認することなく実行可能な操作方法であり、前方注視を維持した状態で実行される可能性の高い操作であると考えられる。このため、仮に常にセンターインフォメーションディスプレイ１３ｃにジェスチャ操作結果を表示する構成とすると、前方注視が不要なタイミングでジェスチャ操作結果を確認する必要があり、ジェスチャ操作結果を確認するタイミングが限られてしまう。また、ジェスチャ操作結果を常に音で出力する構成とすると、経路案内中や踏切の近くなど別の音によってジェスチャ操作結果が聞き取りづらい場合があり得る。このため、視認領域ＶＡと表示領域との位置関係に基づいて最適な表示方法を自動で選択してジェスチャ操作結果を表示することは、前方注視が必要な車両の運転手に対してジェスチャ操作結果を伝える際に、非常に有用である。

表示実行部７４は、視認領域ＶＡに表示領域の少なくとも一部が含まれている場合（Ｓ１２２：ＹＥＳ）に、ジェスチャ操作結果を視認領域ＶＡ内の表示領域に表示する。一方、視認領域ＶＡに表示領域が含まれていない場合（Ｓ１２２：ＮＯ）に、ジェスチャ操作結果を表示領域に表示しない。このため、表示したジェスチャ操作結果が操作者に視認されない状況を抑制しやすい。また、操作者が即座に視認できない状況での表示を抑制できる。

表示実行部７４は、視認領域ＶＡの中心位置を含む位置にジェスチャ操作結果を表示する。このため、視認領域ＶＡの中でも特に視認しやすい位置にジェスチャ操作結果を表示することができる。

表示実行部７４は、視認領域ＶＡの中心位置に最も近い位置の表示区画にジェスチャ操作結果を表示する。このため、複数の表示区画の内、特に視認しやすい位置にジェスチャ操作結果を表示することができる。

ヘッドアップディスプレイ１１に表示するジェスチャ操作結果は、ディスプレイユニット１３に表示するジェスチャ操作結果とは異なる表示である。言い換えると、表示実行部７４は、小表示装置にジェスチャ操作結果を表示する場合と、大表示装置にジェスチャ操作結果を表示する場合とで異なる内容の表示を行う。このため、表示装置１０の表示領域の大きさに応じて適切な表示内容を選択して、ジェスチャ操作結果を表示できる。

表示実行部７４は、ヘッドアップディスプレイ１１を用いてジェスチャ操作結果を表示する場合にはアイコンを表示し、ディスプレイユニット１３を用いてジェスチャ操作結果を表示する場合には詳細情報を表示する。言い換えると、表示実行部７４は、小表示装置を用いてジェスチャ操作結果を表示する場合にはアイコンを表示し、大表示装置を用いてジェスチャ操作結果を表示する場合には詳細情報を表示する。このため、ディスプレイユニット１３に比べて表示領域が狭く、解像度の低くなりやすいヘッドアップディスプレイ１１に表示する内容をシンプルにできる。したがって、ヘッドアップディスプレイ１１に表示するジェスチャ操作結果の表示が複雑すぎて、操作者が視認しにくいといった事態を抑制しやすい。

表示実行部７４は、視認領域ＶＡにセンターインフォメーションディスプレイ１３ｃとインフォテインメントディスプレイ１３ｉとが含まれる場合、センターインフォメーションディスプレイ１３ｃにジェスチャ操作結果を表示する。言い換えると、表示実行部７４は、視認領域ＶＡにセンターインフォメーションディスプレイ１３ｃが含まれる場合（Ｓ１３１：ＹＥＳ）には、センターインフォメーションディスプレイ１３ｃにジェスチャ操作結果を優先的に表示する。ここで、センターインフォメーションディスプレイ１３ｃは、ジェスチャ検出装置５３として機能するタッチパネルを有している。このため、ジェスチャ検出結果を確認した後、追加でジェスチャを行うことで操作対象装置の操作を修正しやすい。

表示実行部７４は、車両が停車中である場合（Ｓ１１２：ＹＥＳ）には、視認領域ＶＡと表示領域との位置関係によらずセンターインフォメーションディスプレイ１３ｃにジェスチャ操作結果を表示する。このため、センターインフォメーションディスプレイ１３ｃを容易に視認可能な状況においては、操作者の視線によらずセンターインフォメーションディスプレイ１３ｃにジェスチャ操作結果を表示できる。従って、ジェスチャが実行されてからジェスチャ操作結果を表示するまでに要する時間を短くしやすい。また、センターインフォメーションディスプレイ１３ｃはタッチパネルを有している。このため、ジェスチャ検出結果を確認した後、追加でタッチ操作を行うことで操作対象装置の操作を修正しやすい。

表示実行部７４は、視認領域ＶＡに表示領域が含まれていない場合（Ｓ１２２：ＮＯ）に、表示装置１０を用いたジェスチャ操作結果の表示を行わず、ジェスチャ操作結果をスピーカ２１から音で出力する。このため、操作者の視認していない表示領域に無用に表示することを抑制するとともに、音でジェスチャ操作結果を報知することができる。したがって、視認領域ＶＡに表示領域が含まれるまでジェスチャ操作結果の報知を保留する場合に比べて、素早くジェスチャ操作結果を報知しやすい。よって、ジェスチャによる操作が受け付けられなかったと操作者が誤解することを抑制しやすい。

表示実行ステップでは、視認領域ＶＡと表示領域との位置関係に基づいてジェスチャ操作結果の表示方法を決定する。このため、操作者の状況によって変化し得る視認領域ＶＡによらず、常に一定の表示を行う場合に比べて、ジェスチャに対する反応を適切に操作者に返しやすい。したがって、ジェスチャによる操作が操作対象装置の制御に適切に反映されているか否かを操作者が把握しやすい。よって、ジェスチャを用いて操作しやすい表示制御方法を提供できる。

第２実施形態
この実施形態は、先行する実施形態を基礎的形態とする変形例である。この実施形態では、視認領域ＶＡに電子ミラー１５の表示画面を含んでいる場合に、ジェスチャ操作結果の表示を保留する。

図７において、表示制御装置７０は、ジェスチャ検出装置２５３に接続している。ジェスチャ検出装置２５３は、乗員を撮像する車内カメラを備えており、撮像した乗員の動作からジェスチャを検出する。表示制御装置７０は、ジェスチャ検出装置２５３を用いて検出されたジェスチャを取得する。

表示制御装置７０は、通信装置２５５に接続している。通信装置２５５は、乗員の所持している携帯端末２５６と表示制御装置７０との通信を可能にする装置である。表示制御装置７０は、通信装置２５５を介して携帯端末２５６に関する必要な表示を行う。例えば、表示制御装置７０は、携帯端末２５６に着信があることを表示装置１０に表示し、ハンズフリーによる通話の開始を乗員に提案する。

図８を用いて、携帯端末２５６を用いたハンズフリー通話を例に、ジェスチャに対する表示制御について説明する。ジェスチャに対する表示制御は、例えば、携帯端末２５６に対して着信がある場合に開始される。ジェスチャに対する表示制御が開始されると、ステップＳ２０１で、ジェスチャ検出装置２５３が乗員によるジェスチャの受け付けを開始する。この時、センターインフォメーションディスプレイ１３ｃには、ハンズフリー通話の開始を提案する表示を行う。ジェスチャの受け付けを開始した後、ステップＳ２１１に進む。

ステップＳ２１１では、乗員によるジェスチャがあるか否かを表示制御装置７０が判断する。ジェスチャとしては、例えばジェスチャ検出装置２５３に対して手のひらを振る動作を設定可能である。より詳細には、ハンズフリー通話の提案に対して、ハンズフリー通話を開始する場合には、手のひらを上下方向に振る動作を設定可能である。一方、ハンズフリー通話を開始しない場合には手のひらを左右方向に振る動作を設定可能である。

ハンズフリー通話を開始するジェスチャがある場合には、ハンズフリー通話を開始するとともにステップＳ２１２に進む。また、ハンズフリー通話を開始しないジェスチャがある場合には、通話を拒否するとともにステップＳ２１２に進む。一方、一定時間ジェスチャ操作がない場合には、ステップＳ２６１に進む。

ステップＳ２１２では、車両が停車中か否かを表示制御装置７０が判断する。車両が走行中であれば、ステップＳ２２１に進む。一方、車両が停車中であれば、ステップＳ２６１に進む。

ステップＳ２２１では、領域取得部７２が運転手の視認領域ＶＡを取得する。また、領域取得部７２は、表示領域についても取得する。視認領域ＶＡ等を取得した後、ステップＳ２２２に進む。ステップＳ２２１は、領域取得ステップの一例を提供する。

ステップＳ２２２では、視認領域ＶＡに表示領域が含まれているか否かを位置判断部７３が判断する。視認領域ＶＡに一部でも表示領域が含まれている場合には、ステップＳ２２４に進む。一方、視認領域ＶＡに表示領域が含まれていない場合には、表示装置１０を用いて情報を表示しても運転手が表示を即座に視認できないと判断して、ステップＳ２５１に進む。ステップＳ２２２は、位置判断ステップの一例を提供する。

ステップＳ２２４では、視認領域ＶＡに電子ミラー１５の表示画面が含まれているか否かを位置判断部７３が判断する。図９は、運転手が右側の電子ミラー１５を注視している場合の視認領域ＶＡを示している。視認領域ＶＡの中心位置は、電子ミラー１５の表示画面上に位置している。また、視認領域ＶＡに含まれる表示領域は、電子ミラー１５の表示画面のみである。ステップＳ２２４は、位置判断ステップの一例を提供する。

視認領域ＶＡに電子ミラー１５の表示画面が含まれている場合には、運転手が運転操作に特に集中している状況であると想定される。このため、電子ミラー１５の表示画面内に表示を行うことなく、ステップＳ２２１に戻る。これにより、運転手が電子ミラー１５以外の表示領域を視認するか、視認領域ＶＡに表示領域が含まれなくなるまでジェスチャ操作結果の表示を保留する。一方、視認領域ＶＡに電子ミラー１５の表示画面が含まれていない場合には、ステップＳ２３１に進む。

ステップＳ２３１では、視認領域ＶＡにセンターインフォメーションディスプレイ１３ｃの表示画面を含んでいるか否かを判断する。視認領域ＶＡにセンターインフォメーションディスプレイ１３ｃが含まれている場合には、ステップＳ２６１に進む。一方、視認領域ＶＡにセンターインフォメーションディスプレイ１３ｃの表示画面が含まれていない場合には、ステップＳ２４１に進む。ステップＳ２３１は、位置判断ステップの一例を提供する。

ステップＳ２４１では、表示実行部７４が視認領域ＶＡ内の表示画面にジェスチャ操作結果を表示する。例えば、視認領域ＶＡがヘッドアップディスプレイ１１の表示部１１ｄに位置している場合には、表示部１１ｄにジェスチャ操作結果としてアイコンを表示する。ここで、アイコンは、ハンズフリー通話中であることを示す表示、あるいは、通話を拒否したことを示す表示である。

例えば、視認領域ＶＡがメータディスプレイ１３ｍの表示画面に位置している場合には、メータディスプレイ１３ｍの表示画面にジェスチャ操作結果としてアイコンを表示する。例えば、視認領域ＶＡがインフォテインメントディスプレイ１３ｉの右側部分に位置している場合には、インフォテインメントディスプレイ１３ｉの右側部分にジェスチャ操作結果としてアイコンを表示する。視認領域ＶＡ内の表示画面にジェスチャ操作結果としてアイコンを表示した後、ステップＳ２６１に進む。ステップＳ２４１は、表示実行ステップの一例を提供する。

ステップＳ２５１では、表示実行部７４が音でジェスチャ操作結果を出力する。例えば、ハンズフリー通話を開始したことをスピーカ２１から通知音として出力する。あるいは、通話を拒否したことをスピーカ２１から通知音として出力する。音でジェスチャ操作結果を出力した後、ステップＳ２６１に進む。

ステップＳ２６１では、表示実行部７４がセンターインフォメーションディスプレイ１３ｃにジェスチャ操作結果等を表示する。センターインフォメーションディスプレイ１３ｃには、アイコンではなく詳細表示を表示する。ハンズフリー通話を開始した場合、詳細表示には、例えばハンズフリー通話の相手の情報やハンズフリー通話を開始してからの経過時間の情報が含まれる。ハンズフリー通話を開始しなかった場合、詳細表示には、例えば着信のあった相手の情報や着信のあった時刻の情報が含まれる。ここで、ハンズフリー通話を開始しなかった場合には、ジェスチャによってハンズフリー通話を拒否した場合と、ジェスチャを行わなかった場合との両方が含まれる。センターインフォメーションディスプレイ１３ｃに詳細表示を表示した後、ステップＳ２９１に進む。ステップＳ２６１は、表示実行ステップの一例を提供する。

ステップＳ２９１では、ジェスチャの受け付けを終了したか否かを表示制御装置７０が判断する。ジェスチャの受け付けが終了している場合には、乗員による新たなジェスチャが行われる可能性がないと判断してジェスチャに対する表示制御を終了する。一方、ジェスチャの受け付けが維持されている場合には、乗員による新たなジェスチャが行われる可能性があると判断して、ステップＳ２１１に戻ってジェスチャに対する一連の表示制御を繰り返す。

以下、上述した実施形態による効果を説明する。上述した実施形態によると、表示実行部７４は、視認領域ＶＡに含まれる表示領域が電子ミラー１５である場合に、電子ミラー１５が視認領域ＶＡに含まれなくなるまで、ジェスチャ操作結果の表示を保留する。このため、運転に集中していると想定される状況で、ジェスチャ操作結果を表示することを抑制できる。

他の実施形態
ジェスチャによる操作の操作対象装置として、空調装置、あるいは通信装置２５５を介した携帯端末２５６を例に説明を行ったが、操作対象装置は上述の例に限られない。例えば、カーナビゲーション装置や車内照明装置を操作対象装置として、経路案内の音量や照度の制御をジェスチャで操作可能に構成してもよい。

この明細書および図面等における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および／または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および／または要素が省略されたものを包含する。開示は、１つの実施形態と他の実施形態との間における部品および／または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、請求の範囲の記載によって示され、さらに請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。

明細書および図面等における開示は、請求の範囲の記載によって限定されない。明細書および図面等における開示は、請求の範囲に記載された技術的思想を包含し、さらに請求の範囲に記載された技術的思想より多様で広範な技術的思想に及んでいる。よって、請求の範囲の記載に拘束されることなく、明細書および図面等の開示から、多様な技術的思想を抽出することができる。

本開示に記載の制御部およびその手法は、コンピュータプログラムにより具体化された１つないしは複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置およびその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置およびその手法は、コンピュータプログラムを実行するプロセッサと１つ以上のハードウェア論理回路との組み合わせにより構成された１つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

１ 表示システム、 １０ 表示装置、 １１ ヘッドアップディスプレイ（小表示装置）、 １１ｈ 本体部、 １１ｄ 表示部、 １３ ディスプレイユニット（大表示装置）、 １３ｍ メータディスプレイ、 １３ｉ インフォテインメント、 １３ｃ センターインフォメーションディスプレイ、 １５ 電子ミラー、 ２１ スピーカ、 ５１ 視認領域検出装置、 ５３ ジェスチャ検出装置、 ７０ 表示制御装置、 ７１ ジェスチャ取得部、 ７２ 領域取得部、 ７３ 位置判断部、 ７４ 表示実行部、 ２５３ ジェスチャ検出装置、 ２５５ 通信装置、 ２５６ 携帯端末

Claims (10)

1. 操作者のジェスチャによって表示を変化させる表示システムであって、
   前記ジェスチャを検出するジェスチャ検出装置（５３、２５３）と、
   前記操作者の視認領域を検出する視認領域検出装置（５１）と、
   前記ジェスチャによる操作結果であるジェスチャ操作結果を表示可能な表示装置（１０）と、
   前記表示装置の表示に関する制御を行う表示制御装置（７０）とを備え、
   前記表示制御装置は、
   前記視認領域検出装置で検出した前記視認領域と、前記表示装置の表示領域とを取得する領域取得部（７２）と、
   前記視認領域と前記表示領域との位置関係を判断する位置判断部（７３）と、
   前記ジェスチャ操作結果を前記操作者に対して表示する表示実行部（７４）とを備え、
   前記表示実行部は、前記視認領域と前記表示領域との位置関係に基づいて前記ジェスチャ操作結果の表示方法を決定し、
   前記表示装置は、タッチ操作を受け付け可能なタッチパネルを有するセンターインフォメーションディスプレイ（１３ｃ）を備え、
   前記表示実行部は、車両が停車中である場合には、前記視認領域と前記表示領域との位置関係によらず前記センターインフォメーションディスプレイに前記ジェスチャ操作結果を表示する表示システム。
2. 前記表示装置は、周辺監視を行うための電子ミラー（１５）を含み、
   前記表示実行部は、前記視認領域に含まれる前記表示領域が前記電子ミラーである場合に、前記電子ミラーが前記視認領域に含まれなくなるまで、前記ジェスチャ操作結果の表示を保留する請求項１に記載の表示システム。
3. 操作者のジェスチャによって表示を変化させる表示システムであって、
   前記ジェスチャを検出するジェスチャ検出装置（５３、２５３）と、
   前記操作者の視認領域を検出する視認領域検出装置（５１）と、
   前記ジェスチャによる操作結果であるジェスチャ操作結果を表示可能な表示装置（１０）と、
   前記表示装置の表示に関する制御を行う表示制御装置（７０）とを備え、
   前記表示制御装置は、
   前記視認領域検出装置で検出した前記視認領域と、前記表示装置の表示領域とを取得する領域取得部（７２）と、
   前記視認領域と前記表示領域との位置関係を判断する位置判断部（７３）と、
   前記ジェスチャ操作結果を前記操作者に対して表示する表示実行部（７４）とを備え、
   前記表示実行部は、前記視認領域と前記表示領域との位置関係に基づいて前記ジェスチャ操作結果の表示方法を決定し、
   前記表示装置は、周辺監視を行うための電子ミラー（１５）を含み、
   前記表示実行部は、前記視認領域に含まれる前記表示領域が前記電子ミラーである場合に、前記電子ミラーが前記視認領域に含まれなくなるまで、前記ジェスチャ操作結果の表示を保留する表示システム。
4. 前記表示実行部は、前記視認領域に前記表示領域の少なくとも一部が含まれている場合に、前記ジェスチャ操作結果を前記視認領域内の前記表示領域に表示し、前記視認領域に前記表示領域が含まれていない場合に、前記ジェスチャ操作結果を前記表示領域に表示しない請求項１から請求項３のいずれかに記載の表示システム。
5. 前記表示装置は、前記ジェスチャ操作結果を前記表示領域内の任意の場所に表示可能であって、
   前記表示実行部は、前記視認領域の中心位置を含む位置に前記ジェスチャ操作結果を表示する請求項４に記載の表示システム。
6. 前記表示装置は、前記ジェスチャ操作結果を表示可能な表示区画を複数備え、
   前記表示実行部は、前記視認領域の中心位置に最も近い位置の前記表示区画に前記ジェスチャ操作結果を表示する請求項４に記載の表示システム。
7. 前記表示装置は、
   小表示装置（１１）と、
   前記小表示装置よりも大きな表示領域を有する大表示装置（１３）とを備え、
   前記表示実行部は、前記小表示装置に前記ジェスチャ操作結果を表示する場合と、前記大表示装置に前記ジェスチャ操作結果を表示する場合とで異なる内容の表示を行う請求項１から請求項６のいずれかに記載の表示システム。
8. 前記小表示装置は、フロントウィンドウに重ねて虚像を表示可能であり、
   前記大表示装置は、インストルメントパネルに設けられ、互いに隣り合って設けられている複数の表示画面を有し、
   前記表示実行部は、前記小表示装置を用いて前記ジェスチャ操作結果を表示する場合にはアイコンを表示し、前記大表示装置を用いて前記ジェスチャ操作結果を表示する場合には詳細情報を表示する請求項７に記載の表示システム。
9. 前記大表示装置は、前記ジェスチャ検出装置として機能する、タッチパネルを有するセンターインフォメーションディスプレイ（１３ｃ）を備え、
   前記表示実行部は、前記視認領域に前記センターインフォメーションディスプレイが含まれる場合には、前記センターインフォメーションディスプレイに前記ジェスチャ操作結果を優先的に表示する請求項８に記載の表示システム。
10. 車内に音を出力可能なスピーカ（２１）を備え、
    前記表示実行部は、前記視認領域に前記表示領域が含まれていない場合に、前記表示装置を用いた前記ジェスチャ操作結果の表示を行わず、前記ジェスチャ操作結果を前記スピーカから音で出力する請求項１から請求項９のいずれかに記載の表示システム。

Images