JP2019127077A - 表示装置 - Google Patents

Abstract

【課題】移動体の運転者が移動体の周囲の安全を容易に確認しつつ、運転者の操舵の操作を支援する表示装置を提供する。【解決手段】表示装置は、移動体の操舵に関する操作を受け付ける操作受付手段と、前記移動体の運転位置からみて前記操作受付手段の後方に前記操作受付手段に対する操作に関する情報である操作情報を表示する表示手段と、前記移動体の周囲の画像を取得する画像取得部と、を有する。前記表示手段は、前記操作情報の周辺に前記画像取得部が取得した前記画像を表示する。【選択図】図１２

Description

本発明は、移動体に搭載される表示装置に関する。

自動車等の移動体の操舵に関する操作を支援する装置の開発が進められている。例えば、自動車のドライバが、ナビゲーションシステムのディスプレイに表示されたハンドルの操作量を示すアイコンに従って当該自動車のハンドルを操作することによって、自動車の駐車時の操舵に関する操作を支援する装置がある。

具体的には、インストルメントパネルに配置されるナビゲーションシステムのディスプレイに、ハンドルのアイコンと、ステアリングハンドルの操作量を示すアイコンと、を表示する駐車支援装置が特許文献１に開示されている。

特開２０１７−０６５６１５号公報

しかしながら、特許文献１の駐車支援装置は、自動車のドライバが、ナビゲーションシステムのディスプレイに表示されたアイコンを見ながらステアリングハンドルを操作しなければならない。

例えば、自動車が後方へ移動する際、ドライバは自動車の周囲の安全を確認するために様々な位置に視線を移動しながら操作をしなければならないため、運転支援のガイダンス表示が分かりにくかったという問題が課題の一例として挙げられる。

本発明は上記した点に鑑みてなされたものであり、移動体の運転者が移動体の周囲の安全を容易に確認しつつ、運転者の操舵の操作を支援する表示装置を提供すること課題の１つとする。

本願請求項１に記載の表示装置は、移動体の操舵に関する操作を受け付ける操作受付手段と、前記移動体の運転位置からみて前記操作受付手段の後方に前記操作受付手段に対する操作に関する情報である操作情報を表示する表示手段と、前記移動体の周囲の画像を取得する画像取得部と、を有し、前記表示手段は、前記操作情報の周辺に前記画像取得部が取得した前記画像を表示することを特徴とする。

本発明の実施例１である表示装置が搭載される移動体の上面図である。 本発明の実施例１である表示装置が搭載される移動体の前席部分を示す説明図である。 本発明の実施例１である表示装置の構成の一例を示すブロック図である。 図１の表示領域に示す操作情報を表示する処理フローを示すフローチャート図である。 図１の表示領域に示す操作情報の表示態様を示す説明図である。 実施例２である表示装置の操作情報を表示する処理フローを示すフローチャート図である。 実施例３である表示装置の表示領域に操作情報を表示する態様を示す説明図である。 実施例３である表示装置の表示領域に操作情報を表示する他の態様を示す説明図である。 実施例４に係である表示装置の操作情報を表示する処理フローを示すフローチャート図である。 実施例４である表示装置の表示領域に操作情報を表示する態様を示す説明図である。 実施例５である表示装置の操作情報を表示する処理フローを示すフローチャート図である。 実施例６である表示装置が搭載される移動体の前席部分を示す説明図である。 実施例７である表示装置が搭載される移動体の前席部分を示す説明図である。 実施例７である表示装置の構成の一例を示すブロック図である。 図１３に示したダッシュボードの拡張部の拡大図である。 実施例７である表示装置の入力処理を示すフローチャート図である。 実施例８である表示装置の入力処理を示すフローチャート図である。

表示装置は、自動車等の移動体に搭載されている。移動体は、自転車、バイク、飛行機、船舶、移動する人等、自動車以外の移動体であっても良い。本実施例においては、移動体の一例である自動車に表示装置を搭載した場合を説明する。

図１は、自動車ＡＭの上面図である。自動車ＡＭは、自動車ＡＭの周囲に存在する障害物を検知する障害物検知手段としての複数の車載カメラＣＭを有する。

車載カメラＣＭは、例えば、自動車ＡＭの前方の領域を撮像するフロントカメラＦＣと、自動車ＡＭの後方の領域を撮像するリアカメラＲＣと、自動車ＡＭの側方の領域を撮像する右サイドカメラＲＳＣ及び左サイドカメラＬＳＣと、を含んで構成されている。

これらのフロントカメラＦＣ、リアカメラＲＣ、右サイドカメラＲＳＣ及び、左サイドカメラＬＳＣは、例えば１８０°程度の画角を有する広角カメラである。これらの車載カメラＣＭは、例えば、自動車ＡＭの全周が撮像されるように配置されている。具体的には、フロントカメラＦＣは、図１に示した自動車ＡＭのフロントグリルＧＲに設置される。リアカメラＲＣは、図１に示した自動車ＡＭのルーフスポイラーＲＳに設置される。右サイドカメラＲＳＣ及び左サイドカメラＬＳＣは、それぞれ図１に示した自動車ＡＭのサイドミラーＳＭに設置される。

尚、障害物検知手段としては、車載カメラＣＭに限られず、例えば、ミリ波レーダー等のレーダーや、赤外線レーザーを自動車ＡＭの周囲に照射することにより障害物を検知するセンサであってもよい。また、これらのセンサや車載カメラＣＭを複合的に用いて検知手段を構築してもよい。さらに、車載カメラＣＭの撮像範囲は、自動車ＡＭの全方位でなくてもよく、自動車の前方、後方、右側方、又は左側方のうち少なくとも１つの方向を撮像することができればよい。

図２は、自動車ＡＭの前席部分を示す図である。図２に示すように、自動車ＡＭは、一対のＡピラーＰ間に配されたダッシュボードＤＢを有する。ダッシュボードＤＢのフロントガラスＦＧを向いた表面Ｓは、言い換えれば、表面Ｓは、自動車ＡＭの後方から前方に向かって上るような傾斜を形成している。

ダッシュボードＤＢには、ステアリングハンドル１１が設けられている。ステアリングハンドル１１は、ステアリング機構の一部であって、ステアリングシャフト（図示せず）の軸周りに回動する。本実施例において、ステアリングハンドル１１は、四角の枠形状を有しているが、ステアリングシャフトの軸周りに回動するものであればよく、例えば、円環状であってもよい。

運転位置１２は、ステアリングハンドル１１と対向した領域にある。運転位置１２には、自動車ＡＭの運転席（図示せず）が設けられている。

ダッシュボードＤＢには、フロントガラスＦＧに面した表面Ｓのステアリングハンドル１１の前方の位置に、すなわち運転位置１２から見てステアリングハンドル１１の奥側に、凹部ＲＥが形成されている。凹部ＲＥ内には、例えば、自動車ＡＭの走行速度を表示する速度計、自動車ＡＭのエンジンの回転数を表示する回転計等の計器が設けられている。言い換えれば、凹部ＲＥ内には、計器情報表示手段が設けられ、凹部ＲＥ内は計器情報表示領域となっている。

シェードＳＨは、ダッシュボードＤＢの上方において自動車ＡＭの前方側から後方にかけて突出し、ダッシュボードＤＢの表面Ｓ上を覆う部材である。

シェードＳＨには、ダッシュボードＤＢの表面Ｓに映像を投影可能なプロジェクタ等の投影装置ＰＪが設けられている。言い換えれば、ダッシュボードＤＢの表面Ｓは、投影装置ＰＪによる映像が投影される投影面となっている。すなわち、ダッシュボードＤＢと投影装置ＰＪとで表示手段が形成されている。なお、表面Ｓ内の、投影装置ＰＪによって映像が投影可能な領域を表示領域２０として説明する。

シェードＳＨには、自動車ＡＭの運転者の視線の位置（運転者が運転席に着座したときの目の高さや視線方向）を検知する位置センサＰＳが設けられている。位置センサＰＳは、例えば図２に示すようにダッシュボードＤＢの表示領域２０に投影される情報において、運転者が視認している情報を特定すること、視認している情報を運転者が操作する可能性が高い操作対象情報であること等を特定することができる。なお、シェードＳＨは、ダッシュボードＤＢと形成されていても良いし、ダッシュボードＤＢと別の部材として設けられていてもよい。

以下の説明において、表示領域２０のうち、表面ＳのダッシュボードＤＢの凹部ＲＥを囲う領域、すなわち凹部ＲＥの周辺の領域をステアリングハンドル１１の操作に関する情報である操作情報を表示する操作情報表示領域２２ａとする。言い換えれば、操作情報表示領域２２ａは、運転位置１２からみてステアリングハンドル１１の奥側に設けられている。尚、操作情報表示領域２２ａに操作情報を表示する一例としては、２つの矢印が運転位置１２からみてステアリングハンドル１１を指すように表示することが挙げられる。このように、操作情報を表示することで運転者にステアリングハンドル１１を把持するように促すことができる。

また、以下の説明において、表示領域２０のうち、操作情報表示領域２２ａ以外の領域を、エンターテイメント情報や運転支援情報を含む種々の情報を表示するマルチ情報表示領域２２ｂとして説明する。

操作情報は、例えば、ステアリングハンドル１１への推奨される操作量である。

凹部ＲＥと、操作情報表示領域２２ａと、は、自動車ＡＭの運転位置１２からみてステアリングハンドル１１の後方に設けられている。マルチ情報表示領域２２ｂは、操作情報表示領域２２ａと、を囲うように設けられている。

図３は、実施例１に係る表示装置１０の機能ブロックを示す。

自動車ＡＭは、自動車ＡＭの自動走行を制御する運転制御部４０を備える。運転制御部４０は、自動車ＡＭの走行を自動で行う自動運転モードと、自動車ＡＭの走行の操作を全て運転者が行う手動運転モードと、を含む制御モードを備える。

自動運転モードは、自動車ＡＭの操舵の操作を自動で行う操舵モードと、自動車ＡＭの加速を自動で行う加速モードと、自動車ＡＭの減速を自動で行う減速モードと、を備え、これらの操舵モード、加速モード、及び減速モードを組み合わせて制御を行う。

具体的には、制御モードは、自動車ＡＭの操舵に関する操作を運転位置１２に搭乗する運転者に依存する手動操舵モードを少なくとも含んでいる。すなわち、制御モードは、自動車ＡＭの走行に関する操作の自動化の程度によって異なる複数の制御モードを含んでいる。

例えば、手動運転モードは、自動運転レベル０に相当する。自動運転モードは、自動運転レベル１乃至５に相当する。ここで、自動運転レベルは、日本政府や米国運輸省道路交通***(NHTSA)で定義される自動運転レベルである。

データ収集部３０は、運転制御部４０、車載カメラＣＭ、自動車ＡＭの速度情報を取得する速度センサＳＳ、位置センサＰＳのそれぞれからデータを取得可能に接続されているインターフェース部である。表示装置１０は、データ収集部３０を介して速度センサＳＳ、位置センサＰＳ、車載カメラＣＭのそれぞれからデータを受信する。

出力部３１は、投影装置ＰＪに接続されているインターフェース部である。投影装置ＰＪに操作情報又は画像情報を送信して表示させたりすることが可能である。

記憶装置３２は、例えばハードディスク装置やＳＳＤ（Solid State Drive）、フラッシュメモリなどにより構成されている。記憶装置３２は、ＢＩＯＳ（Basic Input Output System）、ソフトウェア等の各種プログラムを記憶する。また、記憶装置３２は、操作情報を生成するための情報を格納可能である。具体的には、記憶装置３２は、地図情報を格納した地図ＤＢ（Data base）と、自動車ＡＭが走行する経路情報と、を格納可能である。

制御部３３は、演算処理装置としてのＣＰＵ（Central Processing Unit）３３ａと、主記憶装置としてのＲＯＭ（Read Only Memory）３３ｂと、ＲＡＭ（Random Access Memory）３３ｃと、を有するコンピュータによって実現される。ＣＰＵ３３ａは、ＲＯＭ３３ｂや記憶装置３２から処理内容に応じたプログラムを読み出してＲＡＭ３３ｃに展開し、展開したプログラムと協働して、各種機能を実現する。

制御部３３、データ収集部３０、出力部３１、記憶装置３２の各々は、システムバス３４を介して互いに接続されている。

制御部３３は、データ収集部３０を介して受信したそれぞれのデータに基づいて、操作情報を生成することが可能である。

制御部３３は、自動車の自動走行に関する制御モード情報を、データ収集部を介して取得可能である。

また、制御部３３は、位置センサＰＳが検知した運転者の目の高さである位置データに基づいて、操作情報表示領域における操作情報の表示位置を変更可能に投影装置ＰＪを制御することが可能である。

図４は、制御部３３が生成する操作情報を表示する処理フローを示している。図４に示すように、制御部３３は、取得した制御モード情報に基づいて制御モードが手動運転モード又は手動操舵モードであるかを判断する（ステップＳ０１）。

ステップＳ０１において、制御部３３は、制御モードが手動運転モード又は手動操舵モードであると判断した場合（ステップＳ０１：Ｙ）、制御部３３は、自動車ＡＭの車速データ、自動車ＡＭの進行方向の画像データに基づいて、自動車ＡＭがカーブ等を走行する際に必要なステアリングハンドル１１の操作量を算出する（ステップＳ０２）。具体的には、制御部３３は、カーブ等を走行する際に理想的な軌道を計算し、現在の自動車ＡＭの車速等に応じて自動車ＡＭがカーブ等を走行する際に必要なステアリングハンドル１１の操作量を算出する。

尚、ステアリングハンドル１１の操作量を算出する処理は、自動車ＡＭがカーブを走行する場合だけでなく、例えば、車線変更を行う場合、道路上に障害物があり当該障害物を避ける場合、対向車とすれ違う場合等の運転者がステアリングハンドル１１の操作を行う場合に行われるとよい。また、操作量の算出処理は、自動車ＡＭの画像データだけでなく、地図情報、経路情報を参照してもよい。

制御部３３は、ステップＳ０２で算出した操作量に応じた操作情報を生成する（ステップＳ０３）。

制御部３３は、運転者の目の高さである位置データを取得して、投影装置ＰＪに生成された操作情報を操作情報表示領域２２ａに表示させる（ステップＳ０４）。具体的には、制御部３３は、位置センサＰＳが検知した運転者の目の高さに応じて操作情報の操作情報表示領域２２ａにおける表示位置を変更するように投影装置ＰＪを制御する。

ステップＳ０１において、制御部３３は、手動運転モード又は手動操舵モードでないと判断した場合（ステップＳ０１：Ｎ）、制御部３３は、処理を終了する。

ここで、自動車ＡＭの進行方向にカーブが存在する場合に表示される操作情報について説明する。

図５は、自動車ＡＭがカーブを走行する場合の操作情報表示領域２２ａにおける操作情報の表示態様を示している。図中の矢印は、ステアリングハンドル１１の回動方向を示している。

図５に示すように、ステアリングハンドル１１には基準標示１１ａが表示されている。基準標示１１ａは、ステアリングハンドル１１の操作の基準となる位置を示す印である。基準標示１１ａは、例えば、ステアリングハンドル１１に〇や△等の模様が施されるものであってもよい。また、基準標示１１ａは、液晶等のディスプレイをステアリングハンドル１１に設け、当該ディスプレイに基準標示１１ａを表示するようにしてもよい。

ダッシュボードＤＢの操作情報表示領域２２ａには、操作情報として基準標示１１ａが合わせられるべき位置（合わせ位置）ＭＰが表示されている。合わせ位置ＭＰは操作表示領域において表示される〇や△等の記号、模様である。

したがって、自動車ＡＭの運転者は、基準標示１１ａを合わせ位置ＭＰにあわせてステアリングハンドル１１を回動させると、自動車ＡＭの舵角が進行方向に対して最適な角度となる。

制御部３３による運転者の目の高さである位置データに応じた表示位置の変更については、合わせ位置ＭＰの全体がステアリングハンドル１１によって見えなくなる位置を避けるように行われる。例えば、運転者の目の位置に応じて表示位置を記録したテーブル（図示せず）が記憶装置３２に予め格納されており、制御部３３は、当該テーブルを参照して操作情報の表示位置を変更する。

尚、合わせ位置ＭＰは運転者がその一部を認識することができなくても基準標示１１ａと合わせる位置を認識することができればよい。例えば、合わせ位置ＭＰをバーの記号（―）で表記した場合を想定する。この際、合わせ位置ＭＰの一部がハンドルの死角に表示された場合でも、バーの延長線上に残りの合わせ位置ＭＰが表示されていれば、運転者は基準標示１１ａと位置合わせを行うことが可能となる。したがって、合わせ位置ＭＰは、少なくとも合わせ位置ＭＰの全体が運転者の目の位置から操作情報表示領域２２ａを見た際にステアリングハンドル１１の死角とならない位置に表示することができればよい。

以上のように本実施例の表示装置１０によれば、操作情報表示領域２２ａは、自動車ＡＭの運転位置１２からみてステアリングハンドル１１の後方に設けられている。従って、自動車ＡＭの運転者は、運転位置１２からステアリングハンドル１１の視線上にある操作情報を見ながら操舵の操作を行うことができる。この結果、自動車ＡＭの運転者は、目線を大きく動かすことなく適切な実際のステアリングハンドル１１の操作が可能となる。また、自動車ＡＭの運転者の感覚に頼ることなく操舵の操作が可能となるため、運転スキルによらないステアリングハンドル１１の操作を行うことができる。

また、自動車ＡＭが後退する場合においては、ステアリングハンドル１１の操作を伴うか否かによらず、自動車ＡＭが前方に進む場合よりも運転者の感覚、運転スキルに操舵の操作が依存する。このような状況下においても、操作情報を操作情報表示領域２２ａに表示することで、運転者は安心して操舵の操作を行うことが可能となる。

尚、本実施例においては、ステアリングハンドル１１の操作量を操作情報として表示した。しかし、操作情報は、物理的なステアリングハンドル１１の操作量に限られず、ステアリングハンドル１１の操作量に必要な視線位置を検知して運転者の視線位置を誘導するようにしてもよい。例えば、運転者の視線を検知する視線センサを設け、ステアリングハンドル１１の操作量に応じて運転者の視線方向を適切な方向に誘導するように矢印やマーク等を操作情報として表示するようにしてもよい。

尚、本実施例においては、投影装置ＰＪを用いて表示領域に各情報を表示するようにした。しかし、投影装置ＰＪを用いずに、例えば、液晶等のディスプレイを表示領域２０に設け、ディスプレイに各情報を表示してもよい。

図６は、実施例２に係る操作情報を表示する処理フローを示すフローチャート図である。実施例２に係る表示装置１０は、実施例１と同様の構成であり、操作情報を生成する処理フローが異なる。

図６に示すように、制御部３３は、取得した制御モード情報に基づいて制御モードが手動運転モード又は手動操舵モードであるかを判断する（ステップＳ２１）。

ステップＳ２１の判断において、制御部３３は、手動運転モード又は手動操舵モードではないと判断したときは（ステップＳ２１：Ｎ）、処理を終了する。

ステップＳ２１の判断において、制御部３３は、制御モードが手動運転モード又は手動操舵モードであると判断すると（ステップＳ２１：Ｙ）、制御部３３は、車載カメラＣＭから画像データを取得して、自動車ＡＭの進行方向に障害物があるか否かを判断する（ステップＳ２２）。

ステップＳ２２の判断において、制御部３３は、障害物を検出せず障害物がないと判断したときは（ステップＳ２２：Ｎ）、処理を終了する。

ステップＳ２２の判断において、制御部３３は、障害物を検出し障害物があると判断したときは（ステップＳ２２：Ｙ）自動車ＡＭの車速データ、自動車ＡＭの進行方向の画像データに基づいて、障害物を回避して走行する際に必要なステアリングハンドル１１の操作量を算出する（ステップＳ２３）。

以後の処理フローは、図３の処理フローのステップＳ０２〜ステップＳ０４の処理と同様であるので説明を省略する。

以上のように本実施例の表示装置１０によれば、手動運転モード又は手動操舵モードにおいて常に操作情報が操作情報表示領域２２ａに表示されることがない。従って、操舵の操作が必要なとき、すなわち障害物を検出した場合にのみ、操作情報が操作情報表示領域２２ａに表示されることになるため、表示装置１０の処理負荷を低減することができる。

合わせ位置ＭＰは、最適な舵角を含む最小舵角と、最大舵角と、を含む基準標示１１ａが合わせられるべき領域（合わせ領域）として表示してもよい。実施例３に係る表示装置１０は、実施例１と同様の構成であり、操作情報を表示する態様が異なる。

すなわち、制御部３３は、操作情報を生成する際に、走行する車線を逸脱しない範囲内での走行に最低限必要な最小舵角と、走行する車線を逸脱しない範囲内での最大の舵角ある最大舵角と、を算出することが可能である。

図７は、操作情報表示領域２２ａに合わせ領域ＭＲを表示した態様を示している。図中の矢印は、ステアリングハンドル１１の回動方向を示している。図７に示すように、合わせ領域ＭＲは、自動車ＡＭが走行する車線を走行する際の最小舵角と、最大舵角と、によって規定されている領域である。

ここで、合わせ領域ＭＲは、合わせ位置ＭＰも同時に表示するようにしてもよい。図８は、操作情報表示領域２２ａに合わせ領域ＭＲと、合わせ位置ＭＰと、を表示した態様を示している。図中の矢印は、ステアリングハンドル１１の回動方向を示している。

図８に示すように、操作情報表示領域２２ａに合わせ領域ＭＲと、合わせ位置ＭＰと、を表示することにより、自動車ＡＭの運転者は、最適な舵角を目標位置として認識しつつ、ステアリングハンドル１１の操作を行うことが可能となる。

以上のように本実施例に係る表示装置１０によれば、操作情報表示領域２２ａに合わせ領域ＭＲを表示することで、自動車ＡＭの運転者は基準標示１１ａを合わせ領域ＭＲに合わせるようにステアリングハンドル１１を操作することで適切な操舵の操作を行うことができる。従って、自動車ＡＭの運転者は、素早く適切な舵角に操作することが可能となる。また、自動車ＡＭの運転者は、素早く適切な舵角に操作しつつ、最も適切な舵角に微調整を行うことが可能となる。

また、本実施例に係る表示装置１０において、合わせ領域ＭＲや合わせ位置ＭＰに対して最適な舵角となっていることを示す表示として、例えば合わせ領域ＭＲに対して、基準標示１１ａが合わせ領域ＭＲ内であるか合わせ領域ＭＲ外であるかに応じて、合わせ領域内ＭＲの色を変化させてもよい。

例えば、基準標示１１ａが合わせ領域ＭＲ内であれば、合わせ領域内ＭＲを青色、基準標示１１ａが合わせ領域ＭＲ外であれば合わせ領域ＭＲ内を赤色に表示するとよい。

このようにすることで、自動車ＡＭの運転者は、自動車ＡＭの前方を確認しながらも運転者の周辺視野によって自動車AMが正しく移動するための舵角となっていることを認識することが可能となる。

尚、以上の実施例１乃至３は、自動車AMが前方の方向に移動することを想定した一例である。自動車AMが後方へ移動する場合には、運転者は後方への安全確認が必要となる。その場合、合わせ領域MRや合わせ位置MPに対して最適な舵角となっていることを音によって通知するようにしても良いし、運転席を振動させるようにしても良い。自動車AMの運転者は、後方への安全確認を行いながらも自動車AMが後方へ正しく移動するための舵角となっていることを音や振動を介して認識することが可能となる。

実施例４に係る表示装置１０は、実施例１乃至３に係る表示装置１０と同様の構成であり、操作情報を表示する態様が異なる点で実施例１乃至３に係る表示装置１０と相違する。

図９は、実施例３に係る表示装置１０の操作情報を表示する処理フローを示している。図９に示すように、制御部３３は、取得したモード移行情報に基づいて制御モードが、自動車ＡＭの操舵に関する操作を運転位置１２に搭乗する運転者に依存する手動運転モード又は手動操舵モードに移行するかを判断する（ステップＳ３１）。ステップＳ３１の判断において、手動運転モード又は手動操舵モードに移行しないと判断すると（ステップＳ３１：Ｎ）、制御部３３は、処理を終了する。

制御部３３は、手動運転モード又は手動操舵モードに移行すると判断すると（ステップＳ３１：Ｙ）、操作情報として運転位置１２に搭乗する自動車ＡＭの運転者がステアリングハンドル１１を把持することを促す情報を生成する（ステップＳ３２）。

制御部３３は、運転者の目の高さである位置データを参照し、投影装置ＰＪに操作情報表示領域２２ａにステアリングハンドル１１を把持すること促す表示させる（ステップＳ３３）。

すなわち、表示手段は、手動操舵モードに移行することを示すモード移行情報に基づいて操作情報を表示する。

図１０は、ステップＳ３３において、操作情報表示領域２２ａにおいて表示されている操作情報を示している。図１０に示すように、２つの矢印ＡＲ１，ＡＲ２が運転位置１２側の方向を指し示すように操作情報表示領域２２ａに表示されている。この操作情報表示領域２２ａに表示されている操作情報は、運転者にステアリングハンドル１１を把持することを促すことを意味している。尚、操作情報の表示は、制御モードが移行するまでの数分前に表示するとよい。

また、操作情報は、矢印に限らず実際に人間の手を示した画像情報を表示しても良いし、「ハンドルを握ってください」等の文字情報であってもよい。さらに、ステアリングハンドル１１を把持することを促すだけでなく、アクセルペダル、ブレーキペダルに足を置くように促す表示であってもよい。

以上のように、本実施例の表示装置１０によれば、自動で操舵の操作が行われている状態から、手動で操舵の操作を行う制御モードに移行する際に、運転者に対してステアリングハンドル１１を把持するように促すことで、手動運転モード又は手動操舵モードのいずれかの制御モードに切り替わる準備態勢を直感的に運転者に伝えることが可能となる。この結果、運転者は、余裕を持って操舵の操作を行うことができ、より安全に操作を行うことが可能となる。

図１１は、実施例５に係る表示装置１０実施例３に係る表示装置１０の操作情報を表示する処理フローを示している。実施例５に係る表示装置１０は、実施例４に係る表示装置１０と同様の構成であり、操作情報を表示する内容が異なる点で実施例４に係る表示装置１０と相違する。具体的には、本実施例に係る表示装置１０が表示する操作情報はステアリングハンドル１１の推奨される操作量である点が実施例４に係る表示装置１０とは異なる。

尚、記憶装置３２は、自動車ＡＭが走行する経路情報と、地図情報と、を格納している。

制御部３３は、モード移行情報に基づいて制御モードが手動運転モード又は手動操舵モードに移行することを検知したか判断する（ステップＳ４１）。ステップＳ４１の判断において、制御部３３は、手動運転モード又は手動操舵モードに移行しないと判断するときは（ステップＳ４１：Ｎ）、制御部３３は処理を終了する。

制御部３３は、地図情報と、経路情報と、を記憶装置３２から読み出して、手動運転モード又は手動操舵モードに切り替わる位置を特定する（ステップＳ４２）。

制御部３３は、抽出した各情報に基づいて、当該手動運転モード又は手動操舵モードに切り替わる位置において自動車ＡＭの操舵に必要な操作量を算出する（ステップＳ４３）。

制御部３３は、当該操作量に応じた操作情報を生成する（ステップＳ４４）。

制御部３３は、運転者の目の高さである位置データを参照して、投影装置ＰＪに生成された操作情報を操作情報表示領域２２ａに表示させる（ステップＳ４５）。

尚、ステップＳ４５の処理において、操作情報と共に操作情報の位置に応じた地図情報を操作情報表示領域２２ａに表示するようにしてもよい。このように表示することで、運転者は、カーブ等の道路の形状を把握することが可能となる。

以上のように本実施例の表示装置１０によれば、手動運転モード又は手動操舵モードに移行した直後に必要なステアリングハンドル１１の操作量を示すことにより、運転者は、安心して操舵の操作を行うことができる。

図１２は、自動車ＡＭに搭載された実施例６に係る表示装置１０を示している。

実施例６に係る表示装置１０は、実施例１乃至３に係る表示装置１０と同様の構成であり、表示領域に情報を表示する内容が異なる点で実施例１乃至３に係る表示装置１０と相違する。

図１２に示すように、ダッシュボードＤＢ上の表示領域２０には、自動車の周囲の画像を表示する画像表示領域２３が設けられている。画像表示領域２３は、操作情報表示領域２２ａの周囲に形成されている。具体的には、画像表示領域２３は、ステアリングハンドル１１の後方の領域であって、運転位置１２から見て右側のＡピラーＰＲと操作情報表示領域２２ａとの間に設けられている右側表示領域２３Ｒと、運転位置１２から見て左側のＡピラーＰＬと操作情報表示領域２２ａとの間に設けられている左側表示領域２３Ｌと、を有する。

制御部３３は、車載カメラＣＭから取得した自動車の周囲の画像を取得可能である。すなわち、制御部３３は、画像取得部として機能する。

制御部３３は、操作情報を操作情報表示領域２２ａに表示するとともに、自動車ＡＭの周囲の画像を画像表示領域２３に表示可能である。

すなわち、制御部３３は、記憶装置３２に格納された運転者の目の高さである位置データを参照して生成された操作情報を操作情報表示領域２２ａに表示するともに、画像データを画像表示領域２３に表示するように投影装置ＰＪに表示させる。具体的には、制御部３３は、位置センサＰＳが検知した運転者の目の高さに応じて操作情報の操作情報表示領域２２ａにおける表示位置を変更するように投影装置ＰＪを制御する。

尚、操作情報及び画像データは、特に自動車ＡＭが後退する際に表示させるとよい。その際、制御部３３は自動車ＡＭの後方又は、自動車ＡＭの側方のうち少なくとも一方の画像を取得するとよい。

以上のように、本実施例の表示装置１０によれば、自動車ＡＭの周囲の画像を操作情報とともに表示することができる。このため、運転者は、目線を大きく動かさずに自動車ＡＭの周囲の安全を確認しつつ、推奨されるステアリングハンドル１１の操作量を確認して操舵の操作をすることができる。

図１３は、実施例７に係る表示装置１０の構成を示している。実施例７に係る表示装置１０は、実施例１乃至６に係る表示装置１０と同様の構成であり、ダッシュボードＤＢ上の物体の動きを検知する検知部としての物体検知装置を備えている点で実施例１乃至６に係る表示装置１０とは異なる。

図１３に示すように、ダッシュボードＤＢは、自動車ＡＭの運転位置１２からみたときに自動車ＡＭのダッシュボードＤＢから手前に突出した拡張部ＥＴを有する。

拡張部ＥＴは、運転位置１２の周辺に位置している。より具体的には、拡張部ＥＴは一対のＡピラーＰＲ，ＰＬ間の中間に位置するダッシュボードＤＢの中間領域に設けられている。例えば、ステアリングハンドル１１が自動車ＡＭの前方方向に対して右側に設けられている場合、拡張部ＥＴはステアリングハンドル１１の左側に設けられている。また、ステアリングハンドル１１が自動車ＡＭの前方方向に対して左側に設けられている場合、拡張部ＥＴはステアリングハンドル１１の右側に設けられている。

拡張部ＥＴは、本実施例において矩形の板状に形成されている。拡張部ＥＴの表面の所定領域Ｒは窪んでいる。拡張部ＥＴの所定領域Ｒには、感圧に応じて振動する振動子（図示せず）が埋設されている。

拡張部ＥＴの所定領域Ｒ上には、入力情報が表示される。入力情報としては、例えば、音楽再生等の入力操作、映画等のオーディオ機器の入力操作が挙げられる。

尚、拡張部ＥＴは、ダッシュボードＤＢに収納可能に形成されていてもよい。例えば、スライドしてダッシュボードＤＢの内部に収納されるようにしてもよい。また、ヒンジ等によって拡張部ＥＴを折り畳み可能に形成してもよい。例えば、手動運転モード又は手動操舵モードにおいては、拡張部ＥＴを収納するようにしてもよい。

物体検知装置６０は、ダッシュボードＤＢの拡張部ＥＴの表面上の物体の動きを検知する。物体の動きは、例えば、自動車ＡＭに搭乗する搭乗者の手や指の動きである。物体検知装置６０は、例えば、カメラである。カメラはダッシュボードＤＢの拡張部ＥＴを撮影し、撮影された物体の動きを検知する。従って、物体検知装置６０は、自動車ＡＭの搭乗者が拡張部ＥＴ上の窪んだ所定領域Ｒを触れたり、所定領域Ｒ上でジェスチャーしたりすることによって搭乗者の手の動きを検知する。このとき、拡張部ＥＴに埋設した振動子が振動することにより、入力操作を行った搭乗者は、入力に対するフィードバックを受けることが可能となる。

図１４は、実施例７に係る表示装置１０の構成を示している。図１４に示すように、入力部３５は、物体検知装置６０から送信された検知データを受信可能に接続されているインターフェース部である。表示装置１０は、入力部３５を介して物体検知装置６０から検知データを受信可能である。

出力部３１は、例えば、オーディオ装置ＡＥとデータ通信可能に接続されている。表示装置１０は、出力部３１を介して受信した入力データをオーディオ装置ＡＥに送信する。出力部３１は、オーディオ装置ＡＥ以外の装置に接続されてもよく、例えば、ＤＶＤ（Digital Versatile Disk）プレーヤ、ＢＤ（Blu-ray（登録商標） Disk）プレーヤ等の装置に接続されていてもよい。

制御部３３は、物体検知装置６０による搭乗者の指の動きの検知結果に基づいて、入力を受け付けることが可能である。

図１５は、拡張部ＥＴを拡大して示している。物体検知装置６０は、拡張部ＥＴの表面上の搭乗者の指ごとの動きを検知するようにしてもよい。図１５に示すように、拡張部ＥＴの所定領域Ｒには、音楽の再生等を操作する入力情報が表示されている。

所定領域Ｒは、円弧状の外縁部を有する操作領域ＲＯと、操作領域ＲＯの外縁部の周囲に設けられている入力情報表示領域ＲＩと、操作するコンテンツの情報を表示するコンテンツ情報表示領域ＲＣと、を有する。

入力情報表示領域ＲＩには、搭乗者の指の位置に応じて入力情報としての操作ボタンの表示がなされている。具体的には、小指の位置に再生ボタン、薬指の位置に停止ボタン、中指の位置に一時停止ボタン、人差し指の位置に巻き戻しボタン、親指の位置に早送りボタンが表示されている。

コンテンツ情報表示領域ＲＣには、例えば、再生している曲のアーティスト名（ＡＡＡＡ）と、再生している曲名（ＢＢＢＢ）が表示されている。

物体検知装置６０は、各指の位置で押圧された操作ボタンの入力データの種類を検知し、入力情報を表示装置に送信する。

また、物体検知装置６０による検知は、自動車ＡＭの搭乗者が拡張部ＥＴの所定領域Ｒを触れるだけでなく、例えば、搭乗者が拡張部ＥＴ上で行うジェスチャーであってもよい。物体検知装置６０は、ジェスチャーを検出するセンサとしてカメラ等を有してもよい。

図１６は、実施例７に係る表示装置１０の入力処理フローを示している。図１６に示すように、制御部３３は、物体検知装置６０の検知データに基づいてダッシュボードＤＢ上に搭乗者の手があるか判断する（ステップＳ５１）。

制御部３３は、ダッシュボードＤＢ上に手がないと判断した場合（ステップＳ５１：Ｎ）、処理を終了する。

制御部３３は、ダッシュボードＤＢ上に手があると判断した場合（ステップＳ５１：Ｙ）、検知した手が指による入力操作の動作が行われているか判断する（ステップＳ５２）。

制御部３３は、指による動作が行われていないと判断した場合（ステップＳ５２：Ｎ）、処理を終了する。

制御部３３は、指による動作が行われていると判断した場合（ステップＳ５２：Ｙ）、当該指の動作による入力操作を受け付ける（ステップＳ５３）。具体的には、制御部３３は、搭乗者の各指の動きや、ジェスチャーによって異なる入力操作を受け付ける。すなわち、制御部３３は入力受付部として機能する。

制御部３３は、受け付けた入力操作に基づいて、オーディオ装置ＡＥに入力情報を送信する（ステップＳ５４）。

尚、制御部３３は、表示装置１０に接続されたオーディオ装置ＡＥ等の機器の操作情報のみならず、表示装置１０の操作情報を受け付けることもできる。

また、表示装置１０は、ステップＳ５３において搭乗者によってなされた入力操作に応じてマルチ情報表示領域２２ｂにエンターテイメント情報を表示するようにしてもよい。例えば、表示装置１０は、マルチ情報表示領域２２ｂに、音楽再生を行う楽曲のリスト等を表示してもよい。また、表示装置１０は、ステップＳ５１において手を検知したことに基づいて、表示内容を適宜変更してもよい。具体的には、搭乗者が入力操作可能なメニューリストの表示を行うようにしてもよい。

尚、本実施例においては、物体検知装置６０をカメラによって構成した。しかし、物体検知装置６０はカメラに限られず、例えば、抵抗感圧式のセンサを有するタッチパッドによって物体の動きを検知するようにしてもよい。また物体検知装置６０は、光位置検出式のセンサによって物体の動きを検知するようにしてもよい。

以上のように、本実施例に係る表示装置１０によれば、ダッシュボードＤＢの拡張部ＥＴ上の動きを検知して入力の受付を行うため、自動車ＡＭの搭乗者は、拡張部ＥＴを見なくても入力操作することが可能となる。特に、５本の各指で異なる入力操作が可能なコンテンツが対応付けられているようにすることで、搭乗者は感覚的に入力操作を行うことが可能となる。従って、搭乗者の感覚によって入力操作をすることができるため、操作性の改善を図ることができる。すなわち、表示装置１０は、入力装置としても機能することが可能である。

このため、搭乗者は、直感的な入力操作が可能となり、入力操作に際しセンターコンソールに手を伸ばしたりセンターコンソールを注視したりする必要がないので、自動車ＡＭを運転しながらでも容易に運転以外の入力操作を行うことが可能となる。さらに、入力受付部の受付に応じて、すなわち物体検知装置６０の搭乗者の手の動きの検知に応じて拡張部ＥＴに埋設した振動子が振動することにより、入力操作を行った搭乗者は、当該入力操作に対するフィードバックを受けることが可能となる。特に運転者が入力操作する場合に、運転者が入力操作時に対する応答表示等を直接見ることを行わなくても振動によるフィードバックを受けることにより運転者は確実に所望とする入力操作がされたことを認識することができる。

図１７は、実施例８に係る表示装置１０の入力処理フローを示している。実施例８に係る表示装置１０は、実施例７に係る表示装置１０と同様の構成であるが、入力内容を受け付ける態様が異なる点で実施例７に係る表示装置１０とは異なる。

図１７に示すように、制御部３３は、物体検知装置６０の検知データに基づいてダッシュボードＤＢ上に搭乗者の手があるか判断する（ステップＳ６１）。

制御部３３は、ダッシュボードＤＢ上に手がないと判断した場合（ステップＳ６１：Ｎ）、処理を終了する。

制御部３３は、ダッシュボードＤＢ上に手があると判断した場合（ステップＳ６１：Ｙ）、検知した手が自動車ＡＭの運転操作を行う運転者の手であるか判断する（ステップＳ６２）。運転者の手であるかどうかは、例えば、検知した手が右手であるか左手であるかで判断することができる。具体的には、運転位置１２が自動車ＡＭの前方に対して右側に設けられている場合、左手を検知したときは運転者の手であると判断することができる。

制御部３３は、検知した手が自動車ＡＭの運転操作を行う運転者の手であると判断する場合（ステップＳ６２：Ｙ）、受け付ける入力操作を制限する（ステップＳ６３）。

受け付ける入力操作を制限する例としては、音楽の再生ボタン、停止ボタン、一時停止ボタンのみ入力操作を受け付け、その他の入力操作については受け付けないことが挙げられる。

以後のステップＳ６４乃至ステップＳ６６の処理は、図１６のステップＳ５２乃至ステップＳ５４と同一であるので説明を省略する。

制御部３３は、検知した手が自動車ＡＭの運転操作を行う運転者の手ではないと判断する場合（ステップＳ６２：Ｎ）、ステップＳ６４の処理に進む。

尚、制御部３３による入力を受け付けの制限は、少なくとも自動運転モードのうち、運転者の操作が介入する制御モード時に行うとよい。例えば、制御部は、運転者の操作によって自動車ＡＭの運転が行われている状況下で、運転者の手で入力操作が行われた場合、エンターテイメント情報に対する入力受付を制限するようにするとよい。

以上ように、本実施例に係る表示装置１０によれば、運転者による入力か否かによって、受け付ける入力の態様を異なるようにする。この結果、運転者に自動車ＡＭの運転に集中を促すことができる。また、運転者以外の搭乗者は、自由に入力操作を行うことができるため、入力操作の快適性を維持することが可能となる。

ＡＭ 自動車
１０ 表示装置
１１ ステアリングハンドル
１１ａ 基準標示
１２ 運転位置
ＭＰ 合わせ位置
ＭＲ 合わせ領域

Claims (10)

1. 移動体の操舵に関する操作を受け付ける操作受付手段と、
   前記移動体の運転位置からみて前記操作受付手段の後方に前記操作受付手段に対する操作に関する情報である操作情報を表示する表示手段と、
   前記移動体の周囲の画像を取得する画像取得部と、を有し、
   前記表示手段は、前記操作情報の周辺に前記画像取得部が取得した前記画像を表示することを特徴とする表示装置。
2. 前記表示手段は、前記操作情報として前記操作受付手段への推奨される操作量を表示することを特徴とする請求項１に記載の表示装置。
3. 前記操舵受付手段は、回動するステアリングハンドルであって、前記表示手段は、前記操作情報として前記ステアリングハンドルへの推奨される回動量を表示することを特徴とする請求項１又は２に記載の表示装置。
4. 前記ステアリングハンドルは基準標示を有し、
   前記表示手段は、前記操作情報として前記基準標示が合わせられるべき位置を表示することを特徴とする請求項３に記載の表示装置。
5. 前記ステアリングハンドルは基準標示を有し、
   前記表示手段は、前記操作情報として前記基準標示が合わせられるべき領域を表示することを特徴とする請求項３又は４に記載の表示装置。
6. 前記運転位置に搭乗する前記移動体の運転位置に存在する搭乗者の目の位置を検知する位置検知手段を有し、
   前記表示手段は、当該検知された前記搭乗者の目の位置に応じて前記操作情報を表示する位置を変更することを特徴とする請求項１乃至５のいずれか一項に記載の表示装置。
7. 前記表示手段は、前記移動体が後退する際に、前記操作情報と前記画像とを表示することを特徴とする請求項１乃至６のいずれか一項に記載の表示装置。
8. 前記画像は、前記移動体の後方又は側方のうち少なくとも一方の画像であることを特徴とする請求項１乃至７のいずれか一項に記載の表示装置。
9. 前記移動体の周囲に存在する物体を検知する検知手段を有し、
   前記表示手段は、前記検知手段の検知結果に基づいた前記操作情報を表示することを特徴とする請求項１乃至８のいずれか一項に記載の表示装置。
10. 前記表示手段は、前記検知手段の検知結果に基づいて、前記操作情報を表示することを特徴とする請求項９に記載の表示装置。

Images