JP6331567B2 - 車両用表示入力装置 - Google Patents

車両用表示入力装置 Download PDF

Info

Publication number
JP6331567B2
JP6331567B2 JP2014066594A JP2014066594A JP6331567B2 JP 6331567 B2 JP6331567 B2 JP 6331567B2 JP 2014066594 A JP2014066594 A JP 2014066594A JP 2014066594 A JP2014066594 A JP 2014066594A JP 6331567 B2 JP6331567 B2 JP 6331567B2
Authority
JP
Japan
Prior art keywords
line
sight
gesture
detection area
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014066594A
Other languages
English (en)
Other versions
JP2015191310A (ja
Inventor
洋一 成瀬
洋一 成瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014066594A priority Critical patent/JP6331567B2/ja
Priority to US15/128,588 priority patent/US10019069B2/en
Priority to PCT/JP2015/001362 priority patent/WO2015146037A1/ja
Publication of JP2015191310A publication Critical patent/JP2015191310A/ja
Application granted granted Critical
Publication of JP6331567B2 publication Critical patent/JP6331567B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、車両に搭載され、車両に係わる情報を表示領域に表示し、車両の運転者によって操作が入力される車両用表示入力装置に関する。
一般に、入力装置に設定された操作メニューでは、複数の選択項目のいずれかを選択する選択操作や、その選択を確定して選択項目の内容を具体的に変更する変更操作といった複数の操作が必要とされる。このような複数の操作が規定された操作メニューを有する構成として、例えば特許文献1には、二種類のジェスチャーを検出可能な操作入力装置が開示されている。この操作入力装置では、第一の種類のジェスチャーにより、操作モードの選択操作が行われる。そして、第二の種類のジェスチャーにより、選択された操作モードでのパラメータの変更操作が行われる。
特開2005−135439号公報
さて、特許文献1の構成では、運転者が行う二種類のジェスチャーは、操作入力装置によって判別される必要があるため、それぞれ複雑な手の動作となってしまう。そのため、ステアリングを握ったままジェスチャーを行うことが難しくなり、運転者は、長い時間ステアリングから手を離さなければならない。加えて、複雑な二種類のジェスチャーを行うことに運転者の意識が向けられてしまいうことで、ジェスチャー実施に伴った運転への注意力低下が生じ易かった。
本発明は、以上説明した問題に鑑みてなされたものであって、その目的は、運転中の操作入力に伴った運転者の注意力低下、所謂ドライバーディストラクションを低減可能な車両用表示入力装置を提供することである。
上記目的を達成するために、第1の発明は、車両に搭載され、車両に係わる情報を表示領域に表示し、複数階層に構成された操作メニューの操作が車両の運転者によって入力される車両用表示入力装置であって、表示領域の少なくとも一部を含むよう予め規定された視線検出エリア内に、運転者の視線が向けられているか否かを判定する判定手段と、運転者の手によるジェスチャーを検出する検出手段と、視線検出エリア内に視線が向けられていない場合に、操作メニューの上位層に設けられた複数の選択項目を選択する選択操作にジェスチャーを関連付け、視線検出エリア内に視線が向けられた場合に、上位層にて選択された選択項目の設定を変更する下位層での変更操作にジェスチャーを関連付ける制御手段と、を備える車両用表示入力装置とする。
この発明では、視線検出エリア内に視線が向けられているか否かに基づいて、運転者の手によるジェスチャーと関連付けられる操作メニューの操作が、複数のうちで切り替えられる。故に運転者は、視線移動との組み合わせにより、簡単なジェスチャーによって、複数の操作を行うことができる。以上によれば、ステアリングを握ったままでのジェスチャーの実施が可能となり、且つ、ジェスチャーの実施に伴う運転への集中低下も抑制される。
したがって、運転中における操作の入力に伴ったドライバーディストラクションを低減可能な車両用表示入力装置が実現される。
加えて、第2の発明は、操作メニューが複数階層に構成された車両用表示入力装置であって、制御手段は、視線検出エリア内に視線が向けられていない場合に、操作メニューの上位層に設けられた複数の選択項目のいずれかを選択する選択操作にジェスチャーを関連付け、視線検出エリア内に視線が向けられたことに基づいて、上位層にて選択された選択項目の内容を変更する下位層での変更操作にジェスチャーを関連付けることを特徴とする。
この発明によれば、選択項目を選択する選択操作から選択項目の設定を変更する変更操作への切り替えが、視線検出エリア内への視線の移動に基づいて行われる。故に運転者は、簡単なジェスチャーによって、一連の選択操作及び変更操作の両方を行うことができる。したがって、ドライバーディストラクションのいっそうの低減が可能となる。
尚、上記括弧内の参照番号は、本発明の理解を容易にすべく、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、本発明の範囲を何ら制限するものではない。
本発明の第一実施形態による車両用表示入力装置が車両に搭載された状態を示す車内の斜視図である。 表示入力装置の正面図である。 表示入力装置の電気的構成を示すブロック図である。 表示入力装置、ステアリング、及び運転者の手指の位置関係と、左右の視線検出エリアの配置を示す図である。 表示入力装置、ステアリング、及び運転者の手指の位置関係と、検出対象エリア及びジェスチャー検出エリアの配置を示す図である。 選択操作を行った場合の表示入力装置の動作を順に示す図である。 変更操作を行った場合の表示入力装置の動作を順に示す図である。 視線移動及びジェスチャーを組み合わせた一連の操作入力を実現するために制御部によって実施される処理を示すフローチャートである。 第二実施形態による表示入力システムの電気的構成を示すブロック図である。
以下、本発明の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。
(第一実施形態)
図1及び図2に示す本発明の第一実施形態による表示入力装置100は、車両に搭載され、車両に係る各種の情報を表示によって運転者に提供する車両用の表示装置である。加えて表示入力装置100は、車両に搭載された例えばナビゲーション装置のような車載機器140への操作を受け付ける車両用の入力装置の機能を備えている。表示入力装置100は、図1に示すインスツルメントパネル120のメータフード121内に、図2に示す正面側を運転席に向けた姿勢で収容されている。
表示入力装置100において情報が表示される表示領域30は、中央表示部31、右表示部32、左表示部33、及び投影表示部34等によって構成されている。加えて表示入力装置100には、右発光領域36、左発光領域37、視線検出インジケータ38、及びジェスチャー検出インジケータ39が設けられている。尚、以下の説明では、静止状態にある車両において重力に沿う方向を下方向DDとし、下方向DDとは反対の方向を上方向UDとする。加えて、重力の方向と実質直交し、中央表示部31の表示面に沿う方向を水平方向HDとする。
中央表示部31は、表示入力装置100の中央に位置している。中央表示部31は、円環状の加飾リング28によって囲まれた円形状に形成されている。中央表示部31は、右表示部32及び左表示部33によって水平方向HDの両側から挟まれている。中央表示部31は、中央表示器21によって形成されており、種々の情報画像を表示する。中央表示部31には、例えば車両の走行速度等が画像によって指針表示される。
右表示部32は、運転者からの見かけ上にて、中央表示部31に対し水平方向HDの右側に位置している。右表示部32は、部分的に欠損した円形状に形成されている。右表示部32の外径は、中央表示部31の外径よりも小さくされている。右表示部32は、右発光領域36及び加飾リング28によって外周側を囲まれている。右表示部32は、右表示器22によって形成されており、種々の情報画像を表示する。右表示部32には、例えば燃料の残量及び水温等が画像によって指針表示される。
左表示部33は、運転者からの見かけ上にて、中央表示部31に対し水平方向HDの左側であって、中央表示部31を挟んで右表示部32の反対側に位置している。左表示部33の外径は、右表示部32の外径と実質的に同一である。左表示部33は、左発光領域37及び加飾リング28によって外周側を囲まれている。左表示部33は、左表示器23によって形成されており、種々の情報画像を表示する。左表示部33には、例えば車両に搭載された走行用の機関における出力軸の回転速度が画像によって指針表示される。
投影表示部34は、運転者からの見かけ上にて、中央表示部31の上方向UDに位置している。投影表示部34は、後述するスモークカバー41に、水平方向HDを長手とする矩形形状に規定されている。投影表示部34には、後述するプロジェクタ60(図5参照)によって表示像35の光が投影される。例えばナビゲーション装置に設定された目的地への経路案内が、表示像35として投影表示部34に表示される。
右発光領域36は、右発光リング26によって右表示部32を囲む途切れた環状に形成されている。左発光領域37は、左発光リング27によって左表示部33を囲む途切れた環状に形成されている。右発光リング26及び左発光リング27は、アクリル樹脂等の無色透明な樹脂の板材によって形成されている。右発光リング26及び左発光リング27は、右発光領域36及び左発光領域37である発光面を概ね均一に発光させることができる。
視線検出インジケータ38及びジェスチャー検出インジケータ39は、加飾リング28に形成された円形状の透光部である。各インジケータ38,39は、中央表示部31の中心よりも下方向DDに位置し、水平方向HDに並んでいる。各インジケータ38,39は、光を透過することにより発光する。各インジケータ38,39は、複数の発光色にて発光することができる。
次に、表示入力装置100の構成を図3〜図5に基づいて説明する。表示入力装置100は、中央表示器21、右表示器22、左表示器23、プロジェクタ60、視線検出器72、ジェスチャー検出器74、入出力回路70、及び各光源76〜79を備えている。加えて表示入力装置100は、これらの構成を収容する筐体40を備えている。
中央表示器21、右表示器22、及び左表示器23はそれぞれ、例えばThin Film Transistor(TFT)方式のディスプレイパネルと、ディスプレイパネルを透過照明するバックライト等とを有する液晶ディスプレイである。ディスプレイパネルによって形成される表示面には、複数の画素が配列されている。表示面に描画されるカラー画像がバックライトによって透過照明されることにより、各表示器21〜23は、種々の情報画像をカラー表示することができる。各表示器21〜23は、制御部80に接続されており、制御部80から出力される映像信号に基づいて各画素を駆動することで、各表示部31〜33に一連の情報画像を映像として表示する。
プロジェクタ60は、多数のマイクロミラーを有するデジタルマイクロデバイス(DMD)、及びDMDに向けて光を投射する投射光源を有するDigital Light Processing(DLP:登録商標)方式の投影器である。プロジェクタ60は、制御部80に接続されており、制御部80から出力される映像信号に基づいて、DMDに設けられた多数のマイクロミラーの姿勢を制御する。投射光源から投射された光は、姿勢を制御されたDMDに反射されることにより、表示像35(図2参照)を映し出す光となって投影表示部34に投影される。以上によって投影表示部34には、一連の表示像35が映像として表示される。
視線検出器72は、運転者の視線を検出するセンサユニットである。視線検出器72は、近赤外線を放射する発光素子、及び近赤外線を含む波長域の光を電気信号に変換する撮像素子等によって構成されている。視線検出器72は、中央表示部31の下方向DDに位置している(図2も参照)。視線検出器72は、運転席に着座した運転者の顔面が位置すると想定される範囲を、検出対象エリアSTA(図5参照)に含むような姿勢で筐体40に保持されている。発光素子は、検出対象エリアSTAに向けて近赤外線を照射する。発光素子から照射された近赤外線の一部は、運転者の顔面等により撮像素子に向けて反射される。撮像素子は、反射光を電気信号に変換することにより、運転者の目を含む範囲を撮影した近赤外画像を逐次生成する。視線検出器72は、撮像素子によって生成された近赤外画像を、逐次入出力回路70へと出力する。
ジェスチャー検出器74は、運転者の手指Fによるジェスチャーを検出するセンサユニットである。ジェスチャー検出器74は、右表示部32を挟んで中央表示部31の反対側に位置している。ジェスチャー検出器74は、予め規定されたジェスチャー検出エリアGSA(図5参照)内でのジェスチャーを検出できる。ジェスチャー検出エリアGSAは、車両に設けられたステアリング110のリム部111を含むよう規定されている。
ジェスチャー検出器74は、近赤外線を放射する発光素子、及び近赤外線を検出する受光素子等によって構成されている。発光素子は、ジェスチャー検出エリアGSAを含む範囲に向けて、近赤外線を照射する。発光素子から照射された近赤外線の一部は、運転者の手指F及びステアリング110等により、受光素子に向けて反射される。受光素子は、当該受光素子に到達する反射光の強弱を示す検出信号を生成する。ジェスチャー検出器74は、検出素子によって生成された検出信号を、入出力回路70へと出力する。
入出力回路70は、視線変換部73、入力変換部75、光源駆動部81、映像出力部71、及び制御部80を有している。
視線変換部73は、視線検出器72から取得した近赤外画像を画像解析することにより、運転者の視点の位置と視線の方向とを算出する演算部である。具体的に視線変換部73は、近赤外画像から、運転者の眼球の位置を特定する。加えて視線変換部73は、眼球及びその周辺領域を切り出した画像から、眼球に映り込んだ発光素子の反射像(プルキニエ像)の位置と、瞳孔の位置とを検出する。プルキニエ像の位置は、視線の向きを変えたとしても、実質変化しない。一方で、瞳孔の位置は、視線の向きを変えることによって変化する。故に、プルキニエ像及び瞳孔の相対位置関係から、視線変換部73は、視線の向きを算出することができる。視線変換部73は、視線検出器72によって視線が検出されているか否かを示す状態情報と、特定した眼球の位置(視点位置)を示す情報と、視線の向きを示す情報とを、制御部80に逐次出力する。
入力変換部75は、ジェスチャー検出器74から入力される検出信号を解析することにより、運転者の手指Fがジェスチャー検出エリアGSAに有るか否か、及び運転者の手指Fによるジェスチャーが行われたか否か、を判定する。具体的に入力変換部75は、ステアリング110を握りつつ手指Fの指先を振るような動作を、運転者のジェスチャーとして検出する。入力変換部75は、ジェスチャー検出器74によって手指Fが検出されているか否かを示す状態情報を、制御部80に出力する。加えて入力変換部75は、手指Fの指先を振ることによって生じる波形の変化が検出信号から抽出された場合に、ジェスチャーが行われた旨の情報を、制御部80に出力する。
光源駆動部81は、各光源76〜79と接続されている。光源駆動部81は、制御部80から取得する制御信号に基づいて、各光源76〜79に印加する電流を制御する。映像出力部71は、各表示器21〜23及びプロジェクタ60と接続されている。映像出力部71は、制御部80から取得する制御信号に基づいて、各表示器21〜23に表示される画像及びプロジェクタ60から投影される表示像の元画像を描画する。そして映像出力部71は、描画した画像の画像データを各表示器21〜23及びプロジェクタ60に出力する。
制御部80は、プログラムによって作動するマイクロコンピュータ、及び車内Local Area Network(LAN)130との間で通信を行うインターフェース等によって構成されている。制御部80は、ナビゲーション装置等の車載機器140から車内LAN130へ出力された車両の情報を取得する。加えて制御部80は、運転者の視線方向及びジャスチャーの実施に係わる各種の情報を、視線変換部73及び入力変換部75から取得する。制御部80は、取得した情報に基づいて、映像出力部71及び光源駆動部81に出力する制御信号を生成する。
制御部80は、プログラムの実行により、判定ブロック82を機能ブロックとして有する。判定ブロック82は、視線変換部73から取得する視点位置及び視線の向きを示す情報に基づき、視線の到達位置を算出する。加えて判定ブロック82は、予め規定された視線検出エリア50内に運転者の視線が向けられているか否かを判定する。
視線検出エリア50は、中央表示部31の表示面に沿って規定された仮想面であり、表示領域30の少なくとも一部を含むよう規定されている。表示入力装置100では、右視線検出エリア50r及び左視線検出エリア50lという二つの視線検出エリア50が、互いに異なる位置に規定されている。右視線検出エリア50r及び左視線検出エリア50lは、表示領域の水平方向HDに並ぶ配置で規定される。右視線検出エリア50r及び左視線検出エリア50lは、水平方向HDにおいて互いに離れた位置に規定されている。
以上の右視線検出エリア50r内には、右表示部32及び右発光領域36が位置している。また、左視線検出エリア50l内には、左表示部33及び左発光領域37が位置している。一方で、投影表示部34、視線検出インジケータ38、及びジェスチャー検出インジケータ39は、右視線検出エリア50r及び左視線検出エリア50lの両方から外れた位置に設けられている。
各光源76〜79は、それぞれ発光ダイオード等の発光素子を組み合わせることによって構成されている。各光源76〜79は、光源駆動部81に接続されており、制御部80によって発光を制御されている。
右リング光源76は、右発光リング26に光を入射させることにより、右発光領域36を発光させる。光源駆動部81から右リング光源76への電流の印加は、運転者の視線が右視線検出エリア50r内に向けられることによって開始される。以上により、右発光領域36は、右視線検出エリア50r内への視線が検知されたことを、運転者に通知できる。
左リング光源77は、左発光リング27に光を入射させることにより、左発光領域37を発光させる。光源駆動部81から左リング光源77への電流の印加は、運転者の視線が左視線検出エリア50l内に向けられることによって開始される。以上により、左発光領域37は、左視線検出エリア50l内への視線が検知されたことを、運転者に通知できる。
視線インジケータ光源78は、視線検出インジケータ38に向けて光を照射することにより、当該インジケータ38を発光表示させる。視線インジケータ光源78は、視線検出器72及び視線変換部73によって視線が検出されることにより、緑色に発光する。一方で、視線が検出されていない状態では、視線インジケータ光源78は、橙色に発光する。以上により、視線検出インジケータ38は、視線の検出(トラッキング)が正常に行われているか否かを、発光色によって運転者に通知できる。
ジェスチャーインジケータ光源79は、ジェスチャー検出インジケータ39に向けて光を照射することにより、当該インジケータ39を発光表示させる。ジェスチャーインジケータ光源79は、ジェスチャー検出器74及び入力変換部75によって手指Fが検出されることにより、緑色に発光する。一方で、手指Fの検出されていない状態では、ジェスチャーインジケータ光源79は、橙色に発光する。これにより、ジェスチャー検出インジケータ39は、手指Fの検出が正常に行われているか否かを、発光色によって運転者に通知できる。尚、視線インジケータ光源78及びジェスチャーインジケータ光源79の発光色は、適宜変更可能である。また、これらの光源78,79の光源色は、互いに異なっていてもよい。
図4及び図5に示す筐体40は、樹脂材料等により、開口を有する容器状に形成されている。筐体40は、各表示器21〜23及びプロジェクタ60等を保持している。筐体40の開口には、スモークカバー41が取り付けられている。スモークカバー41は、透光性の樹脂材料によって、湾曲した板状に形成されている。スモークカバー41には、投影表示部34が形成されている。スモークカバー41は、筐体40の開口を物理的に塞ぐことにより、筐体40内への塵及び埃等の侵入を防止している。
次に、表示入力装置100に設定された操作メニューの操作方法を、図6及び図7に基づいて説明する。操作メニューは、表示入力装置100及び各車載機器140(図3参照)等を操作するグラフィックユーザーインタフェースに設定された選択肢の集合である。操作メニューは、複数階層に構成されており、上位層に設けられた複数の選択項目のいずれかが選択されることにより、選択された選択項目の設定を具体的に変更する下位層に移行する。尚、図6及び図7では、運転者が視線を向けている注視点の位置は、目を模したアイコンによって図示されている。加えて、各表示部の表示を見易くするために、ステアリング110の図示は、省略されている。
図6は、運転者の視線が右視線検出エリア50r及び左視線検出エリア50lのいずれにも向けられていない場合を示している。この場合、制御部80(図3参照)は、検出された手指Fの指先によるジェスチャーを、選択中の選択項目を順に切り替える上位層での選択操作に関連付ける。また、指先のジェスチャーによって選択中の選択項目が切り替えられると、表示モードの変更によって投影表示部34、右表示部32、及び左表示部33の各表示内容が、合わせて切り替えられる。
具体的に、図6Aに示す通常表示モードでは、右表示部32には燃料計及び水温計が表示され、左表示部33にはタコメータが表示される。加えて投影表示部34には、オドメータが表示される。以上の通常表示モードにおいてジェスチャーが行われると、図6Bに示すエアコン操作モードに切り替えられる。
エアコン操作モードでは、車両に搭載された空調機器が操作の対象とされ、当該空調機器に設定された設定温度が選択項目とされる。そして、投影表示部34には、選択項目である設定温度の現在値、及び「air−con」という文字が表示される。また、右表示部32及び左表示部33には、エアコン操作モードでの変更操作の内容が表示される。詳記すると、右表示部32には、設定温度の上昇(増加)を示す画像が表示される。さらに、左表示部33には設定温度の下降(減少)を示す画像が表示される。以上のエアコン操作モードにおいてジャスチャーが行われると、図6Cに示すオーディオ操作モードに切り替えられる。
オーディオ操作モードでは、車両に搭載されたオーディオ機器が操作の対象とされ、当該オーディオ機器にて再生中の楽曲のトラック番号が選択項目とされる。そして、投影表示部34には、選択項目であるトラック番号の現在値、及び「Audio」という文字が表示される。また、右表示部32には、トラック番号の送り(増加)を示す画像が表示される。さらに、左表示部33にはトラック番号の戻し(減少)を示す画像が表示される。以上のオーディオ操作モードにおいてジャスチャーが行われると、図6Dに示すマップ操作モードに切り替えられる。
マップ操作モードでは、ナビゲーション装置が操作の対象とされ、当該ナビゲーション装置に表示される地図のスケールが選択項目とされる。そして、投影表示部34には、選択項目であるスケールの現在値、及び「Navi」という文字が表示される。また、右表示部32には、広域の地図に変更する旨を示す画像が表示される。さらに、左表示部33には、詳細な地図に変更する旨を示す画像が表示される。以上のマップ操作モードにおいてジャスチャーが行われると、図6Aに示す通常表示モードに切り替えられる。
図7は、エアコン操作モード(図6B参照)において、運転者の視線が右視線検出エリア50r又は左視線検出エリア50lに向けられた場合を示している。この場合、制御部80(図3参照)は、検出された手指Fの指先によるジェスチャーを、設定温度の設定値を変更する下位層での変更操作に関連付ける。加えて、手指Fの指先のジェスチャーによって設定温度が変更されると、投影表示部34の表示される数値も、合わせて変更される。
具体的に、図7Aに示すように、運転者の視線が右視線検出エリア50r内に向けられると、右発光領域36が発光し(ドットにて図示する)、設定温度を上げる増加変更操作が可能となる。こうした状態下、手指Fによるジェスチャーが行われると、図7Bに示すように、設定温度が引き上げられる。
加えて、図7Bに示すように、運転者の視線が左視線検出エリア50l内に向けられると、左発光領域37が発光し(ドットにて図示する)、設定温度を下げる減少変更操作が可能となる。こうした状態下、手指Fによるジェスチャーが行われると、図7Cに示すように、設定温度が引き下げられる。そして、手指Fによるジェスチャーがさらに実施されることにより、図7Dに示すように、設定温度はさらに引き下げられる。運転者の視線が各視線検出エリア50r,50lの両方から外された後も、ジェスチャーによる減少変更操作か可能な状態は、予め規定された所定時間だけ継続される。
図6Cに示すオーディオ操作モードにおいて、右視線検出エリア50r又は左視線検出エリア50lに運転者の視線が向けられた場合では、手指Fによるジェスチャーは、再生中のトラック番号を変更する下位層での変更操作に関連付けられる。具体的に、運転者の視線が右視線検出エリア50r内に向けられると、再生するトラック番号を繰り上げる増加変更操作が可能となる。一方で、運転者の視線が左視線検出エリア50l内に向けられると、再生するトラック番号を繰り下げる減少変更操作が可能となる。
図6Dに示すマップ操作モードにおいて、右視線検出エリア50r又は左視線検出エリア50lに運転者の視線が向けられた場合では、手指Fによるジェスチャーは、地図のスケールを変更する下位層での変更操作に関連付けられる。具体的に、運転者の視線が右視線検出エリア50r内に向けられると、地図のスケールを大きくする増加変更操作が可能となる。この増加変更操作により、縮尺の小さい広域の地図が表示されるようになる。一方で、運転者の視線が左視線検出エリア50l内に向けられると、地図のスケールを小さくする減少変更操作が可能となる。この減少変更操作により、縮尺の大きい詳細な地図が表示されるようになる。
以上説明した表示入力装置100の操作入力を実現するために、制御部80によって実施される処理を、図8に基づき、図3〜図5を参照しつつ説明する。図8に示す処理は、車両のアクセサリ電源がオン状態とされ、車両の電源回路から表示入力装置100へと電力の供給が開始されることにより、制御部80によって開始される。この処理は、アクセサリ電源がオフ状態とされるまで、制御部80によって繰り返し実施される。
S101では、判定ブロック82によって右視線検出エリア50r内に視線が向けられているか否かを判定する。S101にて、右視線検出エリア50r内に視線が向けられていると肯定判定をした場合には、S105に進む。一方で、S101にて、右視線検出エリア50r内に視線が向けられていないと否定判定をした場合には、S102に進む。
S102では、判定ブロック82によって左視線検出エリア50l内に視線が向けられているか否かを判定する。S102にて、左視線検出エリア50l内に視線が向けられていると肯定判定をした場合には、S111に進む。一方で、S102にて、左視線検出エリア50l内に視線が向けられていないと否定判定をした場合には、S103に進む。以上のS101及びS102の否定判定により、ジェスチャーは、選択操作に関連付けられるようになる。これにより、運転者は、複数の選択項目のいずれかを選択できる。
S103では、手指Fの指先によるジェスチャーの検出が有ったか否かを判定する。S103にて、ジェスチャーの検出が無い旨の否定判定をした場合には、S104をスキップすることにより、101に戻る。一方で、S103にて、ジェスチャーが検出された旨の肯定判定をした場合には、S104に進む。S104では、指先によるジェスチャーを選択操作に関連付け、選択状態にある選択項目を切り替える。加えて、各表示部32〜34の表示を切り替え後の選択項目に対応した内容に変更し、S101に戻る。
S101の肯定判定に基づくS105以降の処理では、指先によるジェスチャーは、増加変更操作に関連付けられる。S105では、光源駆動部81から右リング光源76への電流の印加を開始させることにより、右発光領域36の発光を開始させ、S106に進む。S106では、S103と同様に、ジェスチャー検出が有ったか否かを判定する。S106にて否定判定をした場合には、S107及びS108をスキップし、S109に進む。一方で、S106にて肯定判定をした場合には、S107に進む。
S107では、車載機器140の設定変更を指示する指示信号を車内LAN130に出力する出力処理を実施し、S108に進む。S107の出力処理では、設定温度の上昇を空調機器に指示する指示命令、再生曲の送りをオーディオ機器に指示する指示命令、及び地図のスケール拡大をナビゲーション装置に指示する指示命令等が出力される。
S108では、投影表示部34の表示を変更し、S109に進む。このS108により、操作対象である車載機器140に設定された現在の設定値が投影表示部34に表示されるようになる。S109では、S101の肯定判定によってジェスチャーが増加変更操作に関連付けられてから、所定の時間が経過したか否かを判定する。S109にて否定判定をした場合には、S106に戻り、ジェスチャーの入力の受け付けを継続する。所定時間の経過によりS109にて肯定判定をした場合には、S110に進む。S110では、S105にて開始した右リング光源76への電流の印加を停止することにより、右発光領域36を消灯させ、S101に戻る。
S102の肯定判定に基づくS111以降の処理では、指先によるジェスチャーは、減少変更操作に関連付けられる。S111では、光源駆動部81から左リング光源77への電流の印加を開始させることにより、左発光領域37の発光を開始させ、S112に進む。S112では、S103及びS106と同様に、ジェスチャーの検出が有ったか否かを判定する。S112にて否定判定をした場合には、S113及びS114をスキップし、S115に進む。一方で、S112にて肯定判定をした場合には、S113に進む。
S113では、S107と同様に、車載機器140の設定変更を指示する指示信号を車内LAN130に出力する出力処理を実施し、S114に進む。S113の出力処理では、設定温度の下降を空調機器に指示する指示命令、再生曲の戻しをオーディオ機器に指示する指示命令、及び地図のスケール縮小をナビゲーション装置に指示する指示命令等が出力される。
S114では、投影表示部34の表示を変更し、S115に進む。このS114により、操作対象である車載機器140に設定された現在の設定値が投影表示部34に表示されるようになる。S115では、S102の肯定判定によってジェスチャーが減少変更操作に関連付けられてから、所定の時間が経過したか否かを判定する。S115にて否定判定をした場合には、S112に戻り、ジェスチャーの入力の受け付けを継続する。所定時間の経過によりS115にて肯定判定をした場合には、S116に進む。S116では、S111にて開始した左リング光源77への電流の印加を停止することにより、左発光領域37を消灯させ、S101に戻る。
ここまで説明した第一実施形態では、視線検出エリア50内に視線が向けられているか否かに基づいて、運転者の手指Fによるジェスチャーと関連付けられる操作が、複数のうちで切り替えられる。故に、運転者は、視線移動との組み合わせにより、手指Fの指先を振るという一つの簡単なジェスチャーによって、複数の操作を行うことができる。以上によれば、ステアリング110を握ったままでのジェスチャーの実施が可能となり、且つ、ジェスチャーの実施に伴う運転への集中低下も抑制される。したがって、運転中における操作の入力に伴ったドライバーディストラクションが低減可能となる。
加えて第一実施形態では、選択操作から変更操作への切り替えが、視線検出エリア50内への視線の移動に基づいて行われる。故に運転者は、手指Fによる簡単なジェスチャーによって、一連の選択操作及び変更操作の両方を行うことができる。したがって、ドライバーディストラクションのいっそうの低減が可能となる。
また第一実施形態では、右視線検出エリア50r及び左視線検出エリア50lは、それぞれ右表示器22及び左表示器23を含むよう規定されている。故に、各視線検出エリア50r,50lは、センターコンソール及びセンタークラスタ等よりも、前景の近くに位置し得る。その結果、選択操作から変更操作へと移行するため、いずれかの視線検出エリア50内に視線を一旦移動させる動作は、センターコンソール及びセンタークラスタ等に設けられたスイッチ類を目視にて確認するような視線移動の動作よりも、短時間で完了し得る。こうして、前景から視線を外す時間が短縮されることにより、運転者は、運転中に変更操作を行ったとしても、運転への集中を容易に維持できる。
さらに第一実施形態では、二つの視線検出エリア50が規定されている。故に、一方の右視線検出エリア50r内に視線が向けられた場合と、他方の左視線検出エリア50l内に視線が向けられた場合とで、同一のジェスチャーを、互いに異なる二つの変更操作に関連付けることが可能となる。その結果、下位層における変更操作の操作性向上が実現される。
加えて第一実施形態では、右視線検出エリア50r内に視線が向けられた場合と、左視線検出エリア50l内に視線が向けられた場合とで、同一のジェスチャーが、逆の作動となる変更操作に関連付けられている。故に、運転者は、二つの視線検出エリア50r,50l間での視線移動により、設定温度等を所望の設定値に速やかに調整することができる。したがって、下位層における変更操作の操作性は、いっそう向上可能となる。
また第一実施形態のように、二つの視線検出エリア50r,50lが水平方向HDに並ぶ構成であれば、運転者は、水平方向HDへの視線移動により、ジェスチャーと関連付けられる変更操作を切り替えることができる。その結果、下位層における変更操作の操作性は、さらに向上する。
さらに第一実施形態では、二つの視線検出エリア50r,50lは、互いに離れて位置している。そのため、運転者が視線を右視線検出エリア50rに向けているつもりでも、左視線検出エリア50l内で視線が検出されてしまう事態、又はその逆の事態は、生じ難くなる。以上によれば、運転者の視線移動の誤検知を低減し、視線移動による変更操作の切り替えを明確に生じさせることが可能となる。その結果、下位層における変更操作の操作性は、さらに高いものとなる。
加えて第一実施形態では、各変更操作の内容を表示する右表示器22及び左表示器23が、各視線検出エリア50r,50l内に位置している。故に、運転者は、右視線検出エリア50rに視線を移動させる動作に合わせて、右表示器22の表示内容を視認し得る。同様に、運転者は、左視線検出エリア50lに視線を移動させる動作に合わせて、左表示器23の表示内容を視認し得る。以上によれば、運転者は、関連付けられる変更操作の内容を認識したうえで、ジェスチャーを開始することができる。こうして、運転者の運転への集中を削ぎ難い、ユーザフレンドリーな表示入力装置100が実現される。
また第一実施形態では、各視線検出エリア50r,50l内に一旦視線を移動させれば、変更操作の可能な状態が、所定の時間継続される。以上によれば、運転者は、変更操作を継続している間、視線検出エリア50内に視線を留めておく必要が無くなる。その結果、運転者は、視線検出エリア内に一旦移動させた視線を、速やかに前景に戻すことができる。以上によれば、前景から視線を外したことに起因する運転への集中低下は、僅かとなる。
さらに第一実施形態では、選択状態にある選択項目が、二つの視線検出エリア50から外れて位置する投影表示部34によって通知される。故に、投影表示部34の視認によって選択状態にある選択項目を確認した場合でも、ジェスチャーは、変更操作に関連付けられない。故に運転者は、所望の選択項目が選択状態にあるか否かを確認したうえで、下位層での変更操作に移行できる。
加えて第一実施形態では、各視線検出エリア50r,50l内に位置する各発光領域36,37によって、当該各エリア50r,50l内への視線移動が、運転者に明示される。その結果、運転者は、ジェスチャーが変更操作に関連付けられる状態となったことを確認したうえで、手指Fの動作を開始できる。以上のように、各発光領域36,37の発光により、ジェスチャーを開始しようとする運転者に安心感を与えることで、表示入力装置100のユーザインターフェースは、いっそうユーザフレンドリーとなる。
また第一実施形態では、ジェスチャー検出エリアGSAが、ステアリング110のリム部111を含むよう規定されている。故に、ステアリング110を把持したままのジェスチャーであっても、ジェスチャー検出器74及び入力変換部75は、確実に検出し得る。以上のように、ジェスチャーの検出精度が高められることにより、運転者は、運転への集中を削がれることなく、一連の選択操作及び変更操作を円滑に入力できる。
さらに第一実施形態によれば、視線検出器72及び視線変換部73による視線検出が正常に行われているか否かが、視線検出インジケータ38によって運転者に通知される。同様に、ジェスチャー検出器74及び入力変換部75によるジェスチャー検出が正常に行われているか否かが、ジェスチャー検出インジケータ39によって運転者に通知される。以上によれば、運転者は、視線検出及びジェスチャー検出が正しく実施されていることを確認したうえで、安心して視線移動及びジェスチャーを組み合わせた操作入力を行うことができる。
加えて第一実施形態における各インジケータ38,39は、二つの視線検出エリア50から外れた位置に設けられている。そのため、各インジケータ38,39の状態を視認したとしても、選択操作から変更操作への移行は、生じない。故に運転者は、視線検出及びジェスチャー検出の状態確認したうえで、すみやかに選択項目の選択操作を開始することができる。
尚、第一実施形態において、右表示部32及び左表示部33が特許請求の範囲に記載の「内容表示部」に相当し、投影表示部34が特許請求の範囲に記載の「メニュー表示部」に相当する。また、右発光領域36及び左発光領域37が特許請求の範囲に記載の「発光領域」に相当し、視線検出器72及び視線変換部73が特許請求の範囲に記載の「視線検出手段」に相当する。さらに、ジェスチャー検出器74及び入力変換部75が特許請求の範囲に記載の「ジェスチャー検出手段」に相当し、制御部80が特許請求の範囲に記載の「制御手段」に相当し、判定ブロック82が特許請求の範囲に記載の「判定手段」に相当する。加えて、表示入力装置100が特許請求の範囲に記載の「車両用表示入力装置」に相当し右視線検出エリア50rが特許請求の範囲に記載の「第一視線検出エリア」に相当し、左視線検出エリア50lが特許請求の範囲に記載の「第二視線検出エリア」に相当する。そして、ステップS101が特許請求の範囲に記載の「第一判定部」に相当し、ステップS102が特許請求の範囲に記載の「第二判定部」に相当する。
(第二実施形態)
図9に示す本発明の第二実施形態は、第一実施形態の変形例である。第二実施形態による車両の表示入力システム200は、第一実施形態による表示入力装置100(図3参照)と同様のユーザインターフェースの機能を備えている。表示入力システム200は、コンビネーションメータ210、ドライバーステータスモニタ(DSM)285、ジェスチャー認識モニタ289、及び制御ユニット280等を組み合わせることによって構成されている。
コンビネーションメータ210は、メータフード121(図1参照)内に収容される車両用の表示装置である。コンビネーションメータ210は、第一実施形態と実質同一の映像出力部71、各光源76〜79、及び光源駆動部81と、表示器220及び表示制御部211とを有している。
表示器220は、第一実施形態の各表示器21〜23(図3参照)に相当するカラー表示可能な液晶ディスプレイである。表示制御部211は、プログラムによって作動するマイクロコンピュータ、車内LAN130との間で通信を行うインターフェース、制御ユニット280との間で通信を行うインターフェース等によって構成されている。表示制御部211は、車内LAN130及び制御ユニット280から取得した各種の情報に基づいて制御信号を生成し、生成した制御信号を光源駆動部81及び映像出力部71等に出力することにより、表示器220の表示及び各光源76〜79の発光を制御する。
DSM285は、運転者の顔の向きや瞼の動きから、脇見や眠気を検知する運転支援装置である。DSM285は、例えばステアリングポストの上面に載置されている。DSM285は、第一実施形態と実質同一の視線検出器72及び視線変換部73を有している。DSM285は、視線検出器72によって視線が検出されているか否かを示す状態情報と、特定した視点位置を示す情報と、視線の向きを示す情報とを、制御ユニット280に逐次出力する。
ジェスチャー認識モニタ289は、運転者の手指F(図4参照)によるジェスチャーを認識するための装置である。ジェスチャー認識モニタ289は、水平方向HD(図2参照)においてコンビネーションメータ210と並ぶ配置にて、インスツルメントパネル120(図1参照)に取り付けられている。ジェスチャー認識モニタ289は、第一実施形態と実質同一のジェスチャー検出器74及び入力変換部75を有している。ジェスチャー認識モニタ289は、ジェスチャー検出器74によって手指Fが検出されているか否かを示す状態情報と、ジェスチャーが行われた旨の情報とを、制御ユニット280に出力する。
制御ユニット280は、プログラムによって作動するマイクロコンピュータと、コンビネーションメータ210、DSM285、ジェスチャー認識モニタ289、及び車内LAN130との間で通信を行う複数のインターフェース等によって構成されている。制御ユニット280は、プログラムの実行により、第一実施形態と実質同一の判定ブロック82を機能ブロックとして有する。制御ユニット280は、運転者の視線方向及びジャスチャーの実施に係わる各種の情報を、DSM285及びジェスチャー認識モニタ289から取得する。そして制御ユニット280は、取得した情報に基づいて生成した制御信号を、表示制御部211及び車内LAN130に出力することで、コンビネーションメータ210の表示及び車載機器140の設定値を制御する。
ここまで説明した第二実施形態のように、複数の構成の組み合わせによって構築された表示入力システム200であっても、視線移動及びジェスチャーを組み合わせた操作入力が実現される。故に、運転者は、手指F(図4参照)の指先を振るという一つの簡単なジェスチャーによって、選択操作及び変更操作の両方を行うことができる。その結果、表示入力装置100(図3参照)と同様のドライバーディストラクションの低減効果が発揮される。
尚、第二実施形態において、DSM285が特許請求の範囲に記載の「視線検出手段」に相当し、ジェスチャー認識モニタ289が特許請求の範囲に記載の「ジェスチャー検出手段」に相当する。また、制御ユニット280が特許請求の範囲に記載の「制御手段」に相当し、表示入力システム200が特許請求の範囲に記載の「車両用表示入力装置」に相当する。
(他の実施形態)
以上、本発明による複数の実施形態について説明したが、本発明は、上記実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
上記実施形態では、視線検出エリア外に視線が向けられている場合のジェスチャーは選択操作に関連付けられ、視線検出エリア内に視線が向けられている場合のジェスチャーは変更操作に関連付けられていた。しかし、視線移動に基づいてジェスチャーと関連付けられる操作は、操作メニューの構成に応じて適宜変更可能である。例えば、視線検出エリア内に視線が向けられている場合のジェスチャーが選択操作とされ、視線検出エリア外に視線が向けられている場合のジェスチャーが変更操作とされてもよい。加えて、操作メニューが複数階層に構成されていない形態においては、例えば、視線検出エリア内に視線が向けられている場合のジェスチャーが増加変更操作とされ、視線検出エリア外に視線が向けられている場合のジェスチャーが減少変更操作とされてもよい。
上記実施形態では、二つの視線検出エリアが水平方向HDに並ぶ配置で規定されていたが、視線検出エリアは、一つであってもよく、又は三つ以上であってもよい。加えて、視線検出エリアの形状及び配置は、当該視線検出エリア内に表示領域の少なくとも一部が含まれるのであれば、適宜変更可能である。
上記実施形態では、上位層での選択操作により、エアコン操作モード、オーディオ操作モード、及びマップ操作モードが、順に切り替えられる設定であった。しかし、これら以外の表示モードが設定されていてもよい。例えば、別のエアコン操作モードとして、空調機器に設定された風量を選択項目とした表示モードが追加可能である。さらに別のエアコン操作モードとして、空調機器に設定された冷風又は温風の吹き出し口を選択項目とした表示モードが追加可能である。
また、別のオーディオ操作モードとして、オーディオ機器に設定された音量を選択項目とした表示モードが追加可能である。或いは、車両に搭載された携帯電話の着信時の操作を選択項目とした表示モードも追加可能である。この着信操作モードでは、運転者は、右視線検出エリア内に視線を向けてジェスチャーを実施することにより、通話を開始できる。一方で運転者は、左視線検出エリア内に視線を向けてジェスチャーを実施することにより、着信を保留できる。
上記実施形態では、右視線検出エリア内に視線が向けられた場合にジェスチャーは、増加変更操作に関連付けられていた。しかし、右視線検出エリア内に視線を向けた場合のジェスチャーは、減少変更操作に関連付けられてもよい。この場合、左視線検出エリア内に視線を向けた場合のジェスチャーは、増加変更操作に関連付けられる。
上記実施形態では、手指Fの指先を振るジェスチャーが検出されていたが、ジェスチャー検出器及び入力変換部によって検出されるジェスチャーは、上述の動作に限定されない。ステアリングを把持しつつ実施可能な種々のジェスチャーが、ジェスチャー検出器及び入力変換部の検出対象として設定できる。
上記実施形態では、設定温度及びトラック番号といった設定項目の現在の値を表示することにより、投影表示部は、選択状態にある選択項目を運転者に通知していた。しかし、選択状態にある選択項目を運転者に通知できれば、投影表示部の表示内容は、上述の内容に限定されない。例えば、エアコン操作モードであれば、「温度設定」といった文字表示により、選択項目が直接的に明示されていてもよい。
上記実施形態では、視線検出エリア内への視線移動により、変更操作の可能な状態が所定時間維持された。こうした所定時間は、適宜変更可能であり、例えば5秒程度であってもよく、10秒以上であってもよい。さらに、視線検出エリアから視線が外されたことに基づいて、変更操作から選択操作への切り替えが即座に実施されてもよい。
上記実施形態では、右視線検出エリアに視線が向けられた後、左視線検出エリアに視線が移動した場合、ジェスチャーに関連付けられる操作は、増加変更操作から減少変更操作へと即座に切り替えられていた。しかし、こうした切り替え制御は、行われなくてもよい。その結果、増加変更操作への関連付けが一旦開始された後では、所定時間の経過までは、減少変更操作への関連付けが実施されなくてもよい。
上記実施形態では、左右の発光領域を発光させることにより、左右の視線検出エリア内における視線検出が、運転者に通知されていた。こうした発光領域の形状及び発光色等は、適宜変更可能である。また、こうした発光領域は、省略されていてもよい。こうした形態では、視線検出エリア内での視線検出は、左右の表示部の背景色の変更又は点滅等によって運転者に通知されることが望ましい。
上記実施形態では、ジェスチャー及び視線の各検出が正常に行われているか否かが、各インジケータの発光色の変化によって運転者に通知されていた。しかし、ジェスチャー検出及び視線検出の状態情報を、例えば中央表示部又は投影表示部等に表示する形態であれば、上述の各インジケータは、省略されてもよい。
上記実施形態におけるジェスチャー検出は、近赤外線を用いたジェスチャー検出器を用いて行われていた。こうしたジェスチャーを検出するための構成及び制御は、適宜変更可能である。例えば、ステアリングに設けた静電容量センサによって、リム部近傍の指先の動きが検出されてもよい。
上記実施形態では、ジェスチャー検出器は、右手によるジェスチャーを主な検出対象としていた。しかし、ジェスチャー検出器の配置変更により、左手によるジェスチャーが、主な検出対象とされてもよい。さらに、複数のジェスチャー検出器を用いることにより、右手によるジェスチャーと左手によるジェスチャーが、共に検出対象とされてもよい。
上記実施形態では、近赤外線カメラによって撮影した近赤外画像を用いて、視点位置及び視線の方向を算出することにより、運転者の注視点位置が割り出されていた。こうした視線を検出するための構成及び制御は、適宜変更可能である。さらに、視線を検出する構成が、ジェスチャーを検出する構成を兼ねていてもよい。
上記実施形態において、プログラムを実行した制御部又は制御ユニットにより提供されていた「制御手段」及び「判定ブロック」等の機能は、上述の構成と異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによって提供されてよい。例えば、DSMに設けられた制御回路により、「判定ブロック」等の機能が提供されてよい。さらに、プログラムによらないで所定の機能を果たす回路により、上述の機能が提供されてよい。
30 表示領域、32 右表示部(内容表示部)、33 左表示部(内容表示部)、34 投影表示部(メニュー表示部)、36 右発光領域(発光領域)、37 左発光領域(発光領域)、38 視線検出インジケータ、39 ジェスチャー検出インジケータ、50 視線検出エリア、50r 右視線検出エリア(第一視線検出エリア)、50l 左視線検出エリア(第二視線検出エリア)、72 視線検出器(視線検出手段)、73 視線変換部(視線検出手段)、74 ジェスチャー検出器(ジェスチャー検出手段)、75 入力変換部(ジェスチャー検出手段)、80 制御部(制御手段)、280 制御ユニット(制御手段)、82 判定ブロック(判定手段)、285 ドライバーステータスモニタ(視線検出手段)、289 ジェスチャー認識モニタ(ジェスチャー検出手段)、100 表示入力装置(車両用表示入力装置)、200 表示入力システム(車両用表示入力装置)、110 ステアリング、111 リム部、F 手指(手)、GSA ジェスチャー検出エリア、HD 水平方向

Claims (13)

  1. 車両に搭載され、前記車両に係わる情報を表示領域(30)に表示し、操作メニューの操作が前記車両の運転者によって入力される車両用表示入力装置であって、
    前記運転者の手(F)によるジェスチャーを検出するジェスチャー検出手段(74,75,289)と、
    前記表示領域の少なくとも一部を含むよう予め規定された視線検出エリア(50)内に、前記運転者の視線が向けられているか否かを判定する判定手段(82)と、
    前記視線検出エリア内に前記視線が向けられているか否かの前記判定手段の判定に基づいて、前記操作メニューに規定された複数の操作のうちで前記ジェスチャーを関連付ける操作を切り替える制御手段(80,280)と、
    を備えることを特徴とする車両用表示入力装置。
  2. 前記操作メニューが複数階層に構成された車両用表示入力装置であって、
    前記制御手段は、前記視線検出エリア内に前記視線が向けられていない場合に、前記操作メニューの上位層に設けられた複数の選択項目のいずれかを選択する選択操作に前記ジェスチャーを関連付け、前記視線検出エリア内に前記視線が向けられたことに基づいて、前記上位層にて選択された前記選択項目の内容を変更する下位層での変更操作に前記ジェスチャーを関連付けることを特徴とする請求項1に記載の車両用表示入力装置。
  3. 前記判定手段は、
    二つの前記視線検出エリアを異なる位置に規定し、
    二つの前記視線検出エリアのうち一方である第一視線検出エリア(50r)内に前記視線が向けられているか否かを判定する第一判定部(S101)、及び二つの前記視線検出エリアのうち他方である第二視線検出エリア(50l)内に前記視線が向けられているか否かを判定する第二判定部(S102)、を有することを特徴とする請求項2に記載の車両用表示入力装置。
  4. 前記制御手段は、
    前記第一視線検出エリア内に前記視線が向けられたことに基づき、前記選択項目に設定された設定値を増加させる増加変更操作に前記ジェスチャーを関連付け、
    前記第二視線検出エリア内に前記視線が向けられたことに基づき、前記選択項目に設定された設定値を減少させる減少変更操作に前記ジェスチャーを関連付けることを特徴とする請求項3に記載の車両用表示入力装置。
  5. 前記第一視線検出エリア及び前記第二視線検出エリアは、前記表示領域の水平方向(HD)に並ぶ配置で規定されることを特徴とする請求項3又は4に記載の車両用表示入力装置。
  6. 前記第一視線検出エリア及び前記第二視線検出エリアは、互いに離れた位置に規定されることを特徴とする請求項3〜5のいずれか一項に記載の車両用表示入力装置。
  7. 前記表示領域には、前記視線検出エリア内に位置し、当該視線検出エリア内に前記視線が向けられた場合の前記変更操作の内容を表示する内容表示部(32,33)、が形成されることを特徴とする請求項2〜6のいずれか一項に記載の車両用表示入力装置。
  8. 前記制御手段は、前記視線検出エリア内に前記視線が向けられたことに基づいて、前記ジェスチャーを前記変更操作に関連付ける制御を予め規定された時間継続することを特徴とする請求項2〜7のいずれか一項に記載の車両用表示入力装置。
  9. 前記表示領域は、前記視線検出エリアから外れて位置し、前記上位層にて選択されている前記選択項目を通知するメニュー表示部(34)、を有することを特徴とする請求項2〜8のいずれか一項に記載の車両用表示入力装置。
  10. 前記視線検出エリア内に位置し、当該視線検出エリア内に前記視線が向けられたことに基づいて発光する発光領域(36,37)、をさらに備えることを特徴とする請求項1〜9のいずれか一項に記載の車両用表示入力装置。
  11. 前記ジェスチャー検出手段は、前記車両に設けられたステアリング(110)のリム部(111)を含むよう予め規定されたジェスチャー検出エリア(GSA)内での前記ジェスチャーを検出することを特徴とする請求項1〜10のいずれか一項に記載の車両用表示入力装置。
  12. 前記運転者の前記視線を検出する視線検出手段(72,73,285)と、
    前記視線検出手段によって前記視線が検出されているか否かを通知する視線検出インジケータ(38)と、をさらに備えることを特徴とする請求項1〜11のいずれか一項に記載の車両用表示入力装置。
  13. 前記ジェスチャー検出手段によって前記運転者の手が検出されているか否かを通知するジェスチャー検出インジケータ(39)、をさらに備えることを特徴とする請求項1〜12のいずれか一項に記載の車両用表示入力装置。
JP2014066594A 2014-03-27 2014-03-27 車両用表示入力装置 Active JP6331567B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014066594A JP6331567B2 (ja) 2014-03-27 2014-03-27 車両用表示入力装置
US15/128,588 US10019069B2 (en) 2014-03-27 2015-03-12 Vehicular display input apparatus
PCT/JP2015/001362 WO2015146037A1 (ja) 2014-03-27 2015-03-12 車両用表示入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014066594A JP6331567B2 (ja) 2014-03-27 2014-03-27 車両用表示入力装置

Publications (2)

Publication Number Publication Date
JP2015191310A JP2015191310A (ja) 2015-11-02
JP6331567B2 true JP6331567B2 (ja) 2018-05-30

Family

ID=54194591

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014066594A Active JP6331567B2 (ja) 2014-03-27 2014-03-27 車両用表示入力装置

Country Status (3)

Country Link
US (1) US10019069B2 (ja)
JP (1) JP6331567B2 (ja)
WO (1) WO2015146037A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014116292A1 (de) * 2014-11-07 2016-05-12 Visteon Global Technologies, Inc. System zur Informationsübertragung in einem Kraftfahrzeug
JP6342874B2 (ja) * 2015-11-24 2018-06-13 矢崎総業株式会社 画像認識装置
FR3048111B1 (fr) * 2016-02-18 2018-05-25 Continental Automotive France Detection optique des gestes faits par les doigts d'un conducteur
GB2558889B (en) * 2017-01-13 2020-07-29 Jaguar Land Rover Ltd Drive mode selector for a drivetrain, vehicle comprising such a drive mode selector, and a method of selecting a drive mode of a drivetrain
DE102017113781B4 (de) * 2017-06-21 2023-10-05 SMR Patents S.à.r.l. Verfahren zum Betreiben einer Anzeigevorrichtung für einen Kraftwagen, sowie Kraftwagen
GB2567164A (en) * 2017-10-04 2019-04-10 Continental Automotive Gmbh Display system in a vehicle
JP6922686B2 (ja) 2017-11-20 2021-08-18 トヨタ自動車株式会社 操作装置
DE102018211624A1 (de) * 2018-07-12 2020-01-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Benutzerschnittstelle zur Erfassung einer Eingabe mittels Zeigegestik
JP7466282B2 (ja) * 2019-09-24 2024-04-12 日本車輌製造株式会社 鉄道車両
DE102022100332A1 (de) * 2022-01-10 2023-07-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren für ein Gestenerkennungssystem zur Verbesserung einer Gestenerkennung, Vorrichtung, Computerprogram und Fahrzeug

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2005135439A (ja) 2004-12-28 2005-05-26 Toshiba Corp 操作入力装置
JP4788199B2 (ja) * 2005-05-31 2011-10-05 日産自動車株式会社 コマンド入力装置
JP4837762B2 (ja) 2009-06-18 2011-12-14 本田技研工業株式会社 車載機器操作装置
FR2954238B1 (fr) 2009-12-22 2012-03-16 Dav Dispositif de commande pour vehicule automobile
JP2012108385A (ja) 2010-11-18 2012-06-07 Nippon Seiki Co Ltd 車両用表示装置
US20130030811A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation Natural query interface for connected car
EP2797796A4 (en) * 2011-12-29 2015-09-16 Intel Corp SYSTEMS, METHOD AND DEVICE FOR CONTROLLING GESTURE INITIATIONS AND TERMINATIONS
US8942881B2 (en) * 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
KR20150076627A (ko) * 2013-12-27 2015-07-07 한국전자통신연구원 차량 운전 학습 시스템 및 방법

Also Published As

Publication number Publication date
WO2015146037A1 (ja) 2015-10-01
US10019069B2 (en) 2018-07-10
JP2015191310A (ja) 2015-11-02
US20170102774A1 (en) 2017-04-13

Similar Documents

Publication Publication Date Title
JP6331567B2 (ja) 車両用表示入力装置
US10481757B2 (en) Eye gaze control system
US20200333913A1 (en) Interactive computer display and control systems for the home
JP3979002B2 (ja) コンピュータのユーザ・インターフェース用システム及びユーザ・インターフェース提供方法
JP4747810B2 (ja) 車載遠隔操作装置
JP2010215194A (ja) 車載機器の操作装置
JP6255537B2 (ja) 投写型表示装置及び投写制御方法
US20190004614A1 (en) In-Vehicle Device
JPWO2015125243A1 (ja) 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法
JP2007302116A (ja) 車両搭載機器の操作装置
US10139905B2 (en) Method and device for interacting with a graphical user interface
JP2007237986A (ja) 車両用入力装置
JP2008158675A (ja) 車両用操作装置
JP2010179828A (ja) 車両用操作入力装置
US20180297471A1 (en) Support to handle an object within a passenger interior of a vehicle
JP2006327526A (ja) 車載機器の操作装置
WO2018230526A1 (ja) 入力システム、および入力方法
JP2018103646A (ja) 車両用情報表示装置及び車両用情報表示プログラム
US20160054842A1 (en) Operating device for vehicle
JP5240277B2 (ja) 車載遠隔操作装置
JP5664336B2 (ja) 表示制御システム、表示制御装置及びプログラム
US10788904B2 (en) In-vehicle information processing system
JP2018162023A (ja) 操作装置
CN108957933A (zh) 交互式投影显示设备及其方法
JP2018185765A (ja) ジェスチャ入力システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180416

R151 Written notification of patent or utility model registration

Ref document number: 6331567

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250