JP2014238711A - カーナビ用ジェスチャ入力装置 - Google Patents

カーナビ用ジェスチャ入力装置 Download PDF

Info

Publication number
JP2014238711A
JP2014238711A JP2013120899A JP2013120899A JP2014238711A JP 2014238711 A JP2014238711 A JP 2014238711A JP 2013120899 A JP2013120899 A JP 2013120899A JP 2013120899 A JP2013120899 A JP 2013120899A JP 2014238711 A JP2014238711 A JP 2014238711A
Authority
JP
Japan
Prior art keywords
gesture
switch
car navigation
detected
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013120899A
Other languages
English (en)
Other versions
JP5750687B2 (ja
Inventor
泉 賢二
Kenji Izumi
賢二 泉
祐司 篠村
Yuji Shinomura
祐司 篠村
藤原 直樹
Naoki Fujiwara
直樹 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimane Prefecture
Original Assignee
Shimane Prefecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2013120899A priority Critical patent/JP5750687B2/ja
Application filed by Shimane Prefecture filed Critical Shimane Prefecture
Priority to PCT/JP2014/003024 priority patent/WO2014196208A1/ja
Priority to EP14807044.4A priority patent/EP3007036A4/en
Priority to US14/961,591 priority patent/US9662980B2/en
Priority to CA2914712A priority patent/CA2914712C/en
Priority to KR1020157034801A priority patent/KR20160009037A/ko
Priority to CN201480032583.4A priority patent/CN105264463B/zh
Publication of JP2014238711A publication Critical patent/JP2014238711A/ja
Application granted granted Critical
Publication of JP5750687B2 publication Critical patent/JP5750687B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3664Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11Instrument graphical user interfaces or menu aspects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】階層構造のメニューを有するカーナビを簡単なジェスチャによって操作することを可能とすること。【解決手段】操作メニューが階層構造となっているカーナビゲーション装置に対する操作とユーザのジェスチャとを関連付けて記憶する記憶部を備えるカーナビゲーション装置が実行する方法であって、スイッチが押下されたことを検出すると、この後にセンサがジェスチャを検出し、検出されたジェスチャに関連付けられている操作を記憶部から取得し、ジェスチャが検出された時に表示部に表示されていた画面に対して、取得された操作を実行した結果を表示部に出力し、スイッチがリリースされたことを検出すると、その後、あらかじめ定められた所定時間内にスイッチが再度押下されたことを検出した場合には、同様の処理を繰り返すことを特徴とする方法。【選択図】図1

Description

本発明は、ジェスチャによってカーナビの操作を行うジェスチャ入力装置に関する。
従来、カーナビゲーション(以下、「カーナビ」という)を操作する方法として、リモコンやタッチパネルによる操作方法が存在する。また、リモコンを用いた操作方法については、リモコン用ボタン(コントローラ)が車のステアリングに設けられているタイプがある(例えば、特許文献1)。このタイプでは、運転者がステアリングから手を離すことなく運転しながら操作することが可能である。また、音声入力によって目的地等を指定することにより、ユーザが発声のみによって操作することが可能なカーナビが存在する。
しかしながら、近年のカーナビは多機能となっており、リモコンにおいてはボタン配置数に限界があるため、多様な機能に対応するボタンを多数配置するのは難しい。特に、ステアリングに設けられるリモコンに多くのボタンを配置することは困難である。また、音声入力による操作では、周囲の雑音等により正しく認識できない等の問題があった。
このような問題に対し、ユーザがジェスチャによってカーナビを操作する方法が提案されている(例えば、特許文献2、特許文献3、特許文献4)。ジェスチャを用いた操作によれば、画面を注視したり画面をタッチする必要がない、機能に応じたボタン配置に関する問題が存在しえない、周囲の雑音等による認識率の低下の問題がない、等のメリットがある。
特開2012−147440号公報 特開2006−285370号公報 特開2009−104297号公報 特開2001−216069号公報
ところで、近年のカーナビは多機能となっており、カーナビの各機能は階層(ツリー)構造になっている場合が多い。そのため、ユーザが目的とする最終操作を行うまでに複数ステップの選択操作が必要である。よって、これら全ての操作をジェスチャ操作で行うことは、操作ステップ数が増えてしまうため、現実的でない。
本発明は、上記課題に鑑み、階層構造のメニューを有するカーナビを簡単なジェスチャによって操作することを可能とすることを目的とする。
上記課題を解決するために、本発明の一態様は、
センサと、操作メニューが階層構造となっているカーナビゲーション装置に対する操作とユーザのジェスチャとを関連付けて記憶する記憶部と、スイッチと、表示部と、を備えるカーナビゲーション装置が実行する方法であって、前記スイッチが押下されたことを検出する(a)ステップと、前記スイッチが押下された後に、前記センサを介して前記ジェスチャを検出する(b)ステップと、前記検出されたジェスチャに関連付けられている操作を、前記記憶部から取得する(c)ステップと、前記ジェスチャが検出された時に前記表示部に表示されていた画面に対して、前記取得された操作を実行した結果を前記表示部に出力する(d)ステップと、前記スイッチがリリースされたことを検出する(e)ステップと、を含み、あらかじめ定められた所定時間内に前記スイッチが再度押下されたことを検出した場合には、前記(b)ステップから前記(e)ステップまでを繰り返すことを特徴とする方法である。
また、本発明の他の態様は、上記方法を実行するカーナビゲーション装置である。
また、本発明の他の態様は、上記方法をコンピュータに実行させるためのコンピュータプログラムである。
また、本発明の他の態様は、上記方法をコンピュータに実行させるためのコンピュータプログラムを記憶したコンピュータ可読記録媒体である。
本発明によれば、簡単なジェスチャによってカーナビを操作することが可能である。
本発明の一実施形態に係るジェスチャ入力装置の外観を示す図である。 本発明の一実施形態に係るジェスチャ入力装置の構成を示す機能ブロック図である。 本発明の一実施形態に係るジェスチャ入力装置のハードウェア構成を示す図である。 第1ステップにおけるジェスチャ操作の具体例を示す図である。 第2ステップにおけるジェスチャ操作の具体例を示す図である。 ジェスチャサインの具体例を示す図である。 第1ステップにおけるジェスチャ操作の一例を示す図である。 第1ステップにおけるジェスチャ操作の一例を示す図である。 第2ステップにおけるジェスチャ操作の一例を示す図である。 第2ステップにおけるジェスチャ操作の一例を示す図である。 本発明の一実施形態に係るジェスチャ入力装置における第1ステップの処理の一例を示すフロー図である。 本発明の一実施形態に係るジェスチャ入力装置における第1ステップの処理後における第2ステップの処理の継続を判断する処理の一例を示すフロー図である。 本発明の一実施形態に係るジェスチャ入力装置における第1ステップの処理の別の例を示すフロー図である。
以下、図面を参照して、本発明の実施形態について説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示される。
(ジェスチャ入力装置の概要)
図1は、本実施形態に係るジェスチャ入力装置の外観を示す図である。図1に示されるジェスチャ入力装置1は、一例として、車のステアリング5にスイッチ12が設けられており、カーナビ6は表示部20を備え、その下に一体化したセンサ14およびライト16が設けられている。
スイッチ12は、ジェスチャ操作の受付の可否を切り替えるためのスイッチである。センサ14でユーザの身体の動きを検出するにあたっては、ユーザがカーナビへの操作を意図せずに、偶然にセンサ14の検出範囲内で身体を動かしてしまった場合、これをジェスチャ入力装置1がカーナビ操作のためのジェスチャであると誤認識する可能性がある。このような問題を回避するために、ユーザがジェスチャ操作を行う際には、スイッチ12を押下してからジェスチャを開始する。スイッチ12が押下された後に検出されたジェスチャは、カーナビへの操作のためのジェスチャであると認識される。
センサ14は、ユーザのジェスチャを検出する撮像装置である。また、ライト16は、センサ14がユーザのジェスチャを撮像する際に周辺の光量を確保するためのライトである。具体的には、ライト16は、例えばホワイトLED等の可視光であってもよい。また、センサ14が奥行き(ライト16から被写体までの距離)を計測できる、いわゆるデプスカメラである場合には、ライト16は三次元位置を検出するためのライトであってもよい(この場合、ライト16は不可視光が採用されてもよい)。ジェスチャ入力装置1の周辺は、特に、日中時間帯は輝度変化が大きい(天候による影響や、直射光や影の影響等)ため、センサ14でのジェスチャ認識処理に影響を及ぼす。ジェスチャ入力装置1はライト16を備えることにより、センサ14のジェスチャ認識率の向上や、ジェスチャ認識範囲が広がることが期待できる。また、照度計が備えられており、周辺の照度があらかじめ定められた所定値未満である場合のみ、ライト16が点灯するようになっていてもよい。
なお、図1の例では、センサ14およびライト16は一体的な構造となっており、運転席と助手席の間に設置されたカーナビ6の表示部20の下方に配置されている。図1のような構成は、表示部20の下方のセンサ14に対して左手でジェスチャを行うのに好適である(図1では右ハンドルの車を想定)。
また、スイッチ12は、ステアリング5の窓側、すなわち、ジェスチャを検出するためのセンサ14が設置される側とは反対側に設置されている。このような構成により、ユーザは、右手でスイッチを押下した後、左手でジェスチャ操作をスムーズに行うことができる。
また、ライト16は、図1ではセンサ14と一体化されているが、他の構成を有していてもよい。例えば、運転者の視界の妨げにならない車体の天井部分に設けられていてもよい。また、スイッチ12は上述したようにジェスチャ操作の開始を決定するものであるので、ライト16はジェスチャの撮像の際のみ照射されれば足りる。よって、ライト16はスイッチ12と連動してON/OFFするようになっていてもよい。これにより、スイッチ12がONされてジェスチャ操作が行われ、これを撮像する時のみライト16が連動してONとなるため、より省電力である。また、夜間においても、ジェスチャを撮像する場合には常にセンサ14が撮像する場合にはライト16が点灯するため、使い勝手が良い。
(ジェスチャ入力装置の構成)
図2は、本実施形態に係るジェスチャ入力装置の構成の一例を示す機能ブロック図である。ジェスチャ装置1は、スイッチ12、センサ14、ライト16、スピーカ18、表示部20、記憶部102、制御部104、および情報処理部106を備える。
制御部104は、スイッチ12のON/OFFを示す信号や、センサ14にて撮像されたユーザのジェスチャの画像データ等を受信する。また、他の構成要素からの出力データを受信するとともに、構成要素に対する制御を行う。制御部104で受信された各データは、必要に応じて記憶部102に記憶される。また、記憶部102に記憶されたデータは、制御部104によって適宜読み出されて情報処理部106にて処理される。
情報処理部106は、記憶部102に記憶されたプログラム、および処理に必要なデータを読み出して処理することにより、ジェスチャ入力装置1における各処理を実現する。
また、記憶部102には、ジェスチャと、ジェスチャが意味するユーザ操作とが関連付けられて記憶されている。センサ14がユーザのジェスチャを撮像して情報処理部106が画像認識処理を行うと、情報処理部104は、記憶部102のデータを照会し、認識されたジェスチャと関連付けられている操作を読み出す。情報処理部104は、読み出された操作に基づいて、カーナビ装置6の表示部20に表示されていた画面に対してこの操作が実行された後の結果画面を生成し、制御部104は表示部20に再表示させるよう出力する。
さらに、記憶部102には、ジェスチャと、表示部20に表示される各画面と、各画面においてジェスチャが意味するユーザ操作とが関連付けられて記憶されていてもよい。これにより、ジェスチャを行った時に表示部20に表示されている画面によって同じジェスチャでも画面ごとに異なる操作を行うことが可能となる。これにより、ユーザが操作のために知っておくべきジェスチャの数を抑えられる。
図3は、本実施形態に係るジェスチャ入力装置のハードウェア構成の一例を示す図である。コンピュータ装置200である本実施形態に係るジェスチャ入力装置は、上述したように、センサ14、スイッチ12、ライト16、表示部20、およびスピーカ18を備える。また、本実施形態に係るジェスチャ入力装置は、一般的なコンピュータ装置と同様に、CPU(Central Processing Unit)202、ROM(Read Only Memory)204、RAM(Random Access Memory)206、等の揮発性もしくは不揮発性の記憶装置を備える。さらに、本実施形態に係るジェスチャ入力装置は、図3では図示されないハードディスクや取り外し可能な記録媒体の接続インタフェースを備えていてもよい。
ここで、図2の記憶部102は、例えば図3のROM204およびRAM206が相当する。また、図2の制御部104は、主に図3の制御部CPU202が相当する。また、図2の情報処理部106の機能は、図3のCPU202がROM204等に記憶されているプログラムを読み出して一時的なメモリ上で処理することで実現される。
(ジェスチャ操作の具体例)
以下、本実施形態に係るジェスチャ入力装置におけるジェスチャ操作の具体例について説明する。なお、本実施形態に係るジェスチャ入力装置においては、ユーザが操作するカーナビのメニュー(またはカーナビに対して実行する操作。以下、同様。)は階層構造となっていることを前提とする。以下においては、説明を簡単なものとするために、カーナビのメニューが2段階となっている場合を一例として説明する。
ここで、カーナビのメニューは階層構造となっていればよく、様々なメニュー構成が想定される。例えば、第1ステップでカーナビに備えられている機能(カーナビ、テレビ、音楽再生、動画再生、等)の選択を行い、第2ステップで選択した機能で実行可能な操作(チャンネル選択、音楽フォルダ(アルバム)の選択、動画のカテゴリ選択、等)を行う場合が挙げられる。
以下の説明においては、一例として、第1ステップで機能の選択を行い、第2ステップでは、選択された機能において実行可能な操作の選択が行われるものとする。
[第1ステップ]
図4は、第1ステップにおけるジェスチャ操作の具体例である。ユーザ(本例においては、運転者)は、ジェスチャ操作を行う際には、まずスイッチ12を押下する(ジェスチャ操作が終了するまで押したままにする)(図4(a))。ユーザがスイッチ12を押下すると、ジェスチャ入力装置は、カーナビ6の操作のためのジェスチャが開始されると認識する。ここで、ライト16の点灯、センサ14の撮像が開始されるようになっていてもよい。また、カーナビ6の表示部20に機能選択のための画面が表示される(図4(b))。具体的には、例えば「カーナビ」、「テレビ」、「音楽再生」、「動画再生」等の機能がアイコン等で表示される。また、これに加えて、カーナビ6から音声による表示確認のフィードバックが出力されるようになっていてもよい。音声によるフィードバックによって、ユーザは表示部20を視認することなくジェスチャ操作の結果を確認することができるため、従来のカーナビ操作方法のように画面を注視したり画面をタッチする必要がないというジェスチャ操作の利点が、より生かされることになる。
カーナビ6の表示部20に機能選択の画面が表示されると、ユーザはセンサ14の検出可能範囲において、手によるジェスチャを行う(図4(c))。この間、ユーザはスイッチ12を押したままとする。そして、検出されたジェスチャにあらかじめ紐付けられている機能が選択され、この選択の結果(例えば、選択された機能の画面(テレビ再生画面、音楽アルバムフォルダ選択画面、等)がカーナビ6の表示部20に表示される(図4(d))。この際にも、音声による表示確認のフィードバックが実行されるようになっていてもよい。その後、ユーザがスイッチ12を離す(リリースする)と、ジェスチャ入力装置は、操作のためのジェスチャが終了したと判断し、第1ステップは終了する(この時、ライト16が消灯し、センサ14がOFFする等となっていてもよい)。
なお、すでにユーザが操作したい機能の画面が表示部20に表示されている場合には、図4(a)においてスイッチ12を瞬間的に押下して離すことで、上記第1ステップをスキップして以下の第2ステップから開始するようになっていてもよい。
[第2ステップ]
図5は、第2ステップにおけるジェスチャ操作の一例である。第1ステップが終了してからあらかじめ定められた一定時間内にユーザがスイッチ12を再度押下することで、ジェスチャ入力装置は、第2ステップが開始されたことを認識する。
第1ステップでの操作によりカーナビ6の表示部20に選択された機能の画面が表示された後、ユーザは一定時間内にスイッチ12を再度押下すると(ジェスチャ操作が終了するまで押したままにする)(図5(a))、ジェスチャ入力装置は、カーナビ6の操作のためのジェスチャが開始されると認識する(例えば、ライト16の再点灯、センサ14の撮像が再開されるようになっていてもよい)。また、この時、カーナビ6の表示部20に選択された機能の画面(テレビ再生画面(第1ステップで「テレビ」が選択された場合)、音楽アルバムフォルダ選択画面(第1ステップで「音楽再生」が選択された場合)、等)が表示されるようになっていてもよい(図5(b))。また、これに加えて、カーナビ6から音声による表示確認のフィードバックが出力されるようになっていてもよい。
カーナビ6の表示部20に選択された機能の画面が表示されると、ユーザはセンサ14の検出可能範囲において、手によるジェスチャを行う(図5(c))。この間、ユーザはスイッチ12を押したままとする。そして、センサ14が検出したジェスチャにあらかじめ紐付けられている選択機能における操作が実行され、実行結果がカーナビ6の表示部20に表示される(図5(d))。この際にも、音声による表示確認のフィードバックが実行されるようになっていてもよい。その後、ユーザがスイッチ12を離す(リリースする)と、ジェスチャ入力装置は、操作のためのジェスチャが終了したと判断し、第2ステップは終了する(この時、ライト16が消灯し、センサ14がOFFする等となっていてもよい)。
なお、メニューが3段階以上の階層構造となっている場合には、上記第2ステップを同様に繰り返すことでジェスチャ操作が実現可能である。
ここで、従来のジェスチャ操作技術においては、複数のジェスチャ操作を続けて行う場合には、各ジェスチャ操作の区切りが判断できず、あるジェスチャから他のジェスチャへの遷移途中のユーザの手などの動きが誤認識につながってしまうという問題があった。これに対し、本実施形態に係るジェスチャ入力装置においては、階層構造となっているメニューに対して、上述したようにスイッチ12の押下によりジェスチャのタイミングが第1ステップと第2ステップとに明確に切り分けられるため、複数のジェスチャ間の遷移途中での誤認識を回避することができる。
また、従来のように、メニューが階層構造となっている場合に、各画面における操作(機能の選択、選択された機能に対する操作等)や、階層メニュー間の遷移のための操作(例えば、「機能の選択」から「選択された機能での操作」への遷移)等の全ての操作をユーザがジェスチャで行う場合には、ジェスチャ操作が複雑になるという問題があった。さらにこれに伴い、誤認識が発生する可能性も高まるという問題もあった。これに対し、本実施形態に係るジェスチャ入力装置では、スイッチ12の押下とジェスチャとを組み合わせることにより、ジェスチャ操作の開始と終了のタイミングが明確化された。すなわち、スイッチ12が押下された後、これが解除されることで、ジェスチャによる操作が確定され、次の階層メニューに遷移するため、従来のように次の階層メニューに遷移するためのジェスチャ操作等が省かれ、より簡易なジェスチャでの操作が可能となった。
(ジェスチャ操作のバリエーション)
以下、ジェスチャ操作のバリエーションについて説明する。
[ジェスチャサインの具体例]
図6は、ユーザの手の形状を用いたジェスチャサインの具体例を示す図である。ジェスチャ操作は、図6に示される各ジェスチャサインや、手を振る動作等、またはこれらの組み合わせ等のいずれでもよい。
[第1ステップにおけるジェスチャ操作例]
図7および図8は、第1ステップにおけるジェスチャ操作の一例を示す図である。上述した第1ステップにおいて機能を選択する場合、図7(a)、(b)のように左右方向を指示することで、表示部20の画面に左右方向に列挙される複数の機能のいずれかを選択するようになっていてもよい。
また、図8のように、ジェスチャサインによって特定の機能を直接的に指し示すようになっていてもよい。より具体的には、例えば、ジェスチャ入力装置1は、図8のように、各ジェスチャサイン(または、手を振る動作、ジェスチャサインと手を振る動作の組み合わせ等)とカーナビ6の各機能とをあらかじめ関連付けたデータを記憶部102に保持しておく。そして、ジェスチャ入力装置1は、センサ14を介してユーザのジェスチャを受け付けると、この記憶部102内のデータにアクセスし、受け付けたジェスチャと関連付けられている機能を取得することで、ユーザが選択した機能を決定する。(以下、第2ステップにおけるジェスチャ操作においても同様)。
[第2ステップにおけるジェスチャ操作例]
図9および図10は、第2ステップにおけるジェスチャ操作の一例を示す図である。例えば、第1ステップで選択された機能が「テレビ」であり、第2ステップにおいてテレビ画面に対してジェスチャ操作を行う場合、図9(a)、(b)のような左右方向の指示でチャンネルを正方向または逆方向に切り替えたり、図9(c)、(d)のような上下方向の指示でボリュームを上げたり下げたりするようになっていてもよい。
また、第1ステップで選択された機能が「音楽再生」であれば、第2ステップにおいて、図9(a)のように手の指を伸ばして手全体を左右方向に向けることで、アルバムフォルダ単位で正方向または逆方向に切り替え、さらに、図9(b)のように手の親指を左右方向に向けることで、曲単位で昇順または降順に切り替えるようになっていてもよい。また、図9(c)のように手の指を伸ばして手全体を上下方向に向けることで、ボリュームの上げ下げを行い、図9(d)のように手の親指を上下方向に向けることで、音質の調整を行うようになっていてもよい。
また、第1ステップで選択された機能で実行可能な操作が、「電話の応答/拒否」「空調のON/OFF」等のように、二択である場合には、図10(a)、(b)のような上方向指示で「応答」「ON」の操作を行い、図10(c)、(d)のような下方向指示で「拒絶」「OFF」の操作を行うようになっていてもよい。
なお、以上説明した第1ステップおよび第2ステップでのジェスチャ操作例はあくまで一例であり、これに限定されるものではない。カーナビ6によって第1ステップで選択可能な機能は様々に設定されうるし、その機能において実行可能な操作も様々に存在しうる。第2ステップの操作としては、例えば、地図スケールの変更(広域/詳細)、選曲コントロール(次の曲/前の曲)、音楽コントロール(再生/停止)、ボリュームコントロール(+/−)、ミュート(ON/OFF)、地図方位の変換(ヘディングアップ/ノースアップ)、一方通行表示(ON/OFF)、交差点案内表示(ON/OFF)、バックカメラ映像表示(ON/OFF)、テレビ選局(次の局/前の局)、ラジオ(AM/FM、次の局/前の局)、等が想定される。
(処理フロー)
図11〜図13を用いて、本実施形態に係るジェスチャ入力装置における処理の一例について説明する。
まず、図11を参照する。図11は、第1ステップにおける処理ST1を示すフロー図である。最初に、ユーザによってスイッチ12が押下されたことを検出する(ステップS101)。センサ14を介して、ユーザによるジェスチャ操作を受け付ける(ステップS103)。受け付けられたジェスチャ操作に応じて機能の選択(決定)を行う(ステップS105)。
ジェスチャ操作結果に応じて表示部20の画面の切替表示および音声出力によるフィードバックを行う(ステップS107)。スイッチ12が離された(リリースされた)ことを検出すると(ステップS109)、ジェスチャ入力装置1は第1ステップにおけるジェスチャ操作が終了したと判断し、処理を終了する。なお、第2ステップにおいても、図11と同様の処理フローにて処理が実行される。
図12は、第1ステップ処理後の第2ステップ処理の継続を判断する一例を示すフロー図である。図11に示される第1ステップの処理(ST1)が終了した後、再度スイッチ12が押下されたことを検出することで、あらかじめ定められた一定時間内に次のステップ操作が開始されたか判断する(ステップS201)。あらかじめ定められた一定時間内に次のステップ操作が開始された場合(スイッチ12が押下された場合)には、第2ステップの処理を実行する(ST2)。ここで、ジェスチャ入力装置1は、あらかじめ定められた一定時間が経過してからスイッチ12が押下されたことを検出した場合には、第2ステップのジェスチャ操作が開始されたのではなく、第1ステップのジェスチャ操作が改めて開始されたと判断して処理を実行する。なお、第2ステップの処理は、図11に示される処理と同様の処理であるので詳細は割愛する。
図13は、第1ステップにおける処理ST1の別の例を示すフロー図である。最初に、ユーザによってスイッチ12が押下されたことを検出する(ステップS301)。センサ14を介して、ユーザによるジェスチャ操作を受け付ける(ステップS303)。スイッチ12が離されたことを検出すると(ステップS305)、受け付けられたジェスチャ操作に応じて機能の選択(決定)を行う(ステップS307)。例えば、ジェスチャ操作が表示部20に列挙される複数の機能のいずれかを選択するためのものである場合には、ステップS305でスイッチ12が離されたことを検出すると、ステップS307ではスイッチ12が離された際に選択されている(例えばカーソルやフォーカスが当てられて強調表示されている)機能等が選択結果として決定されるようになっていてもよい。
ジェスチャ操作結果に応じて表示部20の画面の切替表示および音声出力によるフィードバックを行って(ステップS309)、処理を終了する。
すなわち、図11の例と異なるのは、スイッチが離されたことをトリガーとして、ジェスチャ操作が終了したと判断してユーザのジェスチャ操作を決定する点である。このような処理フローによれば、ジェスチャ操作の終了タイミングがより明確となり、ジェスチャ操作についての処理が簡素化されうる。
また、上述した実施形態においては、ユーザはジェスチャ操作を行う間、スイッチ12を押したままにすることとなっているが、ジェスチャ操作の開始時と終了時にそれぞれ一定時間以上スイッチ12を押して離す(長押し)、あらかじめ定められたパターンでスイッチ12を押す、等によってジェスチャ操作の開始時と終了時が判断されるようになっていてもよい。
(まとめ)
ここまで、本発明の一実施形態について説明したが、本発明は上述の実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。
本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
1 ジェスチャ入力装置
5 ステアリング
6 カーナビ
12 スイッチ
14 センサ
16 ライト
18 スピーカ
20 表示部
102 記憶部
104 制御部
106 情報処理部
200 コンピュータ装置
202 CPU
204 ROM
206 RAM

Claims (7)

  1. センサと、操作メニューが階層構造となっているカーナビゲーション装置に対する操作とユーザのジェスチャとを関連付けて記憶する記憶部と、スイッチと、表示部と、を備えるカーナビゲーション装置が実行する方法であって、
    前記スイッチが押下されたことを検出する(a)ステップと、
    前記スイッチが押下された後に、前記センサを介して前記ジェスチャを検出する(b)ステップと、
    前記検出されたジェスチャに関連付けられている操作を、前記記憶部から取得する(c)ステップと、
    前記ジェスチャが検出された時に前記表示部に表示されていた画面に対して、前記取得された操作を実行した結果を前記表示部に出力する(d)ステップと、
    前記スイッチがリリースされたことを検出する(e)ステップと、を含み、
    あらかじめ定められた所定時間内に前記スイッチが再度押下されたことを検出した場合には、前記(b)ステップから前記(e)ステップまでを繰り返すことを特徴とする方法。
  2. 前記(e)ステップを実行したことをトリガーとして、前記(c)ステップおよび前記(d)ステップを前記カーナビゲーション装置が実行し、
    あらかじめ定められた所定時間内に前記スイッチが再度押下されたことを検出した場合には、さらに、前記(e)ステップを実行したことをトリガーとして、前記(c)ステップおよび前記(d)ステップを前記カーナビゲーション装置が実行することを特徴とする請求項1に記載の方法。
  3. 前記カーナビゲーション装置は、ライトをさらに備え、
    前記(a)ステップを実行したことをトリガーとして前記ライトをONし、前記(e)ステップを実行したことをトリガーとして前記ライトをOFFすることを特徴とする請求項1または2に記載の方法。
  4. 前記(d)ステップは、前記表示部への出力に加えて、前記実行した結果を音声出力によって出力することを特徴とする請求項1から3のいずれか一項に記載の方法。
  5. 請求項1から4のいずれか一項に記載の方法を実行するカーナビゲーション装置。
  6. 請求項1から4のいずれか一項に記載の方法をコンピュータに実行させるためのコンピュータプログラム。
  7. 請求項1から4のいずれか一項に記載の方法をコンピュータに実行させるためのコンピュータプログラムを記憶したコンピュータ可読記録媒体。
JP2013120899A 2013-06-07 2013-06-07 カーナビ用ジェスチャ入力装置 Expired - Fee Related JP5750687B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2013120899A JP5750687B2 (ja) 2013-06-07 2013-06-07 カーナビ用ジェスチャ入力装置
EP14807044.4A EP3007036A4 (en) 2013-06-07 2014-06-06 Gesture input device for car navigation device
US14/961,591 US9662980B2 (en) 2013-06-07 2014-06-06 Gesture input apparatus for car navigation system
CA2914712A CA2914712C (en) 2013-06-07 2014-06-06 Gesture input apparatus for car navigation system
PCT/JP2014/003024 WO2014196208A1 (ja) 2013-06-07 2014-06-06 カーナビ用ジェスチャ入力装置
KR1020157034801A KR20160009037A (ko) 2013-06-07 2014-06-06 카네비게이션용 제스처 입력장치
CN201480032583.4A CN105264463B (zh) 2013-06-07 2014-06-06 用于汽车导航仪的手势输入装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013120899A JP5750687B2 (ja) 2013-06-07 2013-06-07 カーナビ用ジェスチャ入力装置

Publications (2)

Publication Number Publication Date
JP2014238711A true JP2014238711A (ja) 2014-12-18
JP5750687B2 JP5750687B2 (ja) 2015-07-22

Family

ID=52007865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013120899A Expired - Fee Related JP5750687B2 (ja) 2013-06-07 2013-06-07 カーナビ用ジェスチャ入力装置

Country Status (7)

Country Link
US (1) US9662980B2 (ja)
EP (1) EP3007036A4 (ja)
JP (1) JP5750687B2 (ja)
KR (1) KR20160009037A (ja)
CN (1) CN105264463B (ja)
CA (1) CA2914712C (ja)
WO (1) WO2014196208A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017017938A1 (ja) * 2015-07-24 2017-02-02 島根県 ジェスチャ操作システム、方法およびプログラム
JP2018022318A (ja) * 2016-08-03 2018-02-08 株式会社東海理化電機製作所 操作入力装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015043653A1 (de) * 2013-09-27 2015-04-02 Volkswagen Aktiengesellschaft Anwenderschnittstelle und verfahren zur unterstützung eines anwenders bei der bedienung einer bedieneinheit
KR101640053B1 (ko) * 2015-01-02 2016-07-18 현대자동차주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
JP6543185B2 (ja) * 2015-12-22 2019-07-10 クラリオン株式会社 車載装置
US10832031B2 (en) 2016-08-15 2020-11-10 Apple Inc. Command processing using multimodal signal analysis
US10913463B2 (en) 2016-09-21 2021-02-09 Apple Inc. Gesture based control of autonomous vehicles
US10372132B2 (en) 2016-12-12 2019-08-06 Apple Inc. Guidance of autonomous vehicles in destination vicinities using intent signals
CN108944451B (zh) * 2018-06-28 2020-09-01 北京车和家信息技术有限公司 一种显示控制方法及车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005053092A (ja) * 2003-08-05 2005-03-03 Nippon Unicar Co Ltd 難燃性オレフィン系樹脂被覆金属線及びその製造方法
JP2006312346A (ja) * 2005-05-06 2006-11-16 Nissan Motor Co Ltd コマンド入力装置
JP2010097332A (ja) * 2008-10-15 2010-04-30 Toyota Motor Corp 入力支援装置
JP2011131833A (ja) * 2009-12-25 2011-07-07 Honda Access Corp 自動車における車載機器の操作装置
JP2012212237A (ja) * 2011-03-30 2012-11-01 Namco Bandai Games Inc 画像生成システム、サーバシステム、プログラム及び情報記憶媒体

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
US6703999B1 (en) * 2000-11-13 2004-03-09 Toyota Jidosha Kabushiki Kaisha System for computer user interface
JP4311190B2 (ja) * 2003-12-17 2009-08-12 株式会社デンソー 車載機器用インターフェース
US7454717B2 (en) 2004-10-20 2008-11-18 Microsoft Corporation Delimiters for selection-action pen gesture phrases
JP2006135703A (ja) 2004-11-08 2006-05-25 Hitachi Ltd 撮像装置
JP2006285370A (ja) 2005-03-31 2006-10-19 Mitsubishi Fuso Truck & Bus Corp ハンドパターンスイッチ装置及びハンドパターン操作方法
JP5228439B2 (ja) 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
JP2009248629A (ja) 2008-04-02 2009-10-29 Hitachi Ltd 車載機器の入力装置及び車載機器の入力方法
KR101417090B1 (ko) * 2008-07-29 2014-07-09 현대자동차주식회사 차량용 통합 스위치 조작 방법
JP2010184600A (ja) * 2009-02-12 2010-08-26 Autonetworks Technologies Ltd 車載用ジェスチャースイッチ装置
CN102713794A (zh) 2009-11-24 2012-10-03 奈克斯特控股公司 用于手势识别模式控制的方法和装置
US9019201B2 (en) 2010-01-08 2015-04-28 Microsoft Technology Licensing, Llc Evolving universal gesture sets
US8817087B2 (en) 2010-11-01 2014-08-26 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications
WO2012063247A1 (en) 2010-11-12 2012-05-18 Hewlett-Packard Development Company, L . P . Input processing
US9292093B2 (en) * 2010-11-18 2016-03-22 Alpine Electronics, Inc. Interface method and apparatus for inputting information with air finger gesture
US8177182B1 (en) 2011-01-07 2012-05-15 Apple Inc. Wireless remote control device for a portable media device
GB2488784A (en) 2011-03-07 2012-09-12 Sharp Kk A method for user interaction of the device in which a template is generated from an object
US8873841B2 (en) 2011-04-21 2014-10-28 Nokia Corporation Methods and apparatuses for facilitating gesture recognition
DE102012012697A1 (de) * 2012-06-26 2014-01-02 Leopold Kostal Gmbh & Co. Kg Bediensystem für ein Kraftfahrzeug
JP6202810B2 (ja) * 2012-12-04 2017-09-27 アルパイン株式会社 ジェスチャ認識装置および方法ならびにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005053092A (ja) * 2003-08-05 2005-03-03 Nippon Unicar Co Ltd 難燃性オレフィン系樹脂被覆金属線及びその製造方法
JP2006312346A (ja) * 2005-05-06 2006-11-16 Nissan Motor Co Ltd コマンド入力装置
JP2010097332A (ja) * 2008-10-15 2010-04-30 Toyota Motor Corp 入力支援装置
JP2011131833A (ja) * 2009-12-25 2011-07-07 Honda Access Corp 自動車における車載機器の操作装置
JP2012212237A (ja) * 2011-03-30 2012-11-01 Namco Bandai Games Inc 画像生成システム、サーバシステム、プログラム及び情報記憶媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017017938A1 (ja) * 2015-07-24 2017-02-02 島根県 ジェスチャ操作システム、方法およびプログラム
JP2018022318A (ja) * 2016-08-03 2018-02-08 株式会社東海理化電機製作所 操作入力装置
WO2018025507A1 (ja) * 2016-08-03 2018-02-08 株式会社東海理化電機製作所 操作入力装置

Also Published As

Publication number Publication date
CN105264463B (zh) 2017-05-10
JP5750687B2 (ja) 2015-07-22
CA2914712A1 (en) 2014-12-11
US9662980B2 (en) 2017-05-30
KR20160009037A (ko) 2016-01-25
EP3007036A4 (en) 2017-04-19
US20160137061A1 (en) 2016-05-19
CA2914712C (en) 2017-09-26
EP3007036A1 (en) 2016-04-13
WO2014196208A1 (ja) 2014-12-11
CN105264463A (zh) 2016-01-20

Similar Documents

Publication Publication Date Title
JP5750687B2 (ja) カーナビ用ジェスチャ入力装置
JP5028038B2 (ja) 車載表示装置および車載表示装置の表示方法
US10029723B2 (en) Input system disposed in steering wheel and vehicle including the same
JP2003131785A (ja) インタフェース装置および操作制御方法およびプログラム製品
EP3260331A1 (en) Information processing device
JP2007164814A (ja) インタフェース装置
US10967737B2 (en) Input device for vehicle and input method
JP2014046867A (ja) 入力装置
JP6269343B2 (ja) 車両用操作装置
US9904467B2 (en) Display device
JP2005174356A (ja) 方向検出方法
US20140281964A1 (en) Method and system for presenting guidance of gesture input on a touch pad
JP2018036902A (ja) 機器操作システム、機器操作方法および機器操作プログラム
KR20150000076A (ko) 차량용 블라인드 콘트롤 시스템
JP5420081B2 (ja) ナビゲーション装置
JP2005135439A (ja) 操作入力装置
JP2012083831A (ja) タッチパネル装置、タッチパネルの表示方法、タッチパネルの表示処理プログラム、及び記録媒体
US9582150B2 (en) User terminal, electronic device, and control method thereof
TWM564749U (zh) 車輛多螢幕控制系統
JP2019133395A (ja) 入力装置
JP6315443B2 (ja) 入力装置、マルチタッチ操作の入力検出方法及び入力検出プログラム
JP2013196457A (ja) 表示装置、表示方法、及び表示プログラム
JP4908986B2 (ja) タッチパネル表示機能を有する電子装置およびタッチパネル制御方法
JP6558380B2 (ja) 車両用入力装置、入力装置、及び、車両用入力装置の制御方法
JP2023052452A (ja) 表示制御装置、表示システム、表示制御方法及び表示制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141007

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20141007

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20141112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150421

R150 Certificate of patent or registration of utility model

Ref document number: 5750687

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees