JP6890743B2 - 指示判定装置、車載機器、及び指示判定方法 - Google Patents

指示判定装置、車載機器、及び指示判定方法 Download PDF

Info

Publication number
JP6890743B2
JP6890743B2 JP2021511038A JP2021511038A JP6890743B2 JP 6890743 B2 JP6890743 B2 JP 6890743B2 JP 2021511038 A JP2021511038 A JP 2021511038A JP 2021511038 A JP2021511038 A JP 2021511038A JP 6890743 B2 JP6890743 B2 JP 6890743B2
Authority
JP
Japan
Prior art keywords
touch
touch panel
movement information
unit
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021511038A
Other languages
English (en)
Other versions
JPWO2020202536A1 (ja
Inventor
尚樹 門田
尚樹 門田
康明 小網
康明 小網
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6890743B2 publication Critical patent/JP6890743B2/ja
Publication of JPWO2020202536A1 publication Critical patent/JPWO2020202536A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、タッチパネルに対するタッチ操作によって指示される指示内容を判定する指示判定装置に関する。
従来、駆動機構を備えることにより、固定部に対して相対的に移動可能に構成されたタッチパネルが知られている。このようなタッチパネルにおいて、ユーザは、タッチパネルの移動中に、指又はスタイラス等の操作物体を用いて、タッチパネルに対するタッチ操作を行うことがある。
ここで、特許文献1には、携帯端末の揺れた状態を、携帯端末に内蔵した重力センサによって検出し、その結果をもとに装置本体の体勢又は揺れに合せ、端末表示画面を移動させる処理を行う画面制御機能付き携帯端末が記載されている。
特開2004−102774号公報
駆動機構によるタッチパネルの移動中にユーザがタッチパネルに対するタッチ操作を行う場合、当該タッチ操作中もタッチパネルが移動するため、タッチパネルが検出するタッチ座標がユーザの意図していない座標にずれることがあるという問題がある。タッチパネルが検出するタッチ座標がユーザの意図していない座標にずれた場合、ユーザが本来意図していたタッチ操作を正しく検出することができない。
特許文献1に記載の技術は、重力センサによって検出可能な激しい揺れに合わせて画面の表示を移動させるものであり、駆動機構による移動を考慮したものではない。したがって、特許文献1に記載の技術は、駆動機構によるタッチパネルの移動中にユーザがタッチパネルに対するタッチ操作を行う場合における、検出されるタッチ座標のずれの問題を解決するものではなかった。
この発明は、上記のような問題点を解決するためになされたものであり、駆動機構によるタッチパネルの移動中にユーザがタッチパネルに対するタッチ操作を行った場合でも、ユーザの本来意図したタッチ操作を検出できる技術を提供することを目的とする。
この発明に係る指示判定装置は、駆動機構により移動可能なタッチパネルに対する操作物体によるタッチ操作によって指示された指示内容を判定する、指示判定装置であって、タッチパネルが検出したタッチ座標を取得するタッチ座標取得部と、駆動機構によるタッチパネルの移動に関するタッチパネル移動情報を取得するタッチパネル移動情報取得部と、タッチ座標取得部が取得したタッチ座標と、タッチパネル移動情報取得部が取得したタッチパネル移動情報とに基づいて、タッチ操作が行われた際の操作物体の移動に関する物体移動情報を算出する物体移動情報算出部と、物体移動情報算出部が算出した物体移動情報に基づいて、タッチ座標取得部が取得したタッチ座標を補正するタッチ座標補正部と、タッチ座標補正部が補正したタッチ座標に基づいて、指示内容を判定する指示内容判定部と、を備えている。
ユーザが駆動機構によるタッチパネルの移動中にタッチパネルに対するタッチ操作を行った場合でも、ユーザの本来意図したタッチ操作を検出できる。
実施の形態1に係る指示判定装置を備えているタッチパネルの構成を示すブロック図である。 図2Aは、実施の形態1に係る指示判定装置の機能を実現するハードウェア構成を示すブロック図である。図2Bは、実施の形態1に係る指示判定装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。 実施の形態1に係る指示判定装置による指示判定方法を示すフローチャートである。 図4A及び図4Bは、それぞれ、タッチパネルの移動を説明するための概略図である。 図5A、図5B及び図5Cは、それぞれ、タッチパネルの移動を説明するための概略図である。 図6A及び図6Bは、それぞれ、指示判定装置による指示判定方法の第1の具体例を説明するための図である。 実施の形態1に係る指示判定装置による指示判定方法の第2の具体例を説明するための図である。 実施の形態1に係る指示判定装置による指示判定方法の第3の具体例を説明するための図である。 図9A及び図9Bは、それぞれ、指示判定装置による指示判定方法の第4の具体例を説明するための図である。 指示判定装置による指示判定方法の第5の具体例を説明するための図である。
以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、実施の形態1に係る指示判定装置2を備えているタッチパネル1の構成を示すブロック図である。図1が示すように、タッチパネル1は、指示判定装置2、ディスプレイ3、タッチセンサ4、駆動制御部5、タッチパネル移動検出部6、及び記憶部7を備えている。指示判定装置2は、タッチパネル移動情報取得部21、タッチ座標取得部22、表示情報取得部23、物体移動情報算出部24、タッチ座標補正部25、指示内容判定部26、及びタッチ操作応答部27を備えている。
タッチパネル1は、後述する駆動機構により移動可能である。ユーザは、指又はスタイラス等の操作物体を用いてタッチパネル1に対してタッチ操作を行うことができる。ユーザは、このタッチ操作を、駆動機構によるタッチパネル1の移動中にも行うことができる。
タッチパネル1は、例えば、車両に搭載される車載機器である。タッチパネル1が車両に搭載される場合、タッチパネル1は、例えば、メータディスプレイ、センターディスプレイ、又は、ヘッドアップディスプレイを構成するコンバイナである。タッチパネル1が車両に搭載される場合、タッチパネル1は、例えば、ダッシュボード等の固定部材に対し相対的に移動する。
なお、以下の説明において、実施の形態1に係る指示判定装置2は、上記のようにタッチパネル1に備えられているものとするが、指示判定装置2は、タッチパネル1とは別の装置として、タッチパネル1の外に備えられていてもよい。また、以下の説明において、駆動制御部5、タッチパネル移動検出部6及び記憶部7は、タッチパネル1に備えられているものとするが、駆動制御部5、タッチパネル移動検出部6及び記憶部7のいずれか一つ又は全ては、タッチパネル1とは別の装置として、タッチパネル1の外に備えられていてもよい。すなわち、タッチパネル1は、少なくともディスプレイ3とタッチセンサ4とを備えていればよい。
ディスプレイ3は、ユーザによるタッチ操作の対象を含む画像等を表示する。当該対象は、例えば、ボタン、アイコン、又はウィンドウである。ディスプレイ3は、例えば、有機ELディスプレイ、又は、液晶ディスプレイである。
タッチセンサ4は、ユーザがタッチパネル1に対してタッチ操作を行った際のタッチ座標を検出する。タッチセンサ4は、検出したタッチ座標を、タッチ座標取得部22に出力する。タッチセンサ4は、タッチ座標に加えて、同じタッチ座標の検出が継続した場合のタッチ継続時間、又は、時間的及び位置的に連続してタッチ座標が移動する場合のタッチ座標が示す位置の移動速度(以下「タッチ座標位置の移動速度」という。)等を検出し得る。当該タッチ座標位置の移動速度は、例えば、所定の時間におけるタッチ座標の変位を当該所定の時間で割って算出された移動速度である。タッチセンサ4がタッチ座標に加えてタッチ継続時間又はタッチ座標位置の移動速度等を検出する場合、タッチセンサ4は、タッチ座標に当該タッチ継続時間等を付加してタッチ座標取得部22に出力する。
駆動制御部5は、後述する駆動機構を制御することにより、タッチパネル1を移動させる。
タッチパネル移動検出部6は、タッチパネル1の移動に関するタッチパネル移動情報を取得する。タッチパネル移動検出部6は、取得したタッチパネル移動情報をタッチパネル移動情報取得部21に出力する。タッチパネル移動検出部6は、駆動制御部5からタッチパネル1の移動に関する情報をタッチパネル移動情報として取得する。タッチパネル移動検出部6が取得するタッチパネル移動情報は、例えば、タッチパネル1の移動速度である。
記憶部7は、ディスプレイ3が表示した画像等の表示内容に関する表示情報を記憶する。
タッチパネル移動情報取得部21は、タッチパネル移動検出部6からタッチパネル移動情報を取得する。タッチパネル移動情報取得部21は、取得したタッチパネル移動情報を、物体移動情報算出部24に出力する。
タッチ座標取得部22は、タッチセンサ4からタッチ座標を取得する。タッチ座標取得部22は、取得したタッチ座標を、物体移動情報算出部24及びタッチ座標補正部25に出力する。また、タッチ座標取得部22は、タッチセンサ4が検出した上述のタッチ継続時間又はタッチ座標位置の移動速度等をさらに取得し、物体移動情報算出部24及びタッチ座標補正部25にさらに出力してもよい。なお、タッチセンサ4が上述のタッチ継続時間、又はタッチ座標位置の移動速度等をタッチ座標取得部22に出力しない場合、タッチ座標取得部22は、タッチセンサ4から取得したタッチ座標に基づいて、タッチ継続時間、又はタッチ座標位置の移動速度等を検出し、物体移動情報算出部24及びタッチ座標補正部25にさらに出力してもよい。
表示情報取得部23は、記憶部7から表示情報を読み出すことにより表示情報を取得する。表示情報取得部23は、取得した表示情報を、指示内容判定部26に出力する。また、表示情報取得部23は、物体移動情報算出部24が表示情報を用いる場合、物体移動情報算出部24に表示情報を出力する。
物体移動情報算出部24は、タッチ座標取得部22が取得したタッチ座標と、タッチパネル移動情報取得部21が取得したタッチパネル移動情報とに基づいて、前記タッチ操作が行われた際の操作物体の移動に関する物体移動情報を算出する。物体移動情報は、タッチ操作が行われた際に、操作物体が実際に空間内でどのように移動したかを示す情報である。
また、物体移動情報算出部24は、タッチ座標とタッチパネル移動情報に加えて、さらに表示情報取得部23が取得した表示情報に基づいて、物体移動情報を算出してもよい。物体移動情報算出部24がタッチ座標、タッチパネル移動情報及び表示情報に基づいて物体移動情報を算出する場合、物体移動情報算出部24は、物体移動情報を算出するディスプレイ3上の範囲であるタッチ座標補正範囲を決定し、当該タッチ座標補正範囲における物体移動情報を算出する。当該タッチ座標補正範囲は、例えば、ディスプレイ3に表示されたボタン周囲の範囲である。
タッチ座標補正部25は、物体移動情報算出部24が算出した物体移動情報に基づいて、タッチ座標取得部22が取得したタッチ座標を補正する。また、タッチ座標補正部25は、物体移動情報算出部24がタッチ座標補正範囲を決定した場合、当該タッチ座標補正範囲におけるタッチ座標を補正する。これにより、タッチ座標補正部25がタッチ座標を補正するディスプレイ3上の範囲を限定することができるため、タッチ座標の補正に要する処理量を削減することができる。
指示内容判定部26は、タッチ座標補正部25が補正した補正後のタッチ座標と、表示情報取得部23が取得した表示情報とに基づいて、タッチ操作によって指示された指示内容を判定する。当該指示内容は、例えば、ディスプレイ3に表示されたボタンに対するクリック、タッチパネル1に対する特定の方向へのスワイプ、又はディスプレイ3に表示されたアイコンに対する特定の方向へのドラッグである。
タッチ操作応答部27は、指示内容判定部26が判定した指示内容に基づいて、ユーザによるタッチ操作に対する応答を行う。より詳細には、タッチ操作応答部27は、指示内容判定部26が判定した指示内容に応じた画面をディスプレイ3が表示するようにディスプレイ3に命令する。指示内容に応じた画面とは、例えば、ディスプレイ3に表示されたボタンに対するクリックに応じて変更された後の画面、タッチパネル1に対する特定の方向へのスワイプに応じて移動された後の画面、又は、ディスプレイ3に表示されたアイコンに対する特定の方向へのドラッグに応じて移動した後のアイコンを含む画面である。
指示判定装置2における、タッチパネル移動情報取得部21、タッチ座標取得部22、表示情報取得部23、物体移動情報算出部24、タッチ座標補正部25、指示内容判定部26、及びタッチ操作応答部27のそれぞれの機能は、処理回路により実現される。当該処理回路は、専用のハードウェアであってもよいし、メモリに記憶されたプログラムを実行するCPU(Central Processing Unit)であってもよい。
図2Aは、指示判定装置2の機能を実現するハードウェア構成を示すブロック図である。図2Bは、指示判定装置2の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図2Aに示す記憶装置101と図2Bに示すメモリ111とは、記憶部7として機能する。駆動制御装置102は、駆動制御部5として機能する。タッチパネル移動検出装置103は、タッチパネル移動検出部6として機能する。画面表示装置104は、ディスプレイ3として機能する。タッチ座標検出装置105は、タッチセンサ4として機能する。
上記処理回路が図2Aに示す専用のハードウェアの処理回路100である場合、処理回路100は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)又はこれらを組み合わせたものが該当する。
指示判定装置2における、タッチパネル移動情報取得部21、タッチ座標取得部22、表示情報取得部23、物体移動情報算出部24、タッチ座標補正部25、指示内容判定部26、及びタッチ操作応答部27のそれぞれの機能を別々の処理回路で実現してもよいし、これらの機能をまとめて1つの処理回路で実現してもよい。
上記処理回路が図2Bに示すプロセッサ110である場合、指示判定装置2における、タッチパネル移動情報取得部21、タッチ座標取得部22、表示情報取得部23、物体移動情報算出部24、タッチ座標補正部25、指示内容判定部26、及びタッチ操作応答部27のそれぞれの機能は、ソフトウェア、ファームウェア又はソフトウェアとファームウェアとの組み合わせによって実現される。
なお、ソフトウェア又はファームウェアは、プログラムとして記述されてメモリ111に記憶される。
プロセッサ110は、メモリ111に記憶されたプログラムを読み出して実行することにより、指示判定装置2における、タッチパネル移動情報取得部21、タッチ座標取得部22、表示情報取得部23、物体移動情報算出部24、タッチ座標補正部25、指示内容判定部26、及びタッチ操作応答部27のそれぞれの機能を実現する。
当該プログラムは、指示判定装置2における、タッチパネル移動情報取得部21、タッチ座標取得部22、表示情報取得部23、物体移動情報算出部24、タッチ座標補正部25、指示内容判定部26、及びタッチ操作応答部27の手順又は方法をコンピュータに実行させる。メモリ111は、コンピュータを、タッチパネル移動情報取得部21、タッチ座標取得部22、表示情報取得部23、物体移動情報算出部24、タッチ座標補正部25、指示内容判定部26、及びタッチ操作応答部27として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。
メモリ111には、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、若しくはEEPROM(Electrically−EPROM)などの不揮発性若しくは揮発性の半導体メモリ、又は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、若しくはDVDなどが該当する。
タッチパネル移動情報取得部21、タッチ座標取得部22、表示情報取得部23、物体移動情報算出部24、タッチ座標補正部25、指示内容判定部26、及びタッチ操作応答部27のそれぞれの機能について一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現してもよい。
例えば、タッチパネル移動情報取得部21、タッチ座標取得部22、表示情報取得部23、及び物体移動情報算出部24は、専用のハードウェアとしての処理回路で機能を実現する。タッチ座標補正部25、指示内容判定部26、及びタッチ操作応答部27については、プロセッサ110がメモリ111に記憶されたプログラムを読み出して実行することにより機能を実現してもよい。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせにより上記機能のそれぞれを実現することができる。
次に、実施の形態1に係る指示判定装置2の動作について図面を参照して説明する。図3は、実施の形態1に係る指示判定装置2による指示判定方法を示すフローチャートである。当該指示判定方法は、タッチパネル1が移動しておらず、タッチパネル移動検出部6がタッチパネル1が移動していないことを検出している場合、及び、タッチパネル1が移動しており、タッチパネル移動検出部6がタッチパネル1が移動していることを検出している場合のいずれの場合においても実行され得る。また、当該指示判定方法は、例えば、タッチパネル1の電源がONの間、又はタッチパネル1へのタッチ操作が可能な状態の間、繰返し実行されるものである。
図3が示すように、タッチパネル移動情報取得部21は、タッチパネル移動検出部6からタッチパネル移動情報を取得する(ステップST1)。タッチパネル移動情報取得部21は、取得したタッチパネル移動情報を物体移動情報算出部24に出力する。
タッチ座標取得部22は、タッチセンサ4からタッチ座標を取得する(ステップST2)。タッチ座標取得部22は、取得したタッチ座標を、物体移動情報算出部24及びタッチ座標補正部25に出力する。ステップST2において、タッチ座標取得部22は、タッチセンサ4が検出した上述のタッチ継続時間又はタッチ座標位置の移動速度等をさらに取得し、物体移動情報算出部24及びタッチ座標補正部25にさらに出力してもよい。また、タッチセンサ4が上述のタッチ継続時間又はタッチ座標位置の移動速度等をタッチ座標取得部22に出力しない場合、タッチ座標取得部22は、取得したタッチ座標に基づいて、タッチ継続時間又はタッチ座標位置の移動速度等を検出し、物体移動情報算出部24及びタッチ座標補正部25にさらに出力してもよい。
表示情報取得部23は、記憶部7から表示情報を読み出すことにより表示情報を取得する(ステップST3)。表示情報取得部23は、取得した表示情報を、指示内容判定部26に出力する。または、表示情報取得部23は、取得した表示情報を、指示内容判定部26及び物体移動情報算出部24に出力する。
物体移動情報算出部24は、タッチパネル移動情報取得部21から取得したタッチパネル移動情報に基づいて、タッチパネル1が移動しているか否かを判定する(ステップST4)。物体移動情報算出部24は、タッチパネル1が移動していると判定した場合(ステップST4のYES)、ステップST5に処理を進める。物体移動情報算出部24は、タッチパネル1が移動していないと判定した場合(ステップST4のNO)、ステップST7に処理を進める。
ステップST5において、物体移動情報算出部24は、タッチ座標取得部22が取得したタッチ座標と、タッチパネル移動情報取得部21が取得したタッチパネル移動情報とに基づいて、タッチ操作が行われた際の操作物体の移動に関する物体移動情報を算出する。物体移動情報算出部24は、算出した物体移動情報をタッチ座標補正部25に出力する。なお、ステップST5において、物体移動情報算出部24は、上述のように、表示情報取得部23がステップST3で取得した表示情報にさらに基づいて、物体移動情報を算出してもよい。
次に、タッチ座標補正部25は、物体移動情報算出部24が算出した物体移動情報に基づいて、タッチ座標取得部22が取得したタッチ座標を補正する(ステップST6)。タッチ座標補正部25は、補正した補正後のタッチ座標を指示内容判定部26に出力する。
ステップST6の次の工程として、指示内容判定部26は、タッチ座標補正部25が補正した補正後のタッチ座標と、表示情報取得部23が取得した表示情報とに基づいて、タッチ操作によって指示された指示内容を判定する(ステップST7)。または、物体移動情報算出部24がステップST4において画面が移動していると判定した場合(ステップST4のNO)、ステップST4の次の工程として、指示内容判定部26は、タッチ座標取得部22がステップST2で取得したタッチ座標と、表示情報取得部23がステップST3で取得した表示情報とに基づいて、タッチ操作によって指示された指示内容を判定する(ステップST7)。指示内容判定部26は、判定した指示内容をタッチ操作応答部27に出力する。
ステップST7の次の工程として、タッチ操作応答部27は、指示内容判定部26が判定した指示内容に基づいて、タッチ操作に対する応答を行う(ステップST8)。例えば、タッチ操作応答部27は、指示内容判定部26が判定した指示内容に応じた画面をディスプレイ3が表示するようにディスプレイ3に命令する。
次に、タッチパネル1の移動の具体例について図面を参照して説明する。図4A及び図4Bは、それぞれ、タッチパネル30の移動を説明するための概略図である。図4A及び図4Bに示されたタッチパネル30は、ディスプレイ3として、例えば、液晶ディスプレイを備えている。図4Aが示すように、タッチパネル30は、ダッシュボード開口部32の上部に配置されており、ユーザがタッチセンサ4をタッチ操作できる状態にある。タッチパネル30の近傍には、タッチパネル30に駆動力を作用させて、タッチパネル30を移動するための駆動機構31が設置されている。駆動機構31は、タッチパネル30に駆動力を作用させて移動することができる機構であればどのような機構であってもよい。
図4Aが示すタッチパネル30の状態において、ユーザが、タッチパネル30がダッシュボード開口部32に収納されるようにタッチパネル30を操作する。そうすると、駆動制御部5がタッチパネル30の例えば裏側に設置された駆動機構31を制御することにより、タッチパネル30がダッシュボード開口部32に収納されるようにタッチパネル30をダッシュボード開口部32の内部に移動させる。図4Bは、タッチパネル30がダッシュボード開口部32の内部に収納された後の状態を示す図である。上記のようにタッチパネル30が移動した場合に、タッチパネル移動検出部6は、タッチパネル移動情報を取得する。
以下、タッチパネル1の移動の別の具体例について図面を参照して説明する。図5A、図5B及び図5Cは、それぞれ、タッチパネル40の移動を説明するための概略図である。図5A、図5B及び図5Cに示されたタッチパネル40は、ディスプレイ3として、例えば、巻き取り可能な有機ELディスプレイを備え、また、タッチセンサ4として、巻き取り可能なタッチセンサ4を備えている。すなわち、図5A、図5B及び図5Cに示されたタッチパネル40は、巻き取り可能なタッチパネルである。図5Aが示すタッチパネル40は、巻き取られていない状態であり、ユーザがタッチセンサ4をタッチ操作できる状態にある。タッチパネル40の近傍には、タッチパネル40を巻き取ることによってタッチパネル40を移動するための駆動機構41が設置されている。駆動機構41は、タッチパネル40を巻き取ることによって移動することができる機構であればどのような機構であってもよい。また、図5Aは、タッチパネル40の上部に地図が表示されるとともに、タッチパネル40の下部にエアコン操作のためのアイコン等が表示されている状態を示している。なお、図5Aにおいて、当該アイコン等の詳細については、図示は省略されている。
図5Aが示すタッチパネル40において、ユーザが、タッチパネル40が巻き取られた状態になるようにタッチパネル40を操作する。そうすると、駆動制御部5がタッチパネル40の例えば下部に設置された駆動機構41を制御することにより、タッチパネル40が駆動機構41に巻き取られるようにタッチパネル40を移動させる。図5Bは、タッチパネル40が地図のみを表示するように一部が巻き取られた状態を示す図である。図5Cは、タッチパネル40が完全に巻き取られた状態を示す図である。上記のようにタッチパネル40が移動した場合にも、タッチパネル移動検出部6は、タッチパネル移動情報を取得する。
なお、上記の各例の場合、タッチパネル移動検出部6は、駆動制御部5からタッチパネル30又はタッチパネル40の移動に関する情報をタッチパネル移動情報として取得し得る。また、タッチパネル1の移動の態様は、図4A及び図4B、並びに、図5A、図5B及び図5Cに示した例に限るものではなく、駆動機構により移動するタッチパネル1であれば、どのような移動の態様であってもよい。
次に、実施の形態1に係る指示判定装置2による指示判定方法の具体例について図面を参照して説明する。図6A及び図6Bは、指示判定装置2による指示判定方法の第1の具体例を説明するための図である。なお、以降の具体例の説明では、上述の巻き取り可能なタッチパネル40を用いて説明する。
図6Aは、タッチパネル40が移動していない場合の具体例を示す図である。図6Aが示すように、タッチパネル40は移動しておらず、ユーザは、タッチセンサ4の裏側に設置されたディスプレイ3が表示したボタンの位置Aにタッチしている。
タッチパネル移動検出部6は、駆動制御部5から、タッチパネル40が移動していないことを示す情報をタッチパネル移動情報として取得する。タッチパネル移動情報取得部21は、上述のステップST1において、タッチパネル移動検出部6から当該タッチパネル移動情報を取得し、物体移動情報算出部24に出力する。タッチセンサ4は、タッチ操作によるタッチ座標を検出する。タッチ座標取得部22は、上述のステップST2において、タッチセンサ4から当該タッチ座標を取得し、物体移動情報算出部24に出力する。表示情報取得部23は、上述のステップST3において、記憶部7から、上記のボタンを含む画面に関する表示情報を取得する。
物体移動情報算出部24は、上述のステップST4においてタッチパネル移動情報取得部21から取得したタッチパネル移動情報に基づいて、タッチパネル40が移動していないと判定する。次に、上述のステップST7において、指示内容判定部26は、タッチ座標取得部22がステップST2で取得したタッチ座標と、表示情報取得部23がステップST3で取得した表示情報とに基づいて、タッチ操作によって指示された指示内容として、ボタンに対するクリックを判定する。
別の例として、図6Bは、タッチパネル40が移動している場合の具体例を示す図である。図6Bが示すように、タッチパネル40は巻き取り速度Vで移動している状態である。この状態では、ユーザは、タッチセンサ4の裏側に設置されたディスプレイ3が表示したボタンの位置Aにタッチしているつもりであるが、タッチパネル40が移動中であるため、図6Bのズレ範囲Bで示したように、指によるタッチパネル40上のタッチ位置がずれてしまう。
タッチパネル移動検出部6は、駆動制御部5から、タッチパネル40が巻き取り速度Vで巻き取られることにより移動していることを検出することによりタッチパネル移動情報を取得する。タッチパネル移動情報取得部21は、上述のステップST1において、タッチパネル移動検出部6から当該タッチパネル移動情報を取得し、物体移動情報算出部24に出力する。タッチセンサ4は、タッチパネル40の移動によるずれを伴ったタッチ座標を検出する。タッチ座標取得部22は、上述のステップST2において、タッチセンサ4から当該タッチ座標を取得し、物体移動情報算出部24に出力する。表示情報取得部23は、上述のステップST3において、記憶部7から、上記のボタンを含む画面に関する表示情報を取得する。
物体移動情報算出部24は、上述のステップST4においてタッチパネル移動情報取得部21から取得したタッチパネル移動情報に基づいて、タッチパネル40が移動していると判定する。次に、上述のステップST5において、物体移動情報算出部24は、表示情報取得部23に基づいて、タッチ座標補正範囲Cを決定する。また、物体移動情報算出部24は、タッチ座標取得部22が取得したタッチ座標と、タッチパネル移動情報取得部21が取得したタッチパネル移動情報とに基づき、タッチ座標位置の移動速度と、タッチパネル40の巻き取り速度Vとの合成速度を、タッチ座標補正範囲Cにおけるタッチ操作が行われた際の操作物体の移動に関する物体移動情報として算出する。物体移動情報算出部24は、例えば、タッチ座標位置の移動速度のベクトルと、タッチパネル40の巻き取り速度Vのベクトルとの和を算出することにより、物体移動情報としての合成速度を算出する。
次のステップST6において、タッチ座標補正部25は、物体移動情報算出部24が算出した物体移動情報に基づいて、タッチ座標取得部22が取得したタッチ座標を補正する。例えば、タッチ座標補正部25は、物体移動情報算出部24が算出した合成速度が所定の閾値以下であるか否かを判定する。タッチ座標補正部25は、合成速度が所定の閾値以下である場合、タッチパネル40上の一点をタッチすることを意図したタッチ操作が指で行われた際に、単に指がぶれたものとして、ユーザが最初にタッチパネル40をタッチした位置のタッチ座標をタッチ座標とする補正を行う。この補正により、タッチパネル40の移動によるずれを伴ったタッチ座標が、当該ずれを伴わないタッチ座標に補正される。そして、次のステップST7において、指示内容判定部26は、タッチ座標補正部25が補正した後のタッチ座標と、表示情報取得部23が取得した表示情報が示すタッチパネル40に表示されたボタンの位置とに基づいて、当該ボタンのクリックを、タッチ操作の指示内容として判定する。
次に、実施の形態1に係る指示判定装置2による指示判定方法の第2の具体例について図面を参照して説明する。図7は、指示判定装置2による指示判定方法の第2の具体例を説明するための図である。図7は、ユーザがタッチパネル40に表示されたボタンを操作物体(図7では指)でタッチした後、所定時間以上、空間内の当該操作物体の位置をほぼ同じ位置に止めた場合を示している。なお、以降の具体例の説明においても、上述の巻き取り可能なタッチパネル40を用いて説明する。
まず、図7において、ユーザが、タッチパネル40に表示されたボタンを所定時間以上継続してタッチすること(以下「長押し」という。)を意図して、タッチ操作を行っていると考えられる場合を想定して説明する。
図7が示すように、タッチパネル40は巻き取り速度Vで移動しており、ユーザは、タッチパネル40に表示されたボタンの位置Dを長押ししようとしているが、タッチパネル40が移動中であるため、図7のズレ範囲Eで示したように、指によるタッチパネル40上のタッチ位置がずれてしまう。
タッチパネル移動検出部6は、駆動制御部5から、タッチパネル40が巻き取り速度Vで巻き取られることにより移動していることを検出することによりタッチパネル移動情報を取得する。タッチパネル移動情報取得部21は、上述のステップST1において、タッチパネル移動検出部6から当該タッチパネル移動情報を取得し、物体移動情報算出部24に出力する。タッチセンサ4は、タッチパネル40の移動によるずれを伴ったタッチ座標を検出する。タッチ座標取得部22は、上述のステップST2において、タッチセンサ4から当該タッチ座標を取得し、物体移動情報算出部24に出力する。表示情報取得部23は、上述のステップST3において、記憶部7から、上記のボタンを含む画面に関する表示情報を取得する。
物体移動情報算出部24は、上述のステップST4においてタッチパネル移動情報取得部21から取得したタッチパネル移動情報に基づいて、タッチパネル40が移動していると判定する。次に、上述のステップST5において、物体移動情報算出部24は、タッチ座標取得部22が取得したタッチ座標と、タッチパネル移動情報取得部21が取得したタッチパネル移動情報と、に基づいて、タッチ座標位置の移動速度と、タッチパネル40の巻き取り速度Vとの合成速度を、物体移動情報として算出する。物体移動情報算出部24は、例えば、タッチ座標位置の移動速度のベクトルと、タッチパネル40の巻き取り速度Vのベクトルとの和を算出することにより、物体移動情報としての合成速度を算出する。当該具体例では、タッチ操作の間、ユーザは空間内の指の位置をほぼ同じ位置に止めているため、物体移動情報算出部24が算出する合成速度は、略0であり得る。物体移動情報算出部24は、合成速度が0近傍の値に設定された閾値以下であるか否かを判定し、合成速度が当該閾値以下であると判定した場合、合成速度を0としてもよい。
次のステップST6において、タッチ座標補正部25は、物体移動情報算出部24が算出した物体移動情報に基づいて、タッチ座標取得部22が取得したタッチ座標を補正する。物体移動情報としての合成速度が略0又は0の場合、タッチ座標補正部25は、タッチ操作の間に、最初にタッチパネル40がタッチされた位置のタッチ座標が継続して検出されたものとして、タッチ座標を補正する。この補正により、タッチパネル40の移動によるずれを伴ったタッチ座標が、当該ずれを伴わないタッチ座標に補正される。そして、次のステップST7において、指示内容判定部26は、タッチ座標補正部25が補正した後のタッチ座標と、表示情報取得部23が取得した表示情報が示すタッチパネル40に表示されたボタンの位置とに基づいて、当該ボタンの長押しを、タッチ操作の指示内容として判定する。
次に、図7において、ユーザが、誤って、タッチパネル40を所定時間以上継続してタッチしたと考えられる場合を想定して説明する。
図7のような状態は、例えば、ユーザの体の一部が移動中のタッチパネル40に意図せず触れ続けている状態であることも考えられる。図7が示すように、タッチパネル40が巻き取り速度Vで移動している間に、例えば、ユーザの体の一部(図7では指)がタッチパネル40に表示されたボタンの位置Dに意図せず触れている状態を想定する。この状態では、タッチパネル40が移動中であるため、図7のズレ範囲Eで示したように、指によるタッチパネル40上のタッチ位置がずれ、当該ずれに応じたタッチ座標が検出される。
この場合、ステップST1からステップST5までの処理は、上述の、ユーザが「長押し」を意図してタッチ操作を行っていると考えられる場合と同様であるが、ステップST6の処理は異なる。ステップST6において、タッチ座標補正部25は、物体移動情報算出部24が算出した合成速度が略0であった場合、タッチ操作が誤操作であると判定する。タッチ座標補正部25がタッチ操作を誤操作であると判定すると、指示判定装置2は、ステップST6におけるタッチ座標の補正処理、ステップST7における指示内容の判定処理、及び、ステップST8におけるタッチ操作に対する応答処理は、いずれも行うことなく処理を終了する。
上述のとおり、指示判定方法は、例えば、タッチパネル1の電源がONの間、又はタッチパネル1へのタッチ操作が可能な状態の間、繰返し実行される。したがって、ステップST6において上述の誤操作であるとの判定がなされ、その後、ステップST8までの処理が行われることなく処理が終了された場合も、指示判定装置2は、ステップST1からの処理を再開する。そして、再開後の処理において、ステップST5において物体移動情報算出部24が略0又は0以外の合成速度を算出した場合は、ステップST6におけるタッチ座標の補正処理が行われるとともに、ステップST7からステップST8までの処理が行われ、その後、指示判定装置2は処理を終了する。ステップST5において物体移動情報算出部24が略0又は0以外の合成速度を算出した場合、意図的なタッチ操作が行われたと考えられるため、上記のとおりステップST6からステップST8の処理を行う。
なお、指示判定装置2は、ステップST6における上述の誤操作であるとの判定の後、一旦処理を中断し、タッチセンサ4がタッチ座標を検出しなくなった場合に、再度、ステップST1からの処理を再開するようにしてもよい。
次に、実施の形態1に係る指示判定装置2による指示判定方法の第3の具体例について図面を参照して説明する。図8は、指示判定装置2による指示判定方法の第3の具体例を説明するための図である。図8が示すユーザによるタッチ操作は、ユーザが画面の移動方向とは逆の方向に指を移動させたスワイプ操作である。なお、以降の具体例の説明においても、上述の巻き取り可能なタッチパネル40を用いて説明する。また、当該具体例におけるタッチ操作は、スワイプ操作の代わりに、ドラッグ操作であってもよい。
図8が示すように、タッチパネル40は巻き取り速度Vで移動しており、ユーザは、タッチパネル40に表示された画面をスワイプ操作している。タッチパネル移動検出部6は、駆動制御部5から、タッチパネル40が巻き取り速度Vで巻き取られることにより移動していることを検出することによりタッチパネル移動情報を取得する。なお、本具体例では、ユーザが空間内で行った実際のスワイプ操作の移動速度Vの絶対値は、巻き取り速度Vの絶対値よりも大きいものとする。
タッチパネル移動情報取得部21は、上述のステップST1において、タッチパネル移動検出部6から当該タッチパネル移動情報を取得し、物体移動情報算出部24に出力する。タッチセンサ4は、タッチパネル40の移動によって、タッチパネル40の移動方向とは逆の方向に延長されたスワイプ操作に対応するタッチ座標を取得する。したがって、タッチセンサ4が検出したタッチ座標に基づくタッチ座標位置の移動速度Vの絶対値は、ユーザが空間内で行った実際のスワイプ操作の移動速度Vの絶対値よりも大きい。タッチ座標取得部22は、上述のステップST2において、タッチセンサ4から当該タッチ座標を取得し、物体移動情報算出部24に出力する。表示情報取得部23は、上述のステップST3において、記憶部7から、タッチパネル40に表示された表示内容に関する表示情報を取得する。
物体移動情報算出部24は、上述のステップST4においてタッチパネル移動情報取得部21から取得したタッチパネル移動情報に基づいて、タッチパネル40が移動していると判定する。次に、上述のステップST5において、物体移動情報算出部24は、タッチ座標取得部22が取得したタッチ座標と、タッチパネル移動情報取得部21が取得したタッチパネル移動情報と、に基づいて、タッチ座標位置の移動速度Vと、タッチパネル40の巻き取り速度Vとの合成速度の絶対値及び当該合成速度の方向を、物体移動情報として算出する。物体移動情報として算出される合成速度は、実際のスワイプ操作の移動速度Vである。したがって、以下、タッチ座標位置の移動速度Vとタッチパネル40の巻き取り速度Vとの合成速度についても「合成速度V」表記する。物体移動情報算出部24は、例えば、タッチ座標位置の移動速度Vのベクトルと、タッチパネル40の巻き取り速度Vのベクトルとの和を算出することにより、合成速度Vの絶対値及び合成速度Vの移動方向を算出することができる。
当該具体例では、タッチ座標位置の移動速度Vと、タッチパネル40の巻き取り速度Vとは、互いに平行でかつ互いに異なる方向を向いている。したがって、当該合成速度Vの絶対値は、タッチ座標位置の移動速度Vの絶対値とタッチパネル40の巻き取り速度Vの絶対値の差の絶対値である。言い換えれば、当該合成速度Vの絶対値は、タッチ座標位置の移動速度Vとタッチパネル40の巻き取り速度Vのうち、移動速度の絶対値が大きい方の移動速度の絶対値から小さい方の移動速度の絶対値を減算した差である。
そして、合成速度Vの移動方向は、タッチ座標位置の移動速度Vの絶対値>タッチパネル40の巻き取り速度Vの絶対値である場合、タッチ座標位置の移動速度Vの方向、すなわち、図8における上方向である。また、当該合成速度Vの移動方向は、タッチパネル40の巻き取り速度Vの絶対値>タッチ座標位置の移動速度Vの絶対値である場合、タッチパネル40の巻き取り速度Vの方向、すなわち、図8における下方向である。言い換えれば、合成速度Vの移動方向は、タッチ座標位置の移動速度Vとタッチパネル40の巻き取り速度Vのうち、移動速度の絶対値が大きい方の移動速度となる。当該具体例では、タッチ座標位置の移動速度Vの絶対値>タッチパネル40の巻き取り速度Vの絶対値であるため、合成速度Vの方向は、図8に向かって上方向である。
次に、ステップST6において、タッチ座標補正部25は、タッチ座標取得部22が取得したタッチ座標を、物体移動情報算出部24が算出した実際のスワイプ操作の移動速度Vに基づいて補正する。次に、指示内容判定部26は、ステップST7において、タッチ座標補正部25が補正した後のタッチ座標と、表示情報取得部23が取得した表示情報とに基づいて、移動速度Vの図8における上方向のスワイプを、タッチ操作の指示内容として判定する。次に、ステップST8において、タッチ操作応答部27は、指示内容判定部26が判定した指示内容に応じた画面として、表示内容が移動速度Vで図8における上方向に移動する画面をディスプレイ3が表示するようにディスプレイ3に命令する。
次に、実施の形態1に係る指示判定装置2による指示判定方法の第4の具体例について図面を参照して説明する。図9A及び図9Bは、それぞれ、指示判定装置2による指示判定方法の第4の具体例を説明するための図である。図9A及び図9Bは、ユーザが画面の移動方向である負のy方向と直交する正のx方向に指を移動させたスワイプ操作を示す。なお、以降の具体例の説明においても、上述の巻き取り可能なディスプレイのタッチパネル40を用いて説明する。また、当該具体例におけるタッチ操作は、スワイプ操作の代わりに、ドラッグ操作であってもよい。また、図9A及び図9Bにおいて、図に向かって上方向が正のy方向であり、図に向かって下方向が負のy方向であり、図に向かって右方向が正のx方向であり、図に向かって左方向が負のx方向である。
図9Aが示すように、タッチパネル40は巻き取り速度Vで負のy方向に移動しており、ユーザは、タッチパネル40に表示された画面を正のx方向にスワイプ操作している。タッチパネル移動検出部6は、駆動制御部5から、タッチパネル40が巻き取り速度Vで巻き取られることにより移動していることを検出することによりタッチパネル移動情報を取得する。より詳細には、当該巻き取り速度は、ベクトルで示され、(0,−V)である。タッチパネル移動情報取得部21は、上述のステップST1において、タッチパネル移動検出部6から当該タッチパネル移動情報を取得し、物体移動情報算出部24に出力する。
タッチセンサ4は、ユーザが画面の移動方向と直交する方向の正のx方向に移動速度Vで指を移動させたスワイプ操作に対応するタッチ座標を取得する。これによりタッチセンサ4が検出したタッチ座標に基づいたタッチ座標位置の移動速度は、ベクトル(V,V)である。タッチ座標取得部22は、上述のステップST2において、タッチセンサ4から当該タッチ座標を取得し、物体移動情報算出部24に出力する。表示情報取得部23は、上述のステップST3において、記憶部7から、タッチパネル40に表示された表示内容に関する表示情報を取得する。
物体移動情報算出部24は、上述のステップST4においてタッチパネル移動情報取得部21から取得したタッチパネル移動情報に基づいて、タッチパネル40が移動していると判定する。次に、上述のステップST5において、物体移動情報算出部24は、タッチ座標取得部22が取得したタッチ座標と、タッチパネル移動情報取得部21が取得したタッチパネル移動情報と、に基づいて、タッチ座標位置の移動速度のベクトル(V,V)と、タッチパネル40の巻き取り速度のベクトル(0,−V)との和である合成速度のベクトル(V,V−V)を、物体移動情報として算出する。当該物体移動情報として算出される合成速度は、実際のスワイプ操作の移動速度である。本具体例では、ユーザは、正のx方向にスワイプ操作を行っているため、V−Vは、0であり得る。
次に、ステップST6において、タッチ座標補正部25は、タッチ座標取得部22が取得したタッチ座標を、物体移動情報算出部24が算出した実際のスワイプ操作の移動速度である合成速度のベクトル(V,V−V)に基づいて補正する。次に、指示内容判定部26は、ステップST7において、タッチ座標補正部25が補正した後のタッチ座標と、表示情報取得部23が取得した表示情報とに基づいて、移動速度のベクトル(V,V−V)のスワイプを、タッチ操作の指示内容として判定する。次に、ステップST8において、タッチ操作応答部27は、指示内容判定部26が判定した指示内容に応じた画面として、表示内容が移動速度のベクトル(V,V−V)で移動する画面をディスプレイ3が表示するようにディスプレイ3に命令する。
また、別の例では、図9Aが示すように、タッチパネル40は、負のy方向に巻き取り量Lの分、駆動機構41によって巻き取られており、ユーザは、タッチパネル40が表示した画面を、正のx方向に指を移動させるスワイプ操作を行っている。なお、巻き取り量とは、タッチパネル40が駆動機構41により巻き取られて移動した移動量を示す。タッチパネル移動検出部6は、駆動制御部5から、タッチパネル40が、負のy方向に巻き取り量Lの分、巻き取られることにより移動していることを検出することによりタッチパネル移動情報を取得する。より詳細には、当該巻き取り量は、ベクトルで示され、(0,−L)である。タッチパネル移動情報取得部21は、上述のステップST1において、タッチパネル移動検出部6から当該タッチパネル移動情報を取得し、物体移動情報算出部24に出力する。
タッチセンサ4は、ユーザの指がタッチパネル40の上で、タッチ座標変化量Lの分、正のx方向に移動し、且つ、タッチ座標変化量Lの分、正のy方向に移動したスワイプ操作に対応するタッチ座標を取得する。これによりタッチセンサ4が検出したタッチ座標に基づいたタッチ座標の変化量は、ベクトル(L,L)である。タッチ座標取得部22は、上述のステップST2において、タッチセンサ4から当該タッチ座標を取得し、物体移動情報算出部24に出力する。表示情報取得部23は、上述のステップST3において、記憶部7から、画面に関する表示情報を取得する。
物体移動情報算出部24は、上述のステップST4においてタッチパネル移動情報取得部21から取得したタッチパネル移動情報に基づいて、タッチパネル40が移動していると判定する。次に、上述のステップST5において、物体移動情報算出部24は、タッチ座標取得部22が取得したタッチ座標と、タッチパネル移動情報取得部21が取得したタッチパネル移動情報と、に基づいて、タッチ座標の変化量のベクトル(L,L)と、タッチパネル40の巻き取り量のベクトル(0,−L)との和である合成移動量のベクトル(L,L−L)を、物体移動情報として算出する。当該物体移動情報として算出される合成移動量のベクトル(L,L−L)は、実際のスワイプ操作の移動量である。本具体例では、ユーザは、正のx方向にスワイプ操作を行っているため、L−Lは、0であり得る。
次に、ステップST6において、タッチ座標補正部25は、タッチ座標取得部22が取得したタッチ座標を、物体移動情報算出部24が算出した実際のスワイプ操作の移動量のベクトル(L,L−L)に基づいて補正する。次に、指示内容判定部26は、ステップST7において、タッチ座標補正部25が補正した後のタッチ座標と、表示情報取得部23が取得した表示情報とに基づいて、タッチ座標の変化量(L,L−L)のスワイプを、タッチ操作の指示内容として判定する。次に、ステップST8において、タッチ操作応答部27は、指示内容判定部26が判定した指示内容に応じた画面として、表示内容が、タッチ座標変化量(L,L−L)分、移動する画面をディスプレイ3が表示するようにディスプレイ3に命令する。
また、別の例では、図9Bが示すように、タッチパネル40は、負のy方向に巻き取り量Lの分、巻き取り速度Vで駆動機構41によって巻き取られており、ユーザは、タッチパネル40を、正のx方向に指を移動させるスワイプ操作を行っている。当該例では、巻き取り速度Vは、時間とともに変化しているため、タッチセンサ4が検出したスワイプ操作は、直線的な動きではなく、蛇行した動きとなっている。
タッチパネル移動検出部6は、タッチパネル40が、所定の期間、負のy方向に巻き取り量ΔLの分、巻き取られることにより移動していることを検出することによりタッチパネル移動情報を取得する。タッチパネル移動検出部6は、駆動制御部5から、上記のようなタッチパネル移動情報を一定時間ごとに取得する。なお、当該巻き取り量は、ベクトルで示され、(0,−ΔL)である。タッチパネル移動情報取得部21は、上述のステップST1において、タッチパネル移動検出部6から当該タッチパネル移動情報を取得し、物体移動情報算出部24に出力する。
タッチセンサ4は、ユーザの指がタッチパネル40の上で、所定の期間、タッチ座標変化量ΔLの分、正のx方向に移動し、且つ、タッチ座標変化量ΔLの分、正のy方向に移動したスワイプ操作を検出することによりタッチ座標を取得する。これによりタッチセンサ4が検出したタッチ座標に基づいたタッチ座標の変化量は、ベクトル(ΔL,ΔL)である。タッチセンサ4は、上記のように移動するタッチ座標を一定時間ごとに取得する。タッチ座標取得部22は、上述のステップST2において、タッチセンサ4から当該タッチ座標を取得し、物体移動情報算出部24に出力する。表示情報取得部23は、上述のステップST3において、記憶部7から、画面に関する表示情報を取得する。
物体移動情報算出部24は、上述のステップST4においてタッチパネル移動情報取得部21から取得したタッチパネル移動情報に基づいて、ディスプレイ3による表示画面が移動していると判定する。次に、上述のステップST5において、物体移動情報算出部24は、タッチ座標取得部22が取得したタッチ座標と、タッチパネル移動情報取得部21が取得したタッチパネル移動情報と、に基づいて、タッチ座標の変化量のベクトル(ΔL,ΔL)と、タッチパネル40の巻き取り量のベクトル(0,−ΔL)との和である合成移動量のベクトル(ΔL,ΔL−ΔL)を、物体移動情報として算出する。当該物体移動情報として算出される合成移動量のベクトル(ΔL,ΔL−ΔL)は、実際のスワイプ操作の移動量である。
指示判定装置2は、以上の各工程を一定時間ごとに繰り返し行うことにより、各期間の合成移動量のベクトル(ΔL,ΔL−ΔL)を取得する。そして、物体移動情報算出部24は、各期間の合成移動量のベクトル(ΔL,ΔL−ΔL)の総和(L,L−L)を算出する。次に、ステップST6において、タッチ座標補正部25は、タッチ座標取得部22が取得したタッチ座標を、物体移動情報算出部24が算出した実際のスワイプ操作の各期間における合成移動量のベクトルの総和(L,L−L)に基づいて補正する。
次に、指示内容判定部26は、ステップST7において、タッチ座標補正部25が補正した後のタッチ座標と、表示情報取得部23が取得した表示情報とに基づいて、タッチ座標変化量(L,L−L)のスワイプを、タッチ操作の指示内容として判定する。次に、ステップST8において、タッチ操作応答部27は、指示内容判定部26が判定した指示内容に応じた画面として、表示内容が、タッチ座標変化量(L,L−L)分、移動する画面をディスプレイ3が表示するようにディスプレイ3に命令する。
次に、実施の形態1に係る指示判定装置2による指示判定方法の第5の具体例について図面を参照して説明する。図10は、指示判定装置2による指示判定方法の第5の具体例を説明するための図である。図10が示すユーザによるタッチ操作は、ユーザが画面の移動方向と同じ方向に指を移動させたスワイプ操作である。なお、以降の具体例の説明においても、上述の巻き取り可能なタッチパネル40を用いて説明する。また、当該具体例におけるタッチ操作は、スワイプ操作の代わりに、ドラッグ操作であってもよい。
図10が示すように、タッチパネル40は巻き取り速度V10で移動しており、ユーザは、タッチパネル40をスワイプ操作している。タッチパネル移動検出部6は、駆動制御部5から、タッチパネル40が巻き取り速度V10で巻き取られることにより移動していることを検出することによりタッチパネル移動情報を取得する。なお、本具体例では、ユーザが空間内で行った実際のスワイプ操作の移動速度V12の絶対値は、巻き取り速度V10の絶対値よりも大きいものとする。
タッチパネル移動情報取得部21は、上述のステップST1において、タッチパネル移動検出部6から当該タッチパネル移動情報を取得し、物体移動情報算出部24に出力する。タッチセンサ4は、タッチパネル40の移動によって短縮されたスワイプ操作に対応するタッチ座標を取得する。したがって、タッチセンサ4が検出したタッチ座標に基づくタッチ座標位置の移動速度V11の絶対値は、ユーザが空間内で行った実際のスワイプ操作の移動速度V12の絶対値よりも小さい。タッチ座標取得部22は、上述のステップST2において、タッチセンサ4から当該タッチ座標を取得し、物体移動情報算出部24に出力する。表示情報取得部23は、上述のステップST3において、記憶部7から、タッチパネル40に表示された表示内容に関する表示情報を取得する。
物体移動情報算出部24は、上述のステップST4においてタッチパネル移動情報取得部21から取得したタッチパネル移動情報に基づいて、タッチパネル40が移動していると判定する。次に、上述のステップST5において、物体移動情報算出部24は、タッチ座標取得部22が取得したタッチ座標と、タッチパネル移動情報取得部21が取得したタッチパネル移動情報と、に基づいて、タッチ座標位置の移動速度V11と、タッチパネル40の巻き取り速度V10との合成速度の絶対値及び当該合成速度の方向を、物体移動情報として算出する。物体移動情報として算出される合成速度は、実際のスワイプ操作の移動速度V12である。したがって、以下、タッチ座標位置の移動速度V11とタッチパネル40の巻き取り速度V10との合成速度についても「合成速度V12」表記する。物体移動情報算出部24は、例えば、タッチ座標位置の移動速度V11のベクトルと、タッチパネル40の巻き取り速度V10のベクトルとの和を算出することにより、合成速度V11の絶対値及び合成速度V11の移動方向を算出することができる。
当該具体例では、タッチ座標位置の移動速度V11と、タッチパネル40の巻き取り速度V10とは、互いに平行でかつ互いに同一の方向を向いている。したがって、当該合成速度V12の絶対値は、タッチ座標位置の移動速度V11とタッチパネル40の巻き取り速度V10との和の絶対値である。また、当該合成速度V12の移動方向は、検出されたスワイプ操作の移動速度V10の移動方向と、巻き取り速度V11の移動方向と同じ図10に向かって下方向である。
次に、ステップST6において、タッチ座標補正部25は、タッチ座標取得部22が取得したタッチ座標を、物体移動情報算出部24が算出した実際のスワイプ操作の移動速度に基づいて補正する。次に、指示内容判定部26は、ステップST7において、タッチ座標補正部25が補正した後のタッチ座標と、表示情報取得部23が取得した表示情報とに基づいて、移動速度V12の図8に向かって下方向のスワイプを、タッチ操作の指示内容として判定する。次に、ステップST8において、タッチ操作応答部27は、指示内容判定部26が判定した指示内容に応じた画面として、表示内容が移動速度V12で図8における下方向に移動する画面をディスプレイ3が表示するようにディスプレイ3に命令する。
以上のように、実施の形態1に係る指示判定装置2は、駆動機構により移動可能なタッチパネル1に対する操作物体によるタッチ操作によって指示された指示内容を判定する、指示判定装置2であって、タッチパネル1が検出したタッチ座標を取得するタッチ座標取得部22と、駆動機構によるタッチパネル1の移動に関するタッチパネル移動情報を取得するタッチパネル移動情報取得部21と、タッチ座標取得部22が取得したタッチ座標と、タッチパネル移動情報取得部21が取得したタッチパネル移動情報とに基づいて、タッチ操作が行われた際の操作物体の移動に関する物体移動情報を算出する物体移動情報算出部24と、物体移動情報算出部24が算出した物体移動情報に基づいて、タッチ座標取得部22が取得したタッチ座標を補正するタッチ座標補正部25と、タッチ座標補正部25が補正したタッチ座標に基づいて、指示内容を判定する指示内容判定部26と、を備えている。
上記の構成によれば、タッチ座標とタッチパネル移動情報とに基づいて、タッチ操作が行われた際の操作物体の移動に関する物体移動情報を算出する。これにより算出された物体移動情報は、タッチ座標位置の移動とタッチパネル1の移動とが反映されることにより、ユーザが本来意図したタッチ操作に関する情報を示す。よって、物体移動情報に基づいて、タッチ座標を補正することにより、ユーザが本来意図したタッチ操作を検出できる。また、補正後のタッチ座標に基づいて、タッチ操作の指示内容を判定することにより、ユーザが本来意図したタッチ操作の指示内容を適切に判定することができる。
また、実施の形態1に係る指示判定装置2は、タッチパネル1に表示された表示内容に関する表示情報を取得する表示情報取得部23をさらに備え、指示内容判定部26は、タッチ座標補正部25が補正したタッチ座標と、表示情報取得部23が取得した表示情報とに基づいて、指示内容を判定する。
上記の構成によれば、補正後のタッチ座標と、表示情報とに基づいて、タッチ操作の指示内容を判定することにより、ユーザが本来意図したタッチ操作の指示内容を適切に判定することができる。
また、実施の形態1に係る指示判定装置2は、指示内容判定部26が判定した指示内容に基づいて、タッチ操作に対する応答を行うタッチ操作応答部27をさらに備えている。
上記の構成によれば、ユーザが本来意図したタッチ操作の指示内容に応じた応答を行うことができる。
また、実施の形態1に係る指示判定装置2は、物体移動情報算出部24は、タッチ座標から算出されるタッチ座標位置の移動速度と、タッチパネル移動情報が示すタッチパネル1の移動速度との合成速度を、物体移動情報として算出する。
上記の構成によれば、算出された合成速度は、タッチ座標位置の移動速度とタッチパネル1の移動速度とが反映されることにより、ユーザが本来意図したタッチ操作の移動速度を示す。よって、当該合成速度に基づいて、タッチ座標を補正することにより、ユーザが本来意図したタッチ操作を検出できる。
また、実施の形態1に係る指示判定装置2は、物体移動情報算出部24は、算出した合成速度が所定の閾値以下である場合、当該合成速度を0とする。
上記の構成によれば、当該0の合成速度に基づいて、タッチ座標を補正し、当該補正後のタッチ座標に基づいて、ユーザによるタッチ操作がクリック等の一時的な画面のタッチを意図していることをタッチ操作の指示内容として判定することができる。
また、実施の形態1に係る指示判定装置2は、指示内容判定部26は、物体移動情報算出部24が算出した合成速度が0である場合、タッチ操作が誤操作であると判定する。
上記の構成によれば、算出した合成速度が0である場合、ユーザによるタッチ操作が誤操作であると判定できる。
また、実施の形態1に係る指示判定装置2は、物体移動情報算出部24は、タッチ座標位置の移動速度の方向と、タッチパネル1の移動速度の方向とが、互いに平行でかつ互いに異なる方向の場合、タッチ座標位置の移動速度とタッチパネル1の移動速度のうち、移動速度の絶対値が大きい方の移動速度の絶対値から小さい方の移動速度の絶対値を減算した差を合成速度の絶対値として算出し、当該移動速度の絶対値が大きい方の移動速度の方向を、合成速度の方向とする。
上記の構成によれば、タッチ座標位置の移動速度の方向と、タッチパネル1の移動速度の方向とが、互いに平行でかつ互いに異なる方向の場合に、複雑なベクトルの演算を行わずに、タッチ座標位置の移動速度と、タッチパネル1の移動速度との合成速度を算出できる。
また、実施の形態1に係る指示判定装置2は、物体移動情報算出部24は、タッチ座標位置の移動速度の方向と、タッチパネル1の移動速度の方向とが、互いに平行でかつ互いに同じ方向の場合、タッチ座標位置の移動速度の絶対値とタッチパネル1の移動速度の絶対値との和を合成速度の絶対値として算出し、タッチ座標位置の移動速度の方向とタッチパネル1の移動速度の方向のうち、いずれかの移動速度の方向を合成速度の方向とする。
上記の構成によれば、タッチ座標位置の移動速度の方向と、タッチパネル1の移動速度の方向とが、互いに平行でかつ互いに同じ方向の場合に、複雑なベクトルの演算を行わずに、タッチ座標位置の移動速度と、タッチパネル1の移動速度との合成速度を算出できる。
また、実施の形態1に係る指示判定装置2は、物体移動情報算出部24は、タッチ座標位置の移動速度を示すベクトルと、タッチパネル移動情報が示すタッチパネルの移動速度を示すベクトルとの合成ベクトルを、物体移動情報として算出する。
上記の構成によれば、ベクトルを用いることにより、任意の方向のタッチ座標位置の移動速度と、任意の方向のタッチパネルの移動速度との合成速度を算出できる。
また、実施の形態1に係る指示判定装置2は、物体移動情報算出部24は、物体移動情報算出部24は、タッチ座標から算出されるタッチ座標の変化量と、タッチパネル移動情報が示すタッチパネルの移動量との合成移動量を、物体移動情報としてさらに算出する。
上記の構成によれば、算出された合成移動量は、タッチ座標位置の移動量とタッチパネル1の移動量とが反映されることにより、ユーザが意図したタッチ操作の移動量を示す。よって、当該合成移動量に基づいて、タッチ座標を補正することにより、ユーザが意図したタッチ操作を検出できる。
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
この発明に係る指示判定装置は、駆動機構によるタッチパネルの移動中にユーザがタッチパネルに対するタッチ操作を行った場合でも、ユーザの本来意図したタッチ操作を検出できるため、タッチパネルに対するタッチ操作によって指示される指示内容を判定する指示判定装置に利用可能である。
1 タッチパネル、2 指示判定装置、3 ディスプレイ、4 タッチセンサ、5 駆動制御部、6 タッチパネル移動検出部、7 記憶部、21 タッチパネル移動情報取得部、22 タッチ座標取得部、23 表示情報取得部、24 物体移動情報算出部、25 タッチ座標補正部、26 指示内容判定部、27 タッチ操作応答部、30 タッチパネル、31 駆動機構、32 ダッシュボード開口部、40 タッチパネル、41 駆動機構、100 処理回路、101 記憶装置、102 駆動制御装置、103 タッチパネル移動検出装置、104 画面表示装置、105 タッチ座標検出装置、110 プロセッサ、111 メモリ。

Claims (12)

  1. 駆動機構により移動可能なタッチパネルに対する操作物体によるタッチ操作によって指示された指示内容を判定する、指示判定装置であって、
    前記タッチパネルが検出したタッチ座標を取得するタッチ座標取得部と、
    前記駆動機構による前記タッチパネルの移動に関するタッチパネル移動情報を取得するタッチパネル移動情報取得部と、
    前記タッチ座標取得部が取得したタッチ座標と、前記タッチパネル移動情報取得部が取得したタッチパネル移動情報とに基づいて、前記タッチ操作が行われた際の前記操作物体の移動に関する物体移動情報を算出する物体移動情報算出部と、
    前記物体移動情報算出部が算出した物体移動情報に基づいて、前記タッチ座標取得部が取得したタッチ座標を補正するタッチ座標補正部と、
    前記タッチ座標補正部が補正したタッチ座標に基づいて、前記指示内容を判定する指示内容判定部と、
    を備えていることを特徴とする、指示判定装置。
  2. 前記タッチパネルに表示された表示内容に関する表示情報を取得する表示情報取得部をさらに備え、
    前記指示内容判定部は、前記タッチ座標補正部が補正したタッチ座標と、前記表示情報取得部が取得した表示情報とに基づいて、前記指示内容を判定することを特徴とする、請求項1に記載の指示判定装置。
  3. 前記指示内容判定部が判定した指示内容に基づいて、前記タッチ操作に対する応答を行うタッチ操作応答部をさらに備えていることを特徴とする、請求項1に記載の指示判定装置。
  4. 前記物体移動情報算出部は、前記タッチ座標から算出されるタッチ座標位置の移動速度と、前記タッチパネル移動情報が示すタッチパネルの移動速度との合成速度を、前記物体移動情報として算出することを特徴とする、請求項1に記載の指示判定装置。
  5. 前記物体移動情報算出部は、算出した合成速度が所定の閾値以下である場合、当該合成速度を0とすることを特徴とする、請求項4に記載の指示判定装置。
  6. 前記指示内容判定部は、前記物体移動情報算出部が算出した合成速度が0である場合、前記タッチ操作が誤操作であると判定することを特徴とする、請求項4に記載の指示判定装置。
  7. 前記物体移動情報算出部は、前記タッチ座標位置の移動速度の方向と、前記タッチパネルの移動速度の方向とが、互いに平行でかつ互いに異なる方向の場合、前記タッチ座標位置の移動速度と前記タッチパネルの移動速度のうち、移動速度の絶対値が大きい方の移動速度の絶対値から小さい方の移動速度の絶対値を減算した差を合成速度の絶対値として算出し、当該移動速度の絶対値が大きい方の移動速度の方向を、前記合成速度の方向とすることを特徴とする、請求項4に記載の指示判定装置。
  8. 前記物体移動情報算出部は、前記タッチ座標位置の移動速度の方向と、前記タッチパネルの移動速度の方向とが、互いに平行でかつ互いに同じ方向の場合、前記タッチ座標位置の移動速度の絶対値と前記タッチパネルの移動速度の絶対値との和を合成速度の絶対値として算出し、前記タッチ座標位置の移動速度の方向と前記タッチパネルの移動速度の方向のうち、いずれかの移動速度の方向を前記合成速度の方向とすることを特徴とする、請求項4に記載の指示判定装置。
  9. 前記物体移動情報算出部は、前記タッチ座標位置の移動速度を示すベクトルと、前記タッチパネル移動情報が示すタッチパネルの移動速度を示すベクトルとの合成ベクトルを、前記物体移動情報として算出することを特徴とする、請求項4に記載の指示判定装置。
  10. 前記物体移動情報算出部は、前記タッチ座標から算出されるタッチ座標の変化量と、前記タッチパネル移動情報が示すタッチパネルの移動量との合成移動量を、前記物体移動情報としてさらに算出することを特徴とする、請求項4に記載の指示判定装置。
  11. 請求項1から請求項10の何れか1項に記載の指示判定装置と、
    前記駆動機構と、
    前記タッチ座標を検出するタッチセンサと、
    を備えていることを特徴とする、車載機器。
  12. 駆動機構により移動可能なタッチパネルに対する操作物体によるタッチ操作によって指示された指示内容を判定する、指示判定方法であって、
    前記タッチパネルが検出したタッチ座標を取得するタッチ座標取得工程と、
    前記駆動機構による前記タッチパネルの移動に関するタッチパネル移動情報を取得するタッチパネル移動情報取得工程と、
    前記タッチ座標取得工程で取得したタッチ座標と、前記タッチパネル移動情報取得工程で取得したタッチパネル移動情報とに基づいて、前記タッチ操作が行われた際の前記操作物体の移動に関する物体移動情報を算出する物体移動情報算出工程と、
    前記物体移動情報算出工程で算出した物体移動情報に基づいて、前記タッチ座標取得工程で取得したタッチ座標を補正するタッチ座標補正工程と、
    前記タッチ座標補正工程で補正したタッチ座標に基づいて、前記指示内容を判定する指示内容判定工程と、
    を含むことを特徴とする、指示判定方法。
JP2021511038A 2019-04-04 2019-04-04 指示判定装置、車載機器、及び指示判定方法 Active JP6890743B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/014989 WO2020202536A1 (ja) 2019-04-04 2019-04-04 指示判定装置、車載機器、及び指示判定方法

Publications (2)

Publication Number Publication Date
JP6890743B2 true JP6890743B2 (ja) 2021-06-18
JPWO2020202536A1 JPWO2020202536A1 (ja) 2021-09-13

Family

ID=72667329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021511038A Active JP6890743B2 (ja) 2019-04-04 2019-04-04 指示判定装置、車載機器、及び指示判定方法

Country Status (2)

Country Link
JP (1) JP6890743B2 (ja)
WO (1) WO2020202536A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116540862B (zh) * 2022-01-26 2023-12-01 荣耀终端有限公司 触控操作响应方法和电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09160720A (ja) * 1995-12-05 1997-06-20 Mitsubishi Electric Corp タッチ操作装置
JP2011048584A (ja) * 2009-08-26 2011-03-10 Tdk Corp タッチパネルディスプレイ装置
JP2012181703A (ja) * 2011-03-01 2012-09-20 Fujitsu Ten Ltd 表示装置
JP2012221359A (ja) * 2011-04-12 2012-11-12 Sharp Corp 情報処理装置、その制御用プログラム、および、情報処理方法
JP6644500B2 (ja) * 2015-08-25 2020-02-12 アルパイン株式会社 車載装置

Also Published As

Publication number Publication date
JPWO2020202536A1 (ja) 2021-09-13
WO2020202536A1 (ja) 2020-10-08

Similar Documents

Publication Publication Date Title
JP4966764B2 (ja) タッチパネル表示装置およびタッチパネル制御方法
EP2812773B1 (en) Portable device and method for controlling the same
EP2339442B1 (en) Operation direction determination apparatus, remote operating system, operation direction determination method and program
US8411033B2 (en) Information input device and method and medium for inputting information in 3D space
EP2631767B1 (en) Method, computer readable medium and portable apparatus for scrolling a screen in a touch screen display apparatus
JP4686886B2 (ja) 情報処理装置
US20080165154A1 (en) Apparatus and method for controlling touch sensitivity of touch screen panel and touch screen display using the same
CN107636590B (zh) 用于电子装置上所执行的游戏的介质、服务器、装置和方法
US20120299848A1 (en) Information processing device, display control method, and program
WO2014061626A1 (ja) タッチパネル式入力装置、その制御方法、および、プログラム
KR101380997B1 (ko) 공간 인식을 통한 벡터 기반 제스처를 보정하는 방법 및 그 장치
KR102140811B1 (ko) 디바이스의 사용자 인터페이스 제공 방법 및 그 디바이스
EP2465023B1 (en) System and method for moving a cursor on a screen
EP2619649B1 (en) Display device, control method and program thereof
JP6890743B2 (ja) 指示判定装置、車載機器、及び指示判定方法
US9645666B2 (en) Display device with touch panel attached
KR20140103584A (ko) 전자 기기, 이의 동작 방법 및 프로그램을 기록한 컴퓨터로 판독 가능한 매체
JP6024250B2 (ja) 補正装置、補正プログラム、及び補正方法
US20120326978A1 (en) Cursor control apparatus, cursor control method, and storage medium for storing cursor control program
JP2010211264A (ja) 座標入力装置
US8860695B2 (en) Optical touch system and electronic apparatus including the same
US9927917B2 (en) Model-based touch event location adjustment
JP6014420B2 (ja) 操作制御装置、操作制御方法、および、操作制御装置用プログラム
CN111886567B (zh) 操作输入装置、操作输入方法及计算机可读的记录介质
JP6149555B2 (ja) タッチパネル装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210315

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210315

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210525

R150 Certificate of patent or registration of utility model

Ref document number: 6890743

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150