JP5610644B2 - 入力装置、入力支援方法及びプログラム - Google Patents

入力装置、入力支援方法及びプログラム Download PDF

Info

Publication number
JP5610644B2
JP5610644B2 JP2012141277A JP2012141277A JP5610644B2 JP 5610644 B2 JP5610644 B2 JP 5610644B2 JP 2012141277 A JP2012141277 A JP 2012141277A JP 2012141277 A JP2012141277 A JP 2012141277A JP 5610644 B2 JP5610644 B2 JP 5610644B2
Authority
JP
Japan
Prior art keywords
proximity
touch
screen
detection signal
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012141277A
Other languages
English (en)
Other versions
JP2013242836A (ja
Inventor
中尾 雅俊
雅俊 中尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2012141277A priority Critical patent/JP5610644B2/ja
Priority to PCT/JP2013/001679 priority patent/WO2013161162A1/ja
Priority to US14/234,470 priority patent/US10261630B2/en
Publication of JP2013242836A publication Critical patent/JP2013242836A/ja
Application granted granted Critical
Publication of JP5610644B2 publication Critical patent/JP5610644B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、タッチパネルを介して入力操作を受け付ける入力装置、入力支援方法及びプログラムに関する。
近年、タッチパネルを搭載した電子機器が増えている。ユーザにとって直感的な操作が可能なタッチパネルは、携帯電話機を含む電子機器の入力操作を受け付けるデバイスとして、広く用いられている。タッチパネルは、電子機器に設けられた表示部(例えばLCD(Liquid Crystal Display)又は有機EL(Electroluminescence)ディスプレイ)の画面に対する入力操作の受け付けと、電子機器の処理結果の表示処理とを同一の画面内において行うことを可能にする。
また、指の近接を検知可能なタッチパネルが知られている(例えば特許文献1参照)。このタッチパネルは、タッチパネルから所定の高さほど離間した位置に指が翳された状態、即ち、指とタッチパネルとの近接状態を検知可能であり、指とタッチパネルとの間の距離により定まる静電容量を基に、指をタッチパネルに対して略平行にスライド操作させたことを、指をタッチパネルに直接触れてスライド操作させた場合と同様に検知できる。このため、指の近接を検知可能なタッチパネルは、新たなユーザインタフェースとしての確立が期待されている。
特許文献1の非接触型ユーザ入力装置は、複数の線状の送信電極と、各送信電極に送信用の交流電流を供給する発信器と、各送信電極とは接触しないように配置された複数の線状の受信電極と、受信電極を流れる交流電流を受信する受信器とを含む。送信電極と受信電極との各交差点では、コンデンサが形成され、また、ユーザの指先の近接に応じてコンデンサが形成されるので、指先の近接程度に応じてコンデンサの静電容量が変化する。非接触型ユーザ入力装置は、静電容量の変化を基に、タッチパネルと指との距離を認識できる。
特開2002−342033号公報
しかしながら、ユーザが指をタッチパネルから離間した空間上の位置に翳す場合、又はその位置に翳してからタッチパネルに対して略平行移動若しくはタッチする場合に、従来の入力装置はユーザの意図に反した操作を検知することがあった。つまり、従来の入力装置では、ユーザの意図に反した操作が検知されることがあったため、ユーザが意図した操作内容と異なった誤操作が生じることがあり、ユーザは快適な操作性を享受することが困難となる場合があった。
本発明は、上述した従来の事情に鑑みてなされたものであり、ユーザの意図に反した操作の検知を効果的に防ぎ、誤操作を低減して快適な操作性を享受する入力装置、入力支援方法及びプログラムを提供することを目的とする。
本発明は、画面にデータを表示する表示部と、前記画面に対する指等の指示媒体の接触を含まない近接を検知して近接検知信号を出力する近接検知部と、前記近接検知部からの出力によって、前記指示媒体により前記近接を維持した状態での所定の移動操作が行われたと判断した場合、前記所定の移動操作により前記近接検知部から出力される前記近接検知信号に対して有効操作としての処理を行い、前記近接を維持した状態で前記所定の移動操作に続いて行われる再度の前記近接を維持した状態での所定の移動操作により前記近接検知部から出力される前記近接検知信号に対して有効操作と戻り操作とを判定し、前記戻り操作と判定した近接検知信号を無効化する制御部と、を備える入力装置である。
また、本発明は、前記画面に対する指等の指示媒体の接触を含まない近接を検知して近接検知信号を出力するステップと、前記出力によって、前記指示媒体により前記近接を維持した状態での所定の移動操作が行われたと判断するステップと、前記所定の移動操作により出力される前記近接検知信号に対して有効操作としての処理を行い、前記近接を維持した状態で前記所定の移動操作に続いて行われる再度の前記近接を維持した状態での所定の移動操作により出力される前記近接検知信号に対して有効操作と戻り操作とを判定するステップと、前記判定された前記戻り操作に対応する近接検知信号を無効化するステップと、を有する。
また、本発明は、画面にデータを表示する表示部を含む入力装置であるコンピュータに、
前記画面に対する指等の指示媒体の接触を含まない近接を検知して近接検知信号を出力するステップと、前記出力によって、前記指示媒体により前記近接を維持した状態での所定の移動操作が行われたと判断するステップと、前記所定の移動操作により出力される前記近接検知信号に対して有効操作としての処理を行い、前記近接を維持した状態で前記所定の移動操作に続いて行われる再度の前記近接を維持した状態での所定の移動操作により出力される前記近接検知信号に対して有効操作と戻り操作とを判定するステップと、前記判定された前記戻り操作に対応する近接検知信号を無効化するステップと、を実現させるためのプログラムである。
この構成によれば、タッチパネルに対して入力されたユーザからの連続移動操作に応じて、連続移動操作における有効信号と戻り信号とを適正に区別して、戻り信号を無効化することでユーザの誤操作を低減させることができる。
本発明によれば、タッチパネルに対して入力されたユーザからの連続移動操作に応じて、連続移動操作における有効信号と戻り信号とを適正に区別して、戻り信号を無効化することでユーザの誤操作を低減させることができる。
各実施形態における携帯端末のハードウェア構成を示すブロック図 第1の実施形態の携帯端末1の機能的構成を示すブロック図 有効操作の判定に用いられるテーブル87の内容の一例を示す図 (A)、(B)連続したホバースライド操作における有効操作と戻り操作とを示す図 指の高さの判定方法を示す図、(A)座標の経時変化を示すグラフ、(B)指の高さの経時変化を示すグラフ、(C)ホバー信号強度(実測値)の経時変化を示すグラフ 指の移動速度の判定方法を示す図、(A)座標の経時変化を示すグラフ、(B)指の移動速度の経時変化を示すグラフ 第1の実施形態の携帯端末における連続したホバースライド操作のうち有効操作の判定手順を説明するフローチャート 第2の実施形態の携帯端末の機能的構成を示すブロック図 (A)、(B)連続したホバースライド操作中における誤タッチを示す図 第2の実施形態の携帯端末におけるホバー連続スライド操作のうち有効操作の判定手順を説明するフローチャート 人差し指を往復させるようなホバースライド操作が周期的に行われている場合に、誤タッチを判断するための具体例を示す説明図 第3の実施形態の携帯端末の機能的構成を示すブロック図 (A)タッチ操作とフリック操作との違いを示す図、(B)タッチ操作とフリック操作とにおけるx座標値、y座標値、z座標値の違いを示す図 第3の実施形態の携帯端末におけるフリック操作とタッチ操作との判定手順を説明するフローチャート (A)無意識の接触行為による誤検知を示す図、(B)及び(C)ボタンに対する意図的なタッチ操作時に検知された近接検知信号の検知範囲の一例を示す図、(D)ボタンに対する無意識の接触行為時に検知された近接検知信号の検知範囲の一例を示す図 (A)意図的なタッチ操作と意図的なタッチ操作時に検知された近接検知信号の分布の広がりのイメージを示す図、(B)無意識の接触行為と無意識の接触行為時に検知された近接検知信号の分布の広がりのイメージを示す図 (A)人差し指68aの最下端のボタンBT4に対するタッチ操作を示す図、(B)(A)に示すタッチ操作時に検知された近接検知信号の検知範囲の広がりの一例を示す図 (A)片手操作又は両手操作の場合における意図的なタッチ操作時に検知された近接検知信号の分布の広がりのイメージを示す図、(B)無意識の接触時に検知された近接検知信号の分布の広がりのイメージを示す図、(C)付け爪が付された人差し指によるタッチ操作時に検知された近接検知信号がボタンの前方向に広がる様子を示す図 第4の実施形態の携帯端末におけるボタンに対する意図的なタッチ操作と無意識のタッチ接触との判定手順を説明するフローチャート 第5の実施形態の二画面携帯端末の機能的構成を示すブロック図 (A)第5の実施形態の二画面携帯端末を折り畳んで2つの画面表示部を対向状態にする様子を示す図、(B)前面タッチパネルに対するタッチ操作を有効と判定する様子を示す図、(C)画面表示部30Bに設けられた人差し指可動範囲に対する間接タッチ操作を有効と判定する様子を示す図 第5の実施形態の二画面携帯端末における動作手順を説明するフローチャート
以下、本発明に係る入力装置、入力支援方法及びプログラムの各実施形態について、図面を参照して説明する。本実施形態の入力装置は、データを画面に表示する表示部を含む電子機器であり、例えば携帯電話機、スマートフォン、タブレット端末、デジタルスチルカメラ、PDA(personal digital assistant)又は電子書籍端末である。以下、各実施形態の入力装置の一例として携帯端末(例えばスマートフォン)を用いて説明する。
なお、本発明は、装置としての入力装置、又は入力装置をコンピュータとして動作させるためのプログラムとして表現することも可能である。更に、本発明は、入力装置により実行される各動作(ステップ)を含む入力支援方法として表現することも可能である。即ち、本発明は、装置、方法及びプログラムのうちいずれのカテゴリーにおいても表現可能である。
また、以下の説明において、ユーザからのタッチ操作の受け付けが可能であって、入力装置の表示部(例えばLCD又は有機ELディスプレイ)の画面に表示されたアプリケーション毎のコンテンツの一部を選択可能とするための項目、又は選択によってコンテンツに対する所定の処理を起動可能とするための項目を「ボタン」と定義する。所定の処理とは、アプリケーションにおいて現在表示されているコンテンツに関連した内容を実行する処理(例えば映像データを再生する処理)である。
画面に表示されたユーザのアプリケーションに対する指示部分としての「ボタン」は、アプリケーションのコンテンツとして、例えばニュースの見出しが表示されている場合、ハイパーリンクされた文字列、即ち、ニュースの見出しでも良いし、ユーザの選択操作を促すための画像(例えばアイコン又はキーボードのソフトウェアキー)でも良いし、又は、文字列と画像との組合せでも良い。入力装置は、ユーザの入力操作に応じて、ボタンに対する操作として、例えばボタンに対応する「ニュースの見出し」の選択を受け付け、選択されたボタンに対応するニュースの詳細を表示することができる。なお、「ボタン」は入力装置において起動しているアプリケーションに応じて定められる。
また、タッチパネル上の水平面を表す2軸をx軸及びy軸とし、タッチパネルの鉛直方向(高さ方向)を表す軸をz軸とする。更に、以下の説明において、「座標」は、タッチパネルの水平面上の位置、即ちx座標及びy座標の組合せにより定まる座標(x、y)と、この座標(x、y)とタッチパネルと指との間の鉛直方向における距離、即ち、タッチパネルからの指の高さzとを用いた座標(x、y、z)との両方を含むとする。
なお、以下の説明において、タッチパネルへの指示媒体としては、一例としてユーザの指(例えば人差し指。以下同様)を用いて説明するが、指に限らず、ユーザの手により把持された導電性のスタイラスを用いてもよい。また、指示媒体は、タッチパネルの構造及び検知方式に応じて、タッチパネルへの近接及びタッチが検出可能なものであれば特に限定されない。
更に、以下の説明において、指をタッチパネルの面上から離間した空間上の位置に翳す操作を「ホバー操作」と定義し、ホバー操作によって翳された空間上の位置からタッチパネルの面に対して略平行にスライド(移動)する操作を、「ホバースライド操作」と定義する。従って、指がタッチパネルの面上に直接タッチする操作は「ホバー操作」ではなく、「タッチ操作」となる。また、タッチ操作において、指をタッチパネルの面上に接触させた状態においてスライド(移動)する操作を、「タッチスライド操作」と定義する。
なお、ホバー操作又はホバースライド操作が検知されるためには、指とタッチパネルの面上との距離は、タッチパネルが検出する静電容量に反比例するため、タッチパネルが検出可能な静電容量の範囲に対応することが好ましい。
(各実施形態に共通する携帯端末のハードウェア構成)
図1は、各実施形態における携帯端末1,1Aのハードウェア構成を示すブロック図である。図1に示す携帯端末1,1Aは、プロセッサ11、表示部13、タッチパネルドライバ14、タッチパネル15、電源制御部16、アンテナ17aが接続された通信制御部17、ROM(Read Only Memory)21、RAM(Random Access Memory)22及び記憶部23を含む。
プロセッサ11、表示部13、タッチパネルドライバ14、電源制御部16、通信制御部17、ROM21、RAM22及び記憶部23は、バス19を介して、相互にデータを入出力可能に接続されている。
プロセッサ11は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成され、携帯端末1,1Aの総括的な制御を行い、その他の種々の演算処理又は制御処理を行う。プロセッサ11は、ROM21に格納されたプログラム及びデータを読み込んで、後述の各実施形態における種々の処理を行う。
ROM21は、携帯端末1にインストールされているアプリケーション65(図2参照)、並びに、プロセッサ11が図2に示す各部における処理を実行するためのプログラム及びデータを格納している。また、ROM21には、後述するテーブル87(図17参照)が格納されている。
RAM22は、プロセッサ11、タッチパネルドライバ14又は通信制御部17の動作におけるワークメモリとして動作する。
記憶部23は、携帯端末1に内蔵されるハードディスク又はフラッシュメモリを用いて構成され、携帯端末1,1Aが取得したデータ又は生成したデータを格納する。なお、アプリケーション65(図2参照)は、記憶部23に格納される。記憶部23は、ハードディスク又はフラッシュメモリではなく、例えば、USB(Universal Serial Bus)端子を介して接続された外部記憶媒体(例えばUSBメモリ)を用いて構成されても良い。
表示部13は、画面を表示する機能を有し、例えばLCD又は有機ELディスプレイを用いて構成され、プロセッサ11又はタッチパネルドライバ14から出力されたデータを画面に表示する。
タッチパネルドライバ14は、タッチパネル15の動作を制御してタッチパネル15に対するユーザの入力操作を監視する。例えば、タッチパネルドライバ14は、タッチパネル15がユーザの指68(図3(A)参照)のタッチ操作若しくはタッチスライド操作による接触又はホバー操作若しくはホバースライド操作による近接を検知すると、接触座標(x、y)又は近接座標(x、y、z)を取得し、接触座標(x、y)又は近接座標(x、y、z)の情報をプロセッサ11、RAM22又は記憶部23に出力する。以下、接触座標(x、y)を「タッチ座標(x、y)」という。
タッチパネル15は、表示部13の画面45(図3(A)参照)の上に搭載され、ユーザの指68がタッチパネル15の水平面上をタッチ操作したこと又はタッチスライド操作したことを検知する。また、タッチパネル15は、ユーザの指68がホバー操作又はホバースライド操作によって指68がタッチパネル15に近接したことを検知する。
なお、タッチパネル15の具体的構成は、例えば上述した特許文献1に詳細に開示されているため説明を省略するが、タッチパネル15は、ホバー操作における指の高さzの値が所定値zth以下、又は指の高さzの値に応じて定まる静電容量が所定値以上となる場合に、指68がタッチパネル15に近接したことを検知する。
電源制御部16は、携帯端末1の電力供給源(例えばバッテリ)を用いて構成され、タッチパネル15への入力操作に応じて、携帯端末1の電源のオン状態又はオフ状態を切り替える。電源がオン状態の場合、電源制御部16は、電力供給源から図1に示す各部に電力を供給して携帯端末1を動作可能にさせる。
通信制御部17は、無線通信回路を用いて構成され、送受信用のアンテナ17aを介して、プロセッサ11により処理された処理結果としてのデータを送信し、更に、不図示の基地局又は他の通信端末から送信されたデータを受信する。また、図1では、本実施形態を含む各実施形態の説明に必要となる構成が図示されているが、各実施形態における携帯端末1,1Aは、通話音声を制御する音声制御部と、ユーザの声を集音するマイクロフォンと、更に通話相手の音声データを出力するスピーカとを更に含んでも良い。
(第1の実施形態の携帯端末1の機能的構成)
次に、第1の実施形態の携帯端末1の機能的構成について、図2を参照して説明する。図2は、第1の実施形態の携帯端末1の機能的構成を示すブロック図である。以下の説明において、連続移動操作とは、例えば直線軌道を有するホバースライド操作若しくはタッチスライド操作の繰り返し操作、又は、円軌道若しくは楕円軌道を有するホバースライド操作若しくはタッチスライド操作の繰り返し操作である。
従来の入力装置は、指の近接を検知可能なタッチパネルから離間させた空間上の位置において指の近接を検知した後に、指の連続的な直線軌道又は円軌道若しくは楕円軌道を有する連続移動操作を検知する場合、本来的には検知する必要が無い指の動き(軌跡)を検知することがあった。
具体的には、指がタッチパネルから離間した空間上の位置を起点に連続移動操作(例えば直線軌道を有するスライド操作の繰り返し操作)を行った場合、1回目のスライド操作の後、2回目のスライド操作を行うために指は元の位置に戻る。
ところが、指は起点の位置に戻る場合にタッチパネルから十分離間した空間上の位置を通過しないと、戻りのスライド操作によって検知された信号(例えば静電容量)が所定の近接検知用閾値(静電容量)を超えた場合に、戻りのスライド操作がタッチパネルにおいて検知される場合がある。このように、戻り操作がタッチパネルにおいて検知されると、携帯端末は、連続的なスライド操作の検知をできない場合があり、ユーザの意図しない処理を実行することとなってしまう。従って、指による連続移動操作がタッチパネルに対して行われる場合には、ユーザの入力操作の意図とは拘わりなく、誤操作が生じる可能性が高いと考えられる。
第1の実施形態では、携帯端末が連続したホバースライド操作を検知する際、ユーザの意図に沿った操作(有効操作)とユーザの意図に沿わない戻り操作とを適正に判定することで有効操作と戻り操作とを区別し、戻り操作の検知に応じて発生した戻り操作信号を無効化することで、ユーザの誤操作を低減させる例を説明する。
図2に示す携帯端末1は、近接検知部5、タッチ検知部10、画面表示部30、近接座標抽出部51、タッチ座標抽出部52、操作判定部56、アプリ画面生成部59、操作有効性判定部84及びアプリケーション65を含む。携帯端末1は、メモリ40(図2参照)を更に含む構成でも良い。また、本実施形態において、携帯端末1は、タッチ検知部10及びタッチ座標抽出部52を含まない構成としても良い。
近接検知部5は、ホバー操作又はホバースライド操作によってユーザの指がタッチパネル15に近接した状態を検知する。近接検知部5は、指がタッチパネル15に近接した旨の近接通知を近接座標抽出部51に出力する。
接触検知部としてのタッチ検知部10は、タッチ操作又はタッチスライド操作によって指がタッチパネル15にタッチした動作を検知する。タッチ検知部10は、指がタッチパネル15にタッチした旨の接触通知をタッチ座標抽出部52に出力する。なお、近接検知部5とタッチ検知部10とはタッチパネル15を用いて構成可能であり、図2では近接検知部5とタッチ検知部10とは別々の構成としているが、両者をタッチパネル15として一纏めに構成しても良い。
画面表示部30は、図1に示す表示部13に対応し、画面45にデータを表示する機能を有し、後述するアプリ画面生成部59から出力された画面データを画面45に表示する。画面データは、アプリケーション65の画面(以下、単に「アプリ画面」という)のデータである。
メモリ40は、図1に示すRAM22又は記憶部23に対応し、例えばアプリケーション65において用いられる画面のデータ及び画像データ、アプリケーション65によって生成された画像データ、不図示の基地局又は他の通信端末から受信された画像データ、並びにアプリケーション65において用いられるボタンの座標情報及びボタンに割り当てられたアプリケーション65の動作情報を格納する。
なお、メモリ40には、近接座標抽出部51により抽出された近接座標(x、y、z)又はタッチ座標抽出部52により抽出されたタッチ座標(x、y)の各情報が一時的に格納されても良い。図2では、図面の複雑化を避けるために、近接座標抽出部51及びタッチ座標抽出部52からメモリ40への矢印の図示を省略している。
近接座標抽出部51は、近接検知部5から出力された近接通知を基に、指のタッチパネル15に対する近接座標(x、y、z)を算出して抽出する。近接座標(x、y、z)のうち、x成分及びy成分はタッチパネル15上の位置を表す座標値であって、z成分は指とタッチパネル15との間の鉛直方向の距離、即ち、指のタッチパネル15に対する高さzを表す座標値である。近接座標抽出部51は、抽出された近接座標(x、y、z)の情報を操作判定部56に出力する。
タッチ座標抽出部52は、タッチ検知部10から出力された接触通知を基に、指がタッチパネル15に対してタッチしたときのタッチ座標(x、y)を算出して抽出する。タッチ座標抽出部52は、抽出されたタッチ座標(x、y)の情報を操作判定部56に出力する。
以下の説明では、操作判定部56により判定されたユーザの入力操作は、ホバー操作、ホバースライド操作、タッチ操作、タッチスライド操作、各操作の組み合わせ操作、又はホバースライド操作若しくはタッチスライド操作が繰り返された連続移動操作とするが、これらの操作に限定されない。
操作判定部56は、近接座標抽出部51から出力された近接座標(x、y、z)の情報、又はタッチ座標抽出部52から出力されたタッチ座標(x、y)の情報を入力する。
操作判定部56は、近接座標抽出部51から出力された近接座標(x、y、z)又はタッチ座標抽出部52から出力されたタッチ座標(x、y)の各情報を基に、ユーザの人差し指68aによってホバースライド操作又は連続したホバースライド操作が行われているか否かを判定する。
操作判定部56は、ユーザの人差し指68aによってホバースライド操作又は連続したホバースライド操作が行われていると判定した場合に、近接座標(x、y、z)の情報を含む有効性判定指示を操作有効性判定部84に出力する。
操作判定部56は、操作有効性判定部84から出力された操作判定結果情報をアプリケーション65に出力する。
操作有効性判定部84は、操作判定部56から出力された有効性判定指示を基に、ユーザの指68によるホバースライド操作又は連続したホバースライド操作において、指68のタッチパネル15(画面45)に対する高さを判定すると共に、指68の移動速度を判定する。
操作有効性判定部84は、判定された「高さ」又は「高さ及び移動速度」の各情報及び図3に示すテーブル87の内容を基に、指68の連続したホバースライド操作における有効操作と戻り操作とを判定し、判定結果を有効性判定結果情報として操作判定部56に出力する。
図3は、有効操作の判定に用いられるテーブル87の内容の一例を示す図である。テーブル87はROM21に格納されても記憶部23に格納されても良い。テーブル87は、有効操作と戻り操作とを判定するための条件とホバー信号(近接信号)の適用の可否とが示されている。図3の説明では、図4(A)及び(B)に示す連続したホバースライド操作において、有効操作時の指の高さの値がh1、有効操作時の指の移動速度がv1、戻り操作時の指の高さの値がh2、戻り操作時の指の移動速度がv2であるとする。
具体的には、連続したホバースライド操作に対して有効操作と戻り操作とを指の高さだけを基に判定する場合では、操作有効性判定部84は、指の高さの値がh2より低い値h1(<h2)である操作を有効操作と判定し、指の高さの値がh1より高い値h2(>h1)である操作を戻り操作と判定する。
また、連続したホバースライド操作に対して有効操作と戻り操作とを指の高さと移動速度とを基に判定する場合では、操作有効性判定部84は、指の高さの値がh1であって移動速度の値がv2より大きい値v1(>v2)である操作を有効操作と判定し、指の高さの値がh2であって移動速度の値がv1より小さい値v2(<v1)である操作を戻り操作と判定する。
また、操作判定部56は、操作有効性判定部84からの有効性判定結果情報を基に有効操作と判定した場合には、有効操作により検知されたホバー信号を検知したことを、アプリケーション65に通知して有効操作に応じたアプリケーション65の動作を実行させる。
一方、操作判定部56は、操作有効性判定部84からの有効性判定結果情報を基に戻り操作と判定した場合には、戻り操作により検知されたホバー信号を無効化して破棄する。この場合には、操作判定部56は、戻り操作により検知されたホバー信号を検知したことを、アプリケーション65に通知しない。
アプリ画面生成部59は、アプリケーション65から出力された画面生成指示を基に、メモリ40からアプリケーション65における画面の生成に必要となる各種データを取得する。アプリ画面生成部59は、取得された各種データを用いて、アプリケーション65におけるアプリ画面の画面データを生成する。アプリ画面生成部59は、生成された画面データの画面内容を画面表示部30に表示させる。
なお、図2では、アプリ画面生成部59とアプリケーション65とが別々の構成として示されているが、アプリケーション65がアプリ画面生成部59の機能を有することによって、アプリ画面生成部59とアプリケーション65とを一纏めにしたアプリケーション65として構成しても良い。
(第1の実施形態の動作概要)
図4(A)及び(B)は、連続したホバースライド操作における有効操作と戻り操作とを示す図である。図4(A)及び(B)に示すように、連続したホバースライド操作では、人指し指68aが画面45から離間した空間を複数回旋回する。
連続したホバースライド操作におけるユーザが意図した操作(有効操作)では、図4(B)に示す軌跡pに示すように、人差し指68aを画面45に近接させて同図の右方向から左方向にスライドする間、指の高さはh2より低い値h1となり、指の移動速度はv2より速い値v1となると考えられる。
一方、連続したホバースライド操作におけるユーザが意図しない操作(戻り操作)では、図4(B)に示す軌跡qに示すように、人差し指68aを画面45から離間させてホバースライド操作の元の位置に戻す間、指の高さはh1より高い値h2となり、指の移動速度はv1より遅い値v2となると考えられる。
操作有効性判定部84は、連続したホバースライド操作の有効性を判定する際、低い値h1と高い値h2との間に閾値hthを設定し、判定された人差し指68aの高さの値が閾値hthより小さい操作を有効操作と判定しても良い。又は、操作有効性判定部84は、判定された人差し指68aの高さの値がh1の±5%の範囲(±5%は例示)の値となる操作を有効操作と判定しても良い。
また、操作有効性判定部84は、連続したホバースライド操作の有効性を判定する際、指の移動速度が速い値v1と遅い値v2との間に閾値vthを設定し、判定された指の移動速度が閾値vthより大きい操作を有効操作と判定しても良い。又は、操作有効性判定部84は、判定された人差し指68aの移動速度がv1の±5%の範囲(±5%は例示)の値となる操作を有効操作と判定しても良い。
図5は、指の高さの判定方法を示す図である。図5(A)は、座標の経時変化を示すグラフである。図5(B)は、指の高さの経時変化を示すグラフである。図5(C)は、ホバー信号強度(実測値)の経時変化を示すグラフである。
連続したホバースライド操作が行われた場合、図5(A)に示すように、近接座標(x、y、z)に対応するタッチパネル15上のx座標、y座標は、時間の経過に応じてほぼ周期的に変化する。図5(A)において、点線枠j1,j2,j3でそれぞれ囲まれる部分は戻り操作に相当する。
連続したホバースライド操作が行われた場合、図5(B)に示すように、指の高さは、時間の経過に応じて、高い値h2と低い値h1の間を周期的に変化する。なお、図5(B)において、h1とh2とは例えば予め規定された値でも良いし、シミュレーション又は実測を基に定められた実験適正値でも良い。図5(B)において、点線枠j4,j5,j6でそれぞれ囲まれる部分は戻り操作に相当する。戻り操作に相当する部分では、指の高さはほぼh2に近い値となっている。
連続したホバースライド操作が行われた場合、図5(C)に示すように、ホバー信号強度は、時間の経過に応じて、ほぼ周期的に変化する。ホバー信号強度は、タッチパネル15と指との間の距離(高さ)に応じて定まる静電容量により表される。期間pr1,pr2,pr3では、ホバー信号強度が極端に小さくなっており、戻り操作に相当する。従って、ホバー信号強度は、有効操作に相当する部分で大きな値となり、戻り操作に相当する部分では、小さい値となる。携帯端末1は、図19(B)に示す指の高さを判定することで、連続したホバースライド操作における有効操作と戻り操作を適正に判定して区別することができる。
図6は、指の移動速度の判定方法を示す図である。図6(A)は、座標の経時変化を示すグラフである。図6(B)は、指の移動速度の経時変化を示すグラフである。
指の移動速度は、タッチパネル15が検知する近接座標(x、y、z)の単位時間における変化量、即ち、近接座標の微分値を基に判定される。図6(A)に示すように、近接座標(x、y、z)は、時間の経過に応じてほぼ周期的に変化する。図6(A)において、戻り操作に相当する部分(点線枠j1,j2,j3、即ち、期間pr4,pr5,pr6)では、ホバー座標(近接座標)は、期間pr1,pr2,pr3におけるホバー座標(近接座標)の変化に比べて緩やかに変化する。
図6(B)に示すように、期間pr4,pr5,pr6におけるホバー座標(近接座標)の単位時間における変化量、即ち、指の移動速度は、有効操作ではプラスの値v1となり、戻り操作ではマイナスの値v2となる。従って、図6(B)に示す期間pr1,pr2,pr3では有効操作が行われ、期間pr4,pr5,pr6では戻り操作が行われている。即ち、本実施形態では、期間pr4,pr5,pr6に検知された信号が無効化されて破棄される。
(第1の実施形態の携帯端末1の動作)
図7は、第1の実施形態の携帯端末1における連続したホバースライド操作のうち有効操作の判定手順を説明するフローチャートである。
図7において、操作判定部56は、近接座標抽出部51から出力された近接座標(x、y、z)の情報を基に、ユーザの人差し指68aによってホバースライド操作が行われているか否かを判定する(S41)。ホバースライド操作が行われていると判定された場合に、携帯端末1の動作はステップS42に進む。
なお、操作判定部56は、ユーザの人差し指68aによってホバースライド操作が行われていると判定した場合に、近接座標(x、y、z)の情報を含む有効性判定指示を操作有効性判定部84に出力する。
操作有効性判定部84は、操作判定部56から出力された有効性判定指示を基に、ユーザの指68によるホバースライド操作において、指68のタッチパネル15(画面45)に対する高さを判定すると共に、指68の移動速度を判定する。操作有効性判定部84は、判定された「高さ」又は「高さ及び移動速度」の各情報を操作判定部56に出力する。
操作判定部56は、操作有効性判定部84から出力されたホバースライド操作におけるホバースライド操作情報、即ち、人差し指68aの高さ及び指の移動速度の各情報をRAM22又はメモリ40に保持する(S42)。
ステップS42の後、操作判定部56は、ユーザの人差し指68aによって連続したホバースライド操作が行われているか否かを判定する(S43)。ユーザの人差し指68aによって連続したホバースライド操作が行われていないと判定された場合には、図7に示す携帯端末1の動作は終了する。
一方、ユーザの人差し指68aによって連続したホバースライド操作が行われていると判定された場合には(S43、YES)、操作判定部56は、近接座標(x、y、z)の情報を含む有効性判定指示を操作有効性判定部84に出力する。操作判定部56から出力された有効性判定指示を基に、ユーザの指68(図4(A)参照)による連続したホバースライド操作において、指68のタッチパネル15(画面45)に対する高さを判定すると共に、指68の移動速度を判定する。
操作有効性判定部84は、判定された「高さ」又は「高さ及び移動速度」の各情報とテーブル87とを基に、指68の連続したホバースライド操作における有効操作と戻り操作とを判定し、判定結果を有効性判定結果情報として操作判定部56に出力する(S44)。なお、操作有効性判定部84は、ホバースライド操作毎に「高さ」又は「高さ及び移動速度」を判定し、ホバースライド操作毎に有効操作であるか又は戻り操作であるかを判定する。
ホバースライド操作が戻り操作であると判定された場合には(S44、NO)、操作有効性判定部84は、戻り操作と判定されたホバースライド操作によって検知された信号(例えば静電容量)を無効化して破棄し、戻り操作と判定されたホバースライド操作によって検知された信号を破棄した旨を操作判定部56に出力する。この後、携帯端末1の動作はステップS43に戻る。
一方、操作有効性判定部84は、ホバースライド操作が有効操作であると判定した場合には(S44、YES)、有効操作と判定されたホバースライド操作によって検知された信号を有効信号として、ホバースライド操作が行われた旨の情報をアプリケーション65に通知する(S45)。アプリケーション65は、操作判定部56から出力された情報を基に、ホバースライド操作に応じた動作を実行する。この後、携帯端末1の動作は、ステップS43に戻る。
以上により、本実施形態の携帯端末1は、「指の高さ」又は「指の高さ及び移動速度」を基に連続したホバースライド操作における有効操作と戻り操作とを適正に判定でき、戻り操作によって検知された信号を無効化することで、連続したホバースライド操作におけるユーザの誤操作を低減させることができる
(第2の実施形態)
タッチパネルに対して上述した連続移動操作(例えば、直線的な軌跡を描く連続して周期的なホバースライド操作)を行う場合、指が誤ってタッチパネル(画面)に接触してしまう可能性がある。このような誤タッチされた位置にボタンが表示されていた場合には、連続移動操作が中断するだけではなく、ユーザの意図しない動作が実行されてしまうことになり、ユーザは快適な操作性を享受することが困難である。
第2の実施形態では、ユーザの人差し指68aによる連続したホバースライド操作において、人差し指68aが誤って画面45(タッチパネル15)に接触した場合に、誤って接触したことにより検知されたタッチ信号を無効化する例を説明する。
図8は、第2の実施形態の携帯端末1Aの機能的構成を示すブロック図である。図2に示す携帯端末1と同一の構成要素については同一の符号を付すことで説明を省略し、異なる内容について説明する。
図8に示す携帯端末1Aは、近接検知部5、タッチ検知部10、画面表示部30、近接座標抽出部51、タッチ座標抽出部52、ホバー操作判定部89、タッチ操作判定部88、操作有効性判定部84A及びアプリケーション65を含む。
図8に示す携帯端末1Aでは、ホバー操作判定部89は図2に示す操作判定部56と同様の構成を有すると共に、同様に動作するため、ホバー操作判定部89の説明は省略する。
タッチ操作判定部88は、タッチ座標抽出部52から出力されたタッチ座標(x、y)の情報を基に、ユーザの指によってタッチ操作又はタッチスライド操作が行われたか否かを判定する。タッチ操作判定部88は、タッチ操作又はタッチスライド操作が行われたと判定した場合に、タッチ座標(x、y)の情報と指のタッチパネル15(画面45)上の接触位置及び接触タイミングを求める旨の情報とを含むタッチ操作有効性判定指示を操作有効性判定部84Aに出力する。
タッチ操作判定部88は、後述する接触位置又は接触タイミングが後述する無効化条件に合致するか否かの判定結果情報をアプリケーション65に出力する。
操作有効性判定部84Aは、タッチ操作判定部88から出力された接触位置及び接触タイミングを算出し、算出された接触位置又は接触タイミングが後述する無効化条件に合致するか否かを判定する。無効化条件に合致すると、タッチ操作判定部88は、接触位置又は接触タイミングに対応するタッチ操作は誤操作のおそれがあるとして、そのタッチ操作によって検知された信号を無効化して破棄する。
操作有効性判定部84Aは、無効化条件に合致する又は合致しない旨の判定結果情報をタッチ操作判定部88に出力する。
(第2の実施形態の動作概要)
図9(A)及び(B)は、連続したホバースライド操作中における誤タッチを示す図である。図9(A)に示すように、人指し指68aをタッチパネル15(画面45)上の空間を近接状態においてタッチパネル15に対して略平行に旋回(ホバースライド操作)させている場合に(軌跡u参照)、誤って人差し指68aが位置w1において画面45に誤ってタッチすることがある。位置w1は、連続したホバースライド操作の軌跡uとなる通過点の位置である。
また、図9(B)に示すように、人指し指68aをタッチパネル15(画面45)上の空間を近接状態においてタッチパネル15に対して往復させるように旋回(ホバースライド操作)させている場合に(軌跡o参照)、誤って人差し指68aが位置w2において画面45に誤ってタッチすることがある。位置w2は、人差し指68aを往復させてホバースライド操作する場合に、人差し指68aの方向転換が行われる場所、例えば、ホバースライド操作の起点又は終点の近辺である。
図9(A)又は(B)に示すように、操作有効性判定部84Aは、算出した接触位置又は接触タイミングを基に、誤ってタッチ操作が行われたか否かを判定するための無効化条件として、次の3つの内容を基にして判定する。
第1の無効化条件は、「接触位置が連続したホバースライド操作の際に通過する軌跡上の位置である」ことである(図9(A)参照)。但し、第1の無効化条件では、指が連続したホバースライド操作を行っていれば良く、指の移動が往復するような軌跡を描かなくても良い。
第2の無効化条件は、「指を往復させるように周期的(例えば0.5秒周期)に行われるホバースライド操作中において、接触位置がホバースライド操作中の指の軌跡となる近接座標に対応するタッチパネル上の位置に略一致した」ことである。指を往復させるようにタッチパネルに対して周期的にホバースライド操作している場合には、ユーザが指をホバースライド操作中にうっかり画面(タッチパネル)にタッチしてしまうことがある。第2の無効化条件は、ユーザがホバースライド操作中に画面(タッチパネル)に誤ってタッチしたことを誤タッチと判断するための条件である。
第2の無効化条件の具体例を、図11を参照して説明する。図11は、人差し指68aを往復させるようなホバースライド操作が周期的に行われている場合に、誤タッチを判断するための具体例を示す説明図である。前提として、図11の紙面左下側に示す地図画像47上の地点A(100、200)から離間した空間上の位置(以下、「地点A上の空間位置」という)と、同地図画像47上の地点B(100、800)から離間した空間上の位置(以下、「地点B上の空間位置」という)との間を1.0秒毎に一往復するように、人差し指68aが周期的にホバースライド操作しているとする。
なお、地点Cは、地点A及び地点Bからそれぞれ離間した空間上の位置を通過するホバースライド操作において、人差し指68aがそのホバースライド操作中の軌跡となる近接座標に対応するタッチパネル15(画面45)上の位置に略一致する位置とする。
具体的には、人差し指68aのホバースライド操作中の通過位置(近接座標)に対応するタッチパネル15(画面45)上の位置は、例えばホバースライド操作の開始時からの経過時間が0.50秒では座標(100、200)の地点A上の空間位置であり、経過時間が0.75秒では座標(100、500)の地点C上の空間位置であり、経過時間が1.00秒では座標(100、800)の地点B上の空間位置であり、経過時間が1.25秒では座標(100、500)の地点C上の空間位置であり、経過時間が1.50秒では座標(100、200)の地点A上の空間位置であり、経過時間が1.75秒では座標(100、500)の地点C上の空間位置である。
ここで、例えばホバースライド操作の開始時からの経過時間が1.1秒後に、座標(100、710)の位置に人差し指68aがタッチした場合には、座標(100、710)の位置がホバースライド操作中の指の軌跡となる近接座標に対応するタッチパネル上の位置に略一致する。即ち、第2の無効化条件が成立することになり、携帯端末1Aは、座標(100、710)の位置に対するタッチを誤タッチと判断する。
一方、例えばホバースライド操作の開始時からの経過時間が1.1秒後に、座標(250、400)の位置に人差し指68aがタッチした場合には、座標(250、400)の位置がホバースライド操作中の指の軌跡となる近接座標に対応するタッチパネル上の位置に略一致しない。即ち、第2の無効化条件が成立しないことになる。この場合では、ホバースライド操作とは拘わりなく、ユーザの主体的な意図に沿ったタッチ操作が行われ、携帯端末1Aは、座標(250、400)の位置に対するタッチを誤タッチと判断せずに、座標(250、400)の位置に対するタッチに応じた動作を実行する。
第3の無効化条件は、「往復させるホバースライド操作において、接触位置が方向転換を行う近辺である」ことである(図9(B)参照)。例えば、図9(B)では、接触位置w2において人差し指68aが画面45に誤タッチした例が示されているが、人差し指68aの往復操作時の軌跡の傾き条件により、人差し指68aが往復操作の際に方向転換する側と反対側の画面45に接触することも考えられる。このため、第1の無効化条件又は第2の無効化条件に該当する場合においても、第3の無効化条件に該当する場合には、更に誤操作が行われた可能性が高いと考えられる。但し、無効化条件は、これらに限らず、種々変更可能である。
(第2の実施形態の携帯端末1Aの動作)
図10は、第2の実施形態の携帯端末1Aにおける連続したホバースライド操作のうち有効操作の判定手順を説明するフローチャートである。
図10において、ホバー操作判定部89は、近接座標抽出部51から出力された近接座標(x、y、z)の情報を基に、ユーザの人差し指68aによってホバースライド操作が行われているか否かを判定する(S51)。ホバースライド操作が行われていると判定された場合に、携帯端末1Aの動作はステップS52に進む。
なお、ホバー操作判定部89は、ユーザの人差し指68aによってホバースライド操作が行われていると判定した場合に、近接座標(x、y、z)の情報を含むホバー操作有効性判定指示を操作有効性判定部84Aに出力する。
操作有効性判定部84Aは、ホバー操作判定部89から出力されたホバー操作有効性判定指示を基に、ユーザの人差し指68aによるホバースライド操作において、人差し指68aのタッチパネル15(画面45)に対する高さを判定すると共に、人差し指68aの移動速度を判定する。操作有効性判定部84Aは、判定された「高さ」又は「高さ及び移動速度」の各情報をホバー操作判定部89に出力する。
ホバー操作判定部89は、操作有効性判定部84Aから出力されたホバースライド操作におけるホバースライド操作情報、即ち、人差し指68aの高さ及び指の移動速度の各情報をRAM22又はメモリ40に保持する(S52)。
ステップS52の後、操作判定部56は、ユーザの人差し指68aによって連続したホバースライド操作が行われているか否かを判定する(S53)。ユーザの人差し指68aによって連続したホバースライド操作が行われていないと判定された場合には、図10に示す携帯端末1Aの動作は終了する。
一方、ユーザの人差し指68aによって連続したホバースライド操作が行われていると判定された場合には(S53、YES)、タッチ操作判定部88は、タッチ座標抽出部52から出力されたタッチ座標(x、y)の情報を基に、例えばホバースライド操作を行っている指と同じ人差し指68a又は異なる指によってタッチ操作が行われたか否かを判定する(S54)。タッチ操作が行われていないと判定された場合には、携帯端末1Aの動作はステップS53に戻る。
タッチ操作判定部88は、例えばホバースライド操作を行っている指と同じ人差し指68a又は異なる指によってタッチ操作が行われたと判定した場合には(S54、YES)、タッチ座標(x、y)の情報と指のタッチパネル15(画面45)上の接触位置及び接触タイミングを求める旨の情報とを含むタッチ操作有効性判定指示を操作有効性判定部84Aに出力する。
操作有効性判定部84Aは、タッチ操作判定部88から出力された接触位置及び接触タイミングを算出し、算出された接触位置又は接触タイミングが後述する無効化条件に合致するか否かを判定する(S55)。操作有効性判定部84Aは、判定結果をタッチ操作判定部88に出力する。
タッチ操作判定部88は、無効化条件に合致すると判定した場合には(S55、YES)、接触位置又は接触タイミングに対応するタッチ操作は誤操作のおそれがあるとして、そのタッチ操作によって検知された信号を無効化して破棄する(S56)。
タッチ操作判定部88は、無効化条件に合致しないと判定した場合には(S55、NO)、タッチ操作が行われた旨の情報とタッチ座標(x、y)の情報をアプリケーション65に出力する(S57)。アプリケーション65は、タッチ操作判定部88から出力された情報を基に、タッチ操作に応じた動作を実行する(S58)。例えば、アプリケーション65は、タッチ操作が行われたタッチ座標(x、y)にボタンが表示されている場合には、ボタンに応じた動作を実行する(S58)。
以上により、本実施形態の携帯端末1Aは、連続したホバースライド操作が行われた場合にホバースライド操作を行っている指と同じ指又は異なる指によってタッチ操作が行われた場合に、タッチ操作における接触位置又は接触タイミングを基にして無効化条件が成立するか否かを判定する。
携帯端末1Aは、無効化条件に合致する場合に、タッチ操作によって検知された信号を無効化して破棄するため、例えばホバースライド操作を行っている間にホバースライド操作を行っている指又は異なる指が誤って画面45(タッチパネル15)に接触したという誤操作を無くすことができる。従って、携帯端末1Aは、タッチ操作が行われた画面45(タッチパネル15)上の位置にボタンが規定されていても、無効化条件が成立したときの検知信号を無効化するため、ユーザの意図しない動作の起動を防ぐことができる。
また、携帯端末1Aは、上述した3つのうちいずれかの無効化条件に合致する場合に、ホバースライド操作が行われている間に行われたタッチ操作を無効化するため、無効化の正当性を担保することができる。
(第3以降の各実施形態の内容に至る経緯)
次に、第3以降の各実施形態を説明する前に、タッチ操作のみ検知可能なタッチパネルに対する入力操作時に生じる課題について説明する。タッチパネルに対する入力操作には、タッチ操作の他に、フリック操作が行われることがある。フリック操作とは、指が画面上をタッチ操作して素早く払う(弾く、スライドする)操作である。フリック操作によれば、例えば画面に表示された内容を簡易にスクロールさせることができる。このため、タッチ操作のみ検知可能なタッチパネルは、フリック操作のために画面上に指が接触した位置にボタンが存在していると、接触中に指が殆ど移動することなくボタンから離れた場合にボタンに対するタッチ操作と誤検知することがあった。
また、ユーザが携帯端末の筐体を把持する等、ユーザの掌又は指が無意識に画面上を接触した場合に、静電容量値の変化量が最も大きな位置、即ち、接触位置の中心にボタンが存在していると、ユーザはボタンに対するタッチ操作を意図的に行っていなくても、タッチ操作のみ検知可能なタッチパネルは、ボタンに対するタッチ操作と誤検知することがあった。
ここで、ユーザの無意識の接触行為が行われた場合又はユーザが意図した入力操作が検知されなかった場合でも誤検知を低減する先行技術として、例えば参考特許文献1の座標処理装置が知られている。
(参考特許文献1)特開2010−49469号公報
参考特許文献1の座標処理装置は、ユーザの指示入力により指示位置の座標が表わす座標点を時系列のフレーム上に配置し、各フレーム間における座標点の対応付けを追跡する。更に、座標処理装置は、ユーザの指示入力の状態として予め定義された指示入力の開始待機状態(第1状態)、指示入力により移動する指示位置の移動状態(第2状態)、及び、指示入力の終了待機状態(第3状態)を含む状態遷移の追跡結果を基に、ユーザの指示入力の動作を決定する。これにより、座標処理装置は、ドラッグ操作又は回転操作等の連続動作を正しく動作させることができる。
また、タッチ操作のみ検知可能なタッチパネルに対して導電性のスタイラスを用いた入力操作時の掌の接触検知信号を無視する先行技術として、例えば参考特許文献2の位置検出装置及び方法が知られている。
(参考特許文献2)米国特許出願公開第2012/0007614号明細書
参考特許文献2の位置検出装置及び方法では、ユーザが導電性のスタイラスを用いてタッチパネルに入力操作を行う際、タッチパネルに接触する掌に対して検知された接触検知信号を無視し、スタイラスに対して検知された接触検知信号を用いる。
しかしながら、上述した参考特許文献1及び2では、タッチパネルに対する検知対象(例えば指又は導電性のスタイラス)の近接を検知することは想定されていないと考えられる。従来のタッチパネルは、タッチ操作時に検知される接触検知信号(例えば静電容量値又はタッチ座標値)を基に接触時の位置、又はタイマカウント値から接触継続時間を算出していた。このため、従来のタッチパネルを搭載した携帯端末はタッチパネルからの出力を基にユーザにより行われた入力操作を判定していたが、上述したように、接触時における接触検知信号だけを用いる従来のタッチパネルでは、入力操作を誤検知することがあった。
(第3の実施形態)
そこで、第3の実施形態では、上述した第3以降の各実施形態の内容に至る経緯に鑑み、ユーザの意図的な操作としてのタッチ操作とフリック操作とを適正に判定し、入力操作に対する誤検知を低減する携帯端末の例を説明する。
以下の各実施形態では、近接検知部5が指、掌又は手のタッチパネル15に対する近接を検知した時に得られる「近接座標(x、y、z)」又は「タッチパネル15と指、掌又は手との間の静電容量値」を「近接検知信号」と表すことが可能であるが、一例として、「近接座標(x、y、z)」を「近接検知信号」として説明する。但し、「静電容量値」を「近接検知信号」として説明することも可能である。
同様に、タッチ検知部10が指、掌又は手のタッチパネル15に対する接触を検知した時に得られる「タッチ座標(x、y)」又は「タッチパネル15と指、掌又は手との間の静電容量値」を「接触検知信号」と表すことが可能であるが、一例として、「接触座標(x、y)」を「接触検知信号」として説明する。但し、「静電容量値」を「接触検知信号」として説明することも可能である。
図12は、第3の実施形態の携帯端末の機能的構成を示すブロック図である。図2に示す携帯端末1と同一の構成要素については同一の符号を付すことで説明を省略し、異なる内容について説明する。
図12に示す携帯端末1Bは、近接検知部5、タッチ検知部10、画面表示部30、近接座標抽出部51、タッチ座標抽出部52、ホバー操作判定部89B、タッチ操作判定部88B、操作有効性判定部84B及びアプリケーション65を含む。また、携帯端末1Bは、メモリ40又は記憶部23を含んでも良い。
ホバー操作判定部89Bは、近接座標抽出部51から出力された近接検知信号としての近接座標(x、y、z)の情報を基に、例えばユーザの人差し指68aによってホバー操作又はホバースライド操作が行われているか否かを判定する。ホバー操作判定部89Bは、ユーザの人差し指68aによってホバー操作又はホバースライド操作が行われていると判定した場合に、近接座標(x、y、z)の情報を操作有効性判定部84Bに出力する。
タッチ操作判定部88Bは、タッチ座標抽出部52から出力された接触検知信号としてのタッチ座標(x、y)の情報を基に、例えばユーザの指、掌又は手がタッチパネル15に接触したか否かを判定する。タッチ操作判定部88Bは、ユーザの指、掌又は手がタッチパネル15に接触したと判定した場合に、タッチ座標(x、y)と接触前後のタイミングにおける近接座標(x、y、z)とを基にタッチ操作かフリック操作かを判定するための判定指示とタッチ座標(x、y)の情報とを操作有効性判定部84Bに出力する。
タッチ操作判定部88Bは、操作有効性判定部84Bの判定結果がタッチ操作である場合には、タッチ操作に対応したタッチ座標(x、y)の情報をアプリケーション65に出力する。タッチ操作判定部88Bは、操作有効性判定部84Bの判定結果がフリック操作である場合には、タッチ座標抽出部52から出力されたタッチ座標(x、y)を起点とするフリック操作が行われた旨の情報をアプリケーション65に出力する。
操作有効性判定部84Bは、ホバー操作判定部89Bから出力された近接座標(x、y、z)の情報、タッチ操作判定部88Bから出力されたタッチ座標(x、y)の情報及び判定指示を基に、タッチ座標(x、y)と接触前後のタイミングにおける近接座標(x、y、z)とを基に、タッチ座標(x、y)が検知された時の入力操作がタッチ操作かフリック操作かを判定する。
次に、タッチ座標(x、y)が検知された時の入力操作がタッチ操作かフリック操作かを操作有効性判定部84Bが判定するための方法について、図13を参照して説明する。図13(A)は、タッチ操作とフリック操作との違いを示す図である。図13(B)は、タッチ操作とフリック操作とにおけるx座標値、y座標値、z座標値の違いを示す図である。図13(A)に示すように、表示部13の画面にボタンが2つ表示され、同図右側のボタンに対して指が接触した時に、タッチ操作なのかフリック操作なのかを判定するための方法を説明する。
図13(A)に示すように、ユーザの意図的な操作としてのタッチ操作とフリック操作とを比べると、フリック操作では指が画面に接触した時に画面上を所定の閾値(以下、「第1閾値D1」という)以上移動することが多い。指が第1閾値D1以上移動したことが検知された場合には明らかにフリック操作が行われたと考えられるが、更に、各操作の間に検知される指の近接座標(x、y、z)の軌跡には次のような特徴が見られる(図13(B)参照)。なお、第1閾値D1は、x軸方向の値とy軸方向の値とで同一の値でも良いし、異なる値でも良い。
先ず、タッチ操作及びフリック操作における各z座標値は、共に指が画面から離れている位置から画面に接触して再び画面から離れるため、各操作の開始時の値から減少してゼロになり再び大きくなる。従って、タッチ操作及びフリック操作における各z座標値は同様に変化するため、タッチ操作及びフリック操作の見分けが困難である。
ところが、タッチ操作及びフリック操作におけるx座標値及びy座標値の変化は異なる。即ち、タッチ操作ではx座標値及びy座標値が共に変化量が微小であり、フリック操作ではx座標値、y座標値、x座標値及びy座標値のうちいずれかが一定方向に変化する。フリック操作中の座標値は、フリック操作の方向に依存して変化する。
例えば、図13(A)に示すように、フリック操作がx軸及びy軸に平行でない方向に対して行われると、フリック操作の間に検知された近接座標のx座標値及びy座標値は、一定方向、即ち、フリック操作の方向に変化する。つまり、x座標値及びy座標値が所定値(以下、「第2閾値D2」という)以上、変化する。なお、第2閾値D2は、x軸方向の値とy軸方向の値とで同一の値でも良いし、異なる値でも良い。
なお、フリック操作がx軸に平行な方向に行われた場合にはフリック操作の間に検知された近接座標のx座標値がx軸に平行な方向に第2閾値D2以上変化し、フリック操作がy軸に平行な方向に行われた場合にはフリック操作の間に検知された近接座標のy座標値がy軸に平行な方向に第2閾値D2以上変化する。
このように、操作有効性判定部84Bは、接触前後における近接座標(x、y、z)のうち、x座標値、y座標値、x座標値及びy座標値のうちいずれかの座標値の変化量が第2閾値D2以上である場合に、フリック操作が行われたと判定する。操作有効性判定部84Bは、接触前後における近接座標(x、y、z)のうち、x座標値、y座標値、x座標値及びy座標値のうちいずれかの座標値の変化量が第2閾値D2未満である場合に、タッチ操作が行われたと判定する。
(第3の実施形態の携帯端末1Bの動作)
図14は、第3の実施形態の携帯端末におけるフリック操作とタッチ操作との判定手順を説明するフローチャートである。
図14において、ホバー操作判定部89Bは、近接座標抽出部51から出力された近接検知信号としての近接座標(x、y、z)の情報を基に、例えばユーザの人差し指68aによってホバー操作又はホバースライド操作が行われているか否かを判定している。ホバー操作判定部89Bは、ユーザの人差し指68aによってホバー操作又はホバースライド操作が行われていると判定した場合に、近接座標(x、y、z)の情報を操作有効性判定部84Bに出力する。
タッチ操作判定部88Bは、ユーザの人差し指68aの画面に対する接触時におけるタッチ座標(x、y)の情報をタッチ座標抽出部52から取得した場合に(S61、YES)、タッチ座標(x、y)と接触前後のタイミングにおける近接座標(x、y、z)とを基にタッチ操作かフリック操作かを判定するための判定指示とタッチ座標(x、y)の情報とを操作有効性判定部84Bに出力する。操作有効性判定部84Bは、タッチ操作判定部88Bから出力された判定指示とタッチ座標(x、y)の情報とを基に、接触時の人差し指68aのx座標値及びy座標値の変化量が第1閾値D1以上であるか否かを判定する(S62)。図14に示すステップS62、S64及びS65は、フリック操作か否かの判定動作に相当する。ここでは、フリック操作は、x軸及びy軸に平行でない方向に行われるとして説明する。
操作有効性判定部84Bは、接触時の人差し指68aのx座標値及びy座標値の変化量が第1閾値D1以上であると判定した場合に(S62、YES)、フリック操作が行われた旨の判定結果をタッチ操作判定部88Bに出力する。タッチ操作判定部88Bは、操作有効性判定部84Bの判定結果がフリック操作である場合に、タッチ座標抽出部52から出力されたタッチ座標(x、y)を起点とするフリック操作が行われた旨の情報をアプリケーション65に出力する。アプリケーション65は、フリック操作に応じた動作を実行し(S63)、フリック操作に応じた動作結果をアプリ画面生成部59に出力する。表示制御部としてのアプリ画面生成部59は、アプリケーション65から受けた動作結果を表示部13(画面表示部30)の画面に表示させる。
操作有効性判定部84Bは、接触時の人差し指68aのx座標値及びy座標値の変化量が第1閾値D1未満であると判定した場合に(S62、NO)、近接検知部5が接触前後のタイミングにおいて人差し指68aの近接を検知したか否かを判定する(S64)。具体的には、操作有効性判定部84Bは、接触前後のタイミングにおいてホバー操作判定部89Bから近接座標(x、y、z)の情報を取得している場合には、近接検知部5が接触前後のタイミングにおいて人差し指68aの近接を検知したと判定する。近接検知部5が接触前後のタイミングにおいて人差し指68aの近接を検知していないと判定された場合には(S64、NO)、ユーザの人差し指68aはフリック操作していないとして、携帯端末1Bの動作はステップS66に進む。
操作有効性判定部84Bは、近接検知部5が接触前後のタイミングにおいて人差し指68aの近接を検知したと判定した場合には(S64、YES)、近接が検知された人差し指68aの画面に対する接触前後のタイミングにおける移動量が第2閾値D2以上であるか否かを判定する(S65)。操作有効性判定部84Bは、近接が検知された人差し指68aの画面に対する接触前後のタイミングにおける移動量、即ち、近接座標(x、y、z)のx座標値及びy座標値の変化量が第2閾値D2以上であると判定した場合には(S65、YES)、フリック操作が行われた旨の判定結果をタッチ操作判定部88Bに出力する。フリック操作が行われた旨の判定結果がタッチ操作判定部88Bに入力された後の動作はステップ63の説明と同一であるため、説明を省略する。
近接が検知された人差し指68aの画面に対する接触前後のタイミングにおける移動量、即ち、近接座標(x、y、z)のx座標値及びy座標値の変化量が第2閾値D2未満であると判定された場合には(S65、NO)、ユーザの人差し指68aはフリック操作していないとして、携帯端末1Bの動作はステップS66に進む。ステップS66以降の動作は、ユーザの人差し指68aがタッチ操作した場合の携帯端末1Bの動作である。
タッチ操作判定部88Bは、タッチ座標抽出部52から出力されたタッチ座標(x、y)の情報を基に、画面上のタッチ位置にボタンが表示されているか否かを判定する(S66)。具体的には、タッチ操作判定部88Bは、メモリ40に格納されている画面上におけるボタンの座標情報を基に、タッチ座標抽出部52から出力されたタッチ座標(x、y)の位置にボタンが表示されているか否かを判定する。
タッチ操作判定部88Bは、画面上のタッチ位置にボタンが表示されていないと判定した場合には(S66、NO)、ボタンではない画面上の表示位置に対するタッチ操作に応じた動作を実行する旨の情報をアプリケーション65に出力する。アプリケーション65は、タッチ操作判定部88Bから出力された情報を基に、ボタンではない画面上の表示位置に対するタッチ操作に応じた動作を実行し(S67)、当該動作結果をアプリ画面生成部59に出力する。表示制御部としてのアプリ画面生成部59は、アプリケーション65から受けた動作結果を表示部13(画面表示部30)の画面に表示させる。
タッチ操作判定部88Bは、画面上のタッチ位置にボタンが表示されていると判定した場合には(S66、YES)、ボタンに対するタッチ操作が既存のタッチ判定条件を満たすか否かを判定する(S68)。ここで、既存のタッチ判定条件は、例えば画面に対する接触時間が所定値(例えば300ミリ秒)以下であることである。また、既存のタッチ判定条件は、例えば画面にタッチした指が離れた位置がタッチパネル15の検知可能な位置であることである。ボタンに対するタッチ操作が既存のタッチ判定条件を満たさないと判定された場合には(S68、NO)、アプリケーション65は、タッチ操作判定部88Bから出力された情報を基に、ユーザの操作に応じた動作を実行する(S69)。なお、既存のタッチ判定条件を満たさない場合とは、例えばユーザがタッチ操作した位置で長押し操作(例えば1秒以上の長押し操作)した場合が該当する。表示制御部としてのアプリ画面生成部59は、アプリケーション65から受けた動作結果を表示部13(画面表示部30)の画面に表示させる。
タッチ操作判定部88Bは、ボタンに対するタッチ操作が既存のタッチ判定条件を満たすと判定した場合には(S68、YES)、ボタンに対するタッチ操作に応じた動作を実行する旨の情報をアプリケーション65に出力する。アプリケーション65は、タッチ操作判定部88Bから出力された情報を基に、ボタンに対するタッチ操作に応じた動作を実行し(S70)、当該動作結果をアプリ画面生成部59に出力する。表示制御部としてのアプリ画面生成部59は、アプリケーション65から受けた動作結果を表示部13(画面表示部30)の画面に表示させる。
以上により、本実施形態の携帯端末1Bは、表示部13の画面に対する接触を検知した場合に、接触前後のタイミングにおける指の近接座標(x、y、z)のx座標値、y座標値、x座標値及びy座標値のうちいずれかの座標変化量が第2閾値D2以上であれば、表示部13の画面に対する接触をフリック操作と判定する。また、携帯端末1Bは、表示部13の画面に対する接触を検知した場合に、接触前後のタイミングにおける指の近接座標(x、y、z)のx座標値、y座標値、x座標値及びy座標値のうちいずれかの座標変化量が第2閾値D2未満であれば、表示部13の画面に対する接触をタッチ操作と判定する。これにより、携帯端末1Bは、ユーザの意図的な操作としてのタッチ操作とフリック操作とを適正に判定し、タッチ操作をフリック操作と誤検知することなく、更に、フリック操作をタッチ操作と誤検知することがないため、ユーザの入力操作に対する誤検知を低減でき、ユーザに対する操作性を向上させることができる。
(第4の実施形態)
第4の実施形態では、上述した第3以降の各実施形態の内容に至る経緯に鑑み、ユーザの意図的なタッチ操作と無意識の接触行為とを適正に判定し、タッチパネルにおける誤検知を低減する携帯端末の例を説明する。
本実施形態の携帯端末の構成は図12に示す携帯端末1Bと同様の構成であるため、本実施形態の携帯端末の機能的構成の説明では図12に示す携帯端末1Bと同一の符号を用いて同様な内容の説明は省略し、異なる内容について説明する。
タッチ操作判定部88Bは、タッチ座標抽出部52から出力された接触検知信号としてのタッチ座標(x、y)の情報を基に、ユーザの指、掌又は手がタッチパネル15にタッチ操作したか否かを判定する。タッチ操作判定部88Bは、ユーザの指、掌又は手がタッチパネル15にタッチ操作したと判定した場合に、タッチ座標(x、y)とタッチ操作時における指、掌又は手の近接座標(x、y、z)とを基にタッチパネル15が検知したタッチ操作がユーザの意図的なタッチ操作であるか無意識の接触行為であるかを判定するための判定指示とタッチ座標(x、y)の情報とを操作有効性判定部84Bに出力する。
タッチ操作判定部88Bは、操作有効性判定部84Bの判定結果が無意識の接触行為である場合には、タッチ座標抽出部52から出力された接触検知信号としてのタッチ座標(x、y)を無効化して破棄する。即ち、タッチ操作判定部88Bは、無意識の接触行為としてタッチパネル15によって検知された接触検知信号としてのタッチ座標(x、y)の情報をアプリケーション65に出力しない。
次に、操作有効性判定部84Bがユーザの意図的なタッチ操作か無意識の接触行為であるかを判定するための方法について、図15から図18を参照して説明する。図15(A)は無意識の接触行為による誤検知を示す図である。図15(B)及び(C)は、ボタンに対する意図的なタッチ操作時に検知された近接検知信号の検知範囲の一例を示す図である。図15(D)は、ボタンに対する無意識の接触行為時に検知された近接検知信号の検知範囲の一例を示す図である。図15(A)及び図15(D)では、×印は手PAの一部がボタンにタッチ操作した接触位置を表す。図15(B)及び(C)では、×印は人差し指68aがボタンにタッチ操作したタッチ位置を表す。
図15(A)に示すように、例えばユーザが無意識に携帯端末1Bの筐体を把持した場合に、表示部13の画面に表示されているボタン(同図右側のボタン)に手PAの一部が接触することがある。従って、ユーザが無意識に携帯端末1Bの筐体を手PAで把持したためにボタンがタッチされた場合には、携帯端末1Bは、ボタンにタッチされた操作が同ボタンに対するユーザの意図的なタッチ操作であると誤検知する場合がある。
図15(B)及び(C)に示すように、ユーザの指がボタンに対して意識的にタッチ操作する場合では、タッチ操作時に検知された指の近接検知信号の検知範囲はボタンに向かって一方向のみであり、同ボタンを挟んだ反対側の領域には指の近接検知信号は拡がって検知されないと考えられる。同ボタンを挟んだ反対側の領域とは、図15(B)及び(C)の点線を境界線とした人差し指68aの反対側の領域を指す。
一方、図15(D)に示すように、ユーザが携帯端末の筐体を把持した場合に手PAの一部がボタンに接触した場合では、接触時に検知された手PAの一部の近接検知信号の検知範囲はボタンの全体又は一部を含む周辺にまで拡がった範囲と考えられる。
このように、操作有効性判定部84Bは、ユーザの手PAの一部又は人差し指68aが表示部13の画面にタッチ操作した時に検知された近接検知信号(近接座標(x、y、z)の情報)の検知範囲がボタンに対して一方向であるか又は同ボタンの全体若しくは一部を含む周辺に拡がっているかに応じて、ユーザの意図的なタッチ操作か無意識の接触行為であるかを判定する。
図16(A)は、意図的なタッチ操作と意図的なタッチ操作時に検知された近接検知信号の分布の広がりのイメージを示す図である。図16(B)は、無意識の接触行為と無意識の接触行為時に検知された近接検知信号の分布の広がりのイメージを示す図である。図17(A)は、人差し指68aの最下端のボタンBT4に対するタッチ操作を示す図である。図17(B)は、図17(A)に示すタッチ操作時に検知された近接検知信号の検知範囲の広がりの一例を示す図である。
図16(A)の下段に示すように、意図的なタッチ操作時に検知された近接検知信号の分布の広がり(検知範囲)のイメージはボタンに向かった一方向のみに拡がった様子を表し、人差し指68aの大きさに対応する範囲となる。一方、図16(B)の下段に示すように、無意識の接触行為時に検知された近接検知信号の分布の拡がり(検知範囲)のイメージはボタンの全体又は一部を含む周辺に拡がった範囲となる。
ここで、タッチ操作時に検知された近接検知信号の具体例について図17を参照して説明する。図17では、近接検知信号を分かり易く説明するために、人差し指68aとタッチパネル15との間の静電容量値を近接検知信号として用いる。図17(A)に示すように、画面に表示された4つのボタンBT1,BT2,BT3,BT4のうち、ユーザの人差し指68aが最下端のボタンBT4を意図的にタッチ操作したとする。
ユーザの人差し指68aの最下端のボタンBT4に対する意図的なタッチ操作によって、タッチパネル15が検知した人差し指68aに対して得た近接検知信号の分布の拡がり(検知範囲)は、図17(B)に示すように、サーモグラフィのように人差し指68aがボタンBT4にタッチ操作したタッチ位置(図17(A)の×印参照)が最大となる時の近接検知信号(静電容量値)となる。このように、タッチ位置を中心とした人差し指68aの形状に対応した近接検知信号が得られる。
また、操作有効性判定部84Bは、ユーザが片手操作している場合又は両手操作している場合でも、意図的なタッチ操作か無意識の接触行為かを判定できる(図18(A)及び(B)参照)。図18(A)は、片手操作又は両手操作の場合における意図的なタッチ操作時に検知された近接検知信号の分布の広がりのイメージを示す図である。図18(B)は、無意識の接触行為時に検知された近接検知信号の分布の広がりのイメージを示す図である。
図18(A)に示すように、ユーザが片手(例えば左手。右手でも同様)で携帯端末を把持して操作している場合では、表示部13の画面に表示されているボタンを左手(右手でも同様)の例えば親指でタッチ操作した場合、左手(右手でも同様)の母指球付近はタッチパネル15に近接又は接触する可能性が高いと考えられる。
また、ユーザが両手で携帯端末を把持して操作している場合では、表示部13の画面に表示されているボタンを左手及び右手の例えば各親指でタッチ操作した場合、左手及び右手の各母指球付近はタッチパネル15に近接又は接触する可能性が高いと考えられる。
ところが、図18(A)に示すように、片手操作でも両手操作でも表示部13の画面の下端部の中央部には、いずれの手も近づかないため、近接検知信号は検知されない又は検知されにくいと考えられる。
一方、図18(B)に示すように、ユーザが片手で携帯端末を覆うように無意識に把持した場合では、画面に表示されているボタンの全体又は一部を含む周辺に拡がって手の一部の近接検知信号が検知されると共に、携帯端末の筐体の両側面の中央部(点線部参照)に近接検知信号が検知されることが多いと考えられる。
従って、操作有効性判定部84Bは、図18(A)及び(B)に示した近接検知信号の検知範囲を用いて、ユーザが意図的なタッチ操作を行ったか無意識の接触行為を行ったかを判定しても良い。
また、ユーザが特に女性である場合には、付け爪67を付して携帯端末1Bを操作することがある(図18(C)参照)。上述したように、図15(D)に示すように、操作有効性判定部84Bは、ボタンに対するタッチ操作時に検知された近接検知信号の検知範囲がボタンの全体又は一部を含む周辺に拡がる範囲である場合には、意図的な操作と判定せずに、無意識の接触行為と判定する。このため、付け爪67を付した状態で携帯端末1Bを操作するユーザの場合では、操作有効性判定部84Bは、意図的なタッチ操作を無意識の接触行為と誤検知する可能性がある。
図18(C)は、付け爪67が付された人差し指68aによるタッチ操作時に検知された近接検知信号がボタンBTの前方向に広がる様子を示す図である。付け爪67を付した状態でボタンをタッチ操作する場合では、付け爪67が付されているので、人差し指68aの腹でタッチ操作すると考えられる。
このように、付け爪67が付された人差し指68aによってタッチ操作された場合には、タッチ操作時に検知された近接検知信号はボタンBTに向かって一方向のみではなく、同ボタンBTを挟んだ反対側の領域も検知されることになる(図18(C)参照)。従って、付け爪67を付して携帯端末1Bを操作するユーザの場合には、携帯端末1Bの記憶部23(メモリ40)に、当該ユーザに特有のタッチ時の近接検知信号の傾向情報を予め記憶させておくことが好ましい。これにより、操作有効性判定部84Bは、記憶部23(メモリ40)に記憶されたタッチ時の近接検知信号の傾向情報を用いて、意図的なタッチ操作であるのか無意識の接触行為であるのかを適正に判定することができる。傾向情報とは、例えば、タッチパネル15が指のタッチ操作を検知した時のタッチ座標とタッチ検知時における近接検知信号の検知範囲とを含む。また、傾向情報は、タッチ検知時における近接検知信号の検知範囲の端部とタッチ座標との差分の情報も更に含めることが好ましい。
(第4の実施形態の携帯端末1Bの動作)
図19は、第4の実施形態の携帯端末におけるボタンに対する意図的なタッチ操作と無意識の接触行為との判定手順を説明するフローチャートである。図19のフローチャートのうち、ステップS61、「フリック操作か否かの判定動作」、ステップS63、ステップS66、ステップS67及びステップS68の各動作の説明は図14に示す対応する各説明と同一であるため説明を省略し、図14のフローチャートと異なる内容について説明する。
図19において、タッチ操作判定部88Bは、ボタンに対するタッチ操作が既存のタッチ判定条件を満たすと判定した場合には(S68、YES)、タッチ座標(x、y)とタッチ操作時における指、掌又は手の近接座標(x、y、z)とを基にタッチパネル15が検知した接触がユーザの意図的なタッチ操作か無意識の接触行為かを判定するための判定指示とタッチ座標(x、y)の情報とを操作有効性判定部84Bに出力する。
操作有効性判定部84Bは、タッチ操作判定部88Bから出力された判定指示を基に、ユーザの手PAの一部又は人差し指68aが表示部13の画面にタッチ操作した時に検知された近接検知信号(近接座標(x、y、z)の情報)の検知範囲がボタンに対して一方向であるか否かを判定する(S71)。
操作有効性判定部84Bは、ユーザの手PAの一部又は人差し指68aが表示部13の画面にタッチ操作した時に検知された近接検知信号の検知範囲がボタンに対して一方向であると判定した場合には(S71、YES)、ユーザの意図的なタッチ操作が行われた旨の判定結果をタッチ操作判定部88Bに出力する。タッチ操作判定部88Bは、操作有効性判定部84Bから出力された判定結果の情報を基に、ボタンに対するタッチ操作に応じた動作を実行する旨の情報をアプリケーション65に出力する。アプリケーション65は、タッチ操作判定部88Bから出力された情報を基に、ボタンに対するタッチ操作に応じた動作を実行し(S72)、当該動作結果をアプリ画面生成部59に出力する。表示制御部としてのアプリ画面生成部59は、アプリケーション65から受けた動作結果を表示部13(画面表示部30)の画面に表示させる。
操作有効性判定部84Bは、ユーザの手PAの一部又は人差し指68aが表示部13の画面にタッチ操作した時に検知された近接検知信号の検知範囲がボタンに対して一方向ではないと判定した場合には(S71、NO)、ユーザの無意識の接触行為が行われた旨の判定結果をタッチ操作判定部88Bに出力する。タッチ操作判定部88Bは、操作有効性判定部84Bから出力された判定結果の情報を基に、タッチ座標抽出部52から出力された接触検知信号としてのタッチ座標(x、y)を無効化して破棄する(S73)。
以上により、本実施形態の携帯端末1Bは、表示部13の画面に対するタッチ操作を検知した場合に、タッチ操作時において検知された手PA又は人差し指68aの近接検知信号(近接座標(x、y、z)の情報)の拡がりを示す検知範囲を基に、表示部13の画面に対するタッチ操作がユーザの意図的なタッチ操作であるのか又は無意識の接触行為であるのかを適正に判定する。更に、携帯端末1Bは、表示部13の画面に対するタッチ操作がユーザの意図的なタッチ操作であると判定した場合にタッチ操作に応じた動作を実行し、表示部13の画面に対するタッチ操作がユーザの無意識の接触行為であると判定した場合に当該タッチ操作の接触検知信号(タッチ座標(x、y)の情報)を無効化して破棄する。これにより、携帯端末1Bは、ユーザの意図的なタッチ操作と無意識の接触行為とを適正に判定することができ、タッチパネル15におけるユーザの入力操作の誤検知を低減することができる。
(第5の実施形態)
第5の実施形態では、上述した各実施形態の携帯端末と異なり、表示部(画面表示部)を複数(例えば本実施形態では2個)有すると共に、各表示部の画面にそれぞれ異なるタッチパネルが搭載された携帯端末の例について説明する。以下、本実施形態の携帯端末を二画面携帯端末1Cという(図21(A)参照)。
二画面携帯端末1Cは、図21(A)に示すように、前面側筐体1CFと背面側筐体1CBとがヒンジ(不図示)を介して回動可能に構成されている。前面側筐体1CFには前面タッチパネル15Fが搭載された画面表示部30Fが設けられ、背面側筐体1CBには背面タッチパネル15Bが搭載された画面表示部30Bが設けられている。図21(A)は、第5の実施形態の二画面携帯端末1Cを折り畳んで画面表示部30F及び30Bを対向状態にする様子を示す図である。図21(A)の右側には、画面表示部30F及び30Bが対向状態である様子が示されている。なお、対向状態とは、前面側筐体1CFと背面側筐体1CBとが互いに向き合って、結果的に画面表示部30F及び30Bが向き合う状態を指すが、前面側筐体1CFと背面側筐体1CBとが接触している状態に限らず、例えば前面側筐体1CFと背面側筐体1CBとが所定の角度以下である状態を含めても良い。
ここで、二画面携帯端末1Cにおける主要な操作の一例として、ユーザが二画面携帯端末1Cの前面側筐体1CF及び背面側筐体1CBを折り畳んで画面表示部30F及び30Bを対向状態にした後に画面表示部30Fの画面に表示されたボタンBTに対してタッチ操作する場合を想定する。この場合、前面側筐体1CF又は背面側筐体1CBを覆うように二画面携帯端末1Cを把持するために、背面タッチパネル15Bが画面表示部30Bの一部に対するユーザの手PAの近接又は接触を検知すると考えられる。二画面携帯端末1Cは、例えばこのような近接又は接触を無効化するものである。
図20は、第5の実施形態の二画面携帯端末1Cの機能的構成を示すブロック図である。図20に示す二画面携帯端末1Cは、近接検知部5F、近接検知部5B、タッチ検知部10F、タッチ検知部10B、画面表示部30F、画面表示部30B、近接座標抽出部51、タッチ座標抽出部52、重力方向検知部71、開閉状態検知部72、ホバー操作判定部89B、タッチ操作判定部88B、操作有効性判定部84C、アプリケーション65及びアプリ画面生成部59を含む。二画面携帯端末1Cは、メモリ40(記憶部23)を更に含んでも良い。図2に示す携帯端末1と同一の構成要素については同一の符号を付すことで説明を省略し、異なる内容について説明する。
近接検知部5Fは、ホバー操作又はホバースライド操作によって図21(A)に示す画面表示部30Fに対するユーザの指、掌又は手が前面タッチパネル15Fに近接した状態を検知する。近接検知部5Bは、ホバー操作又はホバースライド操作によって図21(A)に示す画面表示部30Bに対するユーザの指、掌又は手が背面タッチパネル15Bに近接した状態を検知する。
タッチ検知部10Fは、タッチ操作又はタッチスライド操作によって図21(A)に示す画面表示部30Fに対するユーザの指、掌又は手が前面タッチパネル15Fにタッチした動作を検知する。タッチ検知部10Bは、タッチ操作又はタッチスライド操作によって図21(A)に示す画面表示部30Bに対するユーザの指、掌又は手が背面タッチパネル15Bにタッチした動作を検知する。なお、近接検知部5F及びタッチ検知部10Fは前面タッチパネル15Fを構成し、近接検知部5B及びタッチ検知部10Bは背面タッチパネル15Bを構成する。
画面表示部30Fは、二画面携帯端末1Cの前面側筐体1CFに設けられ、画面表示部30Fの画面にデータを表示する機能を有し、例えばアプリ画面生成部59から出力された画面データを表示する。同様に、画面表示部30Bは、二画面携帯端末1Cの背面側筐体1CBに設けられ、画面表示部30Bの画面にデータを表示する機能を有し、例えばアプリ画面生成部59から出力された画面データを表示する。
近接座標抽出部51は、近接検知部5F又は5Bから出力された近接通知を基に、指、掌又は手の前面タッチパネル15F又は背面タッチパネル15Bに対する近接座標(x、y、z)を算出して抽出する。近接座標抽出部51は、近接座標(x、y、z)の情報をホバー操作判定部89Bに出力する。
タッチ座標抽出部52は、タッチ検知部10F又は10Bから出力された接触通知を基に、指、掌又は手が前面タッチパネル15F又は背面タッチパネル15Bに対してタッチした時のタッチ座標(x、y)を算出して抽出する。タッチ座標抽出部52は、抽出されたタッチ座標(x、y)の情報をタッチ操作判定部88Bに出力する。
重力方向検知部71は、例えば加速度センサとジャイロセンサとを用いて構成され、重力加速度の影響を受ける方向(重力方向)を検知すると共に、二画面携帯端末1Cが傾いている状態を検知する。二画面携帯端末1Cが傾いている状態とは、例えば画面表示部30F又は30Bのどちらが重力方向の上側又は下側であるかを示す。重力方向検知部71は、検知結果の情報を操作有効性判定部84Cに出力する。
開閉状態検知部72は、例えば磁気センサを用いて構成され、前面側筐体1CFと背面側筐体1CBとの開閉状態を検知する。前面側筐体1CFと背面側筐体1CBとの開閉状態とは、例えば前面側筐体1CFと背面側筐体1CBとが対向状態であるか否かを示す。開閉状態検知部72は、検知結果の情報を操作有効性判定部84Cに出力する。
ここで、ユーザが二画面携帯端末1Cを把持して前面タッチパネル15Fが搭載された画面表示部30Fの画面に表示されたボタンに対して意識的にタッチ操作する場合の操作有効性判定部84Cの動作の一例について、図21を参照して説明する。図21(B)は、前面タッチパネル15Fに対するタッチ操作を有効と判定する様子を示す図である。
先ず、ユーザは、前面側筐体1CF及び背面側筐体1CBを折り畳んで前面側筐体1CF及び背面側筐体1CBを対向状態にする(図21(A)又は(B)参照)。前面側筐体1CF及び背面側筐体1CBが対向状態となった後、図21(B)に示すように、ユーザの手PA(図21(B)では左手)が対向状態中の前面側筐体1CF及び背面側筐体1CBの各側面の略中央部を把持し、ユーザの不図示の手(右手)の指が画面表示部30Fの画面に表示されたボタンBTに対してタッチ操作する。
この場合、背面タッチパネル15Bは、前面タッチパネル15Fがユーザの不図示の手(右手)の指が画面表示部30Fの画面に表示されたボタンBTに対する意図的なタッチ操作を検知する前に、ユーザの手PA(左手)の画面表示部30Bに対する近接又は接触を検知する。更に同時に、前面タッチパネル15Fは、背面側筐体1CBから前面側筐体1CFに回り込んだ手PA(左手)の各指の画面表示部30Fに対する近接又は接触を検知する。このように、二画面携帯端末1Cは、ユーザが意図的にタッチ操作したいと考えているボタンBTに応じた動作を実行する前に、背面タッチパネル15及び前面タッチパネル15Fが上述した近接又は接触を検知したことによって、ユーザが予期しない動作を実行することがある。即ち、二画面携帯端末1Cが誤検知することになる。
そこで、操作有効性判定部84Cは、重力方向検知部71及び開閉状態検知部72の各検知結果、ホバー操作判定部89Bから出力された近接座標(x、y、z)及びタッチ操作判定部88Bから出力されたタッチ座標(x、y)の各情報を基に、背面タッチパネル15Bが検知した手PA(左手)の画面表示部30Bに対する近接座標(近接検知信号)又はタッチ座標(接触検知信号)を無効と判定する。更に、操作有効性判定部84Cは、前面タッチパネル15Fが検知した手PA(左手)の画面表示部30Fに対する近接座標(近接検知信号)又はタッチ座標(接触検知信号)を無効と判定する。
また、ユーザの手PA(左手)が前面側筐体1CF又は背面側筐体1CBを覆うように各側面の略中央部を把持している間に、ユーザの不図示の手(右手)の指が画面表示部30Fの画面に表示されたボタンBTに対してタッチ操作した時、背面タッチパネル15Bは、画面表示部30Fの画面に表示されたボタンに対するタッチ操作に伴って、画面表示部30Fと対向状態中の画面表示部30Bに対する接触を検知することがある。この場合、二画面携帯端末1Cは、画面表示部30Bにボタンが仮に表示されていると、画面表示部30Fの画面に表示されたボタンに対するタッチ操作に伴って、ユーザが予期しない動作を実行することがある。即ち、二画面携帯端末1Cが誤検知することになる。
そこで、操作有効性判定部84Cは、重力方向検知部71及び開閉状態検知部72の各検知結果、ホバー操作判定部89Bから出力された近接座標(x、y、z)及びタッチ操作判定部88Bから出力されたタッチ座標(x、y)の各情報を基に、ユーザの不図示の手(右手)のボタンBTに対するタッチ操作に伴って背面タッチパネル15Bが検知した画面表示部30Bに対するタッチ座標(接触検知信号)を無効と判定する。
また、ユーザの手PA(左手)が対向状態中の前面側筐体1CF又は背面側筐体1CBを覆うように各側面の略中央部を把持して背面タッチパネル15Bが検知している手PA(左手)に対する近接検知信号又は接触検知信号が定常状態である場合に、ユーザの不図示の手(右手)の指が画面表示部30Fの画面に表示されたボタンBTに対してタッチ操作するとする。なお、手PA(左手)に対する近接検知信号又は接触検知信号が定常状態であるとは、ユーザの手PA(左手)が対向状態中の前面側筐体1CF又は背面側筐体1CBを覆うように各側面の略中央部を継続して安定的に把持している状態を示す。
この場合、操作有効性判定部84Cは、重力方向検知部71及び開閉状態検知部72の各検知結果、ホバー操作判定部89Bから出力された近接座標(x、y、z)及びタッチ操作判定部88Bから出力されたタッチ座標(x、y)の各情報を基に、ユーザの不図示の手(右手)のボタンBTに対するタッチ操作によって得られたタッチ座標(接触検知信号)を有効と判定する。
また、下記参考特許文献3に開示されているように、携帯端末の筐体の背面側の所定領域をタッチパッドとした指の間接タッチ操作に応じて、同筐体の前面側の画面に表示されているポインタを移動させて表示することが知られている。図21(C)は、画面表示部30Bに設けられた人差し指可動範囲FGに対する間接タッチ操作を有効と判定する様子を示す図である。
(参考特許文献3)国際公開第2009/031213号
図21(C)に示すように、ユーザの手PA(図21(C)では右手)が対向状態中の画面表示部30F又は30Bを覆うように各側面の略中央部を把持して手PAの人差し指が画面表示部30Bの所定領域(人差し指可動範囲FG)に対する間接タッチ操作としてのタッチ操作又はタッチスライド操作を行い、画面表示部30Fに表示されているポインタPTをボタンBTに向かって移動させるとする。例えば、画面表示部30FにボタンBTが表示されている場合に、操作有効性判定部84Cは、前面タッチパネル15Fがユーザの不図示の手(左手)の意図的なボタンBTに対するタッチ操作に応じた接触検知信号を有効と判定する。しかし、操作有効性判定部84Cは、図21(A)又は(B)にて説明したように背面タッチパネル15Bが検知した手PA(右手)の間接タッチ操作に応じた接触検知信号を無効と判定してしまうと、二画面携帯端末1Cは上述した参考特許文献3に開示されているような間接タッチ操作によるポインタPTの移動制御ができずに、ユーザの操作性が劣化すると考えられる。
そこで、操作有効性判定部84Cは、重力方向検知部71及び開閉状態検知部72の各検知結果、ホバー操作判定部89Bから出力された近接座標(x、y、z)及びタッチ操作判定部88Bから出力されたタッチ座標(x、y)の各情報を基に、手PA(右手)の人差し指が画面表示部30Bの所定領域(人差し指可動範囲FG)に対する間接タッチ操作としてのタッチ操作又はタッチスライド操作に応じたタッチ座標(接触検知信号)を有効と判定する(図21(C)参照)。
(第5の実施形態の二画面携帯端末1Cの動作)
図22は、第5の実施形態の二画面携帯端末における動作手順を説明するフローチャートである。図22に示すフローチャートの前提として、前面タッチパネル15Fは、ユーザの手PAが画面表示部30Fの画面に表示されたボタンBTに対する接触を検知したとする。
図22において、操作有効性判定部84Cは、開閉状態検知部72から出力された検知結果の情報を基に、二画面携帯端末1Cの端末開閉状態、即ち、前面側筐体1CFと背面側筐体1CBとが対向状態であるか否かを判定する(S81)。二画面携帯端末1Cの端末開閉状態が対向状態ではないと判定された場合には(S81、NO)、操作有効性判定部84Cは、前面タッチパネル15F又は背面タッチパネル15Bに応じて第3の実施形態若しくは第4の実施形態において説明したユーザの入力操作の判定方法を行う(S82)。例えば、操作有効性判定部84Cは、前面タッチパネル15Fに対する入力操作としてタッチ操作かフリック操作かを判定する。又は、操作有効性判定部84Cは、背面タッチパネル15Bに対する入力操作がユーザの意図的なタッチ操作か無意識の接触行為かを判定する。
操作有効性判定部84Cは、タッチ操作判定部88Bから出力された判定指示を基に、前面タッチパネル15Fが検知したユーザの手PAの一部又は人差し指68aの画面表示部30Fの画面に対する接触時に検知された近接検知信号(近接座標(x、y、z)の情報)の検知範囲が同画面に表示されているボタンBTに対して一方向であるか否かを判定する(S83)。
操作有効性判定部84Cは、接触時に検知された近接検知信号(近接座標(x、y、z)の情報)の検知範囲がボタンBTに対して一方向ではないと判定した場合には(S83、NO)、ユーザの無意識の接触行為が行われた旨の判定結果をタッチ操作判定部88Bに出力する。タッチ操作判定部88Bは、操作有効性判定部84Cから出力された判定結果の情報を基に、タッチ座標抽出部52から出力された接触検知信号としてのタッチ座標(x、y)を無効化して破棄する(S84)。
操作有効性判定部84Cは、接触時に検知された近接検知信号(近接座標(x、y、z)の情報)の検知範囲がボタンBTに対して一方向であると判定した場合には(S83、YES)、重力方向検知部71から出力された検知結果の情報を基に、ステップS81の前において検知された接触までに得られた近接検知信号及び接触検知信号の検出方向と重力方向とが同じであるか否かを判定する(S85)。
操作有効性判定部84Cは、接触までに得られた近接検知信号及び接触検知信号の検出方向と重力方向とが同じであると判定した場合には(S85、YES)、背面側筐体1CBの画面表示部30Bに対するタッチ操作を受けたか否かを判定する(S86)。
操作有効性判定部84Cは、画面表示部30Bに対するタッチ操作を受けていないと判定した場合には(S86、NO)、画面表示部30Fに対するユーザの意図的なタッチ操作が行われた旨の判定結果をタッチ操作判定部88Bに出力する。タッチ操作判定部88Bは、操作有効性判定部84Cから出力された判定結果の情報を基に、ボタンBTに対するタッチ操作に応じた動作を実行する旨の情報をアプリケーション65に出力する。アプリケーション65は、タッチ操作判定部88Bから出力された情報を基に、ボタンBTに対するタッチ操作に応じた動作を実行し(S87)、当該動作結果をアプリ画面生成部59に出力する。表示制御部としてのアプリ画面生成部59は、アプリケーション65から受けた動作結果を表示部13(画面表示部30)の画面に表示させる。
操作有効性判定部84Cは、接触までに得られた近接検知信号及び接触検知信号の検出方向と重力方向とが同じではない、即ち、重力方向と反対向きであると判定した場合には(S85、NO)、ユーザの手PAが対向状態中の前面側筐体1CF又は背面側筐体1CBを覆うように各筐体の周辺部として例えば各筐体側面の略中央部を把持しているか否かを判定する(S88)。具体的には、操作有効性判定部84Cは、背面タッチパネル15B又は前面タッチパネル15Fがそれぞれ手PAがいずれかの筐体を把持した場合に手PAに対する近接検知信号又は接触検知信号を検知したか否かを判定する。
操作有効性判定部84Cは、ユーザの手PAが例えば各筐体側面の略中央部を把持していないと判定した場合には(S88、NO)、ユーザの手PAが各筐体側面の略中央部を把持していない旨の判定結果をタッチ操作判定部88Bに出力する。タッチ操作判定部88Bは、操作有効性判定部84Cから出力された判定結果を基に、ユーザの手PAが二画面携帯端末1Cを把持せずに画面表示部30Bに対する操作を行うことは通常できないとして、ステップS81の前において検知された画面表示部30Bに対する接触に応じた接触検知信号(タッチ座標(x、y)の情報)を無効化して破棄する(S89)。
一方、操作有効性判定部84Cは、ユーザの手PAが例えば各筐体側面の略中央部を把持していると判定した場合には(S88、YES)、背面タッチパネル15B及び前面タッチパネル15Fがそれぞれ手PAの把持によって検知した近接検知信号に対応する近接操作(例えばホバー操作)又は接触検知信号に対応する接触操作(タッチ操作)を無効と判定する(図21(A)又は(B)参照)。この後、二画面携帯端末1Cの動作は、ステップS86に進む。
操作有効性判定部84Cは、画面表示部30Bに対するタッチ操作に応じたタッチ座標(x、y)の情報をタッチ座標抽出部52が受けていると判定した場合には(S86、YES)、画面表示部30Bに対するタッチ操作の位置が人差し指可動範囲FG(図21(C)参照)内であるか否かを判定する(S90)。
操作有効性判定部84Cは、画面表示部30Bに対するタッチ操作の位置が人差し指可動範囲FG(図21(C)参照)内であると判定した場合には(S90、YES)、画面表示部30Bに対するタッチ操作を間接タッチ操作(参考特許文献3参照)として受け付け(S91)、画面表示部30Bに対するタッチ操作を間接タッチ操作として受け付けた旨の情報をタッチ操作判定部88Bに出力する。タッチ操作判定部88Bは、操作有効性判定部84Cから出力された情報を基に、間接タッチ操作に応じた動作を実行する旨の情報をアプリケーション65に出力する。アプリケーション65は、タッチ操作判定部88Bから出力された情報を基に、間接タッチ操作に応じた動作として例えば画面表示部30Fに表示されているポインタPTを移動させる。表示制御部としてのアプリ画面生成部59は、アプリケーション65の動作結果を画面表示部30Fに表示させる。
操作有効性判定部84Cは、画面表示部30Bに対するタッチ操作の位置が人差し指可動範囲FG(図21(C)参照)内ではないと判定した場合には(S90、NO)、画面表示部30Bに対するタッチ操作の位置が人差し指可動範囲FG内ではない旨の判定結果をタッチ操作判定部88Bに出力する。タッチ操作判定部88Bは、操作有効性判定部84Cから出力された判定結果を基に、2つの画面表示部30F及び30Bに対してそれぞれユーザの意識的なタッチ操作が行われることは通常考えられないとして、ステップS86において検知された画面表示部30Bに対する接触に応じた接触検知信号(タッチ座標(x、y)の情報)を無効化して破棄する(S92)。
以上により、本実施形態の二画面携帯端末1Cは、ユーザの一方の手が対向状態中の画面表示部30Fと画面表示部30Bとを覆うように各筐体側面の略中央部を把持し、ユーザの他方の手の指PAが例えば画面表示部30Fに表示されたボタンBTに対して意識的なタッチ操作を行う場合、タッチ操作の前に既に一方の手に対して検知されている近接検知信号又は接触検知信号を無効化して破棄する。また、二画面携帯端末1Cは、ユーザの一方の手が対向状態中の画面表示部30Fと画面表示部30Bとを覆うように各筐体側面の略中央部を把持し、ユーザの他方の手PAの指が例えば画面表示部30Fに表示されたボタンBTに対して行った意識的なタッチ操作に応じた接触検知信号を有効と判定する。更に、二画面携帯端末1Cは、当該意識的なタッチ操作によって画面表示部30Fが押下されたことに伴って背面タッチパネル15Bが検知した画面表示部30Bに対する同じ指の接触検知信号を無効と判定する。
これにより、二画面携帯端末1Cは、画面表示部30F及び30Bが対向状態ではない場合では画面表示部30F又は30Bに対する入力操作の判定に対して第3の実施形態又は第4の実施形態において説明した判定方法を用いることができる。更に、二画面携帯端末1Cは、画面表示部30F及び30Bが対向状態中では、例えば画面表示部30Fに対してユーザが意識的なタッチ操作を行う前に、既に対向状態中の前面側筐体1CF又は背面側筐体1CBを覆うように把持しているユーザの手に対して検知された近接検知信号又は接触検知信号を無効と判定することができる。従って、二画面携帯端末1Cは、画面表示部30F及び30Bが対向状態中では、例えば画面表示部30Fに対してユーザが意識的なタッチ操作を行う前に検知されている近接検知信号又は接触検知信号を破棄するため、ユーザが意識的なタッチ操作を行う前にユーザが予期しない動作を実行することが無くなり誤検知を低減することができる。
以上、図面を参照して各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種実施の形態の変更例または修正例、更に各種実施の形態の組み合わせ例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
第5の実施形態では重力方向検知部71(例えばジャイロセンサ)は二画面携帯端末1Cが傾いている方向を検知することを説明したが、二画面携帯端末1Cが傾いている方向を検知するものは重力方向検知部71に限定されない。例えば、二画面携帯端末1Cの周囲の輝度を測定可能な輝度センサを前面側筐体1CFと背面側筐体1CBとにそれぞれ設け、前面側筐体1CFと背面側筐体1CBとが対向状態中に各輝度センサの出力のうち明るい輝度の値が得られた輝度センサが設けられた前面側筐体1CF又は背面側筐体1CBがユーザに向いているとして、二画面携帯端末1Cが傾いている方向を検知しても良い。
本発明は、タッチパネルに対して入力されたユーザからの連続移動操作に応じて、連続移動操作における有効信号と戻り信号とを適正に区別して、戻り信号を無効化することでユーザの誤操作を低減させることができる入力装置、入力支援方法及びプログラムとして有用である。
1、1A、1B 携帯端末
1C 二画面携帯端末
5、5F、5B 近接検知部
10、10F、10B タッチ検知部
30、30F、30B 画面表示部
40 メモリ
51 近接座標抽出部
52 タッチ座標抽出部
56 操作判定部
59 アプリ画面生成部
65 アプリケーション
84,84A、84B、84C 操作有効性判定部
88、88B タッチ操作判定部
89、89B ホバー操作判定部

Claims (7)

  1. 画面にデータを表示する表示部と、
    前記画面に対する指等の指示媒体の接触を含まない近接を検知して近接検知信号を出力する近接検知部と、
    前記近接検知部からの出力によって、前記指示媒体により前記近接を維持した状態での所定の移動操作が行われたと判断した場合、前記所定の移動操作により前記近接検知部から出力される前記近接検知信号に対して有効操作としての処理を行い、前記近接を維持した状態で前記所定の移動操作に続いて行われる再度の前記近接を維持した状態での所定の移動操作により前記近接検知部から出力される前記近接検知信号に対して有効操作と戻り操作とを判定し、前記戻り操作と判定した近接検知信号を無効化する制御部と、を備える入力装置。
  2. 請求項1に記載の入力装置であって、
    前記制御部は、
    前記近接が継続した前記指示媒体の前記画面からの高さを基に、前記指示媒体による再度の前記近接を維持した状態での所定の移動操作における有効操作と戻り操作とを判定する入力装置。
  3. 請求項1に記載の入力装置であって、
    前記制御部は、
    前記近接が継続した前記指示媒体の前記画面からの高さ及び前記指示媒体の移動速度を基に、前記指示媒体による再度の前記近接を維持した状態での所定の移動操作における有効操作と戻り操作とを判定する入力装置。
  4. 画面にデータを表示する表示部と、
    前記画面に対する指等の指示媒体の接触を含まない近接を検知して近接検知信号を出力する近接検知部と、
    前記画面に対する前記指示媒体の接触を検知して接触検知信号を出力する接触検知部と、
    前記近接検知部からの出力によって、前記指示媒体により前記近接を維持した状態での所定の往復移動操作が行われたと判断した場合、前記所定の往復移動操作により前記近接検知部から出力される前記近接検知信号に対して有効操作としての処理を行い、前記所定の往復移動操作に続いて行われる再度の前記近接を維持した状態での所定の往復移動操作において、前記接触検知部により接触が検知された前記指示媒体の接触の検知位置が、初回の前記所定の往復移動操作の軌跡に応じた所定の無効化条件に合致するか否かを判定し、前記検知位置が前記所定の無効化条件に合致すると判定した場合に、前記指示媒体の接触に対応する前記接触検知信号を無効化する制御部と、を備える入力装置。
  5. 請求項4に記載の入力装置であって、
    前記無効化条件は、
    前記所定の往復移動操作が前記画面に沿った往復の移動操作であって、前記指示媒体が通過する軌跡のいずれかの位置に前記接触検知部により接触が検知された場合、
    前記所定の往復移動操作が前記画面に対して高さを変化させる往復の移動操作であって、前記指示媒体の接触位置が前記指示媒体による前記所定の往復移動操作の軌跡に対応する前記画面上の位置に略一致した場合、及び、
    前記所定の往復移動操作が前記画面に対して高さを変化させる往復の移動操作であって、前記所定の往復移動操作の方向転換を行う位置に前記指示媒体の接触が前記接触検知部により検知された場合、のうち少なくとも1つである入力装置。
  6. 画面にデータを表示する入力装置の入力支援方法であって、
    前記画面に対する指等の指示媒体の接触を含まない近接を検知して近接検知信号を出力するステップと、
    前記出力によって、前記指示媒体により前記近接を維持した状態での所定の移動操作が行われたと判断するステップと、
    前記所定の移動操作により出力される前記近接検知信号に対して有効操作としての処理を行い、前記近接を維持した状態で前記所定の移動操作に続いて行われる再度の前記近接を維持した状態での所定の移動操作により出力される前記近接検知信号に対して有効操作と戻り操作とを判定するステップと、
    前記判定された前記戻り操作に対応する近接検知信号を無効化するステップと、を有する入力支援方法。
  7. 画面にデータを表示する表示部を含む入力装置であるコンピュータに、
    前記画面に対する指等の指示媒体の接触を含まない近接を検知して近接検知信号を出力するステップと、
    前記出力によって、前記指示媒体により前記近接を維持した状態での所定の移動操作が行われたと判断するステップと、
    前記所定の移動操作により出力される前記近接検知信号に対して有効操作としての処理を行い、前記近接を維持した状態で前記所定の移動操作に続いて行われる再度の前記近接を維持した状態での所定の移動操作により出力される前記近接検知信号に対して有効操作と戻り操作とを判定するステップと、
    前記判定された前記戻り操作に対応する近接検知信号を無効化するステップと、を実現させるためのプログラム。
JP2012141277A 2012-04-27 2012-06-22 入力装置、入力支援方法及びプログラム Active JP5610644B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012141277A JP5610644B2 (ja) 2012-04-27 2012-06-22 入力装置、入力支援方法及びプログラム
PCT/JP2013/001679 WO2013161162A1 (ja) 2012-04-27 2013-03-13 入力装置、入力支援方法及びプログラム
US14/234,470 US10261630B2 (en) 2012-04-27 2013-03-13 Input device, input support method, and program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012104125 2012-04-27
JP2012104125 2012-04-27
JP2012141277A JP5610644B2 (ja) 2012-04-27 2012-06-22 入力装置、入力支援方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013160554A Division JP5461735B2 (ja) 2012-04-27 2013-08-01 入力装置、入力支援方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2013242836A JP2013242836A (ja) 2013-12-05
JP5610644B2 true JP5610644B2 (ja) 2014-10-22

Family

ID=49482520

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012141277A Active JP5610644B2 (ja) 2012-04-27 2012-06-22 入力装置、入力支援方法及びプログラム

Country Status (3)

Country Link
US (1) US10261630B2 (ja)
JP (1) JP5610644B2 (ja)
WO (1) WO2013161162A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5828800B2 (ja) 2012-04-23 2015-12-09 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 表示装置、表示制御方法及びプログラム
JP5489379B1 (ja) 2013-01-18 2014-05-14 パナソニック株式会社 スクロール装置、スクロール方法及びプログラム
KR102241764B1 (ko) * 2013-11-01 2021-04-19 삼성전자 주식회사 전자 장치의 입력 처리 방법 및 장치
US9639261B2 (en) * 2013-12-04 2017-05-02 Sony Corporation Apparatus and method for controlling a suspended state
US9921739B2 (en) * 2014-03-03 2018-03-20 Microchip Technology Incorporated System and method for gesture control
JP6484079B2 (ja) 2014-03-24 2019-03-13 株式会社 ハイディープHiDeep Inc. 感性伝達方法及びそのための端末機
JP6324203B2 (ja) * 2014-05-14 2018-05-16 キヤノン株式会社 情報処理装置およびその制御方法、プログラム、記録媒体
JP6370118B2 (ja) * 2014-06-06 2018-08-08 キヤノン株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
JP6410537B2 (ja) * 2014-09-16 2018-10-24 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP6307626B2 (ja) * 2014-10-21 2018-04-04 オリンパス株式会社 操作装置、操作装置を備える情報処理装置、及び情報処理装置のための操作受付方法
WO2016103520A1 (ja) 2014-12-26 2016-06-30 株式会社ニコン 検出装置、電子機器、検出方法およびプログラム
JP6428382B2 (ja) * 2015-03-02 2018-11-28 富士ゼロックス株式会社 入力システム、入力装置およびプログラム
JPWO2017065050A1 (ja) * 2015-10-16 2018-08-02 コニカミノルタ株式会社 入力装置、電子機器、電子機器の入力方法及びその入力プログラム
JPWO2017065051A1 (ja) * 2015-10-16 2018-08-02 コニカミノルタ株式会社 入力装置、電子機器、電子機器の入力方法及びその入力プログラム
KR101736996B1 (ko) 2015-12-11 2017-05-17 현대자동차주식회사 차량 헤드 유닛, 및 이의 동작 방법
US10296088B2 (en) * 2016-01-26 2019-05-21 Futurewei Technologies, Inc. Haptic correlated graphic effects
JP2017134638A (ja) * 2016-01-28 2017-08-03 株式会社東海理化電機製作所 操作検出装置
CN107526508B (zh) * 2016-06-21 2022-06-24 阿尔派株式会社 电子装置、滑动操作处理方法及滑动操作处理***
CN107015637B (zh) * 2016-10-27 2020-05-05 阿里巴巴集团控股有限公司 虚拟现实场景下的输入方法和装置
JP6173625B1 (ja) * 2017-01-04 2017-08-02 京セラ株式会社 電子機器、プログラムおよび制御方法
JP6567233B2 (ja) * 2017-06-20 2019-08-28 三菱電機株式会社 タッチ入力判定装置、タッチパネル入力装置、タッチ入力判定方法、及びタッチ入力判定プログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04127314A (ja) * 1990-09-19 1992-04-28 Oki Electric Ind Co Ltd タッチパネルのタッチポジション判別方法
US5880411A (en) * 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US5598187A (en) 1993-05-13 1997-01-28 Kabushiki Kaisha Toshiba Spatial motion pattern input system and input method
JPH0728591A (ja) * 1993-05-13 1995-01-31 Toshiba Corp 空間操作マウスシステム及び空間動作パターン入力方法
JP2001265481A (ja) * 2000-03-21 2001-09-28 Nec Corp ページ情報表示方法及び装置並びにページ情報表示用プログラムを記憶した記憶媒体
US8773351B2 (en) 2001-05-21 2014-07-08 Sony Corporation User input apparatus, computer connected to user input apparatus, method of controlling computer connected to user input apparatus, and storage medium
JP3800984B2 (ja) 2001-05-21 2006-07-26 ソニー株式会社 ユーザ入力装置
JP4115198B2 (ja) * 2002-08-02 2008-07-09 株式会社日立製作所 タッチパネルを備えた表示装置
JP2007516496A (ja) * 2003-05-08 2007-06-21 ヒルクレスト ラボラトリーズ, インコーポレイテッド メディア項目を編成、選択及び開始するためのズーム可能なグラフィカルユーザインタフェースを有する制御フレームワーク
JP4450569B2 (ja) * 2003-05-23 2010-04-14 シャープ株式会社 ポインタカーソル制御装置及びその装置を備えた電子機器
US7489299B2 (en) 2003-10-23 2009-02-10 Hillcrest Laboratories, Inc. User interface devices and methods employing accelerometers
US7761814B2 (en) 2004-09-13 2010-07-20 Microsoft Corporation Flick gesture
JP4766340B2 (ja) * 2006-10-13 2011-09-07 ソニー株式会社 近接検知型情報表示装置およびこれを使用した情報表示方法
US8284165B2 (en) 2006-10-13 2012-10-09 Sony Corporation Information display apparatus with proximity detection performance and information display method using the same
US8665225B2 (en) * 2007-01-07 2014-03-04 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture
WO2008093682A1 (ja) 2007-01-31 2008-08-07 Alps Electric Co., Ltd. 静電容量式モーション検出装置及びそれを用いた入力装置
JP5239328B2 (ja) 2007-12-21 2013-07-17 ソニー株式会社 情報処理装置及びタッチ動作認識方法
JP4959606B2 (ja) * 2008-03-10 2012-06-27 三菱電機株式会社 入力装置およびこれを備えた車載情報装置
JP5077773B2 (ja) 2008-03-19 2012-11-21 株式会社デンソー 車両用操作入力装置
JP5176108B2 (ja) * 2008-05-16 2013-04-03 株式会社フジクラ 位置検出装置
KR101520689B1 (ko) * 2008-10-22 2015-05-21 엘지전자 주식회사 이동 단말기 및 이를 이용한 화면 스크롤 방법
JP2010186442A (ja) 2009-02-13 2010-08-26 Sharp Corp 入力装置、及び入力制御方法
JP5282661B2 (ja) 2009-05-26 2013-09-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2011053971A (ja) * 2009-09-02 2011-03-17 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011134069A (ja) 2009-12-24 2011-07-07 Panasonic Corp タッチパネル装置
JP2011134271A (ja) * 2009-12-25 2011-07-07 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011150414A (ja) 2010-01-19 2011-08-04 Sony Corp 情報処理装置、操作入力決定方法及び操作入力決定プログラム
JP5658500B2 (ja) 2010-07-26 2015-01-28 キヤノン株式会社 情報処理装置及びその制御方法
JP2012043180A (ja) 2010-08-19 2012-03-01 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
JP5427152B2 (ja) * 2010-09-27 2014-02-26 シャープ株式会社 入力装置、入力制御方法、プログラムおよび記録媒体
US20120102437A1 (en) * 2010-10-22 2012-04-26 Microsoft Corporation Notification Group Touch Gesture Dismissal Techniques
JP5675484B2 (ja) * 2011-04-28 2015-02-25 株式会社Nttドコモ 表示装置、表示装置の制御方法及びプログラム
US8681181B2 (en) * 2011-08-24 2014-03-25 Nokia Corporation Methods, apparatuses, and computer program products for compression of visual space for facilitating the display of content
JP5907762B2 (ja) * 2012-03-12 2016-04-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 入力装置、入力支援方法及びプログラム
JP5542224B1 (ja) * 2013-03-06 2014-07-09 パナソニック株式会社 電子機器および座標検出方法

Also Published As

Publication number Publication date
WO2013161162A1 (ja) 2013-10-31
JP2013242836A (ja) 2013-12-05
US20140176477A1 (en) 2014-06-26
US10261630B2 (en) 2019-04-16

Similar Documents

Publication Publication Date Title
JP5610644B2 (ja) 入力装置、入力支援方法及びプログラム
US9733752B2 (en) Mobile terminal and control method thereof
KR102160767B1 (ko) 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법
JP5461735B2 (ja) 入力装置、入力支援方法及びプログラム
US9167059B2 (en) Mobile terminal and control method thereof
JP5759660B2 (ja) タッチ・スクリーンを備える携帯式情報端末および入力方法
JP5282661B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR102264444B1 (ko) 전자 장치에서 기능 실행 방법 및 장치
EP3525075B1 (en) Method for lighting up screen of double-screen terminal, and terminal
KR20150025385A (ko) 이동 단말기 및 이의 제어 방법
KR20150065543A (ko) 이동 단말기 및 그것의 제어방법
KR20150127530A (ko) 포터블 디바이스의 사용자 입력 방법 및 상기 사용자 입력 방법이 수행되는 포터블 디바이스
KR101404234B1 (ko) 이동 단말기 및 그것의 제어방법
KR20130102834A (ko) 이동 단말기 및 그 제어방법
JP6319298B2 (ja) 情報端末、表示制御方法及びそのプログラム
US10671269B2 (en) Electronic device with large-size display screen, system and method for controlling display screen
TWI659353B (zh) 電子設備以及電子設備的工作方法
JP5854928B2 (ja) タッチ検出機能を有する電子機器、プログラムおよびタッチ検出機能を有する電子機器の制御方法
JPWO2012111230A1 (ja) 情報処理端末およびその制御方法
KR102559030B1 (ko) 터치 패널을 포함하는 전자 장치 및 그 제어 방법
KR20160008890A (ko) 신체를 이용하여 터치 입력을 제공하는 장치 및 방법
JP5814147B2 (ja) 入力装置、入力制御方法、および入力制御プログラム
KR20150008963A (ko) 스크린을 제어하는 휴대 단말 및 방법
US20230051261A1 (en) Electronic device for displaying contents, and control method therefor
JP2012141650A (ja) 携帯端末

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131217

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140304

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140603

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140604

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140604

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140805

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140901

R150 Certificate of patent or registration of utility model

Ref document number: 5610644

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250