JP6115867B2 - 1つ以上の多方向ボタンを介して電子機器と相互作用できるようにする方法およびコンピューティングデバイス - Google Patents

1つ以上の多方向ボタンを介して電子機器と相互作用できるようにする方法およびコンピューティングデバイス Download PDF

Info

Publication number
JP6115867B2
JP6115867B2 JP2013512595A JP2013512595A JP6115867B2 JP 6115867 B2 JP6115867 B2 JP 6115867B2 JP 2013512595 A JP2013512595 A JP 2013512595A JP 2013512595 A JP2013512595 A JP 2013512595A JP 6115867 B2 JP6115867 B2 JP 6115867B2
Authority
JP
Japan
Prior art keywords
user
button
press
directional
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013512595A
Other languages
English (en)
Other versions
JP2013527539A (ja
JP2013527539A5 (ja
Inventor
テンプル,ウィル,ジョン
Original Assignee
テンプル,ウィル,ジョン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンプル,ウィル,ジョン filed Critical テンプル,ウィル,ジョン
Publication of JP2013527539A publication Critical patent/JP2013527539A/ja
Publication of JP2013527539A5 publication Critical patent/JP2013527539A5/ja
Application granted granted Critical
Publication of JP6115867B2 publication Critical patent/JP6115867B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • G06F3/0237Character input methods using prediction or retrieval techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202Constructional details or processes of manufacture of the input device
    • G06F3/0221Arrangements for reducing keyboard size for transport or storage, e.g. foldable keyboards, keyboards with collapsible keys

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

開示した実施形態および方法は、全体的に、コンピューティングデバイスのユーザインターフェースおよび移動型電子機器に関し、特に、ユーザのプレス、リリース、およびボタン、キーの動作、またはタッチ画面のオブジェクトを解釈してデバイスへの命令を決定する、コンピューティングデバイスおよび移動型電子機器に関する。
関連出願への相互参照
本出願は、本発明者によって2010年5月24日に出願された米国仮特許出願第61/396、261号の利益を主張し、これを参照することにより本願に援用する。
コンピューティングデバイスのユーザは、ユーザインターフェースを用いてデバイスを制御する。ユーザインターフェースは、テキストベースのインターフェースからGUI(Graphical User Interface)と呼ばれることの多いグラフィカルユーザインタフェースへと発展してきた。グラフィカルユーザインタフェースは、一般に、マウスが制御するポインタを使用してメニューまたはボタンを選択し、デバイスへのコマンドを入力する。メニューは、ボタンリストのように働き、メニュー項目を選択するには、ポインタをメニュー項目の上に置いてからそのメニュー項目をクリックする必要がある。メニュー項目をクリックすることは、一般に、マウスボタンを押下してからこのボタンを離すことで成り立つ。メニューは、一般に、2通りの方法のうちのいずれかによって呼び出される。第1の方法は、ポインタを一番上のメニュー項目の上に動かしてクリックする方法であり、これによってサブメニューが現れる。第2の方法は、マウスボタン、通常は右ボタンをクリックすることでメニューをポップアップ表示する方法である。ポインタは通常メニューの一番上にあり、メニューは通常メニュー項目の縦のリストで構成されているという点で、メニューはいくぶん非効率である。ユーザは、メニュー項目を選ぶために、平均的にリストの長さの半分にわたってポインタを動かさなければならない。これは、ポインタがリストの中央にある場合よりも長い距離である。上方にあるメニューおよびボタンの両方とも、表示画面の実際の場所を占領するため、表示できるプログラム内容の量が少なくなる。メニューは、ユーザが視覚的にポインタの位置を追跡し、どのメニュー項目の上にポインタがあるのかを追跡しなければ、使用するのはほとんど不可能である。
携帯型のコンピューティングデバイスは小型化しているため、その表示画面のサイズおよび物理的なユーザが入力するのに利用可能なオブジェクトのサイズはますます小さくなっている。小さい表示画面とは、デスクトップ型コンピュータまたはラップトップ型コンピュータの表示画面よりも遙かに小さいものであり、この画面でコマンドおよびジェスチャーの誤解を最小に抑えてユーザがコンピューティングデバイスと容易に相互作用できるユーザインターフェースを提供することは、至難の業である。
多くの携帯型コンピューティングデバイスでは、マウスおよびポインタによるユーザインターフェースに代わってタッチ画面によるユーザインターフェースが用いられている。ユーザは、指またはスタイラスペンで画面をタッチしてデバイスへのコマンドを入力する。ユーザは、オンスクリーンボタンをタッチしてコマンドを呼び出してもよい。メニューは多くの画面スペースを占領するため、タッチユーザインターフェースは、一般にメニューを用いず、オンスクリーンタッチボタンを利用する。しかしながら、ボタンは、1つのコマンドに制限されるため、アプリケーションプログラムの機能が制限される。
タッチ画面によるユーザインターフェースでは、ユーザは、オブジェクトをタッチしてドラッグ、または「フリック」し、オブジェクトを直接変更することができる。オブジェクトをスクロールして情報ページをナビゲートすることも、オブジェクトにコマンドを与えることも一般的なことである。しかしながら、スクロールまたはナビゲーションの方向以外に、オブジェクトに複数の異なるコマンドを与えられるようにすることは一般的ではない。オブジェクトに対して複数の異なるコマンドをユーザに提示できる場合は、複数のボタンが使用されるのが一般的である。しかしながら、これは貴重な画面スペースを取ってしまう。多くのボタンが必要となれば(キーと呼ばれることもある)、それぞれのボタンまたはキーのサイズを非常に小さくしなければならない。これでは、ユーザがボタンまたはキーを正確に使用するのは困難である。
多くの携帯型コンピューティングデバイスは、キーボードを備えている。キーボードは、一般にキーと呼ばれるボタンの集合で成り立っている。多くの携帯型コンピューティングデバイスにあるキーボードは、コマンドのセットを切り替えるための1つ以上のキーからなる最低限のキーしか備えていないことが多く、このキーでコマンドを生成する。この一例が、よく知られた「shift」キーである。キーボードが物理的なキーボードであってもタッチ画面キーボードであっても、キーボードは適度なサイズに縮小されており、この状態では、ユーザが不注意で意図しないキーを押下することなく希望するキーを押下することは困難になる。さらに、携帯型コンピューティングデバイスのユーザは、一般にキーボードを使用する間は片手または両手でデバイスを保持する。これによってユーザは、キーボードの操作に使用する指を5本未満に制限される。ユーザは一般に、片手で1本以上の指を使用するか、あるいは両手の両親指を使用する。携帯型コンピューティングデバイスのキーボードのサイズが限られている上に、ユーザは限られた本数の指でキーボードを操作するため、ユーザがタッチタイピングすることはほぼ不可能である。これが、携帯型コンピューティングデバイスでのタイピングを困難にしている。ユーザは、タイピングの際にキーボードを見なければならないだけでなく、ユーザは、タイピングミスをチェックするために入力しているテキストも見なければならない。発生するミスのほとんどは、キーボードのキーサイズが小さいためであり、ユーザが限られた本数の指でタイピングしているためである。ミスをした後、ユーザはタイピングミスを修正しなければならず、これによってユーザは、一般に画面およびキーボード上の様々な場所も見なければならない。ミスおよびそれに続く修正を行うたびに、修正にかなりの時間がかかる。ユーザが意図する入力を、ボタンなどを介して確実にデバイスコマンドに転換することが、コンピューティングデバイスを使用する上でユーザが満足するためにきわめて重要なことである。
小さいキーボードでのタイピングを試行し改良するために、いくつかの解決策が提供され、実装されている。そのような一例が、ユーザがタッチ画面キーボード上でキーをタッチし、その後、ユーザの指で単語の各文字を端から端までをスワイプし、最後の文字をタッチしてからタッチを上げることができるキーボードである。これは、Swype(Grossによる米国特許第7,808,480号、Kushlerによる米国特許第7,098,896号、http://www.swypeinc.com/)、Shapewriter(Kristenssonによる米国特許第7,895,518号、http://www.shapewriter.com/)、およびSlidelT(Suraquiによる米国特許第7,199,786号、http://www.mobiletextinput.com/Download/)などのキーボード操作方法である。
これらのスワイプ式キーボードを操作するために、ユーザは、依然として単語の各文字の上で指をスライドさせなければならない。これらのキーボードは、従来のタッチキーボードとほぼ同数のキーを備えているため、同じように小さいサイズのキーを備えている。キーの端から端までを指でスライドすることは、単に単語の各文字をタイピングするよりも決して正確なことではない。したがって、スワイプ式キーボードは、ユーザが何をタイプしようとしているかを予測することに強く依存している。予測技術は、概ね正確に予測することでユーザの使用感を向上させるものだが、予測にはそれに関連するエラー率がある。ユーザは、予測を修正するにあたり、単語の個々の文字を修正する代わりに単語全体を修正せざるを得ない。これはユーザにとって包括的な改善ではない。
小型のキーボードでのタイピングを改善する1つの方法が、少数のキーを使用することである。この対策を用いるための1つの技術が、T9(登録商標)テキスト入力システム(Groverによる米国特許第5,818,437号)である。このシステムでは、ユーザは、1つ以上の文字を表すキーを押下する。単語を含む文字が書かれたそのキーを押下した後、システムは押下されたキーをデコードし、ユーザがタイプしようとしていたとシステムが考える単語を入力する。当然ながら、この方法では、キーを同じ順序で押下することよって2つ以上の単語を表現できるため、エラー率が高い。ユーザにとってエラー率が高いことは明らかに望ましくないことである。
少数のキーを使用するためのもう1つのキーボードが、MessagEase(Bozorgui−Nesbatによる米国特許第6,847,706号、www.exideas.com)である。このキーボードは、アルファベットの文字すべてを含めるのに3×3のグリッド状の9個のキーのみを使用する。ユーザは、MessagEaseを用いて、キーを叩くかキーをタッチするかのいずれかで個々の文字を入力した後、指をスライドさせて別のキーの上でリリースすることでタイプする。これによって、所与のキーボードサイズの従来のキーよりも大きい単一のキーにすることが可能になり、その上、単一のキーを用いて正確に複数のキーストローク選択肢からユーザに選択させることになる。ユーザは、より大きいキーを従来のキーボードの小さいキーよりも低いエラー率で押下することができるため、これはユーザにとっては改善点である。しかしながら、MessagEaseのキーでは、ユーザは、特定の距離を特定の方向にスライドまたはスワイプさせていくつかの文字を選択する必要がある。この距離は、ユーザが最初に押下したキーが隣接するキーを通らない程度に保たれなければならない。さらに、MessagEaseキーは、隣接するキーの方向のみにスワイプさせることができ、これによって最初にキーを押下して選択できる文字の選択肢数が制限される。さらに、MessagEaseのキーボードレイアウトは、従来のキーボードレイアウトとは似ていないため、市場では受け入れられにくい。
限られた数のキーを使用するもう1つのキーボードが、Tiki6Keys(登録商標)キーボード(http://tikilabs.com/index.php?p=home)である。このキーボードには、様々な使い方がある。1つの方法では、ユーザは、1文字を入力するのに複数のキーを押下する必要がある。これでは明らかに、単一のキーを押下すだけである従来のキーボードよりもテキスト入力が遅くなる。もう1つの方法では、ユーザは、1つのキーを押下してから別のキーへスライドして1文字を入力する。これはMessagEaseとほぼ同じであり、同じ制限がある。
小型のデバイスでは、キーボードは一般に、数ある選択肢の中から確実な選択方法をユーザに提示する必要がある。なぜなら、1つの言語には多くの文字があるためである。このため、小型のキーボードに対して多くの独創的な解決策が試行され、その成功の度合いは幅がある。しかしながら、ユーザが小さいスペースの小さい範囲内で複数のコマンドまたは文字を素早く入力するのを可能にするユーザ入力オブジェクトは、キーボード以外にも多くのアプリケーションで便利になり得る。必要なものは、確実性が高く、ユーザのわずかな動作と力で2つ以上のコマンドを確実に生成できるボタン、メニュー、またはキーである。(本発明の発明者に対する)米国仮特許出願第61/396,261号(2010年5月24日)には、好適な解決策が記載されており、本出願はこれに対して優先的に請求する。
米国特許第7,808,480号 米国特許第7,098,896号 米国特許第7,895,518号 米国特許第7,199,786号 米国特許第5,818,437号 米国特許第6,847,706号 米国仮特許出願第61/396,261号
本発明の実施形態および本発明のさらに別の実施形態をよりよく理解するため、下の図面と合わせて以下の発明を実施するための形態を参照されたい。図面において、同じ符号は図面全体を通して同じ部分を指す。
図3Aのデバイスの斜視図である。 本発明のいくつかの方法を用いてユーザが入力する一連の工程の例のうちの一工程を示す図である。 本発明のいくつかの方法を用いてユーザが入力する一連の工程の例のうちの一工程を示す図である。 本発明のいくつかの方法を用いてユーザが入力する一連の工程の例のうちの一工程を示す図である。 本発明のいくつかの方法を用いてユーザが入力する一連の工程の例のうちの一工程を示す図である。 本発明のいくつかの方法を用いてユーザが入力する一連の工程の例のうちの一工程を示す図である。 本発明のいくつかの方法を用いてユーザが入力する一連の工程の例のうちの一工程を示す図である。 本発明のいくつかの実施形態による電子機器の正面図である。 本発明のいくつかの実施形態による電子機器の正面図である。 本発明のいくつかの方法を示す図である。 本発明のいくつかの方法を示す図である。 本発明のいくつかの実施形態のいくつかの方法を示す図である。 本発明のいくつかの実施形態のいくつかの方法を示す図である。 本発明のいくつかの方法を示す図である。 本発明のいくつかの方法を示す図である。 本発明のいくつかの方法を示す図である。 本発明のいくつかの方法を示す図である。 本発明の一実施形態を示す図である。 本発明の一実施形態を示す図である。 本発明の一実施形態を示す図である。 本発明の一実施形態を示す図である。 本発明の一実施形態を示す図である。 本発明のいくつかの方法を示す図である。 本発明のいくつかの方法を示す図である。 本発明のいくつかの実施形態のいくつかの方法を示す図である。 本発明のいくつかの実施形態のいくつかの方法を示す図である。 本発明のいくつかの実施形態を示す図である。 本発明のいくつかの実施形態のいくつかの方法による電子機器の正面図である。
次に、本発明の実施形態および方法を詳細に参照し、その例を添付の図面を用いて説明する。以下の詳細な説明では、本発明を完全に理解するために多数の特定の詳細内容を記載している。しかしながら、本発明はこれらの特定の詳細内容がなくとも実施できることは一当業者には明らかであろう。これ以外の場合において、公知のおよび/または一般的なプロセス、プログラミング方法、手順、構成要素、回路、およびネットワークは、実施形態の態様を不必要に不明瞭にしないために、詳細には記載していない。
第1の(first)、第2の(second)などの用語を、本明細書では様々な要素を説明するのに使用することがあるが、これらの要素はこれらの用語に限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためだけに用いることがある。例えば、本発明の範囲を逸脱しないかぎり、第1の動作(first motion)を第2の動作(second motion)という用語にしてもよく、同じように、第2の動作(second motion)を第1の動作(first motion)という用語にしてもよい。
本発明の記載で使用した専門用語は、特定の実施形態および方法を説明することを目的としているだけであり、本発明の限定を意図したものではない。本発明および添付の特許請求の範囲の記載に使用したように、単数形の「1つの(a、an)」および「その(the)」は、本文で明記しないかぎりは複数形も含むことを意図している。「および/または」という用語は、本明細書で使用したように、引用された関連する項目の任意かつすべての組み合わせを指し、これを範囲に含めることも理解されるであろう。さらに、「含む(comprises)」および/または「含んでいる(comprising)」という用語は、本明細書に使用する際は、記載した特徴、工程、方法、操作、要素、および/または構成要素が存在することを指すが、これ以外の特徴、工程、方法、操作、要素、および/または構成要素がさらに1つ以上存在することを排除するものではないことが理解されるであろう。
コンピューティングデバイス、このようなデバイスに対するユーザインターフェース、ならびにこのようなデバイスを使用するためのその方法およびプロセスの実施形態を説明する。いくつかの実施形態では、デバイスは、携帯電話など、タッチ画面表示を備える携帯型の通信デバイスであり、このデバイスは、ウェブ閲覧、PDA、音楽再生器などの他の機能、および無制限の機能に対してダウンロード可能なアプリケーションなどの他の機能を搭載していてもよい。もう1つの実施形態では、デバイスはキーボードである。
簡略化のため、以下の考察では、例示的実施形態としてコンピューティングデバイスを使用する。しかしながら、開示した多方向ボタン、またはキー、ユーザインターフェースおよびそのプロセスを、コンピュータキーボード、ハンドヘルド電子ディスプレイ、パーソナルコンピュータ、ラップトップコンピュータ、タブレット型コンピュータ、携帯型音楽再生器、GPS装置、および電子時計などだがこれに限定されない、その他のデバイスに適用することもできることは理解されるべきである。コンピューティングデバイスは、複数のタスクを実行することができる場合もあり、「多機能デバイス」と呼ばれることがある。簡略化のため、コンピューティングデバイスは、単に「コンピューティングデバイス」または「デバイス」と呼ぶこともある。
コンピューティングデバイスは、ユーザが見ることのできるプログラムコンテンツを表示するための1つ以上の画面を備えることができる。画面は、横に並んだ画面でもよいし、デバイスの様々な側面にある画面でもよいが、これに限定されない。簡略化のため、ユーザが現在見ることのできる1つ以上の画面を、「表示画面(display screensまたはdisplay screen)」と呼ぶことがある。
簡略化のため、「ボタン」という用語は、物理的なボタンまたは表示画面に描かれた視覚的なオンスクリーンボタンを指す。オンスクリーンボタンは、ポインティングデバイスを用いて使用してもよいし、またはユーザが直接タッチするようになっているタッチ画面ボタンであってもよい。ボタンは、ユーザ入力オブジェクトであり、デバイスにユーザコマンドを発行する手段である。
X軸、Y軸、Z軸の記号を表示しているいずれの図においても、X軸およびY軸は、1つ以上のボタンの最上面の平面と一致する平面を規定するものである。いずれの図においても、ボタンの位置は、コンピューティングデバイス10の最上面にあるものとして描かれているが、最上面である必要はない。ボタンはすべて、簡略化のため、コンピューティングデバイスの最上面に描かれている。Z軸は、正のZ方向がボタンから上に延びる方向である、ボタンに対して垂直な軸と定義される。簡略化のため、正のZ方向は、デバイスのユーザの方を指すと仮定し、ユーザは表示画面と対面していると仮定する。
「ユーザ入力」という用語は、ユーザがボタンを使用するための手段を指す。これは、ユーザの指でボタンを操作することで達成することができる。ユーザのボタンへの入力は、スタイラスペン、マウス、または任意のデバイスであってその出力をプレス、リリース、およびプレス動作の形で解釈できるデバイスで達成できるが、これに限定されない。
すべての実施形態に共通することは、ユーザ入力を感知して信号を生成するための手段である。ユーザ入力を感知する信号の処理、ならびにこれらの信号を画面の変化およびデバイスへのコマンドに転換するための手段および方法は、本発明の表示画面および/または多方向ボタンを収容する携帯型デバイスでは用いられる必要がない。例えば、プレス、このプレスのリリース、ならびにプレス動作を示す信号およびこの信号の処理は、携帯型デバイスの外部にあるプロセッサに通信することができる。ディスプレイのプログラミングも同じように、プロセッサの外部から通信することができる。本明細書に記載した携帯型デバイスの例では、ユーザ入力の信号を感知するためのすべての手段、およびこの信号を画面の変化およびデバイスへのコマンドに転換する手段は、1つの携帯型デバイスに搭載される。しかしながら、「携帯型コンピューティングデバイス」という用語は、ユーザ入力信号の処理がどこで行われるとしても、1つ以上の携帯型表示画面、ユーザ入力信号を感知する手段および信号をコマンドに転換する手段を含むと解釈されるべきである。
すべての実施形態およびすべての方法に共通することは、ボタンであり、このボタンは、本開示では全体的に、「多方向ボタン」、「ボタン」、または簡略化のために「メニュー」と称するが、「キー」、「スイッチ」、「トグル」、または「ピックリスト」と呼ばれることもある。ボタンは、一般的なボタンがするように、ユーザが入力する際のプレスとリリースを検知するが、これに加えて、押下する方向に対して実質的に垂直な方向へユーザが入力する動作または力も検知する。ボタンは、押下する方向に対して実質的に垂直な方向へのユーザの動作または力の方向および/または値を含む信号を生成し、かつ/または検知する。簡略化のため、押下する方向に対して実質的に垂直な方向を、「横方向」と呼ぶことができる。本開示の実施形態および方法のボタンは、プレス、動作および/または力、動作および/または力の閾値の超過、およびプレスのリリースを含むボタンイベントを検知する。本開示の実施形態および方法のボタンは、これに加えて、ボタンイベントとして、時間閾値の超過を検知する。本開示の多方向ボタンの方法および実施形態は、1つ以上のボタンイベントを検知してデバイスに対する1つ以上のコマンドを決定する。本開示の多方向ボタンは、ユーザがデバイスにコマンドを入力することを選択できる複数の選択肢を備える。
すべてのボタン方法に共通することは、少なくとも1つの多方向ボタンを含む入力オブジェクトに対するユーザの変化を検知する手段である。入力オブジェクトは、オブジェクトが物理的なボタンであれば、ユーザが直接操作できる。入力オブジェクトがオンスクリーンボタンであれば、ポインタおよびポインタ制御ボタンで操作でき、これは一般にマウスインターフェースとして知られる。入力オブジェクトがオンスクリーンのタッチ画面ボタンであれば、ボタンは、タッチ画面を直接タッチすることで操作できる。信号を処理するのには多くの一般的な手段が存在し、本発明は1つの特定の方法に限定されるべきではない。例えば、オペレーティングシステムは、ボタンから信号を受信し、プロセスまたはアプリケーションプログラムにメッセージを送信する。別の例では、個々のアプリケーションまたはプロセスは、ボタンの状態が変化した場合にボタンデバイスをポーリングすることができる。
一実施形態では、ユーザは、1つ以上の多方向ボタンを押下し、このプレスを動かし、このプレスをリリースしてデバイスにコマンドを入力する。これらの機能を実行するための命令は、コンピュータによる読み取りが可能な記憶媒体または1つ以上のプロセッサが実行するように構成されたその他のコンピュータプログラム製品に搭載してもよい。これらの機能を実行するための命令は、1つ以上の方法プレス動作に適用して、デバイスへのコマンド、およびコマンドを処理するための命令を決定することができる。
一実施形態では、ボタンは、プレス、リリース、ならびに横方向の力および/または動作を検知できる物理的なボタンとすることができる。ボタンは、可動式であってもよいし、あるいはひずみゲージなどだがこれに限定されない手段を介して力を検知することができる。ボタンの横方向の動作または検知された力で全図面のX/Y平面へユーザが加えた力を、本開示では「プレス動作」と呼び、「動作」とだけ呼ぶこともある。ユーザが物理的なボタンから1本以上の指を上げることを、「リリース」と呼ぶ。
本発明の一方法では、ユーザは、物理的な多方向ボタンを押下して、多方向ボタン方法またはコマンド方法を開始する。ボタン方法は、この方法を開始する最初のプレス信号を受信することと、このプレスに関する情報を保存することと、ボタンの実質的に横方向への動作または動きを検知することと、ボタンの動作が動作閾値を超えたかどうかを検知することと、ボタンのリリースを検知することと、ボタンの動作方向を判断することと、デバイスへのコマンドを決定することとを含み、デバイスへのコマンドは、キーストロークの入力、一般にメニューもしくはボタンまたはその他の入力オブジェクトから発行される任意のコマンド、および/または第2のボタン方法の開始とすることができるがこれに限定されない。
一実施形態では、ボタンは、表示画面の領域または区域を備え、ユーザはこの領域の上にポインタを動かしてユーザインターフェースコマンドを生成する方法を開始することができる。ポインタを画面上で動かす動作は、ユーザがマウスまたはマウスの代替物でポインタを動かすことからなる。マウスまたはマウスの代替物は、「ポインタボタン」と呼ぶ1つ以上のボタンを備える。ポインタがボタンの境界内にある間に、1つ以上のボタンを押下すことを「プレス(押下)」と呼ぶ。1つ以上のポインタボタンを下に押下した状態でマウスを動かすことを、本開示では「プレス動作」と呼び、「動作」とだけ呼ぶこともある。ユーザが1つ以上のポインタボタンを離すことを「リリース」と呼ぶ。
本発明の一方法では、ユーザは、ポインタをマウス、またはマウスの代替物を用いて表示画面のボタン境界内の上で動かし、ポインタまたはマウスのボタンを押下して多方向ボタン方法またはコマンド方法を開始する。ボタン方法は、この方法を開始する最初のプレスの信号を受信することと、このプレスに関する情報を保存することと、マウスまたはマウスの代替物の動作または動きを検知することと、この動作の変位を計算することと、動作が変位の閾値を超えたかどうかを判断することと、ポインタボタンのリリースを検知することと、変位角を算出することと、デバイスへのコマンドを決定することとを含み、デバイスへのコマンドは、キーストロークの入力、一般にメニューまたはボタンまたはその他の入力オブジェクトから発行される任意のコマンド、および/または第2のボタン方法の開始とすることができるがこれに限定されない。
一実施形態では、ユーザがユーザインターフェースコマンドを生成する方法を開始することができる、ボタンタッチ画面表示の領域、または区域を備える。画面をタッチする動作は、ユーザが1本以上の指または手もしくは体の他の部分でタッチ画面をタッチすることからなる。あるいは、画面をタッチする動作は、スタイラスペンなどだがこれに限定されない1つ以上の物でタッチ画面をタッチすることからなる。簡略化のため、本開示では、ユーザは自分の指を使って画面をタッチするものと仮定する。タッチ画面への最初のタッチを、「プレス」と呼ぶ。ユーザは、画面との接触を維持したまま1本以上の指をタッチ画面の端から端までスライドさせることができる。これは一般に、「フリック」または「スワイプ」と呼ばれ、本開示では「プレス動作」と呼び、「動作」とだけ呼ぶこともある。ユーザが画面から1本以上の指を上げることを「リリース」と呼ぶ。
タッチ画面によるユーザインターフェースでは、ユーザは、オブジェクトをタッチしてドラッグ、または「フリック」または「スワイプ」してオブジェクトを直接変更することができる。オブジェクトをスクロールして情報ページをナビゲートするほか、オブジェクトに直接コマンドを与えることも一般的である。しかしながら、スクロールまたはナビゲーションの方向以外にオブジェクトに複数の異なるコマンドを与えられることは一般的ではない。ユーザが直接オブジェクトを操作することと、ボタンオブジェクトを操作することとの違いは、後者の場合、ユーザがボタンを操作して間接的にオブジェクトへ、または間接的にデバイスへコマンドを発行することである。多方向ボタンでは、ユーザは、オブジェクトおよび/またはデバイスに対する2つ以上のコマンドの中からいずれかを選択できる多方向ボタンを操作する。多方向ボタンの利点は、単一のボタンオブジェクトから複数のコマンドを選ぶ選択肢をユーザに与えることである。
本発明の一方法では、ユーザは、ボタン境界内の上でタッチ画面をタッチして多方向ボタン方法またはコマンド方法を開始する。ボタン方法は、この方法を開始する最初のタッチプレス信号を受信することと、このタッチしてプレスに関する情報を保存することと、このタッチの動作または動きを検知することと、このタッチの変位を計算することと、このタッチが変位の閾値を超えたかどうかを判断することと、このタッチのリリースを検知することと、変位角を算出することと、デバイスへのコマンドを決定することとを含み、デバイスへのコマンドは、キーストロークの入力、一般にメニューまたはボタンまたはその他の入力オブジェクトから発行される任意のコマンド、および/または第2のボタン方法の開始とすることができるがこれに限定されない。
本発明の一態様では、多方向ボタン方法は、ユーザのさらに別のプレス、プレス位置、および何らかのデータ変数で表されるプレス時間も検知できるがこれに限定されず、これによってボタン方法は、デバイスへの1つ以上のコマンドを決定できる。
本発明の一態様では、多方向ボタン方法は、1つ以上のプレスの最初のプレス位置からの変位角、リリース時のプレス位置、またはプレス動作が動作閾値を超えたときもしくは他のときのプレス位置を判断することができる。多方向ボタンのユーザは、ほとんどの場合、プレスを単一方向に動かすことはない。例えば、ユーザが指でタッチ画面をタッチし、指をある方向にフリックする場合、指は指の付け根を中心に回転するため、この動作は実質的に弓状に湾曲した形をたどることが多い。ユーザが意図する動作を解釈する最も正確な方法は、ユーザのやり方および技量によって異なるであろう。多方向ボタンは、データ値および/または設定に基づいて挙動が変化することがあり、このデータ値および/または設定は、ユーザが構成できるものであってもよいしそうでなくてもよい。ユーザ入力オブジェクト、ソフトウェア方法、またはプロセスの挙動を構成すること、およびその挙動に影響を与える設定をユーザが変更できるようにすることは、コンピューティングデバイスでは一般的なことである。多方向ボタン方法では、保存された1つ以上のデータ値を読み取って、ボタンイベントの処理方法を決定することができる。例えば、多方向ボタン方法は、変位角を計算するために、データ値からどの方法を使用するかを選択することができる。
本発明の一方法では、ユーザは、ボタンの境界内でタッチ画面をタッチしてボタン方法またはコマンド方法を開始する。ボタン方法は、この方法を開始する最初のタッチプレス信号を受信することと、さらに別のタッチプレスを検知することと、1つ以上のタッチプレスの位置および/または何らかのデータ変数で表されるプレス時間を保存することと、このタッチの動作または動きを検知することと、このタッチの変位を計算することと、タッチが変位の閾値を超えたかどうかを判断することと、このタッチのリリースを検知することと、2つ以上のプレスが検知された場合のリリース時間を算出することと、タッチがリリースされるときのタッチ位置を判断することと、最初のタッチ位置およびタッチ位置のリリースからの変位角を計算することと、デバイスへのコマンドを決定することとを含み、デバイスへのコマンドは、キーストロークの入力、一般にメニューから発行される任意のコマンド、および/または第2のボタン方法の開始とすることができるがこれに限定されない。
ポインタベースのユーザ入力と、ユーザのプレスおよびタッチの動きに基づくタッチ画面ベースのユーザ入力とを用いるすべての実施形態に共通することは、ポインタまたはタッチの動作の変位を計算することである。タッチの変位は、ユーザの指またはスタイラスペンが、最初の画面接触ポイントから現在の画面接触ポイントまで表示画面に沿って動いた距離である。ポインタの変位は、ポインタが最初の位置から現在の位置まで表示画面に沿って動いた距離である。距離の代わりに変位という用語を使用するが、これは、プレスまたはタッチの動作が移動して変位を達成する距離は重要ではないためである。
携帯型デバイスのオペレーティングシステムは、一般にポインタ位置またはタッチの位置情報を含む信号を供給する。位置データは、通常X座標とY座標とで表され、これは一般にデカルト座標系として知られている。しかしながら、位置データは、基準位置からの角度および変位など、一般に極座標系として知られるその他の方法で表されてもよい。位置情報は、画面上のピクセル位置を換算したしたもの、またはグローバル座標系を換算したものであってもよく、これらは、現在の画面または画面の区画の座標から転換することができる。
デカルト座標を用いた変位の計算は、最初のポインタ位置またはタッチ位置および現在のポインタ位置またはタッチ位置にピタゴラスの定理を適用することで実現できる。デバイスは、ポインタ位置またはタッチ位置の信号をXおよびYのデータ値で供給し、変位の計算は、最初のポインタ位置またはタッチ位置のX値と現在のポインタ位置またはタッチ位置のX値との差を二乗したものと、最初のポインタ位置またはタッチ位置のY値と現在のポインタ位置またはタッチ位置のY値との差を二乗したものとの和の平方根を求めることで実現されると仮定する。ポインタまたはタッチの変位の計算は、先行技術で周知の知識である。
最初のポインタ位置またはタッチ位置から現在のポインタ位置またはタッチ位置までの角度を算出することは、最初の成分Xと現在の成分Yとの差を用いて逆正接関数を使用する単純な問題である。これは、一般的な幾何学であり、先行技術で周知の知識である。
最初の位置から現在の位置までの変位および角度を算出することも、極座標では周知の知識である。
図1は、図3Aのデバイスの斜視図であり、いくつかの実施形態によるタッチ画面ディスプレイ16を備える携帯型コンピューティングデバイス10を示す。この携帯型コンピューティングデバイスは、広く普及しているスマートフォンに似ており、視覚的に指導するためのステータスバー11およびホームボタン13を備えている。タッチ画面ディスプレイは、いくつかの実施形態によるオンスクリーンキーボード14を備えている。オンスクリーンキーボードは、複数の多方向ボタンからなる。ボタンは、1回プレスしてから移動させるか移動させずに1回リリースすることでユーザが選択できる9個もの異なる選択肢を備えている。
図2A、図2B、図2C、図2D、および図2Eは、ユーザが複数のコマンドから1つのコマンドを選択する一連の工程の一例を示し、この複数のコマンドは、多方向ボタンの操作を明らかにするために多方向ボタンから選択することができる。図2A、図2C、および図2Eは、表示画面16上にユーザに対して表示されている内容を示す。図2Bおよび図2Dは、境界および閾値の位置ならびに表示画面上のタッチポイントを示す。(「タッチポイント」とは、ユーザがタッチ画面をタッチしている画面上のポイント、またはマウスボタンを押下したときにポインタがあるポイントのことである。)図2Bおよび図2Dは、これらのオブジェクトがわかりにくくならないように、ユーザが表示画面上で見る内容は表示していない。境界および閾値の位置ならびにタッチポイントは、ユーザには表示されず、ユーザが1つのボタンを使用して複数の選択肢から選択することができる方法を説明するために示しているだけである。境界を示したボタン区域は、オンスクリーンの方向ボタンをユーザが押下したときに、このボタンに対して本開示の方法を開始する表示画面の区域である。
図2Aは、単一の多方向ボタン20の一例を表示している表示画面16を示す。この多方向ボタンの表示は、ユーザが見る内容であり、一般的なボタンまたはメニュー項目のように見える。ポインタ21でこのボタンを選択する場合、ユーザは、ポインタをこのボタンの上に置いてポインタボタンまたはマウスボタンを押下する。タッチ画面をタッチしてこのボタンを選択する場合、ユーザは、タッチ画面上のボタンを直接押下する。ボタンを押下すると、ユーザの動きとリリースとの一連の動作からコマンドを決定するためのボタン方法が開始される。
図2Bは、表示画面16の一部であるボタンの境界22を示し、この境界内で、プレス24またはタッチが多方向ボタン方法を開始する。ボタン方法を開始するプレス24は、小さい十字で表されている。ボタン方法を開始するプレスの信号またはメッセージを受信すると、この方法は、プレス動作を検知し、動作閾値28を超えている動作をチェックする。この例では、ボタンの閾値は、最初のプレス位置24からのプレス動作の変位の閾値である。このように、動作閾値は、最初のプレス位置を中心とする円で表される。
本発明の一態様では、動作閾値は、プレス動作と直接関連している必要はなく、ポインタまたはタッチ動作の信号に基づく閾値であってもよい。
ユーザによるプレスがボタン境界内で行われると、この例のボタン方法は、ユーザに表示する内容を図2Cに示すように変更する。この例のボタンでは、現時点で5つのコマンド選択肢が表示されている。ボタン方法は開始されたばかりであり、動作閾値を超えるプレス動作はまだ検知されていないため、表示された多方向ボタン26のうち中央の選択肢がハイライトされている。このとき、ユーザが、動作閾値を超えるプレス動作なしにプレスをリリースしようとすれば、ボタン方法は、中央の選択肢と関連するコマンドをデバイスに対して発行する。
本発明の一態様では、ボタン方法は、ユーザがボタンを押下したときに、ユーザに表示される内容を変更してもしなくてもよい。さらに、ボタン方法は、ユーザが動作閾値または時間閾値を超えてプレスを動かしたときに、ユーザに表示される内容を変更してもしなくてもよい。さらに、ボタン方法は、選択肢を表示し、選択肢のうち現在選択されているものをハイライトするのに、任意の一般的な方法を用いてもよい。
本発明の一態様では、ボタン方法は、ユーザに表示される内容を表示画面上のどこに置いてもよい。この例では、ボタン方法は、表示される多方向ボタン26を表示画面16の中央付近に置いた。このボタンの表示は、ユーザが見ている今表示されている選択肢がユーザの指で見えなくならないように、プレスまたはタッチの下に直接表示されることはない。
図2Dは、ユーザが多方向ボタンから1つのコマンド選択する一連の工程の次のステップを示す。このステップでは、ユーザは、最初の動作閾値28を超えてプレス40を動かした。一般的なボタンの挙動と多方向ボタンとの違いは、ボタン方法を開始したボタンの境界は重要ではなくなるという点である。ユーザが、中央の選択または選択肢以外の選択に向かってプレスを動かした場合、このプレスの変位がボタンの境界を超えている必要はないが、動作閾値を超えている必要がある。ボタン方法は、プレスの現在位置が動作閾値を超えたことを検知すると、どの選択領域が現在のプレス位置をその時点で含んでいるかを判断する。この判断をするためのソフトウェア方法はよく知られており、多くの方法で達成することができる。この例では、最初のプレス位置からプレスが移動した角度(図2Fのβ’)が、4つの角度選択領域41、42、43、および44と比較される。(図2Fからわかるように、β’は、Y方向にある軸Aと、現在のプレスポイントおよび最初のプレスポイントを通過する軸Cとの間の角度である。)この例では、4つの選択領域はそれぞれ、開口角が90度である。(図2Dからわかるように、βは、軸Dと軸Eとの間の角度である。)
本発明の一態様では、選択領域の開口角は、規則的な間隔である必要はない。特定のユーザ入力の動きが他の動きよりも正確であることもある。例えば、プログラマは、ユーザが確実に実行するのが困難である動きに対して、選択領域の開口角がより大きい多方向ボタンを実装することができる。
本発明の一実施形態では、プロセスは、ユーザの入力エラーを追跡するデータベースを作成し、特定のコマンドを選択する際に起こるエラー率に基づいて、選択領域の開口ならびに/または動作閾値および/もしくは時間閾値を調整することができる。ユーザのエラー率は、バックスペースキーが押される前に発行されたコマンド、またはその他のエラー修正コマンドを追跡することなどだがこれに限定されない一般的な方法で追跡し続けることができる。ユーザ入力エラーは、修正コマンドのあとにユーザが入力したコマンドと、修正コマンドよりも前に入力したコマンドとを比較することによって判断することができる。修正前と修正後のコマンドは、複数のデバイスコマンドからなるものでもよい。
図2Dに示した例のユーザ入力の一連の工程では、ボタン方法は、現時点でプレスが選択領域41にあることを検知した。この例では、ボタン方法は、表示画面16を図2Eに見られるように更新し、一番上のメニュー項目をハイライトしている。
ユーザ入力を選択する一連の工程の最後のステップは、ユーザがプレスをリリースする工程である。このリリースを検知すると、本方法は、1つ以上のコマンドを発行する。この例の方法は、画面を更新し、ポップアップ式の多方向ボタン表示またはメニュー表示を削除する。
本発明の一態様では、ユーザが選択できるコマンドまたはハイライトできるコマンドが、現在プレスされている選択領域に隣接する選択領域と関連していると判断するためのアルゴリズムを、ソフトウェア方法が実装することができる。ユーザは、ほとんどの場合、プレスを直線状に動かすことはない。というのも、指はピボット式に構成されており、これによって円弧状の動作を生成する傾向があるためである。このように、ユーザがプレスを動かそうとする方向を決定するのに多様な方法を選ぶことができる。例えば、プレスが動作閾値を超えたときのプレス動作の角度は、平均してこのプレスがリリースされる角度になるであろう。別の例では、最初のプレスの動作は、これよりも後の動作よりも遙かに強くてもよい。
マイクロソフト社のWindowsのオペレーティングシステムでは、多くのアプリケーションで右マウスボタンがメニューを「ポップアップ」する。本発明の一態様では、本開示の多方向ボタンは、ユーザのプレスに応答して、同じように「ポップアップ」させることができ、このプレスは、マウスボタンを押下する、またはタッチ画面をタッチする、または物理的なボタンを押下することなどとすることができる。最初のオンスクリーンボタンをユーザに表示する必要はない。
本発明の一態様では、選択領域の開口角は、どの多方向ボタンにいくつあってもよい。角度のある選択領域は無限に小さくできるため、1つの多方向ボタンに存在できる選択数およびコマンド数に理論上の制限はない。しかしながら、実際の限度は、ユーザが確実にプレスを動かすことのできる選択領域の境界となる最小の開口角である。
本発明の一態様では、選択領域は、規則的な角度間隔である必要はなく、あるいは動作閾値を境に対称となる必要はない。多方向ボタンは、選択領域を制御するアプリケーションのニーズに合うように適応する選択領域を備えることができる。
多方向ボタンからなるキーボードの詳細な記載
もう1つの実施形態では、複数の多方向ボタンがキーボードを構成する。図3Aは、ソフトウェアキーボード14を備えるコンピューティングデバイス10の一例を示す。ソフトウェアキーボードは、「ソフトキーボード」と呼ばれることもあり、物理的なキーのないキーボードである。キーボードは、タッチ画面キーボードであってもよいし、あるいはポインティングデバイスもしくはスタイラスペン、またはオンスクリーンソフトウェアキーボードを操作する任意の一般的な方法で操作してもよい。ソフトウェアキーボードは、物理的なキーボード用のスペースが常にあるとはかぎらない小型の携帯型コンピューティングデバイスに一般的なものである。
この例の多方向ボタンを備えたキーボードは、複数の多方向ボタンを備え、この多方向ボタンのうちの3つのボタンが、単一事例では英語のアルファベット文字すべてを含んでいる。この3つのボタンそれぞれが、ボタン1個につき9個のキーの選択肢を備えている多方向ボタンである。
図3Bは、例のコンピューティングデバイス10の表示画面16にあるソフトウェアキーボードの多方向ボタンの境界を示す。ボタンの境界33、34、および35は、英語のアルファベット26文字をすべて含む多方向ボタン30、31、および32それぞれの境界である。ボタンの境界46、47、および48は、一般的なキーボードに見られるその他の一般的なキー、またはコマンドを含む多方向ボタン36、37、および38のそれぞれの境界である。
本発明の一態様では、ソフトウェアキーボードを実装している方法は、ユーザによるプレスのボタン境界内の位置および/またはユーザによるプレスのエラーを追跡し、ボタン境界の位置を調整してユーザの好みまたは使用パターンに調整することができる。
図4Aおよび図4Bは、ユーザが複数のコマンドから1つのコマンドを選択する一連の工程の一例を示し、この複数のコマンドは、多方向ボタンの操作を明らかにするために多方向ボタンから選択できる。この例の一連の工程では、ユーザがコンピューティングデバイスにアルファベット文字を入力する。図4Aおよび図4Bは、ボタン境界の位置およびプレス動作閾値の位置ならびに表示画面上でのプレス位置またはタッチ位置を示し、ユーザが見る表示内容は表示していない。境界の位置および閾値の位置ならびにプレス位置は、ユーザには表示されず、ユーザが単一のボタンを用いて複数の選択肢から選択できる方法を説明するために示しているだけである。ボタン境界内の区域は、ユーザが選択したときに画面上の多方向ボタンに対して本開示の多方向ボタン方法を開始するタッチ画面の区域である。
この例の一連の工程の第1のステップは、ユーザがボタン境界34内でプレスすることからなる。図4Aは、最初のプレス位置24を示し、これはボタン境界34内の小さい十字で示されている。ボタン境界は、図3Aに示すように、ソフトウェアキーボード14の上の中央のボタンに相当する。ボタン方法を開始する信号またはメッセージを受信すると、この方法は、プレス動作を検知し、動作が動作閾値28を超えているかをチェックする。
この例の方法では、ユーザの指またはその他の選択用デバイスは、表示されるオンスクリーンボタンの上にあり、表示されているボタンを見えなくする。この例の方法では、画面上に表示されるボタンは変化しない。というのも、この変化はユーザからは見えないからである。
本発明の一態様では、ユーザが即座にプレスをリリースしようとしている場合に選択される、現在のキーまたはコマンドは、コンピューティングデバイスのどこに表示されてもよい。
この例の一連の工程の第2のステップは、図4Bに示すように、ユーザが最初のプレス位置から新たな選択ポイント40にプレスを動かす工程である。この例では、8つの選択領域81〜88のそれぞれの開口角は45度である。新たな選択ポイントは、このボタン方法に対する動作閾値28を超えている。この例では、最初のプレス位置から移動したプレスの角度は、角度β’である。(図4Bからわかるように、β’は、Y方向の軸Aと、現在のプレスポイントおよび最初のプレスポイントを通過する軸Cとの間の角度である。)この例の多方向ボタン方法は、角度β’を角度のある8つの選択領域と比較し、どの選択領域にプレスが移動したかを判断する。
本発明の一態様では、選択領域の開口角は、規則的な間隔である必要はなく、特定の目的に適した任意の開口角および閾値であってもよい。
図3Aに示すソフトウェアキーボード14は、多様なコマンド選択の選択肢を有する多方向ボタンを示す。ソフトウェアキーボードのこの実施形態では、多方向ボタン36には4つのコマンド選択肢があり、多方向ボタン37には5つのコマンド選択肢があり、多方向ボタン38には2つのコマンド選択肢がある。
本発明の一態様では、多方向ボタンを実装しているアプリケーションプログラムまたはプロセスは、いつでも多方向ボタンを再構成することができる。例えば、ボタンにコマンド選択肢を追加する、あるいはボタンからコマンド選択肢を取り除くことができる。
本発明の一態様では、多方向ボタンは、選択1つにつき単一のコマンドに限定される必要はなく、複数のコマンドを発行してもよいし、または他の方法を開始してもよい。例えば、図3Aに示す多方向ボタン37では、ユーザが右の選択または選択肢を選んだことによって発行されるコマンドは、ピリオド文字がデバイスに入力され、その後にスペース文字がデバイスに入力され、その後に次に入力されるキーを大文字にすることを含む方法を開始する。
本発明の一態様では、デバイスに入力されるコマンドが、状態変更となるものであってもよい。例えば、ソフトウェアキーボードの左下の多方向ボタン36は、一般的なキーボードの状態変更を行うキー:CapsLockキー、Shiftキー、Controlキー、およびAltキーとなる4つの選択肢を含んでいる。
本発明の一方法では、Shiftキーを2回押下して「Caps Lock」の状態をオンとオフに切り替えることができる。
この例の方法では、例である多方向ボタンは、第2の動作閾値45を有する。ユーザがプレスを第2の閾値を超えて動かした場合、コマンドは発行されず、本方法は、ソフトウェアキーボードのボタンを表示画面上の新たな位置へ動かす。このように、ユーザは、キーボードを画面上で容易に動かして、ユーザ用に適応させることができる。
本発明の一態様では、ソフトウェアキーボードを備える多方向ボタンを、表示画面上で動かす、または位置決めして、ユーザのタイピングスタイルに合わせることができる。例えば、ユーザは、1本の指または入力デバイスを用いてキーボードを使用する形から、複数の指または入力デバイスを用いてキーボードを使用する形に切り替えることができる。表示画面上での最適なボタンのレイアウトは、ユーザがキーボードを使用するのに選ぶ様々な方法で様々に異なるであろう。
本発明の一態様では、タッチ画面上で、ユーザは、2本以上の指で同時に画面をタッチすることができる。これは、先行技術では「コーディング」として知られている。ユーザがボタンのあるマウスを使用する場合に、2つ以上のマウスボタンを同時に押下することも、先行技術では「コーディング」と呼ばれている。コーディングは、ユーザが利用できるコマンド選択肢の数を拡大するために使用することができる。
本発明の一方法では、多方向ボタン方法は、コーディングを検知する。コーディングは、次のように検知されることができる。多方向ボタン方法は、最初のボタンのプレスに応答する信号により開始された後、最初のプレスに続く1つ以上のユーザのプレスにより生成されるプレス信号を検知する。初回以降に続くユーザのプレスは、ユーザが別の1本または複数の指でタッチ画面をタッチすること、および/またはユーザが別の1つのまたは複数のボタンを押下することからなるとすることができ、このボタンは多方向ボタンであってもよいしそうでなくてもよい。ユーザのプレスは、システムのポインタが多方向ボタンの上にある間に、ユーザが2つ以上のマウスボタンを押下することからなるものであってもよい。ユーザのプレスは、ユーザが複数の物理的な多方向ボタンを押下することからなるものであってもよい。プレスを検知すると、多方向ボタン方法は、さらに別のプレス、このプレスの動作、およびリリースを検知して、デバイスへのコマンドを決定する。
本発明の一態様では、ボタン方法は、別のプレスを検知すると、別のボタン方法を開始して、ユーザが押下し、動かし、リリースする一連の工程を解釈してデバイスへのコマンドを決定することができる。
本発明の一態様では、多方向ボタン方法がタイマーをセットし、かつ/またはプレスの時間を記録して、ユーザの意図の違いを区別することができる。例えば、時間閾値内に複数のボタンが押下されるかリリースされた場合、ユーザが1つの多方向ボタンを同時に押下したかリリースしたと解釈できる。
本発明の一方法では、図1および図3Aに示すように、多方向ボタン方法は、コンピューティングデバイス10の表示画面16上にあるソフトウェアキーボード14で、時間閾値内の2つのユーザのプレスを検知する。この方法は、ユーザがプレスをリリースするのを検知すると、「スペース」キーのコマンドをデバイスへ入力する。
本発明の一方法では、図1および図3Aに示すように、多方向ボタン方法が、コンピューティングデバイス10の表示画面16上にあるソフトウェアキーボード14で、2つのユーザのプレスを検知する。この方法は、ユーザが閾値時間内にプレスをリリースするのを検知すると、「スペース」キーのコマンドをデバイスへ入力する。
一般的なキーボードでは、ユーザは、キーまたはボタンを押下し、これを下げたままにすることで、複数のキーストロークまたはコマンドを入力することができる。キーのプレスが検知されると、一般的なプロセスがシステムタイマーをスタートさせ、タイマーは、タイマー信号を所定の間隔または時間レートでプロセスに送信する。押下されたキーのリリースが検知される前にタイマー信号が受信された場合、プロセスは、キーストロークまたはコマンドをデバイスに入力する。プレスのリリースが検知されると、プロセスはシステムタイマーを切る。
本発明の一方法では、多方向ボタン方法は、多方向ボタンのプレスが検知され、かつ/またはボタンのプレスが動作閾値を超えているときに、システムタイマーをスタートさせる。システムタイマーは、タイマー信号を所定の間隔または時間レートでボタン方法に送信する。押下されたキーのリリースが検知される前にタイマー信号が受信された場合、プロセスは、キーストロークまたはコマンドをデバイスに入力する。プレスのリリースが検知されると、ボタン方法は、システムタイマーを切る。これによって、ユーザは、複数のコマンドをデバイスに入力する。
本発明の一態様では、多方向ボタン方法は、他のボタンもしくはオブジェクト、または表示画面上の他のボタンもしくはオブジェクトの表示を変更することができる。
本発明の一方法では、最初のボタンのプレスで開始された多方向ボタン方法は、ボタン表示を変更し、1つ以上のボタンを処理する。この方法は、この方法を開始したプレスがリリースされる前に、第2のプレス、もしあればこの第2のプレスの動作、およびこの第2のプレスのリリースを検知すると、コマンドをデバイスに入力する。最初のプレスがリリースされると、デバイスに入力されることになっているコマンドは、第2のプレスが検知されなければ取り消される。
本発明の一方法では、最初のボタンのプレスで開始された多方向ボタン方法は、ボタン表示を変更し、1つ以上のボタンを処理して逆の活字ケースのアルファベット文字を表示する。この方法は、この方法を開始したプレスがリリースされる前に、第2のプレスおよびもしあればこの第2のプレスの動作を検知すると、1つ以上の文字をデバイスに入力する。最初のプレスがリリースされると、デバイスに入力されることになっているコマンドは、第2のプレスが検知されなければ取り消される。
例えば、図3Aに示すソフトウェアキーボード14の3つのボタン30、31、および32のうちの1つをユーザが押下した場合、多方向ボタン方法は、ボタンのプレスを検知すると、他の2つのボタンを変更して逆の活字ケースの文字を表示して処理することができる。図5Aは、多方向ボタン32へのユーザのプレス24の一例を示す。(ユーザがボタン32上に見る文字を図面から削除しているため、読者からは最初のボタンのプレス24および動作閾値28が見える。)読者から見えるように、この活字ケースは、図3Aに見られる小文字から図5Aに示す多方向ボタン30および31に見られる大文字に変化している。
本発明の一態様では、第2のプレスは、プレスが多方向ボタン方法を開始した後に時間の閾値を超えて起こり、他のボタンの活字ケースを変更する方法を開始してもよい。
本発明の一方法では、多方向ボタン方法は、動作閾値を超えるプレスおよび/または時間閾値を超えるプレスが始まる動作を検知し、多方向ボタンであってもよいしそうでなくてもよい他のボタンまたはオブジェクトを変更する。この変更は、画面のオブジェクトを多方向ボタンであってもよい別のオブジェクトに入れ替えて、多方向ボタンが発行したコマンドを変更し、かつ/または多方向ボタンの境界、動作閾値、および/または時間閾値、および/または多方向ボタンの表示、または表示画面上にある他のスクリーンオブジェクトを変更することからなるが、これに限定されない。多方向ボタンは、複数のコマンド選択肢を含み、この選択肢はさらに多くの多方向ボタンを開始できる。
別の例では、図3Aのソフトウェアキーボード14の3つのボタン30、31、および32のうちの1つをユーザが押下した場合、多方向ボタン方法は、ボタンのプレスを検知すると、他の2つのボタンを変更して、アルファベット文字の代わりにアルファベットではない文字を表示して処理することができる。図5Bは、多方向ボタン32へのユーザのプレス24の一例を示す。(ユーザがボタン32上に見る文字を図面から削除しているため、読者からは最初のボタンのプレス24および動作閾値28が見える。)この例では、ユーザは、動作閾値28を超えてプレスを動かしている。この方法は、動作閾値を超えるプレスを検知すると、多方向ボタン30および31を変更し、図5Bに示すように、数字のパッドを含むアルファベットではない文字を表示して処理する。
本発明の一態様では、第2のプレスは、プレスが方法を開始した後に時間の閾値を超えて起こることがあってもよい。
本発明の一態様では、多方向ボタンによる表示変更は(この変更によりコマンドが変更される)、プレスが方法を開始した時から時間閾値を過ぎるまで起こることはない。
本発明の一態様では、多方向ボタンによる表示変更は(この変更によりコマンドが変更される)、プレスが方法を開始した時から起算してすべてのプレスが時間閾値内にリリースされれば、変化することはない。
本発明の一方法では、ユーザが2本の指でソフトウェアキーボードを押下し、この2つのプレスを実質的に同じ方向に動作閾値を超えて動かすと、表示画面上のキーボードが動く。これによって、ユーザは、キーボードを動かして自分のタイピングスタイルに合わせることができる。
本発明の一方法では、ユーザが2本の指でソフトウェアキーボードを押下し、この2つのプレスを逆方向に、かつ全体的に回転させて、任意に動作閾値を超えて動かすと、キーボードの向きが変化する。
本発明の一方法では、ユーザが2本の指でソフトウェアキーボードを押下し、この2つのプレスを互いに近づけるまたは離すように動かすと、キーボードのサイズを変更し、かつ/または本発明のキーボードのボタンの位置を変更し、かつ/またはキーボードを2つ以上のキーのセットに分割し、または2つ以上のキーのセットを1つのキーボードに統合する。
例えば、キーボードが表示画面(タブレット型コンピュータのものではない)の幅または高さの限度まで広がっていない場合に、ユーザがキーボードを2本の指で押下する場合、ユーザは、指を離してキーボードを拡大することができる。さらに、ユーザが、所定の最大拡大サイズを過ぎて指を動かし続けると、キーボードは、ボタンまたはキーからなる2つのセットに分割されることができ、さらにこのセットは、キーのコピーを含むことができる。2つのキーセットは、表示画面の両側に配置される。キーセットを2つ以上備える本発明の一実施形態を図17に示す。図示したこの方法の例では、ユーザは、片手でタイピングするのに好適なより小さいキーボードから、両手を用いてタイプするのに好適なレイアウトである2つのキーセットに変更することができる。両手でタイプするこのような方法は、分割したキーボードにすることが好ましく、「親指」でタイピングするものである。
図17は、本発明の一実施形態を示す。この実施形態のデバイス10は、広く普及しているタブレット型コンピュータに似たものである。読者が理解しやすいように、ステータスバー11、テキスト入力領域12、およびホームボタン13を示している。表示画面16は、本発明のソフトウェアキーボードを含み、このキーボードは、2つの同一の多方向ボタンセット14および15を備え、このボタンセットはアルファベット文字を含んでいる。読者が図からわかるように、左のボタンセットのボタン30、31、32、36、37、および38は、右のボタンセットのボタン170、171、172、176、177、178と同じように見え、同じように機能する。これによってユーザは、デバイスを両手で保持して親指でタイプして、この実施形態のキーボードを用いてタイプすることを選ぶであろう。ユーザは、右のセットまたは左のセットを用いて、あるいは2つのキーセットを合わせて用いてタイプすることを選ぶことができる。したがって、ユーザは、自分の好みに合わせて様々な方法でキーボードを使用できる。この実施形態はさらに、多方向ボタンセット173、174、および175を備え、この多方向ボタンセットは、数字パッドおよびその他の文字を含む。この3つのボタンは中央に位置し、表示画面上にコピーはない。
一般的なキーボードのキーを分割することは、先行技術では一般的なことである。しかしながら、多方向ボタンからなるキーを分割すること、およびアルファベット文字を備える多方向ボタンまたは一般的なキーからなるキーの複数のコピーを配置することは、新規かつ非自明なものである。当業者は、本発明の範囲を逸脱しないかぎり、キーの数、位置、表示および組み合わせを調整してもよい。さらに、複製されるキーは同じである必要はなく、同様の機能を備えていれば同様のものとすることができる。
本発明の一態様では、ユーザが中央にある多方向ボタンの選択区域(動作閾値内の区域)からプレスを動かす必要のある最小の変位は、ボタン境界のサイズとは無関係である。さらに、動作閾値を超えるのに要するプレスの動作または変位は、画面ディスプレイまたはグラフィックス上の多方向ボタンのサイズまたは位置または形に基づくものではない。多方向ボタンと一般的なメニューまたはボタンとの違いは、動作閾値を超えて別の選択領域まで動かすのに必要なプレスの変位が、同様のサイズのメニュー項目から別のメニュー項目へ動かすのに必要な変位よりも小さくてよいという点である。さらに、プレスの最大変位は、隣接するボタン境界で限定される必要はない。最大変位は、プレス動作の幅で限定される必要があるだけであり、これは、タッチ画面上では画面の境界である。一般的なメニューまたはボタン上では、ユーザは、1つのメニュー項目またはボタンから別のメニュー項目へプレスを動かすことによって、メニュー項目または隣接するボタンの中を移動できることはよくあるが、メニュー項目またはボタンのいずれであってもプレスは選択されるものの上になければならない。多方向ボタンの利点は、ユーザは、プレス動作をそれほど正確にしなくてもよいという点である。
従来のメニューシステムでは、ユーザは、ユーザが選択するメニュー項目またはボタンの限度および選択境界に注意しなければならない。ポインタベースのユーザ入力システムでは、ユーザは、画面上のポインタを見て、ポインタが、選択するメニュー項目の上に動いたことと、メニュー項目を超えていないこととを見なければならない。タッチベースのユーザ入力システムでは、ユーザは同じく、指が、選択するメニュー項目の上に置かれていることと、メニュー項目を超えていないこととに注意しなければならない。多方向ボタンを用いると、ユーザは、プレスの位置を見る必要があるだけである。この選択方法のそれ以外のことに関して、ユーザは、タッチまたはポインタがどれだけ動いたか、また全体的にどの方向へ動いたかという感覚を持つ必要があるだけである。実際に、多方向ボタンのユーザは、「タッチタイプ」の方が遙かに容易であると感じるであろう。つまりユーザは、ボタンまたはメニューによるインターフェースとの視覚的接触を維持する必要がない状態で、コマンドを発行することができる。
ポインタベースのユーザ入力と、ユーザのプレスおよびタッチ動作に基づくタッチ画面ベースのユーザ入力とを使用するすべての実施形態に共通することは、閾値を超えたポインタまたはタッチの変位を検知することである。閾値は、閾値が変位の半径とこの半径の角度とからなる場合は、1つの値を有することができる。半径と角度とからなる閾値は、円形の閾値区域を規定し、X座標およびY座標は、単位当たりの距離が等しいと仮定する。閾値は、他の形を規定するのに必要な複数の値を有することができる。例えば、X値とY値とからなる閾値であれば、長方形の閾値区域を規定することになる。
一実施形態では、多方向ボタンは、最初のプレスからこのプレスを新たな選択領域に動かすのに必要とされるプレス動作の変位が大きくなっていく、複数の動作閾値を有する。例えば、タッチ画面上で、ユーザは、第1のプレス動作閾値を超えて指を動かし、指を動かし続けて第2のプレス動作閾値を超えることができる。ユーザは、指を動かし続けて、さらに多くの動作閾値を超えることができ、この動作閾値は、表示画面のサイズによってのみ限定される。
本発明の一態様では、ポインタ、タッチおよび物理的な多方向ボタンをベースにした入力の方法および実施形態は、コンピューティングデバイス内で互いに排他的である必要はなく、どのような組み合わせで実装してもよい。
図3A、図6A、図6B、図6C、および図6Dは、複数のコマンドからユーザが1つのコマンドを選択する一連の工程の一例を示し、この複数のコマンドは、第2の複数のコマンド選択肢を表示する多方向ボタンの操作を明らかにするために、多方向ボタンから選択することができる。図3A、図6A、および図6Cは、表示画面16上でユーザに表示される内容を示す。図6Bおよび図6Dは、境界の位置、閾値の位置、および表示画面上のタッチポイントを示し、ユーザが見る内容は表示していない。境界および閾値の位置ならびにタッチポイントは、ユーザには表示されず、ユーザが多方向ボタンからの複数の選択肢を選択できる方法を説明するために示しているだけである。境界を示したボタン区域は、ユーザが押下した際に、本開示の方法を多方向ボタンに対して開始するタッチ画面の区域である。
図3Aは、多方向ボタンからなるソフトウェアキーボードの一例を表示している表示画面16を示す。この例の一連の工程では、第1のステップは、ユーザがボタン30を押下することからなる。プレス信号を受信すると、この例のボタン方法は、図6Bに示す最初のプレス位置24を判断する。次にこの方法は、プレス動作を検知して、プレスが図6Bに示す第1の動作閾値28を超えたかどうかを判断する。
この例の一連の工程の第2のステップは、ユーザがプレスを動作閾値を超えて新たなプレス位置60に動かすことからなる。この方法は、プレスが第1の動作閾値の外へ動いたことを検知すると、新たな多方向ボタンを開始する。このとき方法は、ユーザがプレスをリリースすれば選択されることになる現在のコマンドをハイライトし、これはこの場合、図6Aに示すような「a」のキーである。この例の方法では、この方法は、第2のコマンドセットの表示および処理を開始する。図6Aにからわかるように、ユーザに表示された元のボタンは、第2の多方向ボタン66に取って代わられる。図6Dは、新たな第2の動作閾値および新たな選択領域を示す。この例では、英語の単語とそれに続くスペース文字からなる多方向ボタンから、3つの新たなコマンドを選択できる。このときユーザは、プレスを右へ、正のX方向へ、適切な角度で動かし、3つの選択領域のうちの1つの中でプレスをリリースし、3つの第2のコマンドのうちの1つを選ぶことができる。
図6Dに示した、この例の一連の工程の第3のステップは、ユーザがプレスを第2の動作閾値68を超えて最後のプレス位置65へ動かすことからなる。この最後のプレス位置は、選択領域63にある。この方法は、動作が第2の動作閾値を超えた信号を受信すると、第2の多方向ボタン66の表示を図6Cに示すように変更し、ボタンの右下にあるコマンドをハイライトする。この例では、図6Dに示す選択領域64は、プレスがリリースされると、選択位置が第2の動作閾値内にあるときにリリースが行われた場合に発行されるのと同じコマンドを発行する。
この例の一連の工程の第4のステップでは、ユーザは、選択領域63でプレスをリリースする。この選択領域は、英語の文字および単語の「and」に相当し、この単語がデバイスに入力される。
本発明の一態様では、多方向ボタン方法は、プレスがリリースされると、単純に、プレスが動作閾値を超えていないことと、プレスが一方向に動いたことまたは動いていないこととをチェックすることができる。例えば、前の例の一連の工程で、ボタン方法は、プレスがリリースされると、リリース位置が負のX方向にあるかどうかを検知できる。ある場合、プレスは正の方向へ動いてはいないので、この方法は、コマンド「a」をデバイスに入力する。
前の例の一連の工程では、ユーザはボタンを押下し、プレスを一方向へ動かした後、別の方向へプレスを動かし、プレスをリリースした。このユーザ入力の一連の工程を続けた結果、完全な単語およびそれに続くスペース文字ができ、これがデバイスに入力される。これによって、読者は、多方向ボタンを用いると、タイピングがわずかな力で高速かつきわめて正確に達成できることを確信できる。
本発明の一態様では、第2の動作閾値を超えることおよび/またはプレスが第2の選択領域内にあるときにプレスが時間閾値を超えることにより、さらに別のコマンドレベルを開始できる。一般的なソフトウェアメニューの第2のメニューを説明するために使用される専門用語は、「サブメニュー」という用語である。ちょうどメニューがサブメニューを導くように、このサブメニューはさらに別のサブメニューを導くことができ、多方向ボタンは、さらに多くの多方向ボタンを導くことができる。コマンド選択肢および多方向ボタンの数に理論上の限界はなく、つまり最初の多方向ボタンから出せる「サブ多方向ボタン」と言ってもよい。
本発明の一方法では、ソフトウェアキーボードを実装するための方法は、ユーザが現在入力している単語の文字を追跡する。この方法は、1つ以上のプレス動作を検知する。この方法は、第一の動作閾値を超える動作を検知すると、第2レベルのコマンドを開始する。プレスの動作が動作閾値を超えた場合にプレスがリリースされると実行されるコマンドは、現在タイプされていてできる可能性がある単語を完成させるキーストロークからなる。例えば、前の例と同じユーザ入力の一連の工程を始める前に、ユーザが現在「m」の文字をタイプして新しい単語を打ち始めた場合、この方法は、異なる第2のコマンドのセットを表示する。図12は、第2の多方向ボタン120を示す。この例では、表示画面16に見られるように、3つの一般的な英語の単語が第2の多方向ボタンに表示されている。表示された3つの単語:「mad」、「made」および「make」は、ユーザが、プレスを第2の動作閾値を超えて3つの単語のそれぞれの選択領域のうちの1つに動かそうとすれば完成させることができる、一般的な英語の単語である。
本発明の一方法では、多方向ボタンを備えるソフトウェアキーボードを実装しているいくつかの方法は、ユーザがソフトウェアキーボードに入力した文字を保存し、入力された文字の流れを分析して、ソフトウェアキーボードを備えるデバイスに現在入力されている単語のうちのすでに入力された文字を判断し、ユーザがソフトウェア辞書に入力している可能性のある単語を調べ、ソフトウェア辞書内で発見された1つ以上の単語(任意にスペース文字が続く)からなる1つ以上のコマンドを含む第2の多方向ボタンを表示する。
本発明の一態様では、ソフトウェア辞書は、一般的な言語での単語およびこの単語の使用頻度順位を含むことができる。多方向ボタンは、ソフトウェア辞書から発見された頻度順位の順序に並べた単語リストを含んでもよい。
本発明の一方法では、ソフトウェアキーボードを実装している方法は、多方向ボタンの第1の動作閾値の交差を検知し、第2レベルのコマンド選択肢を表示し、第2の動作閾値の交差を検知し、第3レベルのコマンド選択肢を表示する。第3レベルのコマンドは、一単語の一般的な派生語または複数単語の組み合わせで構成されることができるが、これに限定されない。
図12は、第2レベルの多方向ボタンを開始する前述のコマンドをユーザが操作する一連の工程を示す。ボタン120は、3つの単語「mad」、「made」および「make」ならびに「a」の文字を含む。ユーザがプレスを図6Dに示す右下の選択領域63へ動かすと、コマンド「make」は新たな中央の選択となる。新たな中央の選択が検知されると、ボタン方法は、第3レベルのコマンド選択肢を表示する。図13に示すように、新たに表示された多方向ボタン130は、単語「makes」、「making」、および「make up」で構成される3つの新たなコマンドを表示する。続いてユーザがプレスを左に戻して下に動かし、プレスをリリースしようとすれば、ユーザは、「make up」という句とこれに続くスペースキーを選択できる。総合すると、ユーザは、プレス、動作、およびリリースで「m」のキーを選択し、その後、ボタンを押下してプレスを3つの方向へ動かし、プレスをリリースして8つの文字をデバイスに入力する必要があったであろう。従来のキーボードで比較すると、ユーザは、指を8つの文字に移動させ、8つのキーを押下し、リリースする必要があったであろう。読者がわかるように、複数レベルの多方向ボタンからなるソフトウェアキーボードによって、ユーザは、プレスと動作の量を減らして、完全な単語さらには複数の単語でも入力することができる。さらに、動作閾値を超えるのに必要な動作の量は、従来のキーボード上のキーの間を動作させるのに必要な動作よりも遙かに少なくできる。
本発明の一態様では、プレス動作が両方とも動作閾値を超えて、動作が速度の閾値を下回り、かつ/または時間閾値に対する速度の閾値を下回り、かつ/または速度の閾値、または最初のプレスポイントから動作閾値が達成されたポイントまでプレスが動く方向とは実質的に異なる方向への変位を上回るまで、複数レベルの多方向ボタンが次のレベルの多方向ボタンまたはコマンド選択肢のセットを開始するのを待つことができる。次のレベルの多方向ボタンをいつ開始するかを決定するために、当業者が実装できる多くの可能な方法がある。さらに、複数レベルの多方向ボタンが、表示画面上のボタン表示を遅らせている間に次のレベルを開始してもよい。このように、プレスを1つ以上の方向に素早く動作させるユーザが、画面上でフリックする多方向ボタンの表示に気を取られる必要はない。
いくつかの本発明の実施形態では、複数の多方向ボタンは、先に開示したように、キーボードを構成する。一般的なキーボードのキーレイアウトは、一般的なキーおよびボタンから多方向ボタンへ理想的に適応されていないことがある。多くの国で最も一般的なキーボードのレイアウトは、QWERTYキーボードのレイアウトである。図7は、多方向ボタンに適応されたQWERTYキーボードのレイアウト70の一例を示す。主な全ラテン文字A〜Zは、一般的なキーボードにあるのと実質的に同じ位置にある。このキーボードのレイアウトは、QWERTYのレイアウトに馴染みがあると仮定したユーザには、最も習得が容易な多方向ボタンのキーボードレイアウトになるであろう。しかしながら、多方向ボタンにある中央のコマンドまたはキーの選択肢が、実行するのに最も効果的なコマンドである。QWERTYのレイアウトでは、「s」、「g」、および「k」の文字は、このような位置にある。これらの文字は、しかしながら、最もよくタイプする文字ではない。
本発明の一実施形態では、キーボードは、複数の多方向ボタンからなる。図8に示すように、ボタンのレイアウトは、3対のキーの位置が入れ替わっているQWERTYキーボードのレイアウト80で構成されている。入れ替わった対は、「s」の文字と「e」の文字、「g」の文字と「t」の文字、「k」の文字と「i」の文字である。この3対の文字が入れ替わると、中央にあるボタンのコマンド選択肢またはキーは、一般的な英語のテキストをタイプする際に約15%多く実行される結果になる。(これは、一般に利用可能な文字の使用頻度データからわかったことである。中央のコマンドは、普通にタイピングしている間、入れ替えた対のレイアウトでは約22%の時間で使用されるのに対し、従来のQwertyレイアウトでは7%の時間で使用される。)このキーボードレイアウトを、本明細書では「Temple」キーボードレイアウトと呼ぶ。
Templeキーボードレイアウトは、QWERTYレイアウトに慣れているユーザにとっては学習曲線がやや高くなるが、タイピング効果はさらによくなる。Templeレイアウトでは、隣接するキーを入れ替えるだけで学習曲線が下降する。ユーザが位置の変更した6つのキーのうちの1つを探す場合、ユーザは、せいぜい予想していた位置から1つ離れたキーを見つけるだけでよい。読者は、「a」のキーは英語で3番目に多く使用される文字だが、「a」のキーは「e」のキーほど頻繁には使用されないことに気づくはずである。「a」キーを多方向ボタンの中央の位置に置くと、「a」キーを別の多方向ボタンに動作させる必要があり、これではQWERTYレイアウトに慣れたユーザにとっては実質的に学習曲線が上昇しまう。(Templeキーボードレイアウトは、「a」を中央の位置にある「i」キーと代えた場合よりも1.3%効果が下がるだけである。)
QWERTYキーボードレイアウトを多方向ボタンに適応させると、「p」のキーは、他の文字に対する相対位置に残されているとすれば、図7および図8に示すように、1つあたり9個のコマンドを含み基本的なラテン文字を含む4つの多方向ボタンの最も右のボタンに1つだけある。本発明の一実施形態では、図1Aおよび図3Aに示すように、この「p」を、左から3番目の多方向ボタンに移動させ、「m」キーの右に置く。この実施形態では、基本的なラテン文字すべてが3つの多方向ボタンに含まれる。これによって、基本的なラテン文字すべてを含有するのに必要な多方向ボタンの数が3つに抑えられ、それによって所与のキーボードサイズに対する多方向ボタンのサイズをより大きくすることができる。
もう1つの一般的なキーボードレイアウトがQWERTZレイアウトであり、このレイアウトは東欧諸国で広く使用されている。このレイアウトと一般的なQWERTYレイアウトとの主な相違点は、「Y」および「Z」の文字が入れ替わっていることである。本発明の一実施形態では、「Temple」レイアウトも、適応した本開示のQWERTYレイアウトも、「Y」と「Z」の文字を入れ替えることによって、QWERTZレイアウトを使用する諸国に対して同様に適応することができる。
一般的なQWERTYキーボードレイアウトでは、数字キーは一般的に基本の文字キーの上にある。これらの数字キーは、基本的なQWERTYキーボードレイアウトに対する位置を変更しなければ多方向ボタンにうまく適応しない。図7は、QWERTYキーボードレイアウトおよび多方向ボタンに適応させた数字キーを示す。読者は、数字キーが、一番右の上2つの多方向ボタンに移動していることがわかるはずである。「1」から「9」のキーを含む多方向ボタンは、一般的なコンピュータキーボードの数字パッドに見られるのと同じ相対位置に配列された数字キーを有する。右上にある多方向ボタンは、中央に「0」のキーを含み、通常数字キーと共に使用され外側の位置を占めているキーと一緒になっている。
図9は、多方向ボタンで構成される数字パッド90を示し、「1」から「9」の数字が一般的な電話のキーレイアウトの位置に配列されている、大きめのキーボードレイアウトの一部と考えてよい。右の多方向ボタンは、中央に「0」のキーを含み、通常数字キーと共に使用され外側の位置を占めているキーと一緒になっている。
図10は、多方向ボタンで構成される数字パッド100のもう1つの実施形態を示す。この実施形態では、数字は、5つのコマンド選択肢で構成される多方向ボタンに配置される。5つのコマンドボタンは、中央のコマンド選択肢と4つのコマンド選択肢とで構成され、この4つの選択肢は、ユーザが動作閾値を超えて4つの選択領域のうちの1つにプレスを動かして選択することができる。この実施形態のボタンは、ユーザからのプレス動作の角度の正確さをそれほど必要としない。これによって、入力の正確度が増すことになるが、その犠牲として、別のボタンは、与えられたスペースに合うように小さめにする必要のある多方向ボタンになることがある。
図11は、3つのコマンドを有する多方向キーで実装した一般的なQWERTYキーボードレイアウト110を備える、本発明の一実施形態を示す。3つのコマンドを有する多方向キーは、ユーザが、プレス動作がボタンの動作閾値を超えることなくボタンのプレスをリリースした場合に選択される、中央のコマンド選択を有する。中央コマンドは、中央コマンドの上にある1つと中央コマンドの下にある1つである2つの選択肢に挟まれている。この実施形態のボタン方法は、単純にY軸に沿った縦方向のプレス動作を検知して、動作閾値を超えた動作を検知することができる。読者は図11を見ればわかるように、ユーザが最も左のボタンを押下し、動かさずにこのプレスをリリースすると、「a」の文字がデバイスに入力される。ユーザが同じボタンを押下してこのプレスを動作閾値を超えて正のY方向に動かし、プレスをリリースすると、「q」の文字がデバイスに入力される。このキーボードレイアウトの利点は、ユーザがプレスを動かす角度の正確さをそれほど必要としないという点である。欠点は、ボタン幅が一般的なキーボードレイアウトと同じままであるという点である。ユーザが指を横方向にX軸に沿ってフリックすることが快適ではないと思えば、ユーザは、このキーボードレイアウトの方を好むであろう。3つのコマンドを有する多方向ボタンは、すべての多方向ボタンのように、一般的なキーボードに埋め込むことができる。例えば、一般的なQWERTYキーボードで中央にあるキーの行(「asd」などの行)は、図11のキーボードレイアウト110に代えることができる。
図16は、3つのコマンドを有する多方向キーで実装した一般的なQWERTYキーボードレイアウト160を備える、本発明の一実施形態を示す。3つのコマンドを有する多方向キーは、ユーザが、プレス動作がボタンの動作閾値を超えることなくボタンのプレスをリリースした場合に選択される、中央のコマンド選択を有する。中央コマンドは、中央コマンドの左にある1つと中央コマンドの右にある1つである2つの選択肢に挟まれている。この実施形態のボタン方法は、単純にX軸に沿った横方向のプレス動作を検知して、動作閾値を超えた動作を検知することができる。読者は図16を見ればわかるように、ユーザが最も左の一番上のボタンを押下し、動かさずにこのプレスをリリースすると、「w」の文字がデバイスに入力される。ユーザが同じボタンを押下してこのプレスを動作閾値を超えて負のXの方向に動かし、プレスをリリースすると、「q」の文字がデバイスに入力される。このキーボードレイアウトの利点は、ユーザがプレスを動かす角度の正確さをそれほど必要としないという点である。欠点は、ボタンの高さが一般的なキーボードレイアウトと同じままであるという点である。しかしながら、一般的なキーボードにあるキーの高さは、一般にその幅よりも長いため、この3つのコマンドを有する多方向キーのキーボードレイアウトは、図11に示した先ほどの実施形態よりも正確度が高いであろう。
読者が推測できるとおり、Dvorakキーボードレイアウトまたは国際的なキーボードレイアウトなど、一般に使用されている他のキーボードレイアウトを本開示のキーボードレイアウトに適応することは、特別な技術を必要とせず、複数のキーストロークおよびコマンドを多方向ボタン内に配置するという本発明の範囲内である。
携帯型コンピューティングデバイスは、複数の向きにして見られることが多い。デバイスのユーザは、携帯型デバイスを回して、ポートレート表示とランドスケープ表示との間で画面の向きを変えることができる。携帯型コンピューティングデバイスは、プロセスに信号を供給して表示画面の向きを変更するための向きセンサを備えていることが多い。表示画面を回転することはソフトウェアキーボードでは一般的なことであり、向きを変更したときにソフトウェアキーボードのサイズを調整して合わせることは、ソフトウェアキーボードでは一般的なことである。本発明の一方法では、この方法は、画面の向きを変更する信号を検知すると、本発明のソフトウェアキーボードの向きを表示画面上で変更する。ソフトウェアキーボードは、複数の多方向ボタンで構成され、多方向ボタンを含まなくてもよい。
本発明の一態様では、提示されたソフトウェアキーボードは、向きの変更に応答して、そのレイアウトをサイズに応じて変更することができる。
本発明の一実施形態では、携帯型コンピューティングデバイスは、従来のソフトウェアキーボードを表示画面の1つの向きで表示し、このデバイスは、少なくとも1つの多方向ボタンを含むソフトウェアキーボードを他の向きで表示する。
本発明の一実施形態では、携帯型コンピューティングデバイスは、少なくとも1つの多方向ボタンを含むソフトウェアキーボードを、多方向ボタンのコピーを2つ以上表示画面に置いて表示する。例えば、多くのユーザは、携帯型デバイスを両手で持って親指でタイプすることを好む。デバイスが相当大きいために、ユーザがキーボードのすべてのボタン、またはユーザ入力用のオブジェクトからなる他の集合を快適に使用できない場合に、複数のボタンのコピーをユーザの親指の近くに配置することができる。こうすることによって、ユーザは、両親指のいずれかを用いて、多方向ボタンであってもよいボタンからコマンドを選択できる。
本発明の一態様では、本開示のキーボードは、現在流通している多くのソフトウェアベースのタイピング向上機能と併用可能である。この向上機能は、以下のもの:スペル修正ソフトウェア、自動修正ソフトウェア、大文字自動変換ソフトウェア、単語予測ソフトウェア、および単語の曖昧さ回避ソフトウェア、を1つ以上含むが、これに限定されない。
もう1つの向上機能は、予測されるタイピングを通じてタッチの境界を修正する機能である。本発明の一方法では、方法は、現在コンピューティングデバイスに入力されている単語を検知して保存し、どのコマンドが次に最も入力されそうかを判断し、多方向ボタンの選択の選択領域のサイズを調整し、これによって、ユーザが自分の意図するユーザ入力コマンドを選択するオッズが増す。選択領域のサイズは、動作閾値を変更することによって、および/またはプレス動作の開口角を変更することによって変更できる。
本発明の一態様では、本開示の多方向ボタンは、一般的なキーボードのキー、数字パッド、メニュー、またはその他のボタンの集合などだがこれに限定されない、その他のユーザインターフェースオブジェクト内に埋め込まれてもよい。多方向ボタンは、主に一般的なボタンまたはキーで構成されるキーボードに埋め込まれてもよい。
本発明の一態様では、ボタン方法は、プレス、動作閾値を超えるプレスの動作、時間閾値を超えるプレス、プレスのリリース、および/または音声、接触および/または触覚によるユーザフィードバックを生成することによる何らかのボタンイベントに応答することができる。ユーザフィードバックの種類は、ボタンごとに、およびフィードバックが対応するイベントの種類ごとに変化してもよい。
本発明の一方法では、多方向ボタン方法は、プレスおよび動作閾値を超える動作を検知すると、最初のプレス位置に対する動作の角度を判断し、ユーザフィードバックを生成する。ユーザフィードバックは、正のX方向に向かって約90度の角度である選択領域に対応する動作と、約45度の角度である選択領域に対応する動作とで異なる。これによって、ユーザは、音声、接触および/または触覚によるフィードバックを与えられ、このフィードバックがユーザにプレス動作の方向を知らせる。
本発明の一方法では、多方向ボタン方法は、ユーザからのコマンドの選択を検知すると、コンピューティングデバイスが供給する一般的な任意の手段によって、選択されたコマンドに対応する音声フィードバックを生成する。例えば、1つ以上の多方向ボタンで構成されるキーボードからのフィードバックは、選択されたコマンド(文字であってもよい)を表す音声で構成されてもよい。例えば、盲目のユーザであれば、「a」の文字など、1文字を選んだ後にデバイスのスピーカーから文字「a」の音が聞こえることによって、直ちにフィードバックを得る。キーボードおよび他のユーザインターフェースオブジェクトを含んでもよい、本開示の多方向ボタンからなるユーザインターフェースであれば、この種の音声フィードバックが供給されれば、目の不自由な人には非常に利点がある。さらに、多方向ボタンは、選択できるコマンドの量に対して、従来のボタン群に比して遙かに大きいボタンにすることができる。したがって、目の不自由なユーザは、押下する際および多方向ボタンから選択する際に起こる問題が少なくなる。
さらに別の実施形態
本発明の一実施形態では、コンピューティングデバイスは、追加でボタンとして機能するタッチ画面を有する。タッチ画面は、プレスがタッチとして検知されるのに必要な力よりも強く、物理的に画面を動かすのに十分な力で押下して、ボタンを押下したことを知らせる信号を生成することができる。この実施形態のコンピューティングデバイスでは、多方向ボタンは、動作を起こすことのできるタッチの動作を追跡でき、ボタンは、先にボタンのプレスがなくても動作閾値を超えたことを検知できる。
本発明の一実施形態では、コンピューティングデバイスは、物理的な多方向ボタンまたはキーを有し、このボタンは、ボタンのプレスとして検知されるのに十分な下向きの力または動きがなくても、ボタンを押下する方向に対して実質的に垂直である横方向に、動作閾値を超えて動くことができる。この実施形態のコンピューティングデバイスでは、多方向ボタンは、先にボタンのプレスがなくても動作閾値を超えたことを検知できる。
本発明の一実施形態では、コンピューティングデバイスは、1つ以上のオンスクリーン多方向ボタンを備え、この多方向ボタンを用いてユーザは、マウスまたはマウスの代替物と相互作用できる。多方向ボタンは、ボタンのプレス以外の手段で開始されることができ、このようにすると、最初の状態ではマウスボタンは押下されない。この実施形態のコンピューティングデバイスでは、多方向ボタンは、マウスの動作を追跡でき、先にボタンのプレスがなくても動作閾値を超えたことを検知できる。
前述の3つの実施形態の場合、多方向ボタンは、先にボタンのプレスがなくても動作を追跡でき、ボタンのプレスがあるときの動作とないときの動作とを区別できる。本発明の一方法では、ボタンのプレスであってもよいしそうでなくてもよいプロセスまたはイベントによって開始される多方向ボタン方法は、前述の方法のように、1つ以上のボタンのプレスおよび1つ以上の動作閾値を超える1つ以上の動作を検知することと、先にプレスがあって動作閾値を超える動作と先にプレスがなく動作閾値を超える動作とを区別することと、1つ以上のプレスのリリースを検知することと、連続するボタンイベントからデバイスに対する1つ以上のコマンドを決定することとを含む。
本方法の多方向ボタンの一例を図14および図15に示す。この例の多方向ボタン140は、本方法のボタンで作成できる多数のボタンパターンのうちの一例にすぎない。図14は、初期状態にあるボタンを示す。中央のコマンド選択、選択領域141は、ハイライトされている。ユーザが動作閾値を超えるプレスの動作なしにボタンを押下してリリースすると、この選択に関連するコマンドがデバイスに入力される。ユーザがボタンを押下してこのプレスと左へ動かすと、プレスは選択領域145へ移動する。ユーザがこの選択領域でプレスをリリースすると、この選択に関連するコマンドがデバイスに入力される。しかしながら、ユーザがボタンを押下することなくボタンを左へ動かすと、ボタン方法は、プレスを検知することなく動作閾値を超える動作を検知し、図15に示すように選択領域144がハイライトされる。プレスのリリースが検知されると、この選択に関連するコマンドがデバイスに入力される。ユーザがボタンを押下してからこのプレスを上方向に動かすと、プレスは選択領域143にくる。
この例の多方向ボタンは、多方向ボタンを用いて作成できる多くのパターンから選んだものであり、多方向ボタンが様々な動作に対して選択領域を規定する様々な開口角を持つことができることを示すためのものである。この例の多方向ボタンの中央では、8つの選択領域が中央の初期選択を囲んでいる。これらの選択領域を入力するためには、ユーザは、ボタンを押下してこのプレスを動作閾値を超えて動かさなければならない。中央領域を囲んでいる8つの選択領域はそれぞれ、開口角が約45度である選択領域を有する。選択領域142は、このような領域の1つである。ボタンを押下することなくボタンを動かしてユーザが選んだ4つの外側の選択領域の場合、この選択領域の開口角は約90度である。選択領域144は、このような領域の1つである。ボタンを押下した後に別の動作を続けることなくボタンを動かしてユーザが選んだ8つの最も外側の選択領域の場合、この選択領域の開口角は約180度である。選択領域143は、このような領域の1つである。
ユーザが正確かつ迅速に、ボタンを見る必要なくこの例のボタンから選ぶことができる選択の合計数は、21である。さらに多くの選択肢がある多方向ボタンを用いたその他のパターンを作成してもよい。読者が推測できるとおり、この方法の多方向ボタンによって、ユーザが高速かつ高精度で確実に選択できる多数のコマンドが可能になる。
本発明の実施形態および態様は、本発明を要約するために本明細書に開示されているものであり、本発明の範囲を限定する意図はない。
本開示は、全体的に、コンピューティングデバイスにコマンドを入力するためのユーザ入力オブジェクトに関する。入力オブジェクトは、1つ以上の多方向ボタンからなり、他の入力オブジェクトを含んでもよい。開示した実施形態および方法により、デバイスのユーザは、特に、スペースの限られた小さい携帯型コンピューティングデバイスで、容易かつ迅速に、高精度かつ高速でコマンドを入力できる。
開示した携帯型コンピューティングデバイスにより、上記に列挙したような、コンピューティングデバイスを用いたユーザ入力に関連する欠点およびその他の問題が軽減または解消される。いくつかの実施形態では、デバイスは携帯型である。いくつかの実施形態では、デバイスは、1つ以上の表示画面、ユーザ入力を検知する手段、1つ以上のプロセッサ、メモリおよび1つ以上のモジュール、プロセス、プログラム、または複数の機能を実行するためにメモリに格納される命令セットを有する。いくつかの実施形態では、ユーザは、1つ以上の多方向ボタンを押下し、このプレスを移動させ、プレスをリリースしてデバイスにコマンドを入力する。これらの機能を実行するための命令は、1つ以上のプロセッサによって実行されるように構成されたその他のコンピュータプログラム製品に搭載できる。これらの機能を実行するための命令は、動作に対して1つ以上の方法適用して、デバイスへのコマンドおよびコマンドを処理するための命令を決定できる。
開示した実施形態および方法により、多方向ボタンを備えるコンピューティングデバイスを、ユーザの希望通りに動かすことができる。したがって、読者は、多方向ボタンを備えるユーザインターフェースが、多方向ボタンからなるキーボードを備えることもでき、ユーザコマンドを入力するのに好適な方法であることがわかるであろう。
本発明の開示ならびに実施形態および方法に対する引用の開示は、本発明の範囲を限定するものではない。当業者は、本発明の範囲および精神から逸脱しないかぎり、様々な修正および変更を加えてもよい。したがって、添付の特許請求の範囲は、上記の実施形態の記載に限定してはならない。
10 コンピューティングデバイス
11 ステータスバー
12 テキスト入力領域
13 ホームボタン
14 ソフトウェアキーボード
15 ソフトウェアキーボード
16 表示画面
20 多方向ボタン
21 システムポインタ
22 ボタンの境界
24 最初のプレス位置
26 表示される多方向ボタン
28 動作閾値
30 多方向ボタン
31 多方向ボタン
32 多方向ボタン
33 ボタン境界
34 ボタン境界
35 ボタン境界
36 多方向ボタン
37 多方向ボタン
38 多方向ボタン
40 選択ポイント
41 選択領域
42 選択領域
43 選択領域
44 選択領域
45 第2の動作閾値
46 ボタン境界
47 ボタン境界
48 ボタン境界
60 新たなプレス位置
61 選択領域
62 選択領域
63 選択領域
64 選択領域
65 プレス位置
66 第2の多方向ボタン
68 第2の動作閾値
70 キーボードレイアウト
80 キーボードレイアウト
81 選択領域
82 選択領域
83 選択領域
84 選択領域
85 選択領域
86 選択領域
87 選択領域
88 選択領域
90 数字パッド
100 数字パッド
110 キーボードレイアウト
120 第2の多方向ボタン
130 サブ多方向ボタン
140 多方向ボタン
141 選択領域
142 選択領域
143 選択領域
144 選択領域
145 選択領域
160 キーボードレイアウト
170 多方向ボタン
171 多方向ボタン
172 多方向ボタン
173 多方向ボタン
174 多方向ボタン
175 多方向ボタン
176 多方向ボタン
177 多方向ボタン
178 多方向ボタン

Claims (15)

  1. コンピュータに実装した、ユーザが、1つ以上の多方向ボタンを介して電子機器と相互作用できるようにする方法であって、
    1つ以上のユーザによる前記多方向ボタンの上面のプレスと関連する1つ以上の信号を受信するステップと、
    ユーザによる前記プレスの最初の位置を決定するステップと、
    決定された、ユーザによる前記プレスの最初の位置から1つ以上の動作閾値を決定するステップであって、前記動作閾値が、いくつかの変位の閾値、または、力の閾値を含む、ステップと、
    ユーザによるいくつかのほぼ横方向のプレス動作と関連する、いくつかの動作信号を受信するステップと、
    横方向のプレス動作が、前記1つ以上の動作閾値を越えるかどうかを検知するステップと、
    決定された、前記ユーザによる前記プレスの最初の位置、および、動作信号から、前記横方向のプレス動作の1つ以上の方向を決定するステップと、
    前記ユーザによる、前記多方向ボタンのプレスのリリースと関連する1つ以上のリリース信号を検知するステップと、
    閾値を越えた前記プレス動作の検知、前記横方向のプレス動作の前記方向の検知、および、前記リリース信号の検知により、前記コマンドの複数の選択肢から、機器へのコマンドを決定するステップであって、前記コマンドの複数の選択肢は、前記機器の方法のためのコマンドから特定された前記機器へのいくつかのコマンドを含み、前記コマンドの複数の選択肢は中央の選択肢を含む、ステップと、
    前記機器に前記コマンドを入力するステップとを含み、
    前記多方向ボタンはキーボードのキーではなく、タイピングの用途には用いられず、これにより、1つ以上の多方向ボタンのプレスおよびリリースのうちに、前記ユーザは、前記多方向ボタンから前記コマンドの複数の選択肢から素早く確実に選択することができる、方法。
  2. ユーザによる1つ以上の前記プレスは、1本以上の指またはスタイラスペンによる、前記機器のタッチ画面をプレスすることからなり、前記上面は、前記多方向ボタンのボタン境界内に、前記タッチ画面の領域を含み、前記リリースは、ユーザが前記タッチ画面から1本以上の指またはスタイラスペンを離すことからなり、前記プレス動作は、ユーザが1本以上の指またはスタイラスペンを、前記タッチ画面上をスライドさせることからなり、前記動作閾値は、前記ユーザによるプレスの最初の位置から、ユーザが変位の閾値を超えて1本以上の指またはスタイラスペンをスライドさせることからなる請求項1に記載の方法。
  3. 前記ユーザによるプレスは、ポインタが前記上面の上にある間に、ユーザが前記機器の1つ以上のマウスボタンを押下することからなり、前記上面は、前記多方向ボタンのボタン境界内に、ディスプレイ画面の領域を含み、前記リリースは、ユーザが前記1つ以上のマウスボタンを離すことからなり、前記プレス動作は、ユーザが前記マウスを動かすことからなり、前記動作閾値は、前記ユーザによるプレスの最初の位置から、ユーザが前記マウスを変位の閾値を超えて動かすことならなる、請求項1に記載の方法。
  4. 前記プレスは、ユーザが前記機器の1つ以上の物理的な多方向ボタンを押下することからなり、前記リリースは、ユーザが前記多方向ボタンを離すことからなり、前記プレス動作は、ユーザが前記多方向ボタンを動かすことからなり、前記動作閾値は、ユーザが前記多方向ボタンを力の閾値を超えて動かすことからなる、請求項1に記載の方法。
  5. 前記横方向のプレス動作の3つ以上の方向を検知することを含む、請求項1に記載の方法。
  6. 前記横方向のプレス動作の8つ以上の方向を検知することを含む、請求項1に記載の方法。
  7. 前記動作信号は、幾つかの座標を含み、前記プレス動作の方向は、前記多方向ボタンの最上面の平面にある軸からの1つ以上の角度を算出することによって、前記座標に基づいて決定される、請求項1に記載の方法。
  8. 前記機器によって実行されるための前記コマンドは、別のサブ多方向ボタンを起動するためのコマンドであることにより、前記ユーザは、増加した前記コマンド選択をユーザに提供する多方向ボタンの階層的なセットを、複数のコマンドから素早く確実に案内することができる、請求項1に記載の方法。
  9. 前記プレス動作の速度を決定するステップ、速度の閾値を下回る前記プレス動作の速度を検知するステップ、および、前記方法の閾値を越えたという検知および決定から、サブ多方向ボタンを起動するために、いつコマンドを前記機器に入力するのかを決定するステップを含み、前記機器によって実行されるための前記コマンドは、別の多方向ボタンを起動するためのコマンドであることにより、前記ユーザは、多方向ボタンの1つのセットを、複数のコマンドから素早く確実に案内することができる、請求項1に記載の方法。
  10. 前記コマンドは、オープンのコマンド、および、クローズのコマンドを含む、請求項1に記載の方法。
  11. 前記コマンドは、オープンのコマンドを含む、請求項1に記載の方法。
  12. 初期プレスの受信、または、1つ以上の前記動作閾値を越える横方向のプレス動作の検知に従い、前記多方向ボタンの表示を変更する、請求項1に記載の方法。
  13. あるボタンイベントの時間から現在の時間までの時間間隔を決定すること、時間の閾値を越える前記時間の間隔を決定すること、および、時間の閾値を越える前記時間の間隔の決定に従って表示画面上の前記多方向ボタンの表示を変更することを含む、請求項1に記載の方法。
  14. 前記方法の前記信号の検知に応答して、音声、接触、および、触覚からなる群から選択されるユーザフィードバックを生成することとを含む、請求項1に記載の方法。
  15. 請求項1〜14のいずれか1項に記載の方法を実施するコンピューティングデバイスであって、
    1つ以上の表示画面と、1つ以上のプロセッサと、メモリと、1つ以上のプログラムとを備え
    前記1つ以上のプログラムは、前記メモリに保存され、前記1つ以上のプロセッサによって実行されるように設計され、
    前記1つ以上のプログラムは、
    1つ以上の仮想の多方向ボタンを1つ以上の表示画面上で表示して処理するための命令と、
    1つ以上の、ユーザによる前記多方向ボタンのプレスのいくつかの最初の位置を検知するための命令と、
    前記ユーザによる前記プレスの最初の位置からの前記プレスの横方向のプレス動作を検知するための命令と、
    前記横方向のプレス動作が前記1つ以上の動作閾値を越えるかどうかを判断するための命令と、
    決定された、ユーザによる前記プレスの最初の位置から、前記横方向のプレス動作の方向および動作信号を判断するための命令と、
    前記ユーザによる前記プレスのリリースを検知するための命令と、および、
    前記コンピューティングデバイスに対する1つ以上のコマンドを決定する命令とを含み、
    前記コマンドの複数の選択肢は、前記仮想の多方向ボタンを表示して処理するための命令以外の前記コンピューティングデバイスに対するコマンドを含み、前記コマンドは、キーボードのキーストローク以外であり、前記コマンドの複数の選択肢は中央の選択肢を含み、
    これにより、1つ以上の多方向ボタンのそれぞれから、前記ユーザは、複数のコマンド選択肢から素早く確実に選択することができる、コンピューティングデバイス。
JP2013512595A 2010-05-24 2011-05-19 1つ以上の多方向ボタンを介して電子機器と相互作用できるようにする方法およびコンピューティングデバイス Active JP6115867B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US39626110P 2010-05-24 2010-05-24
US61/396,261 2010-05-24
PCT/US2011/000900 WO2011149515A1 (en) 2010-05-24 2011-05-19 Multidirectional button, key, and keyboard

Publications (3)

Publication Number Publication Date
JP2013527539A JP2013527539A (ja) 2013-06-27
JP2013527539A5 JP2013527539A5 (ja) 2016-05-19
JP6115867B2 true JP6115867B2 (ja) 2017-04-26

Family

ID=44972117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013512595A Active JP6115867B2 (ja) 2010-05-24 2011-05-19 1つ以上の多方向ボタンを介して電子機器と相互作用できるようにする方法およびコンピューティングデバイス

Country Status (6)

Country Link
US (1) US20110285651A1 (ja)
EP (1) EP2577430A4 (ja)
JP (1) JP6115867B2 (ja)
KR (1) KR20130088752A (ja)
BR (1) BR112012029421A2 (ja)
WO (1) WO2011149515A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120162086A1 (en) * 2010-12-27 2012-06-28 Samsung Electronics Co., Ltd. Character input method and apparatus of terminal
US9891818B2 (en) * 2010-12-30 2018-02-13 International Business Machines Corporation Adaptive touch-sensitive displays and methods
US10275153B2 (en) * 2011-05-19 2019-04-30 Will John Temple Multidirectional button, key, and keyboard
US20160132119A1 (en) * 2014-11-12 2016-05-12 Will John Temple Multidirectional button, key, and keyboard
KR101878141B1 (ko) * 2011-05-30 2018-07-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101805922B1 (ko) * 2011-08-01 2017-12-07 엘지이노텍 주식회사 포인터 이동 값 보정 방법 및 이를 사용하는 3d 포인팅 디바이스
US20130033433A1 (en) * 2011-08-02 2013-02-07 Honeywell International Inc. Touch screen having adaptive input requirements
KR101156610B1 (ko) * 2012-03-20 2012-06-14 라오넥스(주) 터치 방식을 이용한 입력 제어 방법 및 이를 위한 입력 제어 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
KR101374283B1 (ko) * 2012-08-21 2014-03-14 동국대학교 경주캠퍼스 산학협력단 위치·시간·사용자별로 적용 가중치를 달리한 스와이프 패턴정보의 관계형 메타db 생성방법, 관계형 메타db에서 추출된 스와이프 패턴정보의 위치·시간의 가중치를 달리한 맞춤식 의미제공시스템 및 맞춤식 스와이프 사전제공시스템
KR101374280B1 (ko) * 2012-08-21 2014-03-14 동국대학교 경주캠퍼스 산학협력단 위치·시간·사용자 기반에 따른 스와이프 패턴정보의 관계형 메타데이터db 생성방법, 관계형 메타데이터db에서 추출된 스와이프 패턴정보의 위치·시간·사용자 기반의 개별적 의미제공시스템 및 스와이프 사전제공시스템
US9355086B2 (en) * 2012-10-09 2016-05-31 Microsoft Technology Licensing, Llc User interface elements for content selection and extended content selection
US9170736B2 (en) * 2013-09-16 2015-10-27 Microsoft Corporation Hover controlled user interface element
US9207794B2 (en) * 2013-12-30 2015-12-08 Google Inc. Disambiguation of user intent on a touchscreen keyboard
JP5982417B2 (ja) * 2014-03-07 2016-08-31 ソフトバンク株式会社 表示制御装置及びプログラム
KR102282498B1 (ko) * 2014-05-19 2021-07-27 삼성전자주식회사 디스플레이를 이용한 입력 처리 방법 및 장치
JP2016057653A (ja) * 2014-09-05 2016-04-21 勇介 堀田 入力システム及び入力装置
US10929012B2 (en) * 2014-09-09 2021-02-23 Microsoft Technology Licensing, Llc Systems and methods for multiuse of keys for virtual keyboard
US20160357411A1 (en) * 2015-06-08 2016-12-08 Microsoft Technology Licensing, Llc Modifying a user-interactive display with one or more rows of keys
JP2017054378A (ja) * 2015-09-10 2017-03-16 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、その表示方法、及びコンピュータが実行可能なプログラム
WO2017077351A1 (en) * 2015-11-05 2017-05-11 Bálint Géza Hand held electronic device with an air mouse
US10771427B2 (en) * 2016-02-18 2020-09-08 Versign, Inc. Systems and methods for determining character entry dynamics for text segmentation
US10254900B2 (en) * 2016-02-18 2019-04-09 Tufts University Drifting keyboard
WO2017183035A1 (en) * 2016-04-20 2017-10-26 Avi Elazari Reduced keyboard disambiguating system and method thereof
US20180004385A1 (en) 2016-06-30 2018-01-04 Futurewei Technologies, Inc. Software defined icon interactions with multiple and expandable layers
KR102563619B1 (ko) 2016-12-01 2023-08-04 삼성전자 주식회사 병용(combined) 버튼을 가지는 전자 장치 및 전자 장치의 병용 버튼 제어방법
CN108563339B (zh) * 2018-07-07 2023-11-28 深圳市多彩实业有限公司 一种具有多功能旋钮的键盘
JP7305976B2 (ja) * 2019-02-13 2023-07-11 京セラドキュメントソリューションズ株式会社 表示装置、及び表示制御プログラム
JP7143792B2 (ja) * 2019-03-14 2022-09-29 オムロン株式会社 文字入力装置、文字入力方法、及び、文字入力プログラム

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5003301A (en) * 1986-05-12 1991-03-26 Romberg Harvey D Key arrangement and method of inputting information from a key arrangement
JPH06301462A (ja) * 1993-04-09 1994-10-28 Mitsubishi Electric Corp データ入力装置
JP3546337B2 (ja) * 1993-12-21 2004-07-28 ゼロックス コーポレイション 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法
JPH0816297A (ja) * 1994-07-04 1996-01-19 Hitachi Ltd 文字入力装置
US5689667A (en) * 1995-06-06 1997-11-18 Silicon Graphics, Inc. Methods and system of controlling menus with radial and linear portions
JPH09116605A (ja) * 1995-10-16 1997-05-02 Sony Corp 電話装置
JPH09204274A (ja) * 1996-01-26 1997-08-05 Nec Corp 座標入力装置
JPH1049290A (ja) * 1996-08-05 1998-02-20 Sony Corp 情報処理装置および方法
JPH10154144A (ja) * 1996-11-25 1998-06-09 Sony Corp 文章入力装置及び方法
JP2000194693A (ja) * 1998-12-28 2000-07-14 Nec Corp 文字変換装置および文字変換方法
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US7030863B2 (en) * 2000-05-26 2006-04-18 America Online, Incorporated Virtual keyboard system with automatic correction
JP3663331B2 (ja) * 2000-03-10 2005-06-22 株式会社東芝 電子装置における文字入力装置、その方法
US6731227B2 (en) * 2000-06-06 2004-05-04 Kenichi Horie Qwerty type ten-key board based character input device
CA2323856A1 (en) * 2000-10-18 2002-04-18 602531 British Columbia Ltd. Method, system and media for entering data in a personal computing device
US6847706B2 (en) * 2001-03-20 2005-01-25 Saied Bozorgui-Nesbat Method and apparatus for alphanumeric data entry using a keypad
JP4096541B2 (ja) * 2001-10-01 2008-06-04 株式会社日立製作所 画面表示方法
US7002553B2 (en) * 2001-12-27 2006-02-21 Mark Shkolnikov Active keyboard system for handheld electronic devices
GB0201074D0 (en) * 2002-01-18 2002-03-06 3G Lab Ltd Graphic user interface for data processing device
JP4079656B2 (ja) * 2002-03-01 2008-04-23 株式会社日立製作所 ポインティングデバイスを用いた携帯端末
DE60328284D1 (de) * 2002-05-21 2009-08-20 Koninkl Philips Electronics Nv Objekteingabe in ein elektronisches Gerät
AU2003244973A1 (en) * 2002-07-04 2004-01-23 Koninklijke Philips Electronics N.V. Automatically adaptable virtual keyboard
AU2003288689A1 (en) * 2002-11-29 2004-06-23 Koninklijke Philips Electronics N.V. User interface with displaced representation of touch area
US7898529B2 (en) * 2003-01-08 2011-03-01 Autodesk, Inc. User interface having a placement and layout suitable for pen-based computers
US7098896B2 (en) * 2003-01-16 2006-08-29 Forword Input Inc. System and method for continuous stroke word-based text input
SG135918A1 (en) * 2003-03-03 2007-10-29 Xrgomics Pte Ltd Unambiguous text input method for touch screens and reduced keyboard systems
US7280096B2 (en) * 2004-03-23 2007-10-09 Fujitsu Limited Motion sensor engagement for a handheld device
JP2005301874A (ja) * 2004-04-15 2005-10-27 Kddi Corp トラックポイントを用いた文字入力装置
JP2006023872A (ja) * 2004-07-07 2006-01-26 Hitachi Ltd キーボード型入力装置
US20060071904A1 (en) * 2004-10-05 2006-04-06 Samsung Electronics Co., Ltd. Method of and apparatus for executing function using combination of user's key input and motion
US7443386B2 (en) * 2004-11-01 2008-10-28 Nokia Corporation Mobile phone and method
FR2878344B1 (fr) * 2004-11-22 2012-12-21 Sionnest Laurent Guyot Dispositif de commandes et d'entree de donnees
US20060132447A1 (en) * 2004-12-16 2006-06-22 Conrad Richard H Method and apparatus for automatically transforming functions of computer keyboard keys and pointing devices by detection of hand location
KR101002807B1 (ko) * 2005-02-23 2010-12-21 삼성전자주식회사 메뉴 화면을 표시하는 단말기에서 메뉴 네비게이션을 제어하는 장치 및 방법
CN103257684B (zh) * 2005-05-17 2017-06-09 高通股份有限公司 方向敏感的信号输出方法及装置
US20060279532A1 (en) * 2005-06-14 2006-12-14 Olszewski Piotr S Data input device controlled by motions of hands and fingers
KR20070006477A (ko) * 2005-07-08 2007-01-11 삼성전자주식회사 가변적 메뉴 배열 방법 및 이를 이용한 디스플레이 장치
KR100679053B1 (ko) * 2005-12-28 2007-02-05 삼성전자주식회사 틸팅 인터페이스에서 기울기의 변화를 이용하여 반복적신호 입력을 정지시키는 방법 및 장치
US7644372B2 (en) * 2006-01-27 2010-01-05 Microsoft Corporation Area frequency radial menus
US10521022B2 (en) * 2006-03-17 2019-12-31 Conversant Wireless Licensing S.a.r.l. Mobile communication terminal and method therefor
US20070256029A1 (en) * 2006-05-01 2007-11-01 Rpo Pty Llimited Systems And Methods For Interfacing A User With A Touch-Screen
US9063647B2 (en) * 2006-05-12 2015-06-23 Microsoft Technology Licensing, Llc Multi-touch uses, gestures, and implementation
US20080046496A1 (en) * 2006-05-18 2008-02-21 Arthur Kater Multi-functional keyboard on touch screen
JP4087879B2 (ja) * 2006-06-29 2008-05-21 株式会社シンソフィア タッチパネルの文字認識方法及び文字入力方法
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US20080158024A1 (en) * 2006-12-21 2008-07-03 Eran Steiner Compact user interface for electronic devices
US8074172B2 (en) * 2007-01-05 2011-12-06 Apple Inc. Method, system, and graphical user interface for providing word recommendations
US8650505B2 (en) * 2007-02-28 2014-02-11 Rpx Corporation Multi-state unified pie user interface
JP2008305174A (ja) * 2007-06-07 2008-12-18 Sony Corp 情報処理装置、情報処理方法、プログラム
US8074178B2 (en) * 2007-06-12 2011-12-06 Microsoft Corporation Visual feedback display
US8059101B2 (en) * 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
EP2017707B1 (en) * 2007-07-06 2017-04-12 Dassault Systèmes Widget of graphical user interface and method for navigating amongst related objects
US8471823B2 (en) * 2007-08-16 2013-06-25 Sony Corporation Systems and methods for providing a user interface
CN101809531A (zh) * 2007-10-02 2010-08-18 株式会社爱可信 终端装置、链接选择方法以及显示程序
TWI416399B (zh) * 2007-12-28 2013-11-21 Htc Corp 手持式電子裝置及其操作方法
TWI393029B (zh) * 2007-12-31 2013-04-11 Htc Corp 電子裝置以及於電子裝置上執行指令之方法
JP2009169456A (ja) * 2008-01-10 2009-07-30 Nec Corp 電子機器、該電子機器に用いられる情報入力方法及び情報入力制御プログラム、並びに携帯端末装置
JP2009169789A (ja) * 2008-01-18 2009-07-30 Kota Ogawa 文字入力システム
US8358277B2 (en) * 2008-03-18 2013-01-22 Microsoft Corporation Virtual keyboard based activation and dismissal
EP2267578A2 (en) * 2008-04-01 2010-12-29 OH, Eui-Jin Data input device and data input method
US9582049B2 (en) * 2008-04-17 2017-02-28 Lg Electronics Inc. Method and device for controlling user interface based on user's gesture
US8949743B2 (en) * 2008-04-22 2015-02-03 Apple Inc. Language input interface on a device
JP5187954B2 (ja) * 2008-05-27 2013-04-24 ソニーモバイルコミュニケーションズ株式会社 文字入力装置、文字入力学習方法、及びプログラム
US8826181B2 (en) * 2008-06-28 2014-09-02 Apple Inc. Moving radial menus
US8245156B2 (en) * 2008-06-28 2012-08-14 Apple Inc. Radial menu selection
US20100020033A1 (en) * 2008-07-23 2010-01-28 Obinna Ihenacho Alozie Nwosu System, method and computer program product for a virtual keyboard
KR101505198B1 (ko) * 2008-08-18 2015-03-23 엘지전자 주식회사 휴대 단말기 및 그 구동 방법
KR101004463B1 (ko) * 2008-12-09 2010-12-31 성균관대학교산학협력단 터치 스크린의 드래그를 이용한 메뉴 선택을 지원하는 휴대용 단말 및 그 제어 방법
US8627233B2 (en) * 2009-03-27 2014-01-07 International Business Machines Corporation Radial menu with overshoot, fade away, and undo capabilities

Also Published As

Publication number Publication date
US20110285651A1 (en) 2011-11-24
EP2577430A1 (en) 2013-04-10
WO2011149515A4 (en) 2012-02-02
BR112012029421A2 (pt) 2017-02-21
EP2577430A4 (en) 2016-03-16
JP2013527539A (ja) 2013-06-27
KR20130088752A (ko) 2013-08-08
WO2011149515A1 (en) 2011-12-01

Similar Documents

Publication Publication Date Title
JP6115867B2 (ja) 1つ以上の多方向ボタンを介して電子機器と相互作用できるようにする方法およびコンピューティングデバイス
JP2013527539A5 (ja)
US10275153B2 (en) Multidirectional button, key, and keyboard
US8059101B2 (en) Swipe gestures for touch screen keyboards
US7091954B2 (en) Computer keyboard and cursor control system and method with keyboard map switching
US10061510B2 (en) Gesture multi-function on a physical keyboard
US10235039B2 (en) Touch enhanced interface
KR101636705B1 (ko) 터치스크린을 구비한 휴대 단말의 문자 입력 방법 및 장치
US8125440B2 (en) Method and device for controlling and inputting data
US20160132119A1 (en) Multidirectional button, key, and keyboard
US20110209087A1 (en) Method and device for controlling an inputting data
JP2006524955A (ja) タッチスクリーン及び縮小型キーボードのための曖昧でないテキスト入力方法
WO2010010350A1 (en) Data input system, method and computer program
US20150100911A1 (en) Gesture responsive keyboard and interface
KR20100028465A (ko) 포인터의 드래그 방향에 따른 문자 또는 메뉴입력 방법
JP6057441B2 (ja) 携帯装置およびその入力方法
KR20100069089A (ko) 터치 스크린을 사용하는 디바이스에서 문자 입력 장치 및 방법
Hirche et al. Adaptive interface for text input on large-scale interactive surfaces
KR101631069B1 (ko) 멀티터치 트랙패드를 통한 심리스한 입력모드 전환을 지원하는 통합 전용 입력 플랫폼
JP6139647B1 (ja) 情報処理装置、入力判定方法、及びプログラム
Gaur AUGMENTED TOUCH INTERACTIONS WITH FINGER CONTACT SHAPE AND ORIENTATION
WO2013078621A1 (zh) 用于电子设备的触屏输入方法和电子设备
US20110248919A1 (en) Method to enter characters into an electronic system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150407

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150706

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150806

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150907

A524 Written submission of copy of amendment under section 19 (pct)

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20151007

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160816

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161102

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170310

R150 Certificate of patent or registration of utility model

Ref document number: 6115867

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150