JP2015148946A - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2015148946A JP2015148946A JP2014021479A JP2014021479A JP2015148946A JP 2015148946 A JP2015148946 A JP 2015148946A JP 2014021479 A JP2014021479 A JP 2014021479A JP 2014021479 A JP2014021479 A JP 2014021479A JP 2015148946 A JP2015148946 A JP 2015148946A
- Authority
- JP
- Japan
- Prior art keywords
- input
- stroke
- character
- information processing
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/333—Preprocessing; Feature extraction
- G06V30/347—Sampling; Contour coding; Stroke extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/36—Matching; Classification
- G06V30/387—Matching; Classification using human interaction, e.g. selection of the best displayed recognition candidate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Character Discrimination (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】ユーザの利便性をより向上させることを可能にする。【解決手段】ユーザによる操作入力についての情報である操作情報を取得する操作情報取得部と、前記操作情報に基づいて判定される、所定の方向を示す操作であるストローク操作に応じて、当該ストローク操作に対応する少なくとも文字の候補を画面に表示させる表示制御部と、を備える、情報処理装置を提供する。【選択図】図2
Description
本開示は、情報処理装置、情報処理方法及びプログラムに関する。
近年、タブレットPC(Personal Computer)等の情報処理装置においては、例えばタッチパネル上におけるスタイラスペン等の操作体の動きに基づいて、ユーザが手書きで入力した文字を認識する手書き文字認識機能が備わっている。手書き文字認識においては、文字認識の精度や入力時のユーザの利便性を向上させるために、様々な技術が開発されている。例えば、特許文献1には、ユーザが文字列を手書き入力している最中に、新たに入力されたストロークが、当該文字列のうち既に入力された文字に属するものであるか、新しく入力される文字に属するものであるかを並行して判定することにより、文字認識の待ち時間を低減しつつ、文字の誤認識の確率を低下させる技術が開示されている。
ここで、文字を手書きで入力する際には、例えば画数が多い文字を入力する場合には複数のストロークを入力する操作体の複雑な操作が必要であり、キーボードによる入力に比べて1文字の入力に多くの時間を要する可能性がある。従って、より簡易な操作での手書き入力を可能とすることにより、ユーザの負担をより軽減させる技術が求められていた。
また、近年、例えば腕時計型の情報処理装置等、ユーザが日常的に装着して使用することを想定した、いわゆるウェアラブルデバイスが普及しつつある。ウェアラブルデバイスでは、その携帯性の観点から、他の種類の情報処理装置に比べて端末が小型化する傾向があり、その画面も小型化することが求められる。このようなより小型の画面を有する端末に対して文字を手書きで入力する際には、ユーザによる操作体の操作性が低下し、ユーザの利便性が損なわれることが懸念される。
上記事情に鑑みれば、文字、数字又は記号等の手書き入力においては、ユーザの利便性をより向上させることが求められていた。そこで、本開示では、ユーザの利便性をより向上させることが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。
本開示によれば、ユーザによる操作入力についての情報である操作情報を取得する操作情報取得部と、前記操作情報に基づいて判定される、所定の方向を示す操作であるストローク操作に応じて、当該ストローク操作に対応する少なくとも文字の候補を画面に表示させる表示制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、ユーザによる操作入力についての情報である操作情報を取得することと、前記操作情報に基づいて判定される、所定の方向を示す操作であるストローク操作に応じて、当該ストローク操作に対応する少なくとも文字の候補を画面に表示させることと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータのプロセッサに、ユーザによる操作入力についての情報である操作情報を取得する機能と、前記操作情報に基づいて判定される、所定の方向を示す操作であるストローク操作に応じて、当該ストローク操作に対応する少なくとも文字の候補を画面に表示させる機能と、を実現させる、プログラムが提供される。
本開示によれば、操作体によって点又は所定の一方向に延伸する線が描かれる操作であるストローク操作が行われることにより、当該ストローク操作に対応する少なくとも文字の候補が画面に表示される。従って、ユーザは、より簡易な操作によって少なくとも文字を入力することが可能となるため、ユーザの利便性を向上させることができる。
以上説明したように本開示によれば、ユーザの利便性をより向上させることが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1−1.手書き入力処理の概要
1−2.情報処理システムの構成
1−3.情報処理方法の処理手順
1−4.候補の表示例
1−5.候補を絞り込むための操作
1−5−1.単語に含まれる文字の指定
1−5−2.類似する候補に基づく単語の選択
1−6.情報処理システムの構成の変形例
1−6−1.情報処理システムが1台の情報処理装置によって構成される変形例
1−6−2.情報処理システムが3台の情報処理装置によって構成される変形例
2.第2の実施形態
2−1.情報処理システムの構成
2−2.情報処理方法の処理手順
2−3.候補の表示例(候補を絞り込むための操作)
2−4.情報処理システムの構成の変形例
2−4−1.情報処理システムが1台の情報処理装置によって構成される変形例
2−4−2.情報処理システムが3台の情報処理装置によって構成される変形例
3.変形例及び表示例
3−1.ストロークDBの更新
3−2.操作体の軌跡の表示
3−3.入力したストローク操作の履歴の表示
3−4.数字及び記号の入力
3−5.他言語における文字の入力
4.ハードウェア構成
5.補足
1.第1の実施形態
1−1.手書き入力処理の概要
1−2.情報処理システムの構成
1−3.情報処理方法の処理手順
1−4.候補の表示例
1−5.候補を絞り込むための操作
1−5−1.単語に含まれる文字の指定
1−5−2.類似する候補に基づく単語の選択
1−6.情報処理システムの構成の変形例
1−6−1.情報処理システムが1台の情報処理装置によって構成される変形例
1−6−2.情報処理システムが3台の情報処理装置によって構成される変形例
2.第2の実施形態
2−1.情報処理システムの構成
2−2.情報処理方法の処理手順
2−3.候補の表示例(候補を絞り込むための操作)
2−4.情報処理システムの構成の変形例
2−4−1.情報処理システムが1台の情報処理装置によって構成される変形例
2−4−2.情報処理システムが3台の情報処理装置によって構成される変形例
3.変形例及び表示例
3−1.ストロークDBの更新
3−2.操作体の軌跡の表示
3−3.入力したストローク操作の履歴の表示
3−4.数字及び記号の入力
3−5.他言語における文字の入力
4.ハードウェア構成
5.補足
<1.第1の実施形態>
まず、本開示の第1の実施形態について説明する。本開示の第1の実施形態及び後述する第2の実施形態では、PC等の情報処理装置に対して、文字、数字又は記号等をユーザが手書きで入力する処理(以下、手書き入力処理とも呼称する。)が行われる。第1及び第2の実施形態では、情報処理装置の表示部に、手書き入力処理のためのGUI(Graphical User Interface)(以下、手書き入力GUIとも呼称する。)に係る表示画面が表示される。また、情報処理装置は、ユーザの操作入力を受け付ける入力インターフェースを備えており、当該入力インターフェースを介してユーザが所定の方向を示す操作であるストローク操作を入力することにより、文字、数字又は記号等が入力され、入力された文字、数字又は記号等が手書き入力GUIの表示画面に表示される。
まず、本開示の第1の実施形態について説明する。本開示の第1の実施形態及び後述する第2の実施形態では、PC等の情報処理装置に対して、文字、数字又は記号等をユーザが手書きで入力する処理(以下、手書き入力処理とも呼称する。)が行われる。第1及び第2の実施形態では、情報処理装置の表示部に、手書き入力処理のためのGUI(Graphical User Interface)(以下、手書き入力GUIとも呼称する。)に係る表示画面が表示される。また、情報処理装置は、ユーザの操作入力を受け付ける入力インターフェースを備えており、当該入力インターフェースを介してユーザが所定の方向を示す操作であるストローク操作を入力することにより、文字、数字又は記号等が入力され、入力された文字、数字又は記号等が手書き入力GUIの表示画面に表示される。
以下の説明では、第1の実施形態及び後述する第2の実施形態の一例として、情報処理装置の表示部がタッチパネルによって構成されており、ユーザが操作体として指を用いて当該表示部に表示される手書き入力GUIの表示画面に対して英字(ラテン文字)を入力する場合について説明する。また、当該情報処理装置が、腕時計型のウェアラブル端末(以下、腕時計型端末とも呼称する。)である場合を例に挙げて説明を行う。当該構成例においては、情報処理装置への入力インターフェースはタッチパネルであるため、ユーザが当該タッチパネルからなる画面上でスタイラスペンや指等の操作体を所定の方向に移動させることにより、当該方向を示すストローク操作が入力され、文字、数字又は記号等が入力されることとなる。
ただし、第1及び第2の実施形態はかかる例に限定されない。上述したように、第1及び第2の実施形態では、情報処理装置に対して、ユーザが所定の方向を示す操作であるストローク操作を入力することにより、文字、数字又は記号等が入力される。従って、情報処理装置の入力インターフェースは、方向を検出可能なデバイスによって構成されればよく、当該入力インターフェースとしてはあらゆるデバイスが適用され得る。例えば、情報処理装置の表示部はタッチパネルによって構成されなくてもよく、マウス等のポインティングデバイスによって表示画面内のカーソルやポインタ等の操作体を操作することによりストローク操作が入力されてもよい。また、情報処理装置が、入力インターフェースとして、ジョイスティックや、方向キーを有するリモコンやコントローラ等のデバイスを備え、これらのデバイスを介してストローク操作が入力されてもよい。また、情報処理装置が、入力インターフェースとして、ユーザの動きを検出可能な各種のセンサ装置を備え、当該センサ装置を介して、例えば腕等の身体の一部位の動き(ジェスチャ)や視線の動きとしてストローク操作が入力されてもよい。更に、情報処理装置の表示部がタッチパネルによって構成される場合であっても、文字等の入力に用いられる操作体は指でなくてもよく、スタイラスペン等のタッチパネル内での操作体の位置が検出され得るものであればあらゆるものが用いられてよい。操作体は、手書き入力GUIに係る表示画面内において当該操作体の座標情報が入力され得るものであればよく、その種類は限定されない。
また、第1及び第2の実施形態に係る手書き入力処理において入力され得る文字はラテン文字に限定されず、例えば日本語の平仮名や片仮名等、他の言語におけるあらゆる文字が入力されてよい。更に、入力され得る情報は文字に限定されず、数字や記号等、所定の点及び線の集合によって所定の音又は意味を有する図形が入力されてよい。
また、第1及び第2の実施形態に係る情報処理装置は、腕時計型端末に限定されず、下記[1−2.情報処理システムの構成]及び[2−1.情報処理システムの構成]で後述する諸機能を実現するように構成された装置であれば、あらゆる情報処理装置であってよい。例えば、当該情報処理装置は、眼鏡型等他のウェアラブル端末であってもよい。また、当該情報処理装置はウェアラブル端末に限定されず、スマートフォンやタブレットPC等の携帯型端末であってもよいし、据え置き型のPCやサーバ等であってもよい。更に、1台の情報処理装置によって手書き入力処理に係る全ての処理が行われなくてもよく、複数の情報処理装置によって、手書き入力処理に係る一連の処理を実行するための情報処理システムが実現されてもよい。
[1−1.手書き入力処理の概要]
図1−図3を参照して、本開示の第1の実施形態に係る手書き入力処理の概要について説明する。上述したように、第1の実施形態では、ユーザが、所定の方向を示す操作であるストローク操作を行うことにより、当該ストローク操作に対応する文字を入力することができる。このように、第1の実施形態に係る手書き入力処理では、例えば一般的な手書き文字入力のように、ユーザが、文字を構成する点又は線の全てを入力するように操作体を移動させる必要はない。
図1−図3を参照して、本開示の第1の実施形態に係る手書き入力処理の概要について説明する。上述したように、第1の実施形態では、ユーザが、所定の方向を示す操作であるストローク操作を行うことにより、当該ストローク操作に対応する文字を入力することができる。このように、第1の実施形態に係る手書き入力処理では、例えば一般的な手書き文字入力のように、ユーザが、文字を構成する点又は線の全てを入力するように操作体を移動させる必要はない。
図1に、ストローク操作と文字との対応関係の一例を示す。図1は、ストローク操作と文字との対応関係について説明するための説明図である。図1では、英語において用いられるa〜zまでの26個の小文字のアルファベットが図示されている。また、これらの文字に対応付けられたストローク操作が、矢印又は三角によって、これらの文字に重ねて図示されている。
図1に示す例では、ストローク操作と文字との対応関係において、所定の文字と、当該文字を手書きする際の書き出しに対応するストローク操作と、が対応付けられている。例えば、表示画面上に指で「a」を手書きする際には、表示画面と指との接触位置から指を左上方向に動かすように書き出す場合が多いであろう。従って、図1に示すように、「a」は、左上方向を示すストローク操作と対応付けられている。同様に、「b」は、下方向を示すストローク操作と対応付けられている。また、「i」や「j」は、上部に位置する点から書き出すことも考えられる。従って、「i」及び「j」は、点を示すストローク操作と対応付けられている。このように、ストローク操作は、方向を示す操作に限定されず、点を示す操作であってもよい。なお、以下の説明では、所定の一方向を示すストローク操作のことを、当該方向へのストローク操作とも呼称する。
ここで、図1に示すストローク操作と文字との対応関係はあくまで一例であり、各文字に対して図1に示すストローク操作とは異なるストローク操作が対応付けられていてもよい。例えば、ユーザに応じて文字の書き出し(書き順)は異なることが考えられる。第1の実施形態では、手書き入力処理を行うユーザの文字の書き出しに対応するように、ストローク操作と文字との対応関係が更新されてもよい。なお、ストローク操作と文字との対応関係の更新については、下記[3−1.ストロークDBの更新]で詳しく説明する。また、第1の実施形態では、文字の書き順とは関係なく、所定の方向へのストローク操作と所定の文字とが対応付けられていてもよい。このような対応付けの一例については、下記[3−4.数字及び記号の入力]で説明する。
ここで、図1に示すように、第1の実施形態では、互いに異なる複数の文字に対して同一のストローク操作が割り当てられ得る。従って、1つのストローク操作が入力されただけでは、特定の1つの文字を同定できない可能性がある。よって、第1の実施形態では、入力されたストローク操作に基づいて、当該ストローク操作に対応する文字の候補が表示される。また、複数のストローク操作が連続して入力された場合には、入力されたストローク操作の組み合わせに基づいて、当該組み合わせに適合する単語の候補が表示されてよい。
図2及び図3を参照して、第1の実施形態に係る手書き入力GUIの一表示例について説明する。図2及び図3は、第1の実施形態に係る手書き入力GUIの一表示例を示す図である。図2及び図3では、所定の単語が入力される場合における、第1の実施形態に係る手書き入力GUIの一表示例を示している。
図2では、一例として、「How」という単語が入力される際における、手書き入力GUIの表示画面の遷移を示している。図2を参照すると、手書き入力GUIの表示画面710は、入力領域711、候補表示領域712、単語表示領域713、バックスペースアイコン714及びメニューアイコン715を有する。
入力領域711は、ユーザによって操作体を用いてストローク操作が入力される領域である。候補表示領域712は、入力されたストローク操作に応じた候補が表示される領域である。ここで、候補表示領域712に表示される候補は、入力された1つのストローク操作に応じた1つの文字の候補であってもよいし、連続して入力されたストローク操作の組み合わせに応じた単語の候補であってもよい。また、単語表示領域713は、ユーザによって最終的に選択された(入力された)単語が表示される領域である。
また、バックスペースアイコン714は、入力したストローク操作を取り消すためのアイコンである。例えば当該バックスペースアイコン714が操作体によって選択された際には、直前に入力されたストローク操作が取り消される。メニューアイコン715は、例えば入力する文字種の変更等、手書き入力処理における各種の設定を変更するためのメニュー画面を表示するためのアイコンである。例えば当該メニューアイコン715が操作体によって選択された際には、設定変更のためのメニュー画面が表示される。
「How」という単語を入力する場合、ユーザは、まず、入力領域711において、「h」に対応するストローク操作である下方向に指を移動させる操作(すなわち、下方向を示す操作)を行う(図中(a))。図2(a)に示すように、例えば、入力領域711には、ストローク操作における操作体の軌跡が表示される。当該軌跡の表示により、ユーザは自身が入力したストローク操作を直感的に把握することができる。なお、第1の実施形態に係る手書き入力処理では、例えばラテン文字のように小文字及び大文字の概念を有する文字の入力に際しては、小文字及び大文字のいずれか一方の入力により、他方の候補も併せて表示されてよい。例えば、小文字に対応するストローク操作が入力されることにより、当該小文字に対応する大文字の候補も併せて表示され得る。図2に示す例では、目的とする単語は「How」であり、その最初の文字は「H」であるが、ユーザがストローク操作によって入力する文字は「h」であってよい。
候補表示領域712には、入力されたストローク操作に応じた候補が表示される。(a)に示す段階では「H」に対応する1つのストローク操作しか入力されていないため、候補表示領域712には、当該ストローク操作に対応する文字の候補が表示される。図2に示す例では、下方向を示すストローク操作に対応する文字の候補として、「U」、「l」及び「t」が表示されている。例えば、第1の実施形態では、ストローク操作と文字との対応関係が記憶されたデータベース(DB)(例えば図4に示すストロークDB220)が設けられており、情報処理装置が当該DBにアクセスすることにより、ストローク操作に対応する文字の候補が表示され得る。
また、単語表示領域713には、1文字目が入力されたことを示すための表示がなされる。(a)に示す段階ではまだ最終的に入力される文字又は単語が決定されていないため、単語表示領域713には、入力された文字数を示す記号が表示されてよい。図2(a)に示す例では、単語表示領域713に、入力された文字数に対応する星のマークが1つ表示されている。
ここで、候補表示領域712に表示されている候補の中に目的とする文字が存在する場合には、ユーザは、表示されている当該候補を選択することにより、当該候補に対応する文字を入力することができる。ここでは、「How」という単語を入力する場合を例に挙げて説明しているため、1文字目に対応するストローク操作が入力された(a)に示す段階では目的とする単語の候補は表示され得ないが、例えばある1つの文字を入力したい場合には、(a)に示す段階で、ユーザによって候補表示領域712に表示されている候補の中から該当する文字が選択されてもよい。その場合、選択された候補に対応する文字が、最終的に入力された文字として、単語表示領域713に表示されることとなる。
次に、ユーザは、入力領域711において、「o」に対応するストローク操作である左方向に指を移動させる操作(すなわち、左方向を示す操作)を行う(図中(b))。図2(b)に示すように、例えば、入力領域711には、新たに入力したストローク操作における操作体の軌跡とともに、直前に入力されたストローク操作における操作体の軌跡が薄く表示される。このように、直前に入力されたストローク操作における操作体の軌跡が表示されることにより、ユーザは、自身が入力したストローク操作の履歴を把握することができる。
(b)に示す段階では、「H」及び「o」に対応するストローク操作が連続的に入力されているため、候補表示領域712には、これらのストローク操作の組み合わせに対応する単語の候補が表示される。図2(b)に示す例では、下方向へのストローク操作及び左方向へのストローク操作の組み合わせに対応する文字列の候補として、「No」、「To」及び「to」が表示されている。また、単語表示領域713には、2文字目までが入力されたことを示すために星のマークが2つ表示される。例えば、第1の実施形態では、上述した図4に示すストロークDB220とともに、入力の対象としている言語における単語が記憶されたDB(例えば図4に示す単語DB230)が設けられており、情報処理装置がこれらのDBにアクセスすることにより、ストローク操作の組み合わせに対応する単語の候補が表示され得る。
次に、ユーザは、入力領域711において、「w」に対応するストローク操作である右下方向に指を移動させる操作(すなわち、右下方向を示す操作)を行う(図中(c))。図2(b)と同様に、例えば、入力領域711には、新たに入力したストローク操作における操作体の軌跡とともに、直前に入力されたストローク操作における操作体の軌跡が薄く表示される。
また、(c)に示す段階では、「H」、「o」及び「w」に対応するストローク操作が連続的に入力されているため、候補表示領域712には、これらのストローク操作の組み合わせに対応する単語の候補が表示される。図2に示す例では、下方向へのストローク操作、左方向へのストローク操作及び右下方向へのストローク操作の組み合わせに対応する単語の候補として、「You」、「How」及び「Lol」が表示されている。また、単語表示領域713には、3文字目までが入力されたことを示すために星のマークが3つ表示される。
(c)に示す段階で、3文字目まで入力が終了し、候補表示領域712には、目的とする単語「How」が候補として表示されている。従って、ユーザは、候補表示領域712に表示されている候補の中から、当該「How」を選択する操作を行う(図中(d))。「How」を選択する操作としては、例えば指によって「How」に対応するGUI部品をタップする操作等の、一般的なGUIにおいてGUI部品を選択する際に用いられる各種の操作が適用されてよい。「How」が選択されると、単語表示領域713に、最終的に入力された単語として、選択された「How」が表示されることとなる(図中(e))。
なお、候補表示領域712に表示される候補の順序は、所定の優先度に従って決定され得る。例えば、候補表示領域712に候補が表示される順序は使用頻度が高い順であってもよいし、直近で使用された文字又は単語ほど優先度が高く表示されてもよい。当該優先度についての情報は、例えば上述した図4に示す単語DB230に、単語と紐付けて記憶されていてよい。
「How」が単語表示領域713に表示されたら、ユーザは、「How」に続いて入力したい単語について、図2(a)−(e)に示す操作と同様の操作を行う。これにより、所望の単語群、ひいては文章が入力され得る。
ここで、第1の実施形態では、表示された候補の中からいずれかの単語が選択され、入力された場合に、文法上当該単語に続くことが予測される単語の候補が、手書き入力GUIの表示画面に表示されてもよい。ユーザは、表示された候補を選択することにより、新たに1文字ずつ文字を入力することなく、既に入力された単語に続く次の単語を入力することができる。図3は、このような、入力された単語に続く次の単語の候補が表示され、当該候補の中から次の単語が入力される際の、手書き入力GUIの表示画面の遷移を示している。
図3を参照すると、「How」という単語が入力されると、候補表示領域712に、文法上「How」に続いて入力され得る次の単語の候補が表示される(図中(a))。図3(a)に示す例では、「How」に続いて入力される次の単語の候補として、「to」、「are」及び「do」が表示されている。例えば、第1の実施形態では、上述した図4に示す単語DB230に、対象としている言語において、所定の単語と、文法上当該単語に続くことが予測される単語との対応関係が更に記憶されていてもよい。情報処理装置が当該DBにアクセスすることにより、入力された単語に続く次の単語の候補が表示されてよい。
ここで、図2に示す例と同様に、候補表示領域712に表示される次の単語の候補は、所定の優先度に従った順序で表示されてよい。例えば、候補表示領域712に候補が表示される順序は、例えば「How」の後に続く単語として使用頻度が高い順であってもよいし、「How」の後に続く単語として直近に使用された単語ほど優先度が高く表示されてもよい。当該優先度についての情報は、例えば上述した図4に示す単語DB230に、単語と紐付けて記憶されていてよい。
図3(a)に示すように、候補表示領域712に表示されている候補は、ユーザの操作に応じてスクロール表示させることができる。候補表示領域712に表示されている候補をスクロール表示させるための操作としては、例えば当該候補の上でスクロールしたい方向に指をドラッグさせる操作等の、一般的なGUIにおいて表示をスクロールする際に用いられる各種の操作が適用されてよい。
ここでは、例えば、ユーザが、「How」に続いて「about」という単語を入力したいと考えているとする。ユーザは、候補表示領域712に表示されている候補をスクロール表示させることにより、目的とする「about」を発見することができる(図中(b))。「How」を選択したときと同様に、ユーザは、候補表示領域712に表示されている候補の中から、当該「about」を選択する操作を行う(図中(c))。これにより、単語表示領域713に、最終的に入力された単語群として、「How about」が表示されることとなる。
以上、図1−図3を参照して、本開示の第1の実施形態に係る手書き入力処理の概要について説明した。図2(a)−(e)に示すような、1文字ごとにストローク操作を入力することにより単語を入力する操作又は図3(a)−(c)に示すような、入力した単語に基づいて表示される単語の候補の中から単語を入力する操作を繰り返すことにより、ユーザは、所望の単語群、ひいては文章を入力することができる。
以上説明したように、第1の実施形態では、ストローク操作を行うことにより、当該ストローク操作に対応する文字又は単語の候補が表示され、当該候補を選択することにより、目的とする文字又は単語が入力され得る。ここで、ストローク操作は、所定の方向を示す操作、例えばタッチパネルを用いた場合であれば操作体によって所定の方向に延伸する線が描かれる操作であるため、例えば文字の字形を全て描くことにより文字を入力する一般的な手書き文字入力に比べて、より短時間で、より簡易な操作によって文字を入力することが可能となる。従って、ユーザの利便性が向上する。
ここで、一般的な手書き文字入力においては、より高い精度で手書きされた文字を認識するためには、複雑な処理が必要となり、例えば1文字を認識するために数秒程度の比較的長い時間を要する場合がある。第1の実施形態では、ストローク操作と文字との単純な対応関係に基づいて、入力されたストローク操作に対応する文字が認識されるため、文字の認識をより短時間に行うことが可能となる。
また、第1の実施形態に係る手書き入力処理は、ウェアラブルデバイスに代表される、比較的小型の情報処理装置に対して好適に適用可能である。ウェアラブルデバイスのように高い携帯性が求められる情報処理装置においては、端末を小型化する必要があり、ユーザが文字を入力するための入力インターフェース(例えばタッチパネル)も小型化する傾向にある。例えば、小型のタッチパネルに、一般的に文字入力に用いられるいわゆるqwertyキーボードを表示して文字を入力しようとすると、当該キーボードの各キーは極めて小さく表示され得るため、所望のキーを確実に選択することが困難であり、入力ミスが生じる可能性が高い。また、小型のタッチパネルに対して、一般的な手書き文字入力を行おうとすると、狭い入力領域に文字の字形を全て描く複雑な操作が必要となるため、ユーザの操作性は必ずしも高いものではない。一方、第1の実施形態に係る手書き入力処理では、ストローク操作というより簡易な操作入力によって文字を入力することができるため、入力インターフェースが小型化された情報処理装置においても、より正確に、より高い操作性によって、文字を入力することが可能となる。
ここで、一般的な手書き文字入力よりも簡易な操作入力によって文字を入力する技術として、palm社によって開発されているグラフィティ(Graffiti)がある。グラフィティでは、所定の簡略化された図形と文字とが対応付けられており、当該図形を入力することにより文字が入力される。しかしながら、グラフィティでは、当該図形と文字との対応関係は、システム側から一方的に与えられるものであるため、ユーザは、グラフィティを用いて文字を入力する際には、当該対応関係を記憶する必要がある。よって、グラフィティを用いた文字の入力を習得するために、比較的長い期間が必要となる。一方、第1の実施形態では、ストローク操作と文字との対応関係において、所定の文字と、当該文字を手書きする際の書き出しに対応するストローク操作とが対応付けられてよい。これにより、ユーザは、各文字に対応するストローク操作を記憶する必要がなく、通常、文字を記載する際の感覚に基づいて文字を入力するためのストローク操作を行うことができるため、ストローク操作による文字の入力をより短期間で習得することができ、文字入力に要する時間を更に短縮することが可能となる。
[1−2.情報処理システムの構成]
次に、以上説明した手書き入力処理を実現するための情報処理システムの機能構成について説明する。図4を参照して、本開示の第1の実施形態に係る情報処理システムの機能構成について説明する。図4は、本開示の第1の実施形態に係る情報処理システムの機能構成の一例を示す機能ブロック図である。
次に、以上説明した手書き入力処理を実現するための情報処理システムの機能構成について説明する。図4を参照して、本開示の第1の実施形態に係る情報処理システムの機能構成について説明する。図4は、本開示の第1の実施形態に係る情報処理システムの機能構成の一例を示す機能ブロック図である。
ここで、上述したように、第1の実施形態に係る手書き入力処理は、単一の情報処理装置によって実行されてもよいし、複数の情報処理装置が協働することによって実行されてもよい。図4では、第1の実施形態の一例として、手書き入力処理が、複数の情報処理装置からなる情報処理システムによって実行される場合における、当該情報処理システムの機能構成を図示している。なお、情報処理システムが、異なる構成によって実現される場合については、下記[1−6.情報処理システムの構成の変形例]で詳しく説明する。
図4を参照すると、第1の実施形態に係る情報処理システム1は、腕時計型端末10及び携帯型端末20を備える。腕時計型端末10は、ユーザが装着して用いる情報処理装置(いわゆるウェアラブル端末)の一例である。また、携帯型端末20は、ユーザの携帯に適した情報処理装置の一例であり、例えばスマートフォンやタブレットPCである。腕時計型端末10及び携帯型端末20は、例えば、下記<4.ハードウェア構成>で説明するハードウェア構成を有する情報処理装置によって実現され得る。
情報処理システム1では、腕時計型端末10及び携帯型端末20がネットワーク(図示せず。)を介して相互に各種の情報を送受信することにより、第1の実施形態に係る手書き入力処理が実行される。腕時計型端末10と携帯型端末20との間の通信方式としては、例えばBluetooth(登録商標)やWi−Fi(登録商標)等の通信規格に則ったものが適用され得る。
まず、腕時計型端末10の機能構成について説明する。腕時計型端末10は、通信部110、操作部120、表示部130及び制御部140を備える。
通信部110は、腕時計型端末10と外部の他の装置とを通信可能に接続するための通信インターフェースである。腕時計型端末10は、通信部110を介して携帯型端末20と相互に各種の情報を送受信することができる。第1の実施形態では、通信部110は、携帯型端末20に対して、後述する制御部140の操作情報取得部141によって取得される、操作体の座標情報を含むユーザによる操作入力についての情報である操作情報を送信する。通信部110は、当該操作情報に基づいて生成される、ストローク操作に対応付けられた文字又は単語の候補についての候補情報を携帯型端末20から受信することができる。また、通信部110は、携帯型端末20に対して、後述する制御部140の操作情報取得部141によって取得される、表示された候補の中からユーザによって最終的に選択された単語を示す操作情報を送信してもよい。通信部110は、最終的に選択された単語を示す操作情報に基づいて生成される、次に入力される単語の候補についての候補情報を携帯型端末20から受信することができる。
操作部120は、腕時計型端末10に対して行われるユーザによる各種の操作入力を検出するための入力インターフェースである。ユーザは、操作部120を介して、腕時計型端末10に対して各種の情報や指示を入力することができる。第1の実施形態では、操作部120はタッチパネルによって構成される。ただし、操作部120は、例えばマウス、キーボード、ボタン等のその他の各種の入力デバイスを含んで構成されてもよい。操作部120は、ユーザによる操作入力についての情報である操作情報を後述する制御部140の操作情報取得部141に提供する。
表示部130は、各種の情報をテキスト、画像、図表、グラフ等多様な形式で表示画面に表示することにより、当該情報をユーザに対して視覚的に通知する出力インターフェースである。表示部130は、例えばLCD(Liquid Crystal Display)、有機EL(Electro−Luminescence)ディスプレイ等の各種のディスプレイ装置によって構成される。第1の実施形態では、操作部120がタッチパネルによって構成されるため、操作部120と表示部130とは一体的に構成されてよい。ただし、表示部130は、タッチパネルによって構成されなくてもよく、操作部120とは異なる別途の構成であってもよい。表示部130は、後述する制御部140の表示制御部142からの制御により、図2及び図3に例示したような、手書き入力処理を行うための手書き入力GUIに係る表示画面を表示することができる。
制御部140は、例えばCPU(Central Processing Unit)やDSP(Digital Signal Pocessor)等の各種のプロセッサによって構成され、腕時計型端末10において行われる各種の処理を制御する。制御部140は、操作情報取得部141及び表示制御部142を有する。これらの機能を含む制御部140の機能は、例えば制御部140を構成するプロセッサが所定のプログラムに従って動作することにより実現される。
操作情報取得部141は、操作部120を介して入力されるユーザによる操作入力についての情報である操作情報を取得する。具体的には、操作情報取得部141は、操作部120を介して入力される、少なくともユーザによるストローク操作を表す操作情報を取得することができる。第1の実施形態では、操作情報取得部141は、図2及び図3を参照して説明した、手書き入力GUIの表示画面に対する指による各種の操作入力に関する情報を取得し得る。例えば、操作情報は、手書き入力GUIの表示画面内における操作体の座標情報を含む。また、当該表示画面内で操作体の位置が移動する場合には、操作情報は、当該操作体の移動の軌跡を示す座標情報の変化についての情報を含んでもよい。当該座標情報は、例えば手書き入力GUIの表示画面に対してユーザによって入力される、ストローク操作における操作体の位置を示す情報であり得る。なお、座標情報は、操作部120がタッチパネルによって構成される場合におけるストローク操作を表し得る操作情報の一例である。ストローク操作が他の入力インターフェースを介して入力される場合には、操作情報取得部141は、当該他の入力インターフェースを介して入力される、ストローク操作を表す操作入力についての情報を、操作情報として取得してもよい。
また、操作情報は、例えば、GUI部品として手書き入力GUIの表示画面に表示される各種のアイコンに対する移動や選択等の操作を示す情報を含み得る。ここで、GUI部品として表示される各種のアイコンに対する移動や選択等の操作は、例えば操作部120がマウス等のポインティングデバイスを含む場合には、手書き入力GUIの表示画面に表示されるカーソルやポインタ等の操作体を介して実行され得る。また、操作部120がタッチパネルを含む場合には、ユーザの指やスタイラスペン等による接触によって直接的にアイコンに対する移動や選択等の操作が実行され得る。なお、操作情報取得部141は、手書き入力GUIに対して入力される各種の情報だけでなく、例えば腕時計型端末10を起動及びシャットダウンさせるためのボタン操作に関する情報等、一般的な情報処理装置において操作部120を介して入力され得るあらゆる情報を取得することができる。
操作情報取得部141は、取得した、手書き入力GUIの表示画面内における操作体の座標情報を含む操作情報を、通信部110を介して携帯型端末20に送信する。また、操作情報取得部141は、当該座標情報を表示制御部142に提供してもよい。更に、操作情報取得部141は、取得した操作情報のうち、手書き入力GUIの表示画面の変化に関係する情報(例えば、図2及び図3を参照して説明した、候補表示領域712に表示された候補をスクロール表示させるための操作についての情報や、候補表示領域712に表示された候補を選択する操作についての情報等)を、表示制御部142に提供する。
表示制御部142は、表示部130を制御し、表示部130に各種の情報を表示させる。第1の実施形態では、表示制御部142は、例えば図2及び図3に示したような、手書き入力処理を行うための手書き入力GUIに係る表示画面を表示部130に表示させる。表示制御部142は、例えば操作情報取得部141によって取得される操作情報に基づいて、手書き入力GUIにおけるポインタの表示を移動させたり、手書き入力GUIの表示を変更したりといった、図2及び図3を参照して説明した、手書き入力GUIにおける各種の表示制御を行うことができる。例えば、表示制御部142は、操作情報取得部141から提供される座標情報に基づいて、ストローク操作における操作体の軌跡を表示画面に表示させる制御を行うことができる。また、例えば、表示制御部142は、操作情報取得部141から提供される操作情報に基づいて、候補表示領域712に表示された候補をスクロール表示させることができる。また、例えば、表示制御部142は、操作情報取得部141から提供される操作情報に基づいて、候補表示領域712に表示された候補のうち選択された文字又は単語を単語表示領域713に表示させることができる。なお、表示制御部142は、手書き入力GUIにおける各種の表示制御だけでなく、例えばデスクトップに相当する画面を表示部130に表示させる等、一般的な情報処理装置において行われ得る各種の表示制御を行うことができる。
以上、腕時計型端末10の機能構成について説明した。次に、携帯型端末20の機能構成について説明する。携帯型端末20は、通信部210、ストロークDB220、単語DB230及び制御部240を備える。
通信部210は、携帯型端末20と外部の他の装置とを通信可能に接続するための通信インターフェースである。携帯型端末20は、通信部210を介して腕時計型端末10と相互に各種の情報を送受信することができる。第1の実施形態では、通信部210は、腕時計型端末10から、表示画面内での操作体の座標情報を含む操作情報を受信する。通信部210は、当該操作情報に基づいて後述する制御部240の候補生成部242によって生成される、ストローク操作に対応する文字又は単語の候補についての候補情報を腕時計型端末10に送信することができる。また、通信部210は、腕時計型端末10から、表示された候補の中からユーザによって最終的に選択された単語を示す操作情報を受信してもよい。通信部210は、最終的に選択された単語を示す操作情報に基づいて候補生成部242によって生成される、次に入力される単語の候補についての候補情報を腕時計型端末10に送信することができる。
ストロークDB220は、例えば磁気記憶装置や半導体記憶装置等のストレージ装置によって構成され、所定の情報を一時的又は永続的に記憶する記憶部である。ストロークDB220は、ストローク操作と文字との対応関係が記憶されたデータベースである。ここで、ストローク操作と文字との対応関係とは、図1に例示したような、所定の文字と、当該文字を手書きする際の書き出しに対応するストローク操作と、の対応関係であってよい。後述する制御部240の候補生成部242は、ストロークDB220を参照することにより、入力されたストローク操作に対応する文字の候補を生成することができる。
ここで、上述したように、ユーザに応じて文字の書き出し(書き順)は異なることが考えられる。第1の実施形態では、手書き入力処理を行うユーザの文字の書き出しに対応するように、ストロークDB220の内容、すなわち、ストローク操作と文字との対応関係が更新されてもよい。ストロークDB220の更新については、下記[3−1.ストロークDBの更新]で詳しく説明する。
単語DB230は、例えば磁気記憶装置や半導体記憶装置等のストレージ装置によって構成され、所定の情報を一時的又は永続的に記憶する記憶部である。単語DB230は、入力の対象としている言語における単語が記憶されたデータベースである。後述する制御部240の候補生成部242は、ストロークDB220及び単語DB230を参照することにより、連続して入力されたストローク操作の組み合わせに基づいて、当該組み合わせに対応する単語の候補を生成することができる。
また、単語DB230には、入力の対象としている言語において、所定の単語と、文法上当該単語に続くことが予測される単語との対応関係が更に記憶されていてもよい。例えば、図2を参照して説明した例であれば、文法上「How」という単語に続くことが予測される単語として、「to」、「are」、「many」及び「about」等の単語が、単語DB230に記憶されている。後述する制御部240の候補生成部242は、単語DB230を参照することにより、表示された候補の中からユーザによって最終的に選択された単語に基づいて、当該単語の次に続くことが予測される単語の候補を生成することができる。
制御部240は、例えばCPUやDSP等の各種のプロセッサによって構成され、携帯型端末20において行われる各種の処理を制御する。制御部240は、ストローク判定部241及び候補生成部242を有する。これらの機能を含む制御部240の機能は、例えば制御部240を構成するプロセッサが所定のプログラムに従って動作することにより実現される。
ストローク判定部241は、腕時計型端末10の操作情報取得部141によって取得された操作体の座標情報を含む操作情報に基づいて、入力されたストローク操作を判定する。ここで、ストローク操作の判定とは、ストローク操作の内容を特定する処理であってよい。例えば、ストローク判定部241は、入力されたストローク操作が、方向を示す操作であるか、又は、点を示す操作であるか、を判定することができる。また、ストローク判定部241は、入力されたストローク操作が方向を示す操作である場合には、当該ストローク操作における方向を判定することができる。具体的には、ストローク判定部241は、操作情報取得部141によって取得された操作体の座標情報に基づいて、入力されたストローク操作の内容を判定することができる。ストローク判定部241は、ストローク操作の判定結果についての情報を、候補生成部242に提供する。
候補生成部242は、ストローク判定部241によるストローク操作の判定結果に基づいて、当該ストローク操作に対応する少なくとも文字の候補を生成する。例えば、候補生成部242は、ストロークDB220を参照することにより、入力されたストローク操作に対応する文字の候補を生成することができる。また、ストローク判定部241によって連続的に入力された複数のストローク操作が判定された場合には、候補生成部242は、これら複数のストローク操作の組み合わせに基づいて、当該組み合わせに対応する単語の候補を生成してもよい。例えば、候補生成部242は、ストロークDB220及び単語DB230を参照することにより、入力されたストローク操作の組み合わせに対応する単語の候補を生成することができる。
また、候補生成部242は、腕時計型端末10の操作情報取得部141によって取得される、表示された候補の中からユーザによって最終的に選択された単語を示す操作情報を、通信部210を介して取得してもよい。候補生成部242は、単語DB230を参照することにより、当該操作情報に基づいて、文法上当該最終的に選択された単語の次に続くことが予測される単語の候補を生成することができる。
候補生成部242は、生成した文字又は単語の候補についての候補情報を通信部210に提供する。当該候補情報は、通信部210を介して腕時計型端末10の表示制御部142に送信される。表示制御部142は、当該候補情報に基づいて、文字又は単語の候補を手書き入力GUIの表示画面に表示させることができる。
なお、ストロークDB220及び単語DB230には、文字及び単語の候補を手書き入力GUIに表示する際の優先度についての情報が、文字及び単語と紐付けられて記憶されていてもよい。当該優先度は例えば使用頻度が高い順であってもよいし、直近に使用された文字又は単語ほど優先度が高く設定されてもよい。候補生成部242は、文字及び単語の候補を生成する際に、当該優先度についての情報をストロークDB220及び単語DB230から取得し、候補情報に当該優先度についての情報を含めて腕時計型端末10に送信してもよい。腕時計型端末10の表示制御部142は、当該優先度についての情報に基づいて、文字又は単語の候補を、所定の優先度に従って手書き入力GUIの表示画面に表示させることができる。
以上、第1の実施形態に係る情報処理システム1の機能構成について説明した。以上説明したように、第1の実施形態に係る情報処理システム1では、操作情報取得部141によって、少なくともユーザによるストローク操作を表す操作情報が取得される。そして、当該操作情報に基づいて、候補生成部242によって、入力されたストローク操作に対応する文字の候補が生成され、ユーザに対して提示される。このように、ユーザは、より簡易な操作によって文字を入力することが可能となるため、ユーザの利便性を向上させることができる。
また、第1の実施形態では、腕時計型端末10と携帯型端末20とが互いに連携することにより、手書き入力処理における一連の処理が実行される。そして、DBを探索して候補を生成するという、比較的負荷の大きい処理が携帯型端末20によって行われる。ここで、腕時計型端末10は、ユーザに装着されて用いられるものであるため、その装着性の観点から、構成が大型化することは好ましくない。第1の実施形態では、比較的負荷の大きい処理が腕時計型端末10ではなく携帯型端末20によって行われることにより、腕時計型端末10の構成を大型化することなく、手書き入力処理を実行することが可能となる。
[1−3.情報処理方法の処理手順]
次に、図5を参照して、第1の実施形態に係る情報処理方法の処理手順について説明する。図5は、第1の実施形態に係る情報処理方法の処理手順の一例を示すフロー図である。当該情報処理方法において行われる一連の処理は、第1の実施形態に係る手書き入力処理における一連の処理に対応しており、例えば図4に示す情報処理システム1の機能構成によって実現され得る。
次に、図5を参照して、第1の実施形態に係る情報処理方法の処理手順について説明する。図5は、第1の実施形態に係る情報処理方法の処理手順の一例を示すフロー図である。当該情報処理方法において行われる一連の処理は、第1の実施形態に係る手書き入力処理における一連の処理に対応しており、例えば図4に示す情報処理システム1の機能構成によって実現され得る。
図5を参照すると、第1の実施形態に係る情報処理方法では、まず、腕時計型端末10において、ユーザによってストローク操作が入力される(ステップS101)。ステップS101に示す処理は、具体的には、ユーザによって、手書き入力GUIの表示画面内でストローク操作が行われる処理であってよい。
次に、腕時計型端末10において、ステップS101で入力されたストローク操作における操作体の座標情報が取得される(ステップS103)。ステップS103に示す処理は、腕時計型端末10において、ユーザによるストローク操作を表す操作情報が取得される処理に対応している。当該処理は、具体的には、腕時計型端末10の操作情報取得部141によって、ストローク操作における操作体の座標情報を含む操作情報が取得される処理であってよい。
ステップS103で取得された座標情報を含む操作情報は、例えば上述した通信部110、210を介して、腕時計型端末10から携帯型端末20に送信される(ステップS105)。
次に、携帯型端末20において、操作情報に基づいて、入力されたストローク操作が判定される(ステップS107)。ステップS107に示す処理は、具体的には、携帯型端末20のストローク判定部241によって、腕時計型端末10の操作情報取得部141によって取得された操作体の座標情報に基づいて、入力されたストローク操作の内容が判定される処理であってよい。
次に、携帯型端末20において、ステップS107でのストローク操作の判定結果に基づいて、当該ストローク操作に対応する候補が生成される(ステップS109)。ステップS109に示す処理は、具体的には、携帯型端末20の候補生成部242によって、ストローク操作の判定結果に基づいて、当該ストローク操作に対応する文字の候補が生成される処理であってよい。また、ステップS107において、連続的に入力された複数のストローク操作が判定された場合には、ステップS109では、これら複数のストローク操作の組み合わせに基づいて、当該組み合わせに対応する単語の候補が生成されてもよい。
ステップS109で生成された候補についての候補情報は、例えば上述した通信部110、210を介して、携帯型端末20から腕時計型端末10に送信される(ステップS111)。
次に、腕時計型端末10において、候補情報に基づいて、入力されたストローク操作に対応する文字又は単語の候補が表示される(ステップS113)。ステップS113に示す処理は、具体的には、腕時計型端末10の表示制御部142によって、候補情報に基づいて、入力されたストローク操作に対応する文字又は単語の候補が、手書き入力GUIの表示画面に表示される処理であってよい。
以上、図5を参照して、第1の実施形態に係る情報処理方法の処理手順について説明した。ここで、図5では、第1の実施形態に係る情報処理方法の処理手順の一例として、当該情報処理方法が、図4に示す情報処理システム1の構成によって実現される場合における処理手順を示した。第1の実施形態に係る情報処理方法の処理手順は図5に示す例に限定されず、情報処理システム1の構成に応じて、ステップS101〜ステップS113に示す各処理が行われる端末は適宜変更されてよい。
[1−4.候補の表示例]
上記[1−1.手書き入力処理の概要]で図2及び図3を参照して説明したように、第1の実施形態に係る手書き入力GUIでは、入力されたストローク操作に対応する文字又は単語の候補が表示される。ただし、手書き入力GUIにおける候補の表示は、図2及び図3に示す例に限定されない。ここでは、図6を参照して、第1の実施形態に係る手書き入力GUIにおける候補の他の表示例について説明する。なお、図6を参照して説明する一連の処理は、例えば図4に示す情報処理システム1の機能構成によって実現され得る。例えば、図6に示す手書き入力GUIは、図4に示す腕時計型端末10の表示制御部142によってその表示が制御され、表示部130に表示され得る。
上記[1−1.手書き入力処理の概要]で図2及び図3を参照して説明したように、第1の実施形態に係る手書き入力GUIでは、入力されたストローク操作に対応する文字又は単語の候補が表示される。ただし、手書き入力GUIにおける候補の表示は、図2及び図3に示す例に限定されない。ここでは、図6を参照して、第1の実施形態に係る手書き入力GUIにおける候補の他の表示例について説明する。なお、図6を参照して説明する一連の処理は、例えば図4に示す情報処理システム1の機能構成によって実現され得る。例えば、図6に示す手書き入力GUIは、図4に示す腕時計型端末10の表示制御部142によってその表示が制御され、表示部130に表示され得る。
図2及び図3に示す例では、手書き入力GUIの表示画面710の候補表示領域712に単語の候補が表示されており、ユーザは、当該候補表示領域712に表示された単語の候補を、例えばスクロール表示させて所望の単語を探すことができる。しかしながら、例えば腕時計型端末10のように画面のサイズが比較的小さい端末の場合には、画面内に同時に表示できる単語の候補が相対的に少なくなる。従って、候補として生成された単語が多い場合には、所望の単語を見付けることが困難となる可能性がある。そこで、単語の候補の中から目的とする単語を選択する際のユーザの利便性を向上させるために、手書き入力GUIの表示は、必要に応じて、ストローク操作が入力される入力領域と当該ストローク操作に対応する候補とがともに表示される第1の表示状態と、当該入力領域が表示されず当該候補がリスト状に表示される第2の表示状態と、が切り換えられてもよい。以下の説明では、第2の表示状態における表示画面のことを、候補が主に表示される画面であることから、候補表示画面とも呼称する。
図6を参照して、このような、手書き入力GUIの表示が切り換えられ、候補表示画面が表示される場合における手書き入力GUIの一表示例について説明する。図6は、手書き入力GUIの表示が切り換えられ、候補表示画面が表示される場合における手書き入力GUIの一表示例を示す図である。図6では、一例として、ユーザが「fine」という単語を入力しようとしている場合における、手書き入力GUIの表示画面の遷移を示している。
図6を参照すると、まず、手書き入力GUIの表示画面として、第1の表示状態における表示画面720が表示される(図中(a))。表示画面720は、入力領域721、候補表示領域722、バックスペースアイコン723及びスペースアイコン724を有する。
ここで、入力領域721は、図2及び図3に示す入力領域711に対応するものであり、ユーザによってストローク操作が入力される領域である。候補表示領域722は、図2及び図3に示す候補表示領域712に対応するものであり、入力されたストローク操作に対応する候補が表示される領域である。バックスペースアイコン723は、図2及び図3に示すバックスペースアイコン714に対応するものであり、直前に入力したストローク操作を取り消すためのアイコンである。スペースアイコン724は、キーボードにおけるスペースキーに対応するものであり、スペースを入力するためのアイコンである。なお、図6に示す例では、表示画面720には、図2及び図3に示す単語表示領域713及びメニューアイコン715に対応する領域及びアイコンが設けられていないが、表示画面720は、単語表示領域713及びメニューアイコン715に対応する領域及びアイコンを更に有してもよい。
ユーザは、表示画面720の入力領域721に、入力したい単語である「fine」に対応するストローク操作(例えば、左方向へのストローク操作、点を示すストローク操作、下方向へのストローク操作及び下方向へのストローク操作)を順次入力する(図中(b))。すると、候補表示領域722には、入力したストローク操作の組み合わせに対応する単語の候補が表示される(図中(c))。図6(c)に示す例では、単語の候補として候補表示領域722に「give」が表示されている。
ここで、ユーザは「fine」という単語を入力したいのであるから、候補表示領域722に表示される候補の中から「fine」を探す必要がある。図3に示す例と同様に、候補表示領域722に表示される候補をスクロール表示させることにより「fine」を探すことも可能であるが、本表示例では、より候補を選択しやすい第2の表示状態に、手書き入力GUIの表示を切り換えることができる。
例えば、図6(c)に示すように、表示画面720内に、第1の表示状態から第2の表示状態に遷移するための遷移アイコン725が表示される。ユーザは、候補表示領域722に表示されている候補から目的としている単語である「fine」を容易に見付けられないと判断した場合には、当該遷移アイコン725を選択する(図中(d))。
遷移アイコン725が選択されると、表示画面720が、第2の表示状態における表示画面である候補表示画面726に遷移する(図中(e))。図6(e)に示すように、候補表示画面726では、入力領域711が表示されず、入力されたストローク操作の組み合わせに対応する単語の候補がリスト状に表示される。候補表示画面726に表示された候補は、ユーザの操作入力に応じてスクロール表示させることが可能である。ユーザは、スクロール表示させた候補の中から目的とする単語である「fine」を見付けたら、当該単語「fine」を選択することができる(図中(f))。図6(e)、(f)に示すように、候補表示画面726には、入力領域721が設けられず、単語の候補がより広い領域に表示され得るため、より多くの候補が同時に表示されることとなり、ユーザは目的とする単語をより容易に見付けることが可能となる。
単語が選択されると、手書き入力GUIの表示が第1の表示状態に戻り、表示画面720に遷移する(図中(g))。図6(g)に示すように、表示画面720には、ユーザによって最終的に選択された単語が併せて表示されていてもよい。図6(g)に示す例では、候補表示画面726において選択された単語である「fine」が表示画面720の背景として表示されている。
以上、図6を参照して、手書き入力GUIの表示が切り換えられ、候補表示画面が表示される場合における手書き入力GUIの一表示例について説明した。以上説明したように、本表示例では、手書き入力GUIの表示が切り換えられることにより、入力領域721が設けられず一画面中により多くの候補が同時に表示され得る候補表示画面726が表示される。候補表示画面726を用いることにより、ユーザは目的とする単語をより容易に見付けることが可能となり、単語の入力をより効率的に行うことができる。なお、図6では単語の候補が表示される場合について示したが、ユーザにより1つのストローク操作が入力され、文字の候補が表示される場合であっても、同様に、入力領域711が表示されず入力されたストローク操作に対応する文字の候補がリスト状に表示される候補表示画面726が表示されてよい。
[1−5.候補を絞り込むための操作]
上記[1−1.手書き入力処理の概要]で図2及び図3を参照して説明したように、第1の実施形態に係る手書き入力GUIでは、入力されたストローク操作の組み合わせに対応する単語の候補が表示されてよい。ここで、上述したように、単語の候補は、例えば使用頻度が高い順等、所定の優先度に従った順序で表示され得る。しかしながら、例えばユーザの目的とする単語の優先度が低い場合には、ユーザが、表示された候補の中から目的とする単語を見付けることが困難である場合がある。そこで、第1の実施形態では、目的とする単語を見付けることが困難である場合に、ユーザによって候補を絞り込むための所定の操作が行われてもよい。
上記[1−1.手書き入力処理の概要]で図2及び図3を参照して説明したように、第1の実施形態に係る手書き入力GUIでは、入力されたストローク操作の組み合わせに対応する単語の候補が表示されてよい。ここで、上述したように、単語の候補は、例えば使用頻度が高い順等、所定の優先度に従った順序で表示され得る。しかしながら、例えばユーザの目的とする単語の優先度が低い場合には、ユーザが、表示された候補の中から目的とする単語を見付けることが困難である場合がある。そこで、第1の実施形態では、目的とする単語を見付けることが困難である場合に、ユーザによって候補を絞り込むための所定の操作が行われてもよい。
ここでは、図7及び図8を参照して、候補を絞り込むための操作が行われる際における、第1の実施形態に係る手書き入力GUIのいくつかの表示例について説明する。なお、図7及び図8を参照して説明する一連の処理は、例えば図4に示す情報処理システム1の機能構成によって実現され得る。例えば、図7及び図8に示す手書き入力GUIは、図4に示す腕時計型端末10の表示制御部142によってその表示が制御され、表示部130に表示され得る。
(1−5−1.単語に含まれる文字の指定)
第1の実施形態に係る手書き入力GUIでは、候補を絞り込むための操作を行うための表示画面として、ストローク操作が連続して入力された後に、連続して入力された当該ストローク操作ごとに文字を指定するための表示画面が表示されてもよい。図7を参照して、このような、手書き入力GUIにおいて、連続して入力されたストローク操作ごとに文字を指定するための表示画面の一例について説明する。図7は、手書き入力GUIにおいて、連続して入力されたストローク操作ごとに文字を指定するための表示画面の一例を示す図である。
第1の実施形態に係る手書き入力GUIでは、候補を絞り込むための操作を行うための表示画面として、ストローク操作が連続して入力された後に、連続して入力された当該ストローク操作ごとに文字を指定するための表示画面が表示されてもよい。図7を参照して、このような、手書き入力GUIにおいて、連続して入力されたストローク操作ごとに文字を指定するための表示画面の一例について説明する。図7は、手書き入力GUIにおいて、連続して入力されたストローク操作ごとに文字を指定するための表示画面の一例を示す図である。
図7を参照すると、手書き入力GUIにおいて、連続して入力されたストローク操作ごとに文字を指定するための表示画面730は、単語表示領域731及び文字指定領域732を有する。表示画面730は、表示された候補の中から所望の単語を選択する表示画面(例えば、図3に示す表示画面720)において、例えば画面切り換え用のアイコンを選択する等、ユーザが所定の切り換え操作を行うことにより表示されてよい。
単語表示領域731は、図2及び図3に示す単語表示領域713に対応するものであり、ユーザによって最終的に選択された単語が表示される領域である。表示画面730では、まだ最終的な単語が選択されていないため、図7に示す例では、入力された単語の文字に対応する部分に「?」が表示されている。
文字指定領域732は、単語に含まれる文字を、ストローク操作ごとに指定する領域である。文字指定領域732には、連続して入力されたストローク操作の各々に対応する文字の候補が表示される。例えば、ユーザは、単語表示領域731に表示されている単語を表す文字列のうち、指定したい文字を選択する。文字指定領域732には、選択した文字に対応するストローク操作に応じた文字の候補が表示される。図7に示す例では、単語表示領域731に表示されている単語を表す文字列のうち、1文字目を表す「?」が選択されている。例えば、1文字目として左方向へのストローク操作が入力されている場合であれば、図7に示すように、文字指定領域732に、当該ストローク操作に対応する文字の候補である「a」、「s」、「d」、「f」及び「g」等が表示されている。なお、文字指定領域732において文字が表示される順序は、例えば使用頻度が高い順等、所定の優先度に従って決定されてよい。
ユーザが、文字指定領域732に表示された文字の中から所望の文字を選択することにより、単語の中の対応する文字が確定することとなる。単語表示領域731に表示されている単語を表す文字列のうち、確定した文字に対応する部分については、対応する文字が表示される。例えば、図7に示す例では、単語表示領域731に表示されている単語を表す文字列において、確定した文字として「i」及び「w」が表示されている。このような単語に含まれる文字を1文字ずつ指定する操作を繰り返し行うことにより、ユーザは所望の単語を入力することができる。
以上、図7を参照して、手書き入力GUIにおいて、連続して入力されたストローク操作ごとに文字を指定するための表示画面の一例について説明した。以上説明したように、第1の実施形態では、ストローク操作が連続して入力された後に、連続して入力された当該ストローク操作ごとに文字を指定する操作が行われてよい。このように、ストローク操作ごとに文字を指定することにより、例えば、特殊な固有名詞等、単語DB内に存在しない単語であっても入力することが可能となる。
なお、図7を参照して説明した一連の処理は、ストローク操作が連続して入力された後に、当該ストローク操作の組み合わせに対応する単語に対して、当該単語に含まれる文字を改めて指定する処理であるため、文字を再入力する処理であると言える。図7に示す表示画面730は、文字を再入力するための再入力モードに係る表示画面であり、例えば図2及び図3に示すような通常の入力モードに係る表示画面とは異なる機能を有する。このように、第1の実施形態では、必要に応じて、例えばユーザによる切り換え操作によって、通常の入力モードと再入力モードとを適宜切り換えながら、単語を入力することができるため、ユーザが所望の単語に到達することがより容易になる。
(1−5−2.類似する候補に基づく単語の選択)
第1の実施形態に係る手書き入力GUIでは、候補を絞り込むための操作を行うための表示画面として、類似する候補に基づいて単語を選択する表示画面が表示されてもよい。図8を参照して、このような、手書き入力GUIにおいて、類似する候補に基づいて単語を選択する表示画面の一例について説明する。図8は、手書き入力GUIにおいて、類似する候補に基づいて単語を選択する表示画面の一例を示す図である。
第1の実施形態に係る手書き入力GUIでは、候補を絞り込むための操作を行うための表示画面として、類似する候補に基づいて単語を選択する表示画面が表示されてもよい。図8を参照して、このような、手書き入力GUIにおいて、類似する候補に基づいて単語を選択する表示画面の一例について説明する。図8は、手書き入力GUIにおいて、類似する候補に基づいて単語を選択する表示画面の一例を示す図である。
図8を参照すると、手書き入力GUIにおいて、類似する候補に基づいて単語を選択する表示画面740は、入力領域741、候補表示領域742及びストローク履歴表示領域743を有する。入力領域741は、図2及び図3に示す入力領域711に対応するものであり、ユーザによってストローク操作が入力される領域である。候補表示領域742は、図2及び図3に示す候補表示領域712に対応するものであり、入力されたストローク操作に応じた候補が表示される領域である。
ストローク履歴表示領域743は、ユーザによって入力されたストローク操作の履歴が表示される領域である。ストローク操作の履歴は、ユーザによって入力されようとしている単語に対応するストローク操作の組み合わせを示すものであり得る。図8に示す例では、ユーザによって入力されたストローク操作の履歴として、左方向へのストローク操作、点を示すストローク操作、下方向へのストローク操作及び右方向へのストローク操作がこの順に入力されたことが、簡易的に、矢印及びドットによって表示されている。ユーザは、ストローク履歴表示領域743に表示されるストローク操作の履歴を参照することにより、目的とする単語を得るために自身が連続的に入力したストローク操作を直感的に把握することができる。
なお、図8に示す例では、表示画面740には、図2及び図3に示す単語表示領域713、バックスペースアイコン714及びメニューアイコン715に対応する領域及びアイコンが設けられていないが、表示画面740は、単語表示領域713、バックスペースアイコン714及びメニューアイコン715に対応する領域及びアイコンを更に有してもよい。また、逆に、図2及び図3に示す単語表示領域713が、ストローク履歴表示領域743に対応する領域を更に有してもよい。
図8では、一例として、ユーザが「fine」という単語を入力しようとしている場合における、手書き入力GUIの表示画面の遷移を示している。ストローク操作の入力が終了した段階では、表示画面740の候補表示領域742に、ユーザによって入力されたストローク操作の組み合わせに応じた単語の候補が表示される(図中(a))。図8(a)に示す例では、候補表示領域742に、目的とする単語である「fine」が優先度が高い単語としては表示されず、同じストローク操作の組み合わせに対応する単語である「give」、「five」及び「city」が候補として表示されている。
図3に示す例と同様に、候補表示領域742に表示される候補をスクロール表示させることにより「fine」を探すことも可能であるが、本表示例では、ユーザが候補表示領域742に表示されている候補の中から、目的とする単語に類似する単語を選択することにより、候補表示領域742に表示される候補を変更することができる。これは、候補表示領域742に表示された複数の候補の中のいずれかを選択することにより、当該選択された候補に基づいて、複数の候補を異なる優先度に従った順序で表示させることに対応している。
類似する単語の選択は、例えば、当該単語をなぞるように指を移動させる操作によって実現される(図中(b))。図8(b)に示す例では、指によって、候補表示領域742に表示されている候補のうち、「five」をなぞる動作が図示されている。ここで、候補表示領域742に表示されている候補自体を入力する単語として選択したい場合には、例えば当該単語をタップする操作等、類似する単語を選択する操作とは異なる選択操作が割り当てられていてよい。これにより、ユーザが候補表示領域742に表示されている候補自体を入力する単語として選択したいのか、類似する単語を選択することにより候補表示領域742に表示される候補を変更したいのかが判断され得る。
類似する単語が選択されると、候補表示領域742に表示される候補が変更され、選択された単語に類似する候補が表示される(図中(c))。これは、候補表示領域742に、異なる優先度に従った順序で候補が表示されることを意味しており、図8(c)に示す例では、選択された単語に類似する順に、候補表示領域742に表示される候補の順序が変更されている。図8に示す例では、選択された「five」に類似する単語として、「Five」、「fine」及び「fire」が候補表示領域742に新たな候補として表示されている。ユーザは、候補表示領域742に表示された新たな候補の中から、所望の単語である「fine」を選択することができる。
ここで、図中(b)に示すような目的とする単語に類似する単語を選択する操作は、例えば図4に示す腕時計型端末10の操作情報取得部141によって操作情報として取得される。当該操作情報は、通信部110を介して携帯型端末20に送信され、例えば候補生成部242によって、ストローク操作の組み合わせが同一であって、かつ、選択された単語に類似する候補が生成される。そして、生成された候補についての候補情報が携帯型端末20から腕時計型端末10に送信され、腕時計型端末10の表示制御部142によって、当該候補情報に基づいて、候補表示領域742の表示が変更されてもよい。なお、候補生成部242が生成する、選択された単語に類似する単語の判断基準は、例えば1文字目が共通すること等、適宜設定されてよい。
以上、図8を参照して、手書き入力GUIにおいて、類似する候補に基づいて単語を選択する表示画面の一例について説明した。以上説明したように、第1の実施形態では、ストローク操作が連続して入力された後に、例えば目的とする単語に類似する単語を選択する等、候補表示領域742に表示される候補の優先度を変更するための再入力が行われてよい。候補表示領域742に表示される候補の優先度が変更されることにより、ユーザは、所望の単語をより容易に見付けることが可能となる。
ここで、ユーザが、表示された候補の中から目的とする単語を見付けることが困難となる状況としては、2つの状況が考えられる。1つは、例えば特殊な固有名詞等、目的とする単語の優先度が極低いために、候補生成部242によって単語DB230内から当該単語が抽出されない場合であり、もう1つは、目的とする単語が候補生成部242によって単語DB230内から抽出されてはいるが、その表示される順序の優先度が低いために、表示された候補の中からユーザが当該単語を見付けることが難しい場合である。
上記(1−5−1.単語に含まれる文字の指定)で説明した候補を絞り込むための方法は、ストローク操作が連続して入力された後に、連続して入力された当該ストローク操作ごとに文字を指定する方法であり、いわば、入力中の単語を再入力する方法に対応する。これは、候補生成部242によって単語DB230内から目的とする単語が抽出されない場合に有効な方法であると言える。
一方、上記(1−5−2.類似する候補に基づく単語の選択)で説明した候補を絞り込むための方法は、既に表示されている候補を利用して、候補の表示の優先度を変更することにより、目的とする単語を見付ける方法である。これは、目的とする単語の表示される順序の優先度が低いために、表示された候補の中からユーザが当該単語を見付けることが難しい場合に有効な方法であると言える。
表示された候補の中から目的とする単語を見付けることが困難である場合に、その状況に応じて、上記(1−5−1.単語に含まれる文字の指定)で説明した方法及び上記(1−5−2.類似する候補に基づく単語の選択)で説明した方法のいずれかを適宜選択して候補の絞り込みを行うことにより、より効率的に単語の入力を行うことが可能となる。
[1−6.情報処理システムの構成の変形例]
上記[1−2.情報処理システムの構成]では、第1の実施形態に係る情報処理システム1が、腕時計型端末10と携帯型端末20と、によって構成される場合について説明した。ただし、第1の実施形態はかかる例に限定されず、情報処理システム1は他の構成によって実現されてもよい。ここでは、第1の実施形態の変形例として、情報処理システム1の他の構成例について説明する。
上記[1−2.情報処理システムの構成]では、第1の実施形態に係る情報処理システム1が、腕時計型端末10と携帯型端末20と、によって構成される場合について説明した。ただし、第1の実施形態はかかる例に限定されず、情報処理システム1は他の構成によって実現されてもよい。ここでは、第1の実施形態の変形例として、情報処理システム1の他の構成例について説明する。
(1−6−1.情報処理システムが1台の情報処理装置によって構成される変形例)
図9を参照して、第1の実施形態に係る情報処理システムが1台の情報処理装置によって構成される変形例について説明する。図9は、第1の実施形態に係る情報処理システムが1台の情報処理装置によって構成される変形例における機能構成の一例を示す機能ブロック図である。
図9を参照して、第1の実施形態に係る情報処理システムが1台の情報処理装置によって構成される変形例について説明する。図9は、第1の実施形態に係る情報処理システムが1台の情報処理装置によって構成される変形例における機能構成の一例を示す機能ブロック図である。
図9を参照すると、本変形例に係る情報処理システム1aは、腕時計型端末10aを備える。なお、情報処理システム1aは、異なる情報処理装置の構成によって、上述した図4に示す情報処理システム1と同様の機能を実現するものである。
腕時計型端末10aは、ユーザが装着して用いる情報処理装置(いわゆるウェアラブル端末)の一例である。腕時計型端末10aは、例えば、下記<4.ハードウェア構成>で説明するハードウェア構成を有する情報処理装置によって実現され得る。
腕時計型端末10aは、操作部120、表示部130、制御部140a、ストロークDB220及び単語DB230を備える。ここで、操作部120、表示部130、ストロークDB220及び単語DB230の各機能は、図4に示すこれらの構成の各機能と同様であるため、ここでは詳細な説明は省略する。
制御部140aは、例えばCPUやDSP等の各種のプロセッサによって構成され、腕時計型端末10aにおいて行われる各種の処理を制御する。制御部140aは、操作情報取得部141、表示制御部142、ストローク判定部241及び候補生成部242を有する。これらの機能を含む制御部140aの機能は、例えば制御部140aを構成するプロセッサが所定のプログラムに従って動作することにより実現される。
ここで、操作情報取得部141、表示制御部142、ストローク判定部241及び候補生成部242の各機能は、図4に示すこれらの構成の各機能と同様であってよい。このように、本変形例では、腕時計型端末10aが、図4を参照して説明した腕時計型端末10及び携帯型端末20の機能を併せ持っており、情報処理システム1aが、1台の情報処理装置によって構成され得る。
以上、図9を参照して、第1の実施形態に係る情報処理システムが1台の情報処理装置によって構成される変形例について説明した。以上説明したように、本変形例では、例えばウェアラブル端末である腕時計型端末10aのみによって、手書き入力処理における一連の処理が実行される。ユーザは、より携帯性に優れたウェアラブル端末のみ装着することにより手書き入力処理を行うことができ、他の情報処理装置を用意する必要がないため、ユーザの利便性が向上する。また、図4に例示した情報処理システム1では、例えば何らかの理由により情報処理装置間の通信環境が劣悪な状態にあっては、手書き入力処理を円滑に実行することが困難となる可能性がある。本変形例によれば、情報処理装置間で通信を行うことが不要となるため、通信環境の如何にかかわらず手書き入力処理を実行することが可能となる。
(1−6−2.情報処理システムが3台の情報処理装置によって構成される変形例)
図10を参照して、第1の実施形態に係る情報処理システムが3台の情報処理装置によって構成される変形例について説明する。図10は、第1の実施形態に係る情報処理システムが3台の情報処理装置によって構成される変形例における情報処理装置の機能構成の一例を示す機能ブロック図である。
図10を参照して、第1の実施形態に係る情報処理システムが3台の情報処理装置によって構成される変形例について説明する。図10は、第1の実施形態に係る情報処理システムが3台の情報処理装置によって構成される変形例における情報処理装置の機能構成の一例を示す機能ブロック図である。
図10を参照すると、本変形例に係る情報処理システム1bは、腕時計型端末10b、携帯型端末20b及びサーバ30bを備える。なお、情報処理システム1bは、異なる情報処理装置の構成によって、上述した図4に示す情報処理システム1と同様の機能を実現するものである。
腕時計型端末10bは、ユーザが装着して用いる情報処理装置(いわゆるウェアラブル端末)の一例である。また、携帯型端末20bは、ユーザの携帯に適した情報処理装置の一例であり、例えばスマートフォンやタブレットPCである。また、サーバ30bは、数値計算や情報処理に特化した情報処理装置の一例であり、例えばインターネット等のネットワーク(いわゆるクラウド)上に設置され得る。腕時計型端末10b、携帯型端末20b及びサーバ30bは、例えば、下記<4.ハードウェア構成>で説明するハードウェア構成を有する情報処理装置によって実現され得る。本変形例では、腕時計型端末10b、携帯型端末20b及びサーバ30bがネットワークを介して相互に各種の情報を送受信することにより、手書き入力処理が実行される。腕時計型端末10bと携帯型端末20bとの間の通信方式としては、例えばBluetoothやWi−Fi等の通信規格に則ったものが適用され得る。また、携帯型端末20bとサーバ30bとの間の通信方式としては、いわゆるモバイルネットワークの通信に用いられる各種の通信方式、例えば、GSM(登録商標)(Global System for Mobile communications)、3G(第3世代移動通信システム)、LTE(Long Term Evolution)、Wi−Fi等の通信規格に則ったものが適用され得る。
(腕時計型端末10b)
腕時計型端末10bは、通信部110、操作部120、表示部130及び制御部140を備える。また、制御部140bは、操作情報取得部141及び表示制御部142を有する。腕時計型端末10bの機能構成は、図4に示す腕時計型端末10と同様であってよいため、ここではその詳細な説明は省略する。
腕時計型端末10bは、通信部110、操作部120、表示部130及び制御部140を備える。また、制御部140bは、操作情報取得部141及び表示制御部142を有する。腕時計型端末10bの機能構成は、図4に示す腕時計型端末10と同様であってよいため、ここではその詳細な説明は省略する。
ただし、本変形例では、通信部110は、図4に示す腕時計型端末10の通信部110が有する機能に加え、サーバ30bとの間でも情報の送受信を行う。本変形例では、通信部110は、携帯型端末20bに対して、操作情報取得部141によって取得される、表示画面内での操作体の座標情報を含む操作情報を送信する。通信部110は、当該操作情報に基づいて生成される、ストローク操作に対応付けられた文字又は単語の候補についての候補情報をサーバ30bから受信することができる。また、通信部110は、サーバ30bに対して、操作情報取得部141によって取得される、表示された候補の中からユーザによって最終的に選択された単語を示す操作情報を送信してもよい。通信部110は、最終的に選択された単語を示す操作情報に基づいて生成される、文法上当該単語に続いて入力されることが予測される単語の候補についての候補情報をサーバ30bから受信することができる。
(携帯型端末20b)
携帯型端末20bは、通信部210及び制御部240bを備える。
携帯型端末20bは、通信部210及び制御部240bを備える。
ここで、通信部210の機能は、図4に示す携帯型端末20の通信部210が有する機能とほぼ同様であってよい。ただし、本変形例では、通信部210は、図4に示す携帯型端末20の通信部210が有する機能に加え、サーバ30bとの間でも情報の送受信を行う。本変形例では、通信部210は、腕時計型端末10bから、表示画面内での操作体の座標情報を含む操作情報を受信する。また、通信部210は、後述する制御部240bのストローク判定部241によって、当該操作情報に基づいて判定される、ストローク操作の判定結果についての情報をサーバ30bに送信することができる。
制御部240bは、例えばCPUやDSP等の各種のプロセッサによって構成され、携帯型端末20bにおいて行われる各種の処理を制御する。制御部240bは、ストローク判定部241を有する。当該機能を含む制御部240bの機能は、例えば制御部240bを構成するプロセッサが所定のプログラムに従って動作することにより実現される。
ここで、ストローク判定部241の機能は、図4に示す当該構成の機能と同様であるため、ここでは詳細な説明は省略する。ストローク判定部241は、腕時計型端末10bの操作情報取得部141によって取得された操作情報に基づいて、入力されたストローク操作を判定する。当該判定結果は、通信部210を介してサーバ30bに送信される。このように、本変形例では、携帯型端末20bでは候補の生成は行われない。従って、携帯型端末20bにおける信号処理の負荷が軽減される。
(サーバ30b)
サーバ30bは、通信部310、ストロークDB220、単語DB230及び制御部340bを備える。ここで、ストロークDB220及び単語DB230の各機能は、図4に示すこれらの構成の各機能と同様であるため、ここでは詳細な説明は省略する。
サーバ30bは、通信部310、ストロークDB220、単語DB230及び制御部340bを備える。ここで、ストロークDB220及び単語DB230の各機能は、図4に示すこれらの構成の各機能と同様であるため、ここでは詳細な説明は省略する。
通信部310は、サーバ30bと外部の他の装置とを通信可能に接続するための通信インターフェースである。サーバ30bは、通信部310を介して腕時計型端末10b及び携帯型端末20bと相互に各種の情報を送受信することができる。本変形例では、通信部310は、携帯型端末20から、ストローク判定部241によるストローク操作の判定結果についての情報を受信することができる。通信部310は、後述する制御部340bの候補生成部242によって当該判定結果に基づいて生成される、ストローク操作に対応付けられた文字又は単語の候補についての候補情報を、腕時計型端末10bに送信することができる。また、通信部310は、腕時計型端末10bから、操作情報取得部141によって取得される、表示された候補の中からユーザによって最終的に選択された単語を示す操作情報を受信してもよい。通信部310は、後述する制御部340bの候補生成部242によって、最終的に選択された単語を示す操作情報に基づいて生成される、文法上当該選択された単語の次に続くことが予測される単語の候補についての候補情報を腕時計型端末10bに送信することができる。
制御部340bは、例えばCPUやDSP等の各種のプロセッサによって構成され、サーバ30bにおいて行われる各種の処理を制御する。制御部340bは、候補生成部242を有する。当該機能を含む制御部340bの機能は、例えば制御部340bを構成するプロセッサが所定のプログラムに従って動作することにより実現される。
ここで、候補生成部242の機能は、図4に示す当該構成の機能と同様であるため、ここでは詳細な説明は省略する。候補生成部242は、ストローク判定部241によるストローク操作の判定結果に基づいて、当該ストローク操作に対応する文字又は単語の候補を生成する。また、候補生成部242は、表示された候補の中からユーザによって最終的に選択された単語を示す操作情報に基づいて、文法上当該選択された単語の次に続くことが予測される単語の候補を生成してもよい。生成された文字又は単語の候補についての情報は、通信部310を介して腕時計型端末10bに送信される。腕時計型端末10bでは、表示制御部142によって、当該候補情報に基づいて、文字又は単語の候補が手書き入力GUIの表示画面に表示される。
以上、図10を参照して、第1の実施形態に係る情報処理システムが3台の情報処理装置によって構成される変形例について説明した。
ここで、手書き入力処理においては、ストロークDB220及び単語DB230の情報量が多いほど、候補生成部242によって生成される候補の数が増加し、ユーザが所望する文字又は単語の候補が生成される確率も増加すると考えられる。しかしながら、ストロークDB220及び単語DB230の情報量が多いほど、ストロークDB220及び単語DB230を構成する記憶装置も大型化し得るし、候補の生成処理における信号処理の負荷も大きなものとなり得る。携帯性を考慮する必要がある腕時計型端末10bや携帯型端末20bにおいては、筐体の大型化及び信号処理の高負荷化は望ましくない。
一方、以上説明したように、本変形例では、候補生成部242による候補の生成処理がサーバ30bによって行われる。サーバ30bは、例えばネットワーク上に設置される装置であるため、そのハードウェアが大型化してもユーザの負担とはならない。また、サーバ30bは、例えば信号処理に特化して構成される装置であるため、より高速での信号処理が可能となる。従って、本変形例によれば、ストロークDB220及び単語DB230の情報量を増加させた場合であっても、ユーザに負担を生じさせることなく手書き入力処理を円滑に行うことが可能となる。
<2.第2の実施形態>
次に、本開示の第2の実施形態について説明する。上述したように、第1の実施形態では、ストローク操作と文字とが対応付けられており、入力されたストローク操作又はストローク操作の組み合わせに応じて、対応する文字又は単語の候補が表示されることにより、文字又は単語の入力が行われる。このように、第1の実施形態では、ストローク操作に基づく文字の認識が行われていた。第2の実施形態では、第1の実施形態におけるストローク操作に基づく文字の認識に加えて、操作体によって文字の字形の全てが描かれる操作である手書き文字入力操作に基づく文字認識が行われる。
次に、本開示の第2の実施形態について説明する。上述したように、第1の実施形態では、ストローク操作と文字とが対応付けられており、入力されたストローク操作又はストローク操作の組み合わせに応じて、対応する文字又は単語の候補が表示されることにより、文字又は単語の入力が行われる。このように、第1の実施形態では、ストローク操作に基づく文字の認識が行われていた。第2の実施形態では、第1の実施形態におけるストローク操作に基づく文字の認識に加えて、操作体によって文字の字形の全てが描かれる操作である手書き文字入力操作に基づく文字認識が行われる。
上述したように、例えば小型の端末に対して、文章の全ての文字又は単語を手書き文字入力操作によって入力しようとすることは、操作性の観点から好ましいこととは言えない。しかしながら、例えば入力しようとする単語の内容によっては、一部の文字についてはより直接的に手書き文字入力操作によって入力した方が、より円滑に手書き入力処理を行うことが可能となる場合がある。第2の実施形態では、必要に応じて、ストローク操作による文字又は単語の入力と、手書き文字入力操作による文字又は単語の入力とを併用することにより、より高精度でより自由度が高い手書き入力処理が実現される。
なお、以下の第2の実施形態についての説明では、第1の実施形態と共通する事項については詳細な説明を省略し、第1の実施形態との相違点について重点的に説明することとする。また、以下では、第2の実施形態の一例として、手書き文字入力操作及びストローク操作が、ともにタッチパネルを介して操作体の動きとして入力される場合について説明する。ただし、第2の実施形態はかかる例に限定されない。例えば手書き文字入力操作はタッチパネルを介して操作体の動きとして入力され、ストローク操作はタッチパネル以外の入力インターフェース(例えばジョイスティック等の方向を入力可能なデバイス又はユーザの動き(ジェスチャ)を検出可能なセンサ装置)を介して入力されてもよい。
[2−1.情報処理システムの構成]
図11を参照して、第2の実施形態に係る手書き入力処理を実現するための情報処理システムの一構成例について説明する。図11は、本開示の第2の実施形態に係る情報処理システムの機能構成の一例を示す機能ブロック図である。
図11を参照して、第2の実施形態に係る手書き入力処理を実現するための情報処理システムの一構成例について説明する。図11は、本開示の第2の実施形態に係る情報処理システムの機能構成の一例を示す機能ブロック図である。
図11では、第2の実施形態の一例として、手書き入力処理が、複数の情報処理装置からなる情報処理システムによって実行される場合における、当該情報処理システムの機能構成を図示している。ただし、第2の実施形態はかかる例に限定されず、第2の実施形態に係る手書き入力処理は、単一の情報処理装置によって実行されてもよいし、複数の情報処理装置が協働することによって実行されてもよい。情報処理システムが、異なる構成によって実現される場合については、下記[2−4.情報処理システムの構成の変形例]で詳しく説明する。
図11を参照すると、第2の実施形態に係る情報処理システム2は、腕時計型端末10及び携帯型端末40を備える。ここで、腕時計型端末10の機能構成は、図4に示す第1の実施形態に係る腕時計型端末10の機能構成と同様であるため、その詳細な説明は省略する。
携帯型端末40は、ユーザの携帯に適した情報処理装置の一例であり、例えばスマートフォンやタブレットPCである。携帯型端末40は、例えば、下記<4.ハードウェア構成>で説明するハードウェア構成を有する情報処理装置によって実現され得る。第2の実施形態では、腕時計型端末10及び携帯型端末40がネットワークを介して相互に各種の情報を送受信することにより、手書き入力処理が実行される。腕時計型端末10と携帯型端末40との間の通信方式としては、例えばBluetoothやWi−Fi等の通信規格に則ったものが適用され得る。
携帯型端末40は、通信部210、ストロークDB220、単語DB230、制御部440及び手書き文字DB450を備える。ここで、通信部210、ストロークDB220及び単語DB230の各機能は、図4に示すこれらの構成の各機能と同様であるため、ここでは詳細な説明は省略する。
制御部440は、例えばCPUやDSP等の各種のプロセッサによって構成され、携帯型端末40において行われる各種の処理を制御する。制御部440は、認識方法判定部443、ストローク判定部241、手書き文字認識部444、結果選択部445及び候補生成部442を有する。これらの機能を含む制御部440の機能は、例えば制御部440を構成するプロセッサが所定のプログラムに従って動作することにより実現される。
認識方法判定部443は、腕時計型端末10の操作情報取得部141によって取得される操作体の座標情報を含む操作情報に基づいて、操作体によって入力された操作が、ストローク操作であるか又は手書き文字入力操作であるかを判定することにより、ストローク操作に基づく文字の認識を行うか、手書き文字入力操作に基づく文字の認識を行うか、を判定する。
認識方法判定部443による操作入力の判定方法について説明する。例えば、認識方法判定部443は、座標情報から算出され得る、入力時に操作体が描いた軌跡の大きさに基づいて、操作入力の判定を行ってもよい。具体的には、認識方法判定部443は、手書き入力GUIの表示画面における入力領域の大きさと、入力時に操作体が描いた軌跡の大きさと、を比較することにより、操作入力の判定を行うことができる。例えば、ストローク操作は、点が描かれる操作又は所定の一方向に延伸する線が描かれる操作であるため、その操作体の軌跡の大きさは比較的小さなものとなり得る。従って、手書き入力GUIの表示画面における入力領域の大きさに対して、入力時に操作体が描いた軌跡の大きさが所定の割合以上である場合には、ユーザが行った操作は、ストローク操作ではなく手書き文字入力操作である可能性が高いと考えられる。ここで、操作体が描いた軌跡の大きさとは、例えば当該軌跡の長さであってよい。また、手書き入力GUIの表示画面における入力領域の大きさとは、例えば、当該入力領域の一辺の長さであってよい。
そこで、認識方法判定部443は、入力領域の大きさに対して操作体の軌跡の大きさが所定の割合以上である場合には、操作体による操作入力が手書き文字入力操作であると判定し、手書き文字入力操作に基づく文字の認識を行うことを判断する。また、認識方法判定部443は、入力領域の大きさに対して操作体の軌跡の大きさが所定の割合よりも小さい場合には、操作体による操作入力がストローク操作であると判定し、ストローク操作に基づく文字の認識を行うことを判断する。
また、例えば、認識方法判定部443は、座標情報から算出され得る、入力時に操作体が描いた軌跡の形状に基づいて、操作入力の判定を行ってもよい。例えば、ストローク操作における操作体の軌跡は、大きな曲率を有する屈曲部をほぼ有さないと考えられる。従って、入力時に操作体が描いた軌跡が所定の値以上の曲率の屈曲部を有する場合には、ユーザが行った操作は、ストローク操作ではなく手書き文字入力操作である可能性が高い。そこで、認識方法判定部443は、操作体の軌跡が所定の値以上の曲率の屈曲部を有する場合には、操作体による操作入力が手書き文字入力操作であると判定し、手書き文字入力操作に基づく文字の認識を行うことを判断する。操作体の軌跡が所定の値よりも小さい曲率の屈曲部を有する場合には、操作体による操作入力がストローク操作であると判定し、ストローク操作に基づく文字の認識を行うことを判断する。
なお、認識方法判定部443が入力時における操作体の座標情報に基づいて操作入力の判定を行う具体的な方法は、これらの例に限定されない。認識方法判定部443は、操作体の座標情報に基づいて、他の方法を用いて、操作体による操作入力が、ストローク操作であるか又は手書き文字入力操作であるかの判定を行ってもよい。例えば、手書き文字入力操作はタッチパネルを介して操作体の動きとして入力され、ストローク操作はタッチパネル以外の入力インターフェース(例えばジョイスティック等の方向を入力可能なデバイス又はユーザの動き(ジェスチャ)を検出可能なセンサ装置)を介して入力される場合であれば、認識方法判定部443は、操作入力が行われた入力インターフェースの種類に応じて、操作入力が、ストローク操作であるか又は手書き文字入力操作であるかの判定を行ってもよい。
認識方法判定部443は、入力された操作がストローク操作であると判定した場合には、ストローク判定部241に入力された操作体の座標情報を含む操作情報を提供し、当該操作情報に基づいてストローク操作の判定を行うように指示をする。また、認識方法判定部443は、入力された操作が手書き入力操作であると判定した場合には、手書き文字認識部444に入力された操作体の座標情報を提供し、当該座標情報に基づいて入力された手書き文字の認識を行うように指示をする。
ストローク判定部241の機能は、図4に示す当該構成の機能と同様であるため、ここでは詳細な説明は省略する。ストローク判定部241は、操作体の座標情報を含む操作情報に基づいて、入力されたストローク操作を判定する。ストローク判定部241は、ストローク操作の判定結果についての情報を結果選択部445に提供する。
手書き文字認識部444は、手書き文字入力操作における操作体の座標情報に基づいて、手書き入力された文字を認識する。例えば、手書き文字認識部444は、手書き文字入力操作において入力された操作体の軌跡と、文字に対応する多様な字形が記憶されたDB内のテンプレートとのマッチングを行うことにより、手書き文字入力操作に対応する文字を認識することができる。ただし、手書き文字認識部444が手書き文字入力操作に基づいて文字を認識する方法はかかる例に限定されず、一般的な手書き文字認識技術において用いられる各種の方法が用いられてよい。手書き文字認識部444は、一般的な手書き文字認識エンジンが有する各種の機能を有することができる。手書き文字認識部444は、文字の認識結果についての情報を結果選択部445に提供する。
結果選択部445は、手書き文字認識部444による手書き文字入力操作に基づく文字の認識が行われた場合に、当該認識結果の確度を判定する。結果選択部445は、当該判定結果に基づいて、ストローク操作の判定結果を用いた候補の生成を行うか、手書き文字入力操作に基づく文字の認識結果を用いた候補の生成を行うか、を選択することができる。
例えば、上述したように、手書き文字認識部444によって手書き文字が認識される際には、手書き文字入力操作において入力された操作体の軌跡とDB内のテンプレートとのマッチングが行われる。ここで、操作体の軌跡とDB内のテンプレートとの類似度は、手書き文字認識部444による文字の認識結果の確度を示す指標であると言える。このように、手書き文字認識部444による手書き文字の認識においては、その認識結果の確度が算出され得る。結果選択部445は、当該確度についての情報を手書き文字認識部444から取得することができる。
例えば、結果選択部445は、当該認識結果の確度を所定のしきい値と比較する。当該認識結果の確度が当該しきい値以上である場合には、手書き文字認識部444による文字の認識結果の信頼性は十分高いと言える。そこで、結果選択部445は、当該認識結果の確度が当該しきい値以上である場合には、手書き文字入力操作に基づく文字の認識結果を用いた候補の生成を行うことを選択し、当該認識結果についての情報を候補生成部442に送信するとともに、当該認識結果に基づいて文字の候補を生成するように候補生成部442に指示を出す。
一方、当該確度が当該しきい値よりも小さい場合には、認識方法判定部443による操作入力の判定結果が誤っている可能性がある。そこで、結果選択部445は、当該確度が当該しきい値よりも小さい場合には、ストローク操作の判定結果を用いた候補の生成を行うことを選択し、ストローク判定部241に、改めて操作情報に基づくストローク操作の判定を行うように指示を出す。そして、ストローク判定部241によるストローク操作の判定結果についての情報を候補生成部442に送信するとともに、当該判定結果に基づいて文字の候補を生成するように候補生成部442に指示を出す。
このように、第2の実施形態では、手書き文字認識部444による文字の認識結果の確度が結果選択部445によって評価され、当該確度が低い場合には、他の操作入力であるストローク操作の判定結果に基づく候補の生成が行われる。従って、ストローク操作の判定結果と、手書き文字入力操作に基づく文字の認識結果とのうち、より信頼性の高い方を用いて文字の入力が行われ得るため、より精度の高い文字入力が実現される。
候補生成部442は、図4に示す第1の実施形態に係る候補生成部242の機能に加えて、入力された手書き文字入力操作における文字の認識結果に基づいて、当該手書き文字入力操作に対応する文字の候補を生成する機能を有する。つまり、候補生成部442は、結果選択部445からの指示に基づいて、ストローク操作の判定結果及び手書き文字入力操作に基づく文字の認識結果のいずれかを用いて、入力されたストローク操作及び/又は手書き文字入力操作に対応する文字の候補を生成することができる。ストローク操作及び/又は手書き文字入力操作が連続的に複数回行われた場合には、候補生成部242は、結果選択部445から連続的に与えられる複数回の指示に基づいて、入力されたストローク操作及び/又は手書き文字入力操作の組み合わせに対応する単語の候補を生成する。
候補生成部442によって生成された文字又は単語の候補についての候補情報は、通信部210を介して腕時計型端末10に送信される。腕時計型端末10では、表示制御部142によって、当該候補情報に基づいて、入力されたストローク操作及び/又は手書き文字入力操作に対応する文字又は単語の候補が手書き入力GUIの表示画面に表示される。
以上、図11を参照して、第2の実施形態に係る手書き入力処理を実現するための情報処理システム2の一構成例について説明した。以上説明したように、第2の実施形態では、ストローク操作に基づく文字の認識と、手書き文字入力操作に基づく文字の認識とが併用されており、いわば、異なる種類の文字認識エンジンが併用されていると言える。そして、文字認識の確度に応じて、より文字認識の確度が高いと思われる文字認識エンジンを用いることが選択され得る。よって、文字認識の精度がより高い手書き入力処理が実現される。
なお、上記実施形態では、結果選択部445は、手書き文字認識部444による文字の認識結果の確度のみを判定していたが、第2の実施形態はかかる例に限定されない。結果選択部445は、手書き文字認識部444による文字の認識結果の確度の判定と併せて、又は当該文字の認識結果の確度の判定に代わって、ストローク判定部241によるストローク操作の判定結果の確度を判定してもよい。例えば、ストロークDB220内に記憶されているストローク操作の方向と、ストローク操作において実際に入力された方向(例えば操作体の軌跡が示す方向)とが厳密に一致することは考えにくく、両者の間にはいくらかのずれ量が生じ得る。当該ずれ量は、ストローク判定部241によるストローク操作の判定結果の確度を示す指標であると言える。結果選択部445は、ストローク判定部241によるストローク操作の判定結果の確度を所定のしきい値と比較し、当該確度が当該しきい値以上である場合には、ストローク操作の判定結果を用いた候補の生成を行うことを選択し、当該確度が当該しきい値よりも小さい場合には、手書き文字入力操作に基づく文字認識結果を用いた候補の生成を行うことを選択してもよい。これにより、ストローク操作の判定結果と、手書き文字入力操作に基づく文字の認識結果とのうち、より信頼性の高い方を用いて文字の認識が行われ得るため、更に精度の手書き入力処理が実現され得る。
[2−2.情報処理方法の処理手順]
次に、図12及び図13を参照して、第2の実施形態に係る情報処理方法の処理手順について説明する。図12は、第2の実施形態に係る情報処理方法の処理手順の一例を示すフロー図である。図13は、図12に示す認識方法の選択処理の処理手順の一例を示すフロー図である。当該情報処理方法において行われる一連の処理は、第2の実施形態に係る手書き入力処理における一連の処理に対応しており、例えば図11に示す情報処理システム2の機能構成によって実現され得る。
次に、図12及び図13を参照して、第2の実施形態に係る情報処理方法の処理手順について説明する。図12は、第2の実施形態に係る情報処理方法の処理手順の一例を示すフロー図である。図13は、図12に示す認識方法の選択処理の処理手順の一例を示すフロー図である。当該情報処理方法において行われる一連の処理は、第2の実施形態に係る手書き入力処理における一連の処理に対応しており、例えば図11に示す情報処理システム2の機能構成によって実現され得る。
なお、第2の実施形態に係る情報処理方法の処理手順は、図5に示す第1の実施形態に係る情報処理方法の処理手順において、ステップS107に示す処理が後述する認識方法の選択処理に変更されたものに対応する。第2の実施形態では、ステップS101〜ステップS105に示す処理及びステップS109〜ステップS113に示す処理は、第1の実施形態と同様であってよい。従って、以下の第2の実施形態に係る情報処理方法の説明では、第1の実施形態との相違点である、当該認識方法の選択処理について主に説明する。
図12を参照すると、第2の実施形態に係る情報処理方法では、ステップS105において座標情報を含む操作情報が腕時計型端末10から携帯型端末40に送信されると、携帯型端末40において認識方法の選択処理が行われる(ステップS201)。ステップS201では、ユーザの操作入力に応じて、ストローク操作に基づく文字の認識を行うか、手書き文字入力操作に基づく文字の認識を行うか、が選択される。
図13を参照して、ステップS201における認識方法の選択処理の詳細について説明する。図13を参照すると、認識方法の選択処理では、まず、座標情報に基づいて、入力された操作体の軌跡の大きさが入力領域に対してN%(Nは100よりも小さい任意の正の値)以上であるかどうかが判定される(ステップS203)。なお、ステップS203に示す処理は、上述した認識方法判定部443によって行われる、ストローク操作に基づく文字の認識を行うか、手書き文字入力操作に基づく文字の認識を行うか、を判定する処理の一例である。図13に示す例では、操作体の軌跡の大きさと入力領域の大きさとが比較されているが、ステップS203では、他の方法によって文字の認識方法が判定されてもよい。例えば、ステップS203では、上述したように、操作体の軌跡の形状に基づいて文字の認識方法が判定されてもよい。
例えば、操作体の軌跡の大きさが入力領域に対してN%よりも小さい場合には、ユーザの操作入力がストローク操作である可能性が高い。そこで、ステップS203で操作体の軌跡の大きさが入力領域に対してN%よりも小さいと判定された場合には、ステップS205に進み、座標情報に基づいて、入力されたストローク操作が判定される。ステップS205に示す処理は、具体的には、携帯型端末40のストローク判定部241によって、腕時計型端末10の操作情報取得部141によって取得された操作体の座標情報を含む操作情報に基づいて、入力されたストローク操作の内容が判定される処理であってよい。ステップS205でストローク操作の判定が行われると、当該判定結果が候補生成部442に提供される(ステップS211)。
一方、ステップS203において、操作体の軌跡の大きさが入力領域に対してN%以上である場合には、ユーザの操作入力が手書き文字入力操作である可能性が高い。そこで、ステップS203で操作体の軌跡の大きさが入力領域に対してN%以上であると判定された場合には、ステップS207に進み、座標情報に基づいて、手書き文字入力操作において入力された手書き文字が認識される。ステップS207に示す処理は、具体的には、携帯型端末40の手書き文字認識部444によって、腕時計型端末10の操作情報取得部141によって取得される操作体の座標情報に基づいて、手書き文字入力操作において入力された文字が認識される処理であってよい。
ステップS207に示す処理が行われると、次に、ステップS207において行われた手書き文字の認識結果の確度がM%(Mは100よりも小さい任意の正の値)以上であるかどうかが判定される(ステップS209)。ステップS209に示す処理は、具体的には、携帯型端末40の結果選択部445によって、ステップS207において行われた手書き文字の認識結果の確度が判定され、当該確度に基づいて、ストローク操作の判定結果を用いた候補の生成を行うか、手書き文字入力操作に基づく文字の認識結果を用いた候補の生成を行うか、が選択される処理であってよい。
ステップS209で手書き文字の認識結果の確度がM%よりも小さいと判定された場合には、手書き文字の認識結果の信頼性は低いと考えられるため、結果選択部445によって、ストローク操作の判定結果を用いた候補の生成を行うことが選択される。従って、ステップS205に進み、操作体の座標情報を含む操作情報に基づいてストローク操作の判定が行われる。ステップS205でストローク操作の判定が行われると、当該判定結果が候補生成部442に提供される(ステップS211)。
一方、ステップS209で、手書き文字の認識結果の確度がM%以上であると判定された場合には、手書き文字の認識結果の信頼性は高いと考えられるため、結果選択部445によって、手書き文字入力操作に基づく文字の認識結果を用いた候補の生成を行うことが選択される。従って、ステップS213に進み、ステップS207において行われた手書き文字の認識結果が候補生成部442に提供される。
以上、図13を参照して、ステップS201に示す認識方法の選択処理の詳細について説明した。第2の実施形態に係る情報処理方法では、図12に示すように、ステップS201に示す認識方法の選択処理の結果を受けて、例えば候補生成部442によって、文字又は単語の候補の生成が行われることとなる(ステップS109)。ステップS109以降の処理は、第1の実施形態と同様であるため詳細な説明は省略する。
以上、図12及び図13を参照して、第2の実施形態に係る情報処理方法の処理手順について説明した。ここで、図12及び図13では、第2の実施形態に係る情報処理方法の処理手順の一例として、当該情報処理方法が、図11に示す情報処理システム2の構成によって実現される場合における処理手順を示した。ただし、第2の実施形態に係る情報処理方法の処理手順は図12及び図13に示す例に限定されず、情報処理システム2の構成に応じて、ステップS101〜ステップS113に示す各処理が行われる端末は適宜変更されてよい。
[2−3.候補の表示例(候補を絞り込むための操作)]
次に、第2の実施形態における手書き入力GUIでの候補の表示例について説明する。第2の実施形態でも、手書き入力GUIにおいて、例えば図1、図2及び図6を参照して説明したような、第1の実施形態における候補の表示と同様の表示が行われてよい。
次に、第2の実施形態における手書き入力GUIでの候補の表示例について説明する。第2の実施形態でも、手書き入力GUIにおいて、例えば図1、図2及び図6を参照して説明したような、第1の実施形態における候補の表示と同様の表示が行われてよい。
ここで、上記[1−5.候補を絞り込むための操作]で説明したように、第1の実施形態では、ユーザが、ストローク操作を行った結果表示された候補の中から目的とする単語を見付けることが困難である場合に、候補を絞り込むための操作をすることができる。第2の実施形態でも、同様に、目的とする単語を見付けることが困難である場合に、手書き文字入力GUIにおいて、このような候補を絞り込むための操作が行われてよい。ただし、第2の実施形態では、ストローク操作に基づく候補の生成とともに、手書き入力操作に基づく候補の生成が行われ得るため、第1の実施形態とは異なる方法によって候補の絞り込みを行うことが可能となる。
ここで、これも上記[1−5.候補を絞り込むための操作]で説明したように、ユーザが、表示された候補の中から目的とする単語を見付けることが困難となる状況としては、例えば特殊な固有名詞等、目的とする単語の優先度が極低いために、候補生成部242によって単語DB230内から当該単語が抽出されない場合が考えられる。この場合、第1の実施形態では、単語に含まれる文字をストローク操作に基づいて1文字ずつ指定することにより候補の絞り込みが行われていた。しかしながら、より直接的に、手書き文字入力操作によって単語に含まれる文字を再入力した方が、目的とする単語をより見付けやすい可能性がある。第2の実施形態に係る手書き入力処理は、このような、目的とする単語の優先度が極低いために、候補生成部242によって単語DB230内から当該単語が抽出されない場合に対して好適に適用され得る。ここでは、第2の実施形態における手書き入力GUIの一例として、手書き文字入力操作によって候補の絞り込みが行われる場合における、手書き入力GUIの一表示例について説明する。
図14を参照して、手書き文字入力操作によって候補の絞り込みが行われる場合における、手書き入力GUIの一表示例について説明する。図14は、手書き文字入力操作によって候補の絞り込みが行われる場合における、手書き入力GUIの一表示例を示す図である。図14では、一例として、ユーザが「Shinagawa」という単語を入力するために候補の絞り込みを行おうとしている場合における、手書き入力GUIの表示画面の遷移を示している。なお、図14を参照して説明する一連の処理は、例えば図11に示す情報処理システム2の機能構成によって実現され得る。例えば、図14に示す手書き入力GUIは、図11に示す腕時計型端末10の表示制御部142によってその表示が制御され、表示部130に表示され得る。
今、ユーザは、「Shinagawa」という単語を入力したいと考えており、例えば図2及び図3に示すような手書き入力GUIの表示画面710の入力領域711に対して、当該「Shinagawa」に対応する一連のストローク操作(左方向へのストローク操作、下方向へのストローク操作、点を示すストローク操作、下方向へのストローク操作、左方向へのストローク操作、左方向へのストローク操作、左方向へのストローク操作、下方向へのストローク操作及び左方向へのストローク操作)が行われたとする。当該ストローク操作に応じて、表示画面710の候補表示領域712には、入力されたストローク操作の候補が表示されることとなる。
第2の実施形態では、候補表示領域712に表示された候補の中に、目的とする単語「Shinagawa」が見付からなかった場合、例えば画面切り換え用のアイコンを選択する等、ユーザが所定の切り換え操作を行うことにより、候補の絞り込みを行うための手書き入力GUIの表示画面が表示され得る。
図14(a)は、このような、表示が切り換えられた直後における候補の絞り込みを行うための手書き入力GUIの表示画面750を示している。図14(a)を参照すると、候補の絞り込みを行うための手書き入力GUIの表示画面750は、入力領域751及び単語表示領域752を有する。また、表示画面750には、単語の候補が入力領域751の背景に薄く表示されていてもよい。
入力領域751は、図2及び図3に示す入力領域711に対応するものであり、ユーザによってストローク操作が入力される領域である。ただし、第2の実施形態では、入力領域751において、ユーザによって手書き文字入力操作が行われてもよい。
単語表示領域752は、図2及び図3に示す単語表示領域713に対応するものであり、表示された候補の中からユーザによって最終的に選択された単語が表示される領域である。表示画面750では、まだ最終的な単語が選択されていないため、図14(a)に示す例では、入力された単語の文字に対応する部分に「?」が表示されている。
例えば、ユーザは、単語表示領域752に表示されている単語を表す文字列のうち、手書き文字入力操作によって再入力したい文字を選択する。図14(a)に示す例では、単語表示領域752に表示されている単語を表す文字列のうち、1文字目を表す「?」が選択されている。
この状態で、ユーザは、入力領域751に、1文字目に対応する文字を手書き文字入力操作によって再入力する(図中(b))。図14(b)に示す例では、1文字目に対応する文字として「s」が手書き文字入力操作によって入力されている。入力された手書き文字入力操作に対して、例えば図11に示す情報処理システム2の手書き文字認識部444によって文字の認識処理が行われ、当該認識結果に基づいて候補生成部442によって当該手書き文字入力操作に対応する文字の候補として「s」が生成される。生成された候補である「s」は単語表示領域752の表示に反映される。このように、単語表示領域731に表示されている単語を表す文字列のうち、ユーザによって手書き文字入力操作による再入力が行われた文字に対応する部分については、当該再入力された文字が表示される。
ユーザは、単語に含まれる文字を1文字ずつ選択しながら、手書き文字入力操作による再入力を順次行うことができる。図14(c)は、4文字目の「n」までが再入力された様子を示している。
ここで、簡単のため、図14(b)、(c)では図示を省略しているが、図14(a)に示すように、表示画面750には、単語の候補が入力領域751の背景に薄く表示され得る。背景として表示される単語の候補は、例えば候補生成部442によって、ユーザによって文字が再入力される度に、当初入力されたストローク操作及び再入力された手書き文字入力操作に対応する文字列に対応する候補に更新されてよい。
例えば、4文字目の「n」までが再入力された段階で、背景の単語の候補の中に、目的とする「Shinagawa」が表示されたとする(図中(d))。その場合、ユーザは手書き文字入力操作による再入力を中断し、表示画面750の表示を、入力領域751が表示されず候補がリスト状に表示される表示状態に切り換えることができる。当該表示状態は、上記[1−4.候補の表示例]で図6を参照して説明した「第2の表示状態」に対応するものであり、当該表示状態では、候補がリスト状に表示された候補表示画面が表示される。例えば、図14(d)に示すように、表示画面750内に、表示画面を遷移するための遷移アイコン753が表示されている。ユーザは、背景に表示された単語の候補の中に、目的とする単語を見付けた場合、当該遷移アイコン753を選択する。
遷移アイコン753が選択されると、表示画面750が候補表示画面754に遷移する(図中(e))。ここで、候補表示画面754は、図6に示す候補表示画面726と同様の機能を有する表示画面であってよい。図14(e)に示すように、候補表示画面754では、入力されたストローク操作及び手書き文字入力操作の組み合わせに対応する単語の候補がリスト状に表示される。候補表示画面754に表示された候補は、ユーザの操作入力に応じてスクロール表示させることが可能である。ユーザは、スクロール表示させた候補の中から目的とする単語である「Shinagawa」を見付けたら、当該単語「Shinagawa」を選択することができる(図中(f))。単語が選択されると、手書き入力GUIの表示が、当初の表示画面、例えば図2に示す表示画面710に遷移し、表示画面710の単語表示領域713に当該「Shinagawa」が表示される。ユーザは、当該表示画面710において、「Shinagawa」に続く文字又は単語を、ストローク操作又は手書き文字入力操作によって、続けて入力することができる。
以上、図14を参照して、手書き文字入力操作によって候補の絞り込みが行われる場合における、手書き入力GUIの一表示例について説明した。以上説明したように、第2の実施形態では、ストローク操作が連続して入力された後に、当該ストローク操作の組み合わせに対応する単語の候補に対して、当該単語に含まれる文字を手書き文字入力操作によって再入力する操作が行われてよい。このように、手書き文字入力操作を用いて単語に含まれる文字が再入力されることにより、例えば、特殊な固有名詞等、単語DB内に存在しない単語であっても、より直接的に入力することが可能となる。
なお、図14を参照して説明した一連の処理は、上記(1−5−1.単語に含まれる文字の指定)で説明した処理と同様に、ストローク操作が連続して入力された後に、当該ストローク操作の組み合わせに対応する単語に対して、当該単語に含まれる文字を改めて指定する処理であるため、文字を再入力する処理であると言える。図14に示す表示画面750は、文字を再入力するための再入力モードに係る表示画面であり、例えば図2及び図3に示すような通常の入力モードに係る表示画面とは異なる機能を有する。このように、第1の実施形態同様に、第2の実施形態においても、必要に応じて、通常の入力モードと再入力モードとを適宜切り換えながら単語を入力することができる。ただし、第2の実施形態では、手書き文字入力操作によって、より直接的に文字を再入力することができるため、ユーザが所望の単語に到達することが更に容易になり、ユーザの利便性がより向上する。
[2−4.情報処理システムの構成の変形例]
上記[2−1.情報処理システムの構成]では、第2の実施形態に係る情報処理システム2が、腕時計型端末10と携帯型端末40と、によって構成される場合について説明した。ただし、第2の実施形態はかかる例に限定されず、情報処理システム2は他の構成によって実現されてもよい。ここでは、第2の実施形態の変形例として、情報処理システム2の他の構成例について説明する。
上記[2−1.情報処理システムの構成]では、第2の実施形態に係る情報処理システム2が、腕時計型端末10と携帯型端末40と、によって構成される場合について説明した。ただし、第2の実施形態はかかる例に限定されず、情報処理システム2は他の構成によって実現されてもよい。ここでは、第2の実施形態の変形例として、情報処理システム2の他の構成例について説明する。
(2−4−1.情報処理システムが1台の情報処理装置によって構成される変形例)
図15を参照して、第2の実施形態に係る情報処理システムが1台の情報処理装置によって構成される変形例について説明する。図15は、第2の実施形態に係る情報処理システムが1台の情報処理装置によって構成される変形例における機能構成の一例を示す機能ブロック図である。
図15を参照して、第2の実施形態に係る情報処理システムが1台の情報処理装置によって構成される変形例について説明する。図15は、第2の実施形態に係る情報処理システムが1台の情報処理装置によって構成される変形例における機能構成の一例を示す機能ブロック図である。
図15を参照すると、本変形例に係る情報処理システム2cは、腕時計型端末10cを備える。なお、情報処理システム2cは、異なる情報処理装置の構成によって、上述した図11に示す情報処理システム2と同様の機能を実現するものである。
腕時計型端末10cは、ユーザが装着して用いる情報処理装置(いわゆるウェアラブル端末)の一例である。腕時計型端末10cは、例えば、下記<4.ハードウェア構成>で説明するハードウェア構成を有する情報処理装置によって実現され得る。
腕時計型端末10cは、操作部120、表示部130、制御部140c、ストロークDB220及び単語DB230を備える。ここで、操作部120、表示部130、ストロークDB220及び単語DB230の各機能は、図11に示すこれらの構成の各機能と同様であるため、ここでは詳細な説明は省略する。
制御部140cは、例えばCPUやDSP等の各種のプロセッサによって構成され、腕時計型端末10cにおいて行われる各種の処理を制御する。制御部140cは、操作情報取得部141、表示制御部142、認識方法判定部443、ストローク判定部241、手書き文字認識部444、結果選択部445及び候補生成部442を有する。これらの機能を含む制御部140cの機能は、例えば制御部140cを構成するプロセッサが所定のプログラムに従って動作することにより実現される。
ここで、操作情報取得部141、表示制御部142、認識方法判定部443、ストローク判定部241、手書き文字認識部444、結果選択部445及び候補生成部242の各機能は、図11に示すこれらの構成の各機能と同様であってよい。このように、本変形例では、腕時計型端末10cが、図11を参照して説明した腕時計型端末10及び携帯型端末40の機能を併せ持っており、情報処理システム2cが、1台の情報処理装置によって構成され得る。
以上、図15を参照して、第2の実施形態に係る情報処理システムが1台の情報処理装置によって構成される変形例について説明した。本変形例によれば、上記(1−6−1.情報処理システムが1台の情報処理装置によって構成される変形例)において得られる効果と同様の効果が得られる。すなわち、本変形例では、1台の情報処理装置である腕時計型端末10cによって手書き入力処理における一連の処理が実行されるため、複雑な構成が不要であり、また、通信環境を考慮することなく手書き入力処理を実行することが可能となる。
(2−4−2.情報処理システムが3台の情報処理装置によって構成される変形例)
図16を参照して、第2の実施形態に係る情報処理システムが3台の情報処理装置によって構成される変形例について説明する。図16は、第2の実施形態に係る情報処理システムが3台の情報処理装置によって構成される変形例における機能構成の一例を示す機能ブロック図である。
図16を参照して、第2の実施形態に係る情報処理システムが3台の情報処理装置によって構成される変形例について説明する。図16は、第2の実施形態に係る情報処理システムが3台の情報処理装置によって構成される変形例における機能構成の一例を示す機能ブロック図である。
図16を参照すると、本変形例に係る情報処理システム2dは、腕時計型端末10d、携帯型端末40d及びサーバ30dを備える。なお、情報処理システム2dは、異なる情報処理装置の構成によって、上述した図11に示す情報処理システム2と同様の機能を実現するものである。
腕時計型端末10dは、ユーザが装着して用いる情報処理装置(いわゆるウェアラブル端末)の一例である。また、携帯型端末40dは、ユーザの携帯に適した情報処理装置の一例であり、例えばスマートフォンである。また、サーバ30dは、数値計算や情報処理に特化した情報処理装置の一例であり、例えばインターネット等のネットワーク(いわゆるクラウド)上に設置され得る。腕時計型端末10d、携帯型端末40d及びサーバ30dは、例えば、下記<4.ハードウェア構成>で説明するハードウェア構成を有する情報処理装置によって実現され得る。本変形例では、腕時計型端末10d、携帯型端末40d及びサーバ30dがネットワークを介して相互に各種の情報を送受信することにより、手書き入力処理が実行される。腕時計型端末10dと携帯型端末40dとの間の通信方式としては、例えばBluetoothやWi−Fi等の通信規格に則ったものが適用され得る。また、携帯型端末40dとサーバ30dとの間の通信方式としては、例えば、いわゆるモバイルネットワークの通信に用いられる各種の通信方式、例えば、GSM、3G、LTE、Wi−Fi等の通信規格に則ったものが適用され得る。
(腕時計型端末10d)
腕時計型端末10dは、通信部110、操作部120、表示部130及び制御部140を備える。また、制御部140は、操作情報取得部141及び表示制御部142を有する。腕時計型端末10dの機能構成は、図11に示す腕時計型端末10と同様であってよいため、ここではその詳細な説明は省略する。
腕時計型端末10dは、通信部110、操作部120、表示部130及び制御部140を備える。また、制御部140は、操作情報取得部141及び表示制御部142を有する。腕時計型端末10dの機能構成は、図11に示す腕時計型端末10と同様であってよいため、ここではその詳細な説明は省略する。
ただし、本変形例では、通信部110は、図11に示す腕時計型端末10の通信部110が有する機能に加え、サーバ30dとの間でも情報の送受信を行う。本変形例では、通信部110は、携帯型端末20dに対して、操作情報取得部141によって取得される、表示画面内での操作体の座標情報を含む操作情報を送信する。通信部110は、当該座標情報を含む操作情報に基づいて生成される、ストローク操作及び/又は手書き文字入力操作に対応付けられた文字又は単語の候補についての候補情報をサーバ30dから受信することができる。また、通信部110は、サーバ30dに対して、制御部140の操作情報取得部141によって取得される、表示された候補の中からユーザによって最終的に選択された単語を示す操作情報を送信してもよい。通信部110は、最終的に選択された単語を示す操作情報に基づいて生成される、文法上当該単語に続いて入力されることが予測される単語の候補についての候補情報をサーバ30dから受信することができる。
(携帯型端末40d)
携帯型端末40dは、通信部210及び制御部240dを備える。
携帯型端末40dは、通信部210及び制御部240dを備える。
ここで、通信部210の機能は、図11に示す携帯型端末40の通信部210が有する機能とほぼ同様であってよい。ただし、本変形例では、通信部210は、図11に示す携帯型端末20の通信部210が有する機能に加え、サーバ30dとの間でも情報の送受信を行う。本変形例では、通信部210は、腕時計型端末10dから、表示画面内での操作体の座標情報を含む操作情報を受信する。また、通信部210は、後述する制御部240dの結果選択部445によって選択される、ストローク判定部241によるストローク操作の判定結果又は手書き文字認識部444による手書き文字の認識結果についての情報をサーバ30dに送信することができる。
制御部240dは、例えばCPUやDSP等の各種のプロセッサによって構成され、携帯型端末20dにおいて行われる各種の処理を制御する。制御部240dは、認識方法判定部443、ストローク判定部241、手書き文字認識部444及び結果選択部445を有する。当該機能を含む制御部240dの機能は、例えば制御部240dを構成するプロセッサが所定のプログラムに従って動作することにより実現される。
ここで、認識方法判定部443、ストローク判定部241、手書き文字認識部444及び結果選択部445の各機能は、図11に示すこれらの構成の各機能と同様であるため、ここでは詳細な説明は省略する。携帯型端末40dでは、結果選択部445によって、ストローク操作に基づく文字の認識を行うか、手書き文字入力操作に基づく文字の認識を行うか、が選択される。結果選択部445によって選択された、ストローク判定部241によるストローク操作の判定結果又は手書き文字認識部444による手書き文字の認識結果についての情報は、通信部210を介してサーバ30dに送信される。このように、本変形例では、携帯型端末40dでは候補の生成は行われない。従って、携帯型端末40dにおける信号処理の負荷が軽減される。
(サーバ30d)
サーバ30dは、通信部310、ストロークDB220、単語DB230及び制御部340dを備える。ここで、ストロークDB220及び単語DB230の各機能は、図11に示すこれらの構成の各機能と同様であるため、ここでは詳細な説明は省略する。
サーバ30dは、通信部310、ストロークDB220、単語DB230及び制御部340dを備える。ここで、ストロークDB220及び単語DB230の各機能は、図11に示すこれらの構成の各機能と同様であるため、ここでは詳細な説明は省略する。
通信部310の機能は、図10に示すサーバ30bの通信部310が有する機能とほぼ同様であってよい。ただし、本変形例では、通信部310は、携帯型端末40dから、結果選択部445によって選択された、ストローク判定部241によるストローク操作の判定結果又は手書き文字認識部444による手書き文字の認識結果についての情報を受信する。通信部310は、後述する制御部340dの候補生成部442によって当該判定結果及び/又は認識結果に基づいて生成される、ストローク操作及び/又は手書き文字入力操作に対応付けられた文字又は単語の候補についての候補情報を、腕時計型端末10dに送信する。また、通信部310は、腕時計型端末10dから、操作情報取得部141によって取得される、表示された候補の中からユーザによって最終的に選択された単語を示す操作情報を受信してもよい。通信部310は、後述する制御部340dの候補生成部442によって、最終的に選択された単語を示す操作情報に基づいて生成される、文法上当該選択された単語の次に続くことが予測される単語の候補についての候補情報を腕時計型端末10dに送信することができる。
制御部340dは、例えばCPUやDSP等の各種のプロセッサによって構成され、サーバ30dにおいて行われる各種の処理を制御する。制御部340dは、候補生成部442を有する。当該機能を含む制御部340dの機能は、例えば制御部340dを構成するプロセッサが所定のプログラムに従って動作することにより実現される。
ここで、候補生成部442の機能は、図11に示す当該構成の機能と同様であるため、ここでは詳細な説明は省略する。候補生成部442は、入力されたストローク操作の判定結果及び/又は手書き文字入力操作の文字認識結果に基づいて、当該ストローク操作及び/又は手書き文字入力操作に対応する文字又は単語の候補を生成する。また、候補生成部442は、表示された候補の中からユーザによって最終的に選択された単語を示す操作情報に基づいて、文法上当該選択された単語の次に続くことが予測される単語の候補を生成してもよい。生成された文字又は単語の候補についての情報は、通信部310を介して腕時計型端末10dに送信される。腕時計型端末10dでは、表示制御部142によって、当該候補情報に基づいて、文字又は単語の候補が手書き入力GUIの表示画面に表示される。
以上、図16を参照して、第2の実施形態に係る情報処理システムが3台の情報処理装置によって構成される変形例について説明した。本変形例によれば、上記(1−6−2.情報処理システムが3台の情報処理装置によって構成される変形例)において得られる効果と同様の効果が得られる。すなわち、本変形例では、最も負荷が大きいと考えられる候補生成部442による処理が、例えば信号処理に特化して構成されるサーバ30dにおいて行われるため、ユーザに負担を生じさせることなく手書き入力処理を円滑に行うことが可能となる。
<3.変形例及び表示例>
次に、以上説明した第1及び第2の実施形態のいくつかの変形例、及び、第1及び第2の実施形態に係る手書き入力GUIにおけるいくつかの表示例について説明する。
次に、以上説明した第1及び第2の実施形態のいくつかの変形例、及び、第1及び第2の実施形態に係る手書き入力GUIにおけるいくつかの表示例について説明する。
[3−1.ストロークDBの更新]
上記[1−1.手書き入力処理の概要]で説明したように、文字を手書きする際には、ユーザに応じて文字の書き出し(書き順)は異なることが考えられる。そこで、第1及び第2の実施形態では、手書き入力処理を行うユーザの文字の書き出しに対応するように、ストローク操作と文字との対応関係が更新されてもよい。ストローク操作と文字との対応関係を更新することは、図4及び図11に例示する情報処理システム1、2であれば、ストロークDBが更新されることを意味する。ここでは、図17及び図18を参照して、このような、ストロークDB220が更新される変形例について説明する。
上記[1−1.手書き入力処理の概要]で説明したように、文字を手書きする際には、ユーザに応じて文字の書き出し(書き順)は異なることが考えられる。そこで、第1及び第2の実施形態では、手書き入力処理を行うユーザの文字の書き出しに対応するように、ストローク操作と文字との対応関係が更新されてもよい。ストローク操作と文字との対応関係を更新することは、図4及び図11に例示する情報処理システム1、2であれば、ストロークDBが更新されることを意味する。ここでは、図17及び図18を参照して、このような、ストロークDB220が更新される変形例について説明する。
まず、図17を参照して、ユーザに応じた文字の書き出しの違いについて説明する。図17は、ユーザに応じた文字の書き出しの違いについて説明するための説明図である。図17では、一例として、異なるユーザによる「l」という文字を書く際の書き出しを示している。
図17を参照すると、例えばユーザXは、「l」を書く際に、筆記体を用いており、縦長の輪を描くように書いている。従って、ユーザXにとっての「l」の書き出しに対応するストローク操作は、右上方向へのストローク操作になる(図中(a))。一方、例えばユーザYは、「l」を書く際に、ブロック体を用いており、縦方向に1本の線を描くように書いている。従って、ユーザYにとっての「l」の書き出しに対応するストローク操作は、下方向へのストローク操作になる(図中(b))。
本変形例では、このようなユーザに応じた文字の書き出しの違いに基づいて、ストロークDB220が更新され得る。従って、よりユーザの直感に合ったストローク操作によって、所望の文字を入力することが可能となる。
次に、図18を参照して、ストロークDB220が更新される機能を実現するための、情報処理システムの機能構成の一例について説明する。図18は、ストロークDB220が更新される変形例に係る情報処理システムの機能構成の一例を示す機能ブロック図である。なお、図18では、本変形例に係る情報処理システムの機能構成の一例として、図4に示す第1の実施形態に係る情報処理システム1に対して、ストロークDB220を更新する機能が追加された構成を示している。図11に例示する第2の実施形態に係る情報処理システム2に対しても、同様に、ストロークDB220を更新する機能を追加することが可能である。
図18を参照すると、本変形例に係る情報処理システム3は、腕時計型端末10と、携帯型端末20eと、を備える。ここで、腕時計型端末10の機能構成は、図4に示す情報処理システム1の腕時計型端末10の機能構成と同様であるため、ここでは詳細な説明は省略する。
携帯型端末20eは、通信部210、ストロークDB220、単語DB230及び制御部240eを備える。ここで、通信部210、ストロークDB220及び単語DB230の機能は、図4に示す情報処理システム1におけるこれらの構成の各機能と同様であるため、ここでは詳細な説明は省略する。
制御部240eは、例えばCPUやDSP等の各種のプロセッサによって構成され、携帯型端末20eにおいて行われる各種の処理を制御する。制御部240eは、ストローク判定部241、候補生成部242及びストロークDB更新部243を有する。当該機能を含む制御部240eの機能は、例えば制御部240eを構成するプロセッサが所定のプログラムに従って動作することにより実現される。
ここで、ストローク判定部241及び候補生成部242の機能は、図4に示す情報処理システム1におけるこれらの構成の各機能と同様であるため、ここでは詳細な説明は省略する。このように、本変形例に係る情報処理システム3は、図4に示す第1の実施形態に係る情報処理システム1において、携帯型端末20の制御部240にストロークDB更新部243が追加されたものに対応する。
ストロークDB更新部243は、入力されたストローク操作及び表示された候補の中からユーザによって最終的に選択された文字に基づいて、ストロークDB220の内容を更新する。本変形例では、ストロークDB更新部243は、ストローク判定部241から、入力されたストローク操作についての情報を取得することができる。また、ストロークDB更新部243は、通信部210を介して、腕時計型端末10の操作情報取得部141から、ユーザによって最終的に選択された文字についての情報を取得することができる。ストロークDB更新部243は、これらの情報に基づいて、入力されたストローク操作と最終的に選択された文字との対応関係を取得することができる。当該対応関係は、例えばユーザに応じた文字の書き出しを示すものであり、ユーザに応じた文字とストローク操作との対応関係を示すものであると言える。ストロークDB更新部243は、当該対応関係によってストロークDB220の内容を更新することができる。
以上、図17及び図18を参照して、このような、ストロークDB220が更新される変形例について説明した。本変形例によれば、ユーザが過去に文字を入力した際におけるストローク操作と文字との対応関係に基づいて、ストロークDB220が更新される。いわば、情報処理システム3は、ユーザごとのストローク操作と文字との対応関係を学習する機能を有する。当該学習機能を有することにより、ストロークDB220の内容がユーザの文字の書き順に適合したものとなるため、ユーザは、各文字に対応するストローク操作を記憶する必要がなく、通常文字を記載する際の感覚に基づいて文字を入力するためのストローク操作を行うことができる。従って、ストローク操作による文字の入力をより短期間で習得することができ、文字入力に要する時間を更に短縮することが可能となる。
[3−2.操作体の軌跡の表示]
図2を参照して説明したように、第1及び第2の実施形態では、手書き入力GUIの表示画面においてユーザが入力した操作体の軌跡が、当該表示画面上に表示されてもよい。ここでは、図19を参照して、手書き入力GUIの表示画面に操作体の軌跡が表示される表示例について改めて説明する。図19は、表示画面に操作体の軌跡が表示される場合における、手書き入力GUIの一表示例を示す図である。
図2を参照して説明したように、第1及び第2の実施形態では、手書き入力GUIの表示画面においてユーザが入力した操作体の軌跡が、当該表示画面上に表示されてもよい。ここでは、図19を参照して、手書き入力GUIの表示画面に操作体の軌跡が表示される表示例について改めて説明する。図19は、表示画面に操作体の軌跡が表示される場合における、手書き入力GUIの一表示例を示す図である。
図19を参照すると、手書き入力GUIの表示画面760は、入力領域761を有する。入力領域761は、例えば図2及び図3に示す入力領域711に対応するものであり、ユーザによるストローク操作及び/又は手書き文字入力操作が入力される領域である。図19に示す例では、入力領域761に対して、ユーザによって、左方向へのストローク操作が入力されている(図中(a))。また、それに対応して、入力領域761には、ストローク操作における操作体の軌跡が表示されている(図中(b))。
なお、図19では、ユーザによってストローク操作が入力された場合における操作体の軌跡が表示される表示例を図示しているが、ユーザによって手書き文字入力操作が入力された場合であっても、同様に、入力領域761に操作体の軌跡が表示されてよい。このように、表示画面760に操作体の軌跡が表示されることにより、ユーザは自身が入力したストローク操作及び/又は手書き文字入力操作を直感的に把握することができる。
[3−3.入力したストローク操作の履歴の表示]
図8を参照して説明したように、第1及び第2の実施形態に係る手書き入力GUIでは、ストローク操作が連続的に複数回入力された場合に、入力したストローク操作の履歴が、当該手書き入力GUIの表示画面に表示されてよい。ここでは、図20を参照して、手書き入力GUIの表示画面に、入力されたストローク操作の履歴が表示される変形例について説明する。図20は、表示画面に、入力されたストローク操作の履歴が表示される場合における、手書き入力GUIの一表示例を示す図である。
図8を参照して説明したように、第1及び第2の実施形態に係る手書き入力GUIでは、ストローク操作が連続的に複数回入力された場合に、入力したストローク操作の履歴が、当該手書き入力GUIの表示画面に表示されてよい。ここでは、図20を参照して、手書き入力GUIの表示画面に、入力されたストローク操作の履歴が表示される変形例について説明する。図20は、表示画面に、入力されたストローク操作の履歴が表示される場合における、手書き入力GUIの一表示例を示す図である。
図20を参照すると、手書き入力GUIの表示画面770は、入力領域771、候補表示領域772及びストローク履歴表示領域773を有する。入力領域771は、例えば図2及び図3に示す入力領域711に対応するものであり、ユーザによるストローク操作及び/又は手書き文字入力操作が入力される領域である。候補表示領域772は、例えば図2及び図3に示す候補表示領域712に対応するものであり、入力されたストローク操作及び/又は手書き文字入力操作に対応する候補が表示される領域である。
ストローク履歴表示領域773は、ユーザによって入力されたストローク操作の履歴が表示される領域である。図20に示す例では、ストローク履歴表示領域773に、複数個の矢印が1列に並んで表示されている。各矢印が、各ストローク操作における方向に対応している。図20では図示されていないが、例えば点を示すストローク操作であれば、矢印の代わりにドット等他の記号が表示されてよい。ユーザは、ストローク履歴表示領域773を参照することにより、自身が入力したストローク操作の履歴を直感的に把握することができる。
なお、第1及び第2の実施形態に係る手書き入力GUIの表示画面においては、各種の機能が、アイコン等の明示的なGUI部品に割り当てられていなくてもよく、例えば所定の領域において所定の操作が行われることにより、予め設定された所定の機能が実行されてよい。例えば、図20に示す表示画面770には、図2に示す表示画面710におけるバックスペースアイコン714やメニューアイコン715等のアイコンが表示されていない。しかしながら、例えば候補表示領域772において指を所定の方向にドラッグする操作が、バックスペース操作に割り当てられていてよい。例えば、ユーザが候補表示領域772において指を左方向にドラッグする操作を行うことにより、直前に入力されたストローク操作が取り消されてよい。例えば、時計型端末のような比較的小型の情報処理装置においては、多数のアイコンをGUI部品として画面に表示することは困難である。このように、手書き入力GUIにおける所定の操作に対して所定の機能が割り当てられることにより、比較的小さい画面に手書き入力GUIが表示される場合であっても、当該手書き入力GUIにより多くの機能を盛り込むことができ、ユーザにとっての利便性がより向上する。
[3−4.数字及び記号の入力]
上記<1.第1の実施形態>及び上記<2.第2の実施形態>では、手書き入力処理において文字が入力される場合を例に挙げて、第1及び第2の実施形態についての説明を行った。ただし、第1及び第2の実施形態はかかる例に限定されない。第1及び第2の実施形態に係る手書き入力処理では、文字以外の要素(所定の点及び線の集合によって所定の音又は意味を有する図形)が入力されてよい。例えば、第1及び第2の実施形態では、文字以外の数字及び記号がストローク操作と対応付けられていてもよく、ストローク操作によって数字及び記号が入力されてもよい。
上記<1.第1の実施形態>及び上記<2.第2の実施形態>では、手書き入力処理において文字が入力される場合を例に挙げて、第1及び第2の実施形態についての説明を行った。ただし、第1及び第2の実施形態はかかる例に限定されない。第1及び第2の実施形態に係る手書き入力処理では、文字以外の要素(所定の点及び線の集合によって所定の音又は意味を有する図形)が入力されてよい。例えば、第1及び第2の実施形態では、文字以外の数字及び記号がストローク操作と対応付けられていてもよく、ストローク操作によって数字及び記号が入力されてもよい。
図21及び図22を参照して、このような、ストローク操作によって数字及び記号が入力される変形例について説明する。図21は、ストローク操作と数字との対応関係について説明するための説明図である。
図21を参照すると、数字の一例としてアラビア数字の「3」が図示されている。図中に矢印で示すように、「3」を書き出すときの操作体の移動方向は右上方向であり得る。本変形例では、文字と同様に、例えばアラビア数字の「3」と、「3」を手書きする際の書き出しに対応するストローク操作とが対応付けられてよい。例えば、ユーザが「3」を入力したい場合には、右上方向へのストローク操作を行うことにより、当該ストローク操作に対応する数字の候補として「3」が手書き入力GUIに表示され得る。なお、図21では、一例として数字を図示しているが、記号についても同様に、所定の記号と、当該記号を手書きする際の書き出しに対応するストローク操作とが対応付けられてよい。
図22は、ストローク操作と数字との他の対応関係について説明するための説明図である。図22を参照すると、0から9までのアラビア数字並びに記号「♯」及び「*」が、時計の文字盤のように円環状に並んで図示されている。本変形例では、円環状に並べられたこれらの数字及び記号と、当該円環の中心から数字及び記号に向かう方向へのストローク操作とが対応付けられてよい。このように、数字及び記号を手書きする際の書き出しとは無関係に、所定の数字及び所定の記号に、所定の方向へのストローク操作が割り当てられていてもよい。例えば、ユーザが「3」を入力したい場合には、図22に示す円環の中心から「3」に向かう方向、すなわち、右方向へのストローク操作を行うことにより、当該ストローク操作に対応する数字の候補として「3」が手書き入力GUIに表示され得る。図22に示す例では、時計の文字盤に対応するように数字が円環状に配置されているため、ユーザは時計の文字盤での数字の配置を思い浮かべることにより、ストローク操作と数字との対応関係を容易に想起することができる。なお、図22では、一例として、1つの方向に1つの数字及び記号が対応付けられている場合について図示しているが、1つの方向に複数の数字及び記号が対応付けられていてもよい。
以上、図21及び図22を参照して、ストローク操作によって数字及び記号が入力される変形例について説明した。本変形例では、ストローク操作と数字及び記号との対応関係が、例えば図4及び図11に示すストロークDB220に記憶されてよい。候補生成部242、442は、入力されたストローク操作の方向に基づいて、ストロークDB220を参照することにより、当該ストローク操作に対応する数字及び記号を生成することができる。
[3−5.他言語における文字の入力]
上記<1.第1の実施形態>及び上記<2.第2の実施形態>では、手書き入力処理において、ラテン文字が入力される場合を例に挙げて、第1及び第2の実施形態についての説明を行った。ただし、第1及び第2の実施形態はかかる例に限定されない。第1及び第2の実施形態に係る手書き入力処理では、英字以外の他言語における文字がストローク操作と対応付けられていてもよく、ストローク操作によって他言語における文字が入力されてもよい。
上記<1.第1の実施形態>及び上記<2.第2の実施形態>では、手書き入力処理において、ラテン文字が入力される場合を例に挙げて、第1及び第2の実施形態についての説明を行った。ただし、第1及び第2の実施形態はかかる例に限定されない。第1及び第2の実施形態に係る手書き入力処理では、英字以外の他言語における文字がストローク操作と対応付けられていてもよく、ストローク操作によって他言語における文字が入力されてもよい。
図23を参照して、このような、ストローク操作によって他言語における文字が入力される変形例について説明する。図23は、ストローク操作と他言語における文字との対応関係について説明するための説明図である。
図23を参照すると、他言語における文字の一例として日本語の平仮名の「は」が図示されている。本変形例では、文字と同様に、例えば日本語の平仮名の「は」と、「は」を手書きする際の書き出しに対応するストローク操作とが対応付けられてよい。例えば、図中に矢印で示すように、「は」を書き出すときの1画目に対応するストローク操作は下方向へのストローク操作であり得る。従って、ユーザが「は」を入力したい場合には、下方向を示すストローク操作を行うことにより、当該ストローク操作に対応する文字の候補として「は」が手書き入力GUIに表示され得る。
ここで、平仮名の「は」の画数は3である。従って、本変形例では、「は」一文字と1つのストローク操作とを対応付けるのではなく、「は」一文字と「は」を構成する3画分のストローク操作とが対応付けられていてもよい。図中に矢印で示すように、「は」の1画目を書き出す方向は下方向であり、2画目を書き出す方向は右下方向であり、3画目を書き出す方向は下方向であり得る。従って、「は」と、下方向へのストローク操作、右方向へのストローク操作及び下方向へのストローク操作の組み合わせとが対応付けられていてもよい。例えば、ユーザが「は」を入力したい場合には、下方向へのストローク操作、右方向へのストローク操作及び下方向へのストローク操作を連続的に行うことにより、当該ストローク操作の組み合わせに対応する文字の候補として「は」が手書き入力GUIに表示され得る。このように、1文字の画数が比較的多い言語体系に対しては、1つの文字に対して複数のストローク操作の組み合わせが対応付けられていてもよい。このような対応付けを行うことにより、ストローク操作に基づく文字認識の精度をより向上させることができる。
<4.ハードウェア構成>
次に、図24を参照しながら、第1及び第2の実施形態に係る情報処理装置のハードウェア構成について説明する。図24は、第1及び第2の実施形態に係る情報処理装置のハードウェア構成の一例を示す機能ブロック図である。なお、図24に示す情報処理装置900は、例えば、図4、図9、図10、図11、図15、図16及び図18に示す腕時計型端末、携帯型端末及びサーバを実現し得る。
次に、図24を参照しながら、第1及び第2の実施形態に係る情報処理装置のハードウェア構成について説明する。図24は、第1及び第2の実施形態に係る情報処理装置のハードウェア構成の一例を示す機能ブロック図である。なお、図24に示す情報処理装置900は、例えば、図4、図9、図10、図11、図15、図16及び図18に示す腕時計型端末、携帯型端末及びサーバを実現し得る。
情報処理装置900は、CPU901、ROM(Read Only Memory)903及びRAM(Random Access Memory)905を備える。また、情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、通信装置921、ドライブ923及び接続ポート925を備えてもよい。情報処理装置900は、CPU901に代えて、又はこれとともに、DSP(Digital Signal Processor)若しくはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919又はリムーバブル記録媒体929に記録された各種のプログラムに従って、情報処理装置900内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行時のパラメータ等を一次記憶する。CPU901、ROM903及びRAM905は、CPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。更に、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス911に接続されている。CPU901は、第1及び第2の実施形態では、例えば上述した腕時計型端末、携帯型端末及びサーバの制御部に対応する。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等、ユーザによって操作される装置によって構成される。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置(いわゆる、リモコン)であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器931であってもよい。更に、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置900のユーザは、この入力装置915を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置915は、本実施形態では、例えば上述した腕時計型端末の操作部120に対応する。第1及び第2の実施形態においては、例えば、ユーザが、入力装置915を介して、例えばストローク操作及び手書き文字入力操作等の、手書き入力GUIに対する各種の操作入力を行うことができる。
出力装置917は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置917は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。当該表示装置は、第1及び第2の実施形態では、例えば上述した腕時計型端末の表示部130に対応する。第1及び第2の実施形態では、当該表示装置に、手書き入力GUIが表示されてよい。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置919は、第1及び第2の実施形態では、例えば上述した携帯型端末及びサーバのストロークDB220及び単語DB230を構成する。
通信装置921は、例えば、通信網(ネットワーク)927に接続するための通信デバイス等で構成された通信インターフェースである。通信装置921は、例えば、有線若しくは無線LAN(Local Area Network)、Bluetooth又はWUSB(Wireless USB)用の通信カード等である。また、通信装置921は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置921は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置921に接続されるネットワーク927は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。通信装置921は、本実施形態では、例えば上述した腕時計型端末、携帯型端末及びサーバの通信部110、210、310に対応する。第1及び第2の実施形態では、手書き入力GUIに対する各種の操作情報(例えば表示画面内での操作体の座標情報等)や、手書き入力GUIに表示される候補についての候補情報等の情報が、通信装置921によってネットワーク927を介して他の装置との間で送受信されてもよい。
ドライブ923は、記録媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ923は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体929に記録されている情報を読み出して、RAM905に出力する。また、ドライブ923は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体929に情報を書き込むことも可能である。リムーバブル記録媒体929は、例えば、DVDメディア、HD−DVDメディア、Blu−ray(登録商標)メディア等である。また、リムーバブル記録媒体929は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ又はSDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体929は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。第1及び第2の実施形態では、手書き入力処理に係る各種の情報が、ドライブ923によってリムーバブル記録媒体929から読み出されたり、リムーバブル記録媒体929に書き込まれたりしてもよい。
接続ポート925は、機器を情報処理装置900に直接接続するためのポートである。接続ポート925の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート及びSCSI(Small Computer System Interface)ポート等がある。接続ポート925の別の例として、RS−232Cポート、光オーディオ端子及びHDMI(登録商標)(High−Definition Multimedia Interface)ポート等がある。この接続ポート925に外部接続機器931を接続することで、情報処理装置900は、外部接続機器931から直接各種のデータを取得したり、外部接続機器931に各種のデータを提供したりする。第1及び第2の実施形態では、手書き入力処理に係る各種の情報が、接続ポート925を介して外部接続機器931から取得されたり、外部接続機器931に出力されたりしてもよい。
以上、本開示の第1及び第2の実施形態に係る情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような第1及び第2の実施形態に係る情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。また、当該コンピュータプログラムが、インターネット等のネットワーク上のサーバ(ウェブサーバ(Webサーバ))及び/又はウェブブラウザ(Webブラウザ)において動作され、手書き入力処理に係る各種の機能が、ユーザに対して、いわゆるウェブアプリケーション(Webアプリケーション)の形式で提供されてもよい。その場合、ユーザは、Webブラウザ上で、第1及び第2の実施形態に係る手書き入力処理を実行することができる。
<5.補足>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、上記実施形態では、手書き入力GUIの一表示例として、例えば図2、図3、図6、図7、図8、図14、図19及び図20に示す表示画面710、720、730、740、750、760、770を示した。ただし、本技術はかかる例に限定されない。手書き入力GUIの表示画面は、第1及び第2の実施形態に係る手書き入力処理の機能を実現可能なように構成されればよく、手書き入力GUIの表示画面の具体的な構成は適宜設定されてよい。例えば、上記表示画面710、720、730、740、750、760、770に表示される各種の領域やアイコン等のGUI部品は、可能な限りにおいて互いに組み合わされて使用されてよい。
また、第1及び第2の実施形態に係る情報処理システムが複数の情報処理装置によって構成される場合、ユーザによって文字及び単語を入力する操作が行われる情報処理装置が、必要に応じてシームレスに移行してもよい。例えば、図4に示す情報処理システム1は、腕時計型端末10と、携帯型端末20と、によって構成されている。そして、文字及び単語を入力するためのストローク操作は、腕時計型端末10において行われている。ここで、例えば、単語数の多い文を入力しようとする場合には、比較的小型の画面を有する腕時計型端末10では、文字及び単語の入力を継続することが困難になる可能性がある。このような場合には、腕時計型端末10と携帯型端末20とが互いに連携することにより、文を入力している途中で、文字及び単語を入力する操作が行われる装置が、腕時計型端末10から携帯型端末20に移行してもよい。
例えば、ユーザが腕時計型端末10及び携帯型端末20に対して、文字及び単語を入力する操作が行われる装置を移行する旨の所定の操作を行うことにより、腕時計型端末10において既に入力された文字及び単語が反映された状態での手書き入力GUIの表示画面が、携帯型端末20の表示部に表示される。ユーザは、文の途中から、携帯型端末20に表示された手書き入力GUIに対して、文字及び単語を入力するためのストローク操作を行うことができる。携帯型端末20は、腕時計型端末10に比べてより大きな表示画面を有し得るため、例えば図2及び図3に示す単語表示領域713としてより広い面積を確保することができ、入力された文が長い場合であっても当該単語表示領域713に収まるように表示され得る。このように、より大型の画面を有し得る携帯型端末20においては、長い文を入力する際により適した手書き入力GUIの表示が実現され得る。従って、例えば入力しようとしている文の長さに応じて、文字及び単語を入力する操作が行われる装置をシームレスに適宜移行することにより、より利便性の高い手書き入力処理を行うことができる。
また、第1及び第2の実施形態に係る手書き入力処理と、例えばキーボード等を用いた文字の入力等他の文字入力処理とが組み合わされてもよい。例えば、上述したように、腕時計型端末10から携帯型端末20に、文字及び単語を入力する操作が行われる装置を移行した場合、移行した後の携帯型端末20における文字及び単語の入力は、例えばキーボード等を用いた一般的な文字入力処理によって行われてよい。携帯型端末20は、腕時計型端末10に比べてより大きな表示画面を有し得るため、例えばqwertyキーボードをその表示画面に表示させても、キーの選択が困難となる可能性は低い。このように、文字及び単語を入力する操作が行われる装置が適宜移行されながら、各装置に適した文字入力処理が選択されてよい。これにより、より利便性の高い文字入力処理を行うことが可能となる。
また、上記実施形態では、ストローク操作が、手書き入力GUIの表示画面に対する操作体の動きによって入力されていたが、第1及び第2の実施形態はかかる例に限定されない。第1及び第2の実施形態では、入力インターフェースは方向を示す情報が入力され得るデバイスであればよく、情報処理装置に対してストローク操作を入力するための入力インターフェースは多様な形態をとり得る。例えば、情報処理装置が、入力インターフェースとして、撮像装置や測距センサ等によって構成される、ユーザの動きを認識可能なセンサ部を備えていてもよい。当該センサ部は、ユーザの動き(例えば、身体の一部位の動きや、ユーザの眼球の動き(すなわち、視線の動き))を、例えば動きベクトルを用いた解析により検出することができる。そして、ユーザの動きの中から所定のジェスチャや視線の動きが検出されることにより、当該ジェスチャ又は視線の動きに応じたストローク操作が入力されてもよい。例えば、ユーザが腕を一方向に移動させるジェスチャや視線を一方向に移動させる動きが、ストローク操作として検出されてもよい。また、例えば、情報処理装置が、加速度センサやジャイロセンサ等の構成を有し、自身の姿勢や動きを検出可能なリモコンを入力インターフェースとして備えていてもよい。リモコンを持ったユーザの手の動きが当該リモコンによって検出されることにより、当該リモコンの動きに応じたストローク操作が入力されてもよい。例えば、ユーザがリモコンを持った手を所定の方向に振る動作が、当該方向へのストローク操作として検出されてもよい。更に、例えば、情報処理装置が、入力インターフェースとして、ジョイスティックや十字キーを有するコントローラ等、方向を示す情報をより直接的に入力可能なデバイスを備えていてもよい。この場合、ジョイスティックや十字キーを有するコントローラによって入力された方向が、ストローク操作の方向として入力され得る。このように、第1及び第2の実施形態では、ストローク操作は、方向を示す情報が入力可能に構成された入力インターフェースであれば、各種の入力インターフェースを介して入力され得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)ユーザによる操作入力についての情報である操作情報を取得する操作情報取得部と、前記操作情報に基づいて判定される、所定の方向を示す操作であるストローク操作に応じて、当該ストローク操作に対応する少なくとも文字の候補を画面に表示させる表示制御部と、を備える、情報処理装置。
(2)前記表示制御部は、連続して入力された前記ストローク操作の組み合わせに基づいて、当該組み合わせに対応する単語の候補を前記画面に表示させる、前記(1)に記載の情報処理装置。
(3)前記表示制御部は、入力された前記ストローク操作の履歴を前記画面に表示させる、前記(1)又は(2)に記載の情報処理装置。
(4)前記ストローク操作が連続して入力された後に、前記表示制御部は、連続して入力された前記ストローク操作ごとに文字を指定するために連続して入力された前記ストローク操作の各々に対応する文字の候補が表示される領域である文字指定領域を前記画面に表示させる、前記(1)〜(3)のいずれか1項に記載の情報処理装置。
(5)前記表示制御部は、入力された前記ストローク操作に対応する複数の候補を、所定の優先度に従った順序で表示させる、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
(6)前記表示制御部は、表示された複数の候補の中のいずれかが選択された場合に、当該選択された候補に基づいて、複数の前記候補を異なる優先度に従った順序で表示させる、前記(5)に記載の情報処理装置。
(7)前記操作情報取得部は、前記操作情報として、画面内での操作体の座標情報を少なくとも取得し、前記ストローク操作は、前記座標情報に基づいて判定される、前記操作体が前記画面上を所定の方向に移動する操作である、前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(8)前記表示制御部は、前記ストローク操作における前記操作体の軌跡を前記画面に表示させる、前記(7)に記載の情報処理装置。
(9)前記表示制御部は、前記画面の表示を、前記操作体によって前記ストローク操作が入力される入力領域と当該ストローク操作に対応する候補とがともに表示される第1の表示状態と、当該入力領域が表示されず当該候補がリスト状に表示される第2の表示状態と、を切り換える、前記(7)又は(8)に記載の情報処理装置。
(10)前記表示制御部は、前記操作体の前記座標情報に基づいて認識される、前記操作体によって少なくとも文字の字形の全てが描かれる操作である手書き文字入力操作に対応する少なくとも文字の候補を、前記画面に表示させる、前記(7)〜(9)のいずれか1項に記載の情報処理装置。
(11)前記表示制御部は、連続して入力された前記ストローク操作及び前記手書き文字入力操作の組み合わせに基づいて、当該組み合わせに対応する単語の候補を前記画面に表示させる、前記(10)に記載の情報処理装置。
(12)前記操作情報取得部によって取得された前記操作体の前記座標情報に基づいて、入力された前記操作体による操作が、前記ストローク操作であるか又は前記手書き文字入力操作であるかを判定する、認識方法判定部、を更に備え、前記表示制御部は、前記認識方法判定部による判定結果に応じて、前記ストローク操作又は前記手書き文字入力操作に対応する候補を前記画面に表示させる、前記(10)又は(11)に記載の情報処理装置。
(13)前記手書き文字入力操作に基づいて少なくとも文字が認識された場合に、当該認識結果の確度を判定する結果選択部、を更に備え、前記表示制御部は、前記結果選択部による判定結果に応じて、前記ストローク操作又は前記手書き文字入力操作に対応する候補を前記画面に表示させる、前記(10)〜(12)のいずれか1項に記載の情報処理装置。
(14)前記ストローク操作が連続して入力された後に、前記表示制御部は、前記手書き文字入力操作によって連続して入力された前記ストローク操作の各々に対応する文字が、前記手書き文字入力操作によって再度入力されるモードである再入力モードに係る表示画面を前記画面に表示させる、前記(10)〜(13)のいずれか1項に記載の情報処理装置。
(15)前記ストローク操作と少なくとも文字との対応関係においては、所定の文字と、当該文字を手書きする際の書き出しに対応する前記ストローク操作とが、対応付けられる、前記(1)〜(14)のいずれか1項に記載の情報処理装置。
(16)前記ストローク操作と少なくとも文字との対応関係は、所定のユーザによって入力された前記ストローク操作と、当該ストローク操作に対応して表示された候補の中から最終的に選択された候補と、に基づいて、当該ユーザに応じて更新される、前記(1)〜(15)のいずれか1項に記載の情報処理装置。
(17)前記表示制御部は、入力された前記ストローク操作に対応する数字又は記号の候補を前記画面に表示させる、前記(1)〜(16)のいずれか1項に記載の情報処理装置。
(18)前記表示制御部は、表示された単語の候補の中からいずれかが選択された場合に、文法上当該選択された単語の次に続くことが予測される単語の候補を前記画面に表示させる、前記(2)に記載の情報処理装置。
(19)ユーザによる操作入力についての情報である操作情報を取得することと、前記操作情報に基づいて判定される、所定の方向を示す操作であるストローク操作に応じて、当該ストローク操作に対応する少なくとも文字の候補を画面に表示させることと、を含む、情報処理方法。
(20)コンピュータのプロセッサに、ユーザによる操作入力についての情報である操作情報を取得する機能と、前記操作情報に基づいて判定される、所定の方向を示す操作であるストローク操作に応じて、当該ストローク操作に対応する少なくとも文字の候補を画面に表示させる機能と、を実現させる、プログラム。
(1)ユーザによる操作入力についての情報である操作情報を取得する操作情報取得部と、前記操作情報に基づいて判定される、所定の方向を示す操作であるストローク操作に応じて、当該ストローク操作に対応する少なくとも文字の候補を画面に表示させる表示制御部と、を備える、情報処理装置。
(2)前記表示制御部は、連続して入力された前記ストローク操作の組み合わせに基づいて、当該組み合わせに対応する単語の候補を前記画面に表示させる、前記(1)に記載の情報処理装置。
(3)前記表示制御部は、入力された前記ストローク操作の履歴を前記画面に表示させる、前記(1)又は(2)に記載の情報処理装置。
(4)前記ストローク操作が連続して入力された後に、前記表示制御部は、連続して入力された前記ストローク操作ごとに文字を指定するために連続して入力された前記ストローク操作の各々に対応する文字の候補が表示される領域である文字指定領域を前記画面に表示させる、前記(1)〜(3)のいずれか1項に記載の情報処理装置。
(5)前記表示制御部は、入力された前記ストローク操作に対応する複数の候補を、所定の優先度に従った順序で表示させる、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
(6)前記表示制御部は、表示された複数の候補の中のいずれかが選択された場合に、当該選択された候補に基づいて、複数の前記候補を異なる優先度に従った順序で表示させる、前記(5)に記載の情報処理装置。
(7)前記操作情報取得部は、前記操作情報として、画面内での操作体の座標情報を少なくとも取得し、前記ストローク操作は、前記座標情報に基づいて判定される、前記操作体が前記画面上を所定の方向に移動する操作である、前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(8)前記表示制御部は、前記ストローク操作における前記操作体の軌跡を前記画面に表示させる、前記(7)に記載の情報処理装置。
(9)前記表示制御部は、前記画面の表示を、前記操作体によって前記ストローク操作が入力される入力領域と当該ストローク操作に対応する候補とがともに表示される第1の表示状態と、当該入力領域が表示されず当該候補がリスト状に表示される第2の表示状態と、を切り換える、前記(7)又は(8)に記載の情報処理装置。
(10)前記表示制御部は、前記操作体の前記座標情報に基づいて認識される、前記操作体によって少なくとも文字の字形の全てが描かれる操作である手書き文字入力操作に対応する少なくとも文字の候補を、前記画面に表示させる、前記(7)〜(9)のいずれか1項に記載の情報処理装置。
(11)前記表示制御部は、連続して入力された前記ストローク操作及び前記手書き文字入力操作の組み合わせに基づいて、当該組み合わせに対応する単語の候補を前記画面に表示させる、前記(10)に記載の情報処理装置。
(12)前記操作情報取得部によって取得された前記操作体の前記座標情報に基づいて、入力された前記操作体による操作が、前記ストローク操作であるか又は前記手書き文字入力操作であるかを判定する、認識方法判定部、を更に備え、前記表示制御部は、前記認識方法判定部による判定結果に応じて、前記ストローク操作又は前記手書き文字入力操作に対応する候補を前記画面に表示させる、前記(10)又は(11)に記載の情報処理装置。
(13)前記手書き文字入力操作に基づいて少なくとも文字が認識された場合に、当該認識結果の確度を判定する結果選択部、を更に備え、前記表示制御部は、前記結果選択部による判定結果に応じて、前記ストローク操作又は前記手書き文字入力操作に対応する候補を前記画面に表示させる、前記(10)〜(12)のいずれか1項に記載の情報処理装置。
(14)前記ストローク操作が連続して入力された後に、前記表示制御部は、前記手書き文字入力操作によって連続して入力された前記ストローク操作の各々に対応する文字が、前記手書き文字入力操作によって再度入力されるモードである再入力モードに係る表示画面を前記画面に表示させる、前記(10)〜(13)のいずれか1項に記載の情報処理装置。
(15)前記ストローク操作と少なくとも文字との対応関係においては、所定の文字と、当該文字を手書きする際の書き出しに対応する前記ストローク操作とが、対応付けられる、前記(1)〜(14)のいずれか1項に記載の情報処理装置。
(16)前記ストローク操作と少なくとも文字との対応関係は、所定のユーザによって入力された前記ストローク操作と、当該ストローク操作に対応して表示された候補の中から最終的に選択された候補と、に基づいて、当該ユーザに応じて更新される、前記(1)〜(15)のいずれか1項に記載の情報処理装置。
(17)前記表示制御部は、入力された前記ストローク操作に対応する数字又は記号の候補を前記画面に表示させる、前記(1)〜(16)のいずれか1項に記載の情報処理装置。
(18)前記表示制御部は、表示された単語の候補の中からいずれかが選択された場合に、文法上当該選択された単語の次に続くことが予測される単語の候補を前記画面に表示させる、前記(2)に記載の情報処理装置。
(19)ユーザによる操作入力についての情報である操作情報を取得することと、前記操作情報に基づいて判定される、所定の方向を示す操作であるストローク操作に応じて、当該ストローク操作に対応する少なくとも文字の候補を画面に表示させることと、を含む、情報処理方法。
(20)コンピュータのプロセッサに、ユーザによる操作入力についての情報である操作情報を取得する機能と、前記操作情報に基づいて判定される、所定の方向を示す操作であるストローク操作に応じて、当該ストローク操作に対応する少なくとも文字の候補を画面に表示させる機能と、を実現させる、プログラム。
1、1a、1b、2、2c、2d、3 情報処理システム
10、10a、10b、10c、10d 腕時計型端末
20、20a、20b、40、40c、40d 携帯型端末
30、30b、30d サーバ
110、210、310 通信部
120 操作部
130 表示部
140、140a、140c、240、240b、240d、240e、340b、340d 制御部
141 操作情報取得部
142 表示制御部
220 ストロークDB
230 単語DB
241 ストローク判定部
242、442 候補生成部
243 ストロークDB更新部
443 認識方法判定部
444 手書き文字認識部
445 結果選択部
10、10a、10b、10c、10d 腕時計型端末
20、20a、20b、40、40c、40d 携帯型端末
30、30b、30d サーバ
110、210、310 通信部
120 操作部
130 表示部
140、140a、140c、240、240b、240d、240e、340b、340d 制御部
141 操作情報取得部
142 表示制御部
220 ストロークDB
230 単語DB
241 ストローク判定部
242、442 候補生成部
243 ストロークDB更新部
443 認識方法判定部
444 手書き文字認識部
445 結果選択部
Claims (20)
- ユーザによる操作入力についての情報である操作情報を取得する操作情報取得部と、
前記操作情報に基づいて判定される、所定の方向を示す操作であるストローク操作に応じて、当該ストローク操作に対応する少なくとも文字の候補を画面に表示させる表示制御部と、
を備える、情報処理装置。 - 前記表示制御部は、連続して入力された前記ストローク操作の組み合わせに基づいて、当該組み合わせに対応する単語の候補を前記画面に表示させる、
請求項1に記載の情報処理装置。 - 前記表示制御部は、入力された前記ストローク操作の履歴を前記画面に表示させる、
請求項1に記載の情報処理装置。 - 前記ストローク操作が連続して入力された後に、前記表示制御部は、連続して入力された前記ストローク操作ごとに文字を指定するために連続して入力された前記ストローク操作の各々に対応する文字の候補が表示される領域である文字指定領域を前記画面に表示させる、
請求項1に記載の情報処理装置。 - 前記表示制御部は、入力された前記ストローク操作に対応する複数の候補を、所定の優先度に従った順序で表示させる、
請求項1に記載の情報処理装置。 - 前記表示制御部は、表示された複数の候補の中のいずれかが選択された場合に、当該選択された候補に基づいて、複数の前記候補を異なる優先度に従った順序で表示させる、
請求項5に記載の情報処理装置。 - 前記操作情報取得部は、前記操作情報として、画面内での操作体の座標情報を少なくとも取得し、
前記ストローク操作は、前記座標情報に基づいて判定される、前記操作体が前記画面上を所定の方向に移動する操作である、
請求項1に記載の情報処理装置。 - 前記表示制御部は、前記ストローク操作における前記操作体の軌跡を前記画面に表示させる、
請求項7に記載の情報処理装置。 - 前記表示制御部は、前記画面の表示を、前記操作体によって前記ストローク操作が入力される入力領域と当該ストローク操作に対応する候補とがともに表示される第1の表示状態と、当該入力領域が表示されず当該候補がリスト状に表示される第2の表示状態と、を切り換える、
請求項7に記載の情報処理装置。 - 前記表示制御部は、前記操作体の前記座標情報に基づいて認識される、前記操作体によって少なくとも文字の字形の全てが描かれる操作である手書き文字入力操作に対応する少なくとも文字の候補を、前記画面に表示させる、
請求項7に記載の情報処理装置。 - 前記表示制御部は、連続して入力された前記ストローク操作及び前記手書き文字入力操作の組み合わせに基づいて、当該組み合わせに対応する単語の候補を前記画面に表示させる、
請求項10に記載の情報処理装置。 - 前記操作情報取得部によって取得された前記操作体の前記座標情報に基づいて、入力された前記操作体による操作が、前記ストローク操作であるか又は前記手書き文字入力操作であるかを判定する、認識方法判定部、を更に備え、
前記表示制御部は、前記認識方法判定部による判定結果に応じて、前記ストローク操作又は前記手書き文字入力操作に対応する候補を前記画面に表示させる、
請求項10に記載の情報処理装置。 - 前記手書き文字入力操作に基づいて少なくとも文字が認識された場合に、当該認識結果の確度を判定する結果選択部、を更に備え、
前記表示制御部は、前記結果選択部による判定結果に応じて、前記ストローク操作又は前記手書き文字入力操作に対応する候補を前記画面に表示させる、
請求項10に記載の情報処理装置。 - 前記ストローク操作が連続して入力された後に、前記表示制御部は、前記手書き文字入力操作によって連続して入力された前記ストローク操作の各々に対応する文字が、前記手書き文字入力操作によって再度入力されるモードである再入力モードに係る表示画面を前記画面に表示させる、
請求項10に記載の情報処理装置。 - 前記ストローク操作と少なくとも文字との対応関係においては、所定の文字と、当該文字を手書きする際の書き出しに対応する前記ストローク操作とが、対応付けられる、
請求項1に記載の情報処理装置。 - 前記ストローク操作と少なくとも文字との対応関係は、所定のユーザによって入力された前記ストローク操作と、当該ストローク操作に対応して表示された候補の中から最終的に選択された候補と、に基づいて、当該ユーザに応じて更新される、
請求項15に記載の情報処理装置。 - 前記表示制御部は、入力された前記ストローク操作に対応する数字又は記号の候補を前記画面に表示させる、
請求項1に記載の情報処理装置。 - 前記表示制御部は、表示された単語の候補の中からいずれかが選択された場合に、文法上当該選択された単語の次に続くことが予測される単語の候補を前記画面に表示させる、
請求項2に記載の情報処理装置。 - ユーザによる操作入力についての情報である操作情報を取得することと、
前記操作情報に基づいて判定される、所定の方向を示す操作であるストローク操作に応じて、当該ストローク操作に対応する少なくとも文字の候補を画面に表示させることと、
を含む、情報処理方法。 - コンピュータのプロセッサに、
ユーザによる操作入力についての情報である操作情報を取得する機能と、
前記操作情報に基づいて判定される、所定の方向を示す操作であるストローク操作に応じて、当該ストローク操作に対応する少なくとも文字の候補を画面に表示させる機能と、
を実現させる、プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014021479A JP2015148946A (ja) | 2014-02-06 | 2014-02-06 | 情報処理装置、情報処理方法及びプログラム |
US14/606,770 US20150220265A1 (en) | 2014-02-06 | 2015-01-27 | Information processing device, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014021479A JP2015148946A (ja) | 2014-02-06 | 2014-02-06 | 情報処理装置、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015148946A true JP2015148946A (ja) | 2015-08-20 |
Family
ID=53754848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014021479A Pending JP2015148946A (ja) | 2014-02-06 | 2014-02-06 | 情報処理装置、情報処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20150220265A1 (ja) |
JP (1) | JP2015148946A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017220231A (ja) * | 2016-06-12 | 2017-12-14 | アップル インコーポレイテッド | 画面用の手書きキーボード |
JP2020009256A (ja) * | 2018-07-10 | 2020-01-16 | 富士通株式会社 | プログラム、情報処理装置及び筆跡入力判定方法 |
US10579257B2 (en) | 2013-06-09 | 2020-03-03 | Apple Inc. | Managing real-time handwriting recognition |
US11112968B2 (en) | 2007-01-05 | 2021-09-07 | Apple Inc. | Method, system, and graphical user interface for providing word recommendations |
US11194467B2 (en) | 2019-06-01 | 2021-12-07 | Apple Inc. | Keyboard management user interfaces |
WO2022038809A1 (ja) * | 2020-08-18 | 2022-02-24 | 株式会社日立製作所 | 情報表現作成支援装置、情報表現作成支援方法およびコンピュータプログラム |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102156223B1 (ko) | 2014-08-02 | 2020-09-15 | 애플 인크. | 상황 특정 사용자 인터페이스 |
US10452253B2 (en) | 2014-08-15 | 2019-10-22 | Apple Inc. | Weather user interface |
WO2016144385A1 (en) | 2015-03-08 | 2016-09-15 | Apple Inc. | Sharing user-configurable graphical constructs |
EP4321088A3 (en) | 2015-08-20 | 2024-04-24 | Apple Inc. | Exercise-based watch face |
CN105549890B (zh) * | 2015-12-29 | 2019-03-05 | 清华大学 | 一维手写文字输入设备和一维手写文字输入方法 |
USD795908S1 (en) * | 2016-05-11 | 2017-08-29 | Jan Magnus Edman | Display screen with graphical user interface |
USD795907S1 (en) * | 2016-05-11 | 2017-08-29 | Jan Magnus Edman | Display screen with graphical user interface |
USD819674S1 (en) * | 2016-11-13 | 2018-06-05 | Jan Magnus Edman | Display screen with graphical user interface |
JP6903966B2 (ja) * | 2017-03-16 | 2021-07-14 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、情報処理システム及びプログラム |
DK179412B1 (en) | 2017-05-12 | 2018-06-06 | Apple Inc | Context-Specific User Interfaces |
US11327650B2 (en) | 2018-05-07 | 2022-05-10 | Apple Inc. | User interfaces having a collection of complications |
DK202070625A1 (en) | 2020-05-11 | 2022-01-04 | Apple Inc | User interfaces related to time |
WO2021231345A1 (en) | 2020-05-11 | 2021-11-18 | Apple Inc. | User interfaces for managing user interface sharing |
JP2022041314A (ja) * | 2020-08-31 | 2022-03-11 | 株式会社リコー | 表示装置、入力方法、プログラム |
US11921992B2 (en) | 2021-05-14 | 2024-03-05 | Apple Inc. | User interfaces related to time |
US20230236547A1 (en) | 2022-01-24 | 2023-07-27 | Apple Inc. | User interfaces for indicating time |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6697524B1 (en) * | 1992-09-04 | 2004-02-24 | Canon Kabushiki Kaisha | Information processing method and apparatus |
JP4050055B2 (ja) * | 2002-01-10 | 2008-02-20 | 株式会社リコー | 手書き文字一括変換装置、手書き文字一括変換方法およびプログラム |
US7218779B2 (en) * | 2003-01-21 | 2007-05-15 | Microsoft Corporation | Ink divider and associated application program interface |
JP4775462B2 (ja) * | 2009-03-12 | 2011-09-21 | カシオ計算機株式会社 | 計算機及びプログラム |
CN101930545A (zh) * | 2009-06-24 | 2010-12-29 | 夏普株式会社 | 手写识别方法和设备 |
US9501161B2 (en) * | 2010-10-22 | 2016-11-22 | Hewlett-Packard Development Company, L.P. | User interface for facilitating character input |
US8873147B1 (en) * | 2011-07-20 | 2014-10-28 | Google Inc. | Chord authentication via a multi-touch interface |
US9830049B2 (en) * | 2011-12-12 | 2017-11-28 | Nokia Technologies Oy | Apparatus and method for providing a visual transition between screens |
IN2013CH00469A (ja) * | 2013-01-21 | 2015-07-31 | Keypoint Technologies India Pvt Ltd | |
JP2015094977A (ja) * | 2013-11-08 | 2015-05-18 | 株式会社東芝 | 電子機器及び方法 |
JP2015114976A (ja) * | 2013-12-13 | 2015-06-22 | 株式会社東芝 | 電子機器及び方法 |
-
2014
- 2014-02-06 JP JP2014021479A patent/JP2015148946A/ja active Pending
-
2015
- 2015-01-27 US US14/606,770 patent/US20150220265A1/en not_active Abandoned
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11112968B2 (en) | 2007-01-05 | 2021-09-07 | Apple Inc. | Method, system, and graphical user interface for providing word recommendations |
US11416141B2 (en) | 2007-01-05 | 2022-08-16 | Apple Inc. | Method, system, and graphical user interface for providing word recommendations |
US10579257B2 (en) | 2013-06-09 | 2020-03-03 | Apple Inc. | Managing real-time handwriting recognition |
US11016658B2 (en) | 2013-06-09 | 2021-05-25 | Apple Inc. | Managing real-time handwriting recognition |
US11816326B2 (en) | 2013-06-09 | 2023-11-14 | Apple Inc. | Managing real-time handwriting recognition |
US11182069B2 (en) | 2013-06-09 | 2021-11-23 | Apple Inc. | Managing real-time handwriting recognition |
US10228846B2 (en) | 2016-06-12 | 2019-03-12 | Apple Inc. | Handwriting keyboard for screens |
US10466895B2 (en) | 2016-06-12 | 2019-11-05 | Apple Inc. | Handwriting keyboard for screens |
US10884617B2 (en) | 2016-06-12 | 2021-01-05 | Apple Inc. | Handwriting keyboard for screens |
US11640237B2 (en) | 2016-06-12 | 2023-05-02 | Apple Inc. | Handwriting keyboard for screens |
JP2017220231A (ja) * | 2016-06-12 | 2017-12-14 | アップル インコーポレイテッド | 画面用の手書きキーボード |
US11941243B2 (en) | 2016-06-12 | 2024-03-26 | Apple Inc. | Handwriting keyboard for screens |
JP7102996B2 (ja) | 2018-07-10 | 2022-07-20 | 富士通株式会社 | プログラム、情報処理装置及び筆跡入力判定方法 |
JP2020009256A (ja) * | 2018-07-10 | 2020-01-16 | 富士通株式会社 | プログラム、情報処理装置及び筆跡入力判定方法 |
US11194467B2 (en) | 2019-06-01 | 2021-12-07 | Apple Inc. | Keyboard management user interfaces |
US11620046B2 (en) | 2019-06-01 | 2023-04-04 | Apple Inc. | Keyboard management user interfaces |
US11842044B2 (en) | 2019-06-01 | 2023-12-12 | Apple Inc. | Keyboard management user interfaces |
WO2022038809A1 (ja) * | 2020-08-18 | 2022-02-24 | 株式会社日立製作所 | 情報表現作成支援装置、情報表現作成支援方法およびコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20150220265A1 (en) | 2015-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015148946A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN108700993B (zh) | 具有建议的搜索查询区域的键盘 | |
US10282416B2 (en) | Unified framework for text conversion and prediction | |
JP6140668B2 (ja) | 携帯電話のタッチスクリーンとの使用等のためのマルチモーダルテキスト入力システム | |
KR102151683B1 (ko) | 그래픽 키보드 내에서의 도형 심볼 검색 | |
US20180349346A1 (en) | Lattice-based techniques for providing spelling corrections | |
US10282090B2 (en) | Systems and methods for disambiguating intended user input at an onscreen keyboard using dual strike zones | |
US9665276B2 (en) | Character deletion during keyboard gesture | |
US11182940B2 (en) | Information processing device, information processing method, and program | |
CN107209577B (zh) | 用于促进用户输入的方法、计算设备和存储介质 | |
WO2018026467A1 (en) | Image search query predictions by a keyboard | |
US20150169212A1 (en) | Character Recognition Using a Hybrid Text Display | |
US10416868B2 (en) | Method and system for character insertion in a character string | |
JP2016071382A (ja) | 電子機器、方法及びプログラム | |
WO2017176335A1 (en) | Dynamic key mapping of a graphical keyboard | |
CN102147706A (zh) | 一种通过触滑方式输入汉字全拼的方法 | |
US20150347004A1 (en) | Indic language keyboard interface | |
Mrazek et al. | The Tap Strap 2: Evaluating performance of one-handed wearable keyboard and mouse | |
Yamada et al. | A Character Input Method for Smart Glasses that Allows You to Enter One Character in One Step with One Thumb |