JP5581448B2 - Method and apparatus for grouping overlapping handwritten character strokes into one or more groups - Google Patents
Method and apparatus for grouping overlapping handwritten character strokes into one or more groups Download PDFInfo
- Publication number
- JP5581448B2 JP5581448B2 JP2013525107A JP2013525107A JP5581448B2 JP 5581448 B2 JP5581448 B2 JP 5581448B2 JP 2013525107 A JP2013525107 A JP 2013525107A JP 2013525107 A JP2013525107 A JP 2013525107A JP 5581448 B2 JP5581448 B2 JP 5581448B2
- Authority
- JP
- Japan
- Prior art keywords
- stroke
- strokes
- series
- features
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/333—Preprocessing; Feature extraction
- G06V30/347—Sampling; Contour coding; Stroke extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/226—Character recognition characterised by the type of writing of cursive writing
- G06V30/2268—Character recognition characterised by the type of writing of cursive writing using stroke segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Character Discrimination (AREA)
- User Interface Of Digital Computer (AREA)
- Character Input (AREA)
Description
本発明の例示的実施形態は、重なった手書き文字の処理に関し、より具体的には、重なった手書き入力を構成する一連のストロークを一つ又は複数のストロークグループにグループ分けすることに関する。 Exemplary embodiments of the present invention relate to the processing of overlapping handwritten characters, and more specifically to grouping a series of strokes comprising overlapping handwritten input into one or more stroke groups.
様々な種類のデバイスが、タッチスクリーンやその他の入力デバイスを介して手書き入力をキャプチャ又は受け入れている。例えば、いくつものコンピュータやタブレット、携帯電話、PDAなどのような電子機器がタッチスクリーン備え、例えば手書き入力のような触覚入力をユーザが行うことを可能にしている。手書き入力は電子デバイスによってキャプチャされ、手書き文字認識のために処理され、電子機器のさらなるアクションが行われる。例えば手書き入力の表現が保存されたり送信されたりする。 Various types of devices capture or accept handwriting input via a touch screen or other input device. For example, a number of electronic devices such as computers, tablets, mobile phones, and PDAs are equipped with a touch screen, which allows a user to perform tactile input such as handwriting input. Handwritten input is captured by the electronic device, processed for handwritten character recognition, and further actions of the electronic device are performed. For example, handwritten input expressions are stored or transmitted.
文字認識を容易にするため、手書き入力は通常、例えば文字や数字、その他の記号などの異なる文字にグループ分けされる。手書き入力をグループ分けする技術はいくつか存在する。ある技術は、入力された文字の間の時間間隔を利用する。この技術では、タッチスクリーンなどのユーザインタフェースは、単一の手書き領域しか有さないことを必要とする。ユーザは手書き領域に文字を一つだけ書く。所定の時間が経過すると文字が機器に受け取られ、手書き領域がクリアされて、次の文字を受け入れることは可能になる。したがって、個々の文字の入力の間の時間が手書き文字をグループ分けすることを可能にする。 In order to facilitate character recognition, handwriting input is typically grouped into different characters such as letters, numbers, and other symbols. There are several techniques for grouping handwritten input. One technique takes advantage of the time interval between entered characters. With this technique, a user interface such as a touch screen requires only a single handwritten area. The user writes only one character in the handwriting area. When a predetermined time elapses, the character is received by the device, the handwriting area is cleared, and the next character can be accepted. Thus, the time between the input of individual characters makes it possible to group handwritten characters.
ユーザインタフェースが二つ又はそれ以上の手書き領域（例えば二つ又はそれ以上タッチスクリーン）を有している場合がある。ユーザは複数の手書き領域のいずれかに文字を一つだけ書き、別の手書き領域に移動して別の文字を書く。手書き領域のいずれかにユーザが文字を書いている間、既に文字が入力された他の手書き領域から文字が受け取られて処理され、その手書き領域はクリアされて次の入力を受け取ることができるように準備される。この場合、手書き領域を移動することが手書き文字をグループ化することを助ける。 The user interface may have two or more handwriting areas (eg, two or more touch screens). The user writes only one character in any of a plurality of handwritten areas, moves to another handwritten area, and writes another character. While a user is writing a character in one of the handwriting areas, the character is received and processed from another handwritten area that has already been input, and the handwriting area is cleared so that the next input can be received. To be prepared. In this case, moving the handwriting area helps group the handwritten characters.
別の技術では、単一ではあるが比較的大きな手書き領域を使用する。ユーザは複数の文字を次から次へと連続的に、まるで紙に文字を書くように記入することができる。この技術は、手書き入力を適切にグループ分けするために、記入された文字の間に置かれた空間的な間隔や原理的な知識などを利用する。 Another technique uses a single but relatively large handwritten area. The user can enter a plurality of characters successively from one to the next, as if writing characters on paper. This technique uses spatial spacing or basic knowledge placed between written characters to properly group handwritten input.
さらに別の技術では、ユーザは単一の手書き領域に、複数の文字を連続的に、しかも文字と文字の間に間隔を置かずに重ねて書くことができる。原理的な知識を利用して、重なった文字をグループ分けして一つの文字を他の文字から分離することができるであろう。しかしながら、その認識処理は上述の他の技術に比べて極めて複雑である。最尤推定の手法により、認識処理は、エラーを含むものの、一連のストロークを文字にグループ分けすることができる。認識処理は極めて計算負荷が高く、特に小さなデバイスにとってはリアルタイム処理は非常にチャレンジのである。 In yet another technique, a user can write a plurality of characters in a single handwriting area in succession, with no space between characters. Using fundamental knowledge, it would be possible to group overlapping characters and separate one character from another. However, the recognition process is extremely complicated compared to the other techniques described above. Although the recognition process includes an error by the maximum likelihood estimation method, a series of strokes can be grouped into characters. Recognition processing is extremely computationally intensive, and real-time processing is very challenging, especially for small devices.
手書きを重ねて連続的に行う技術は、ユーザの指やスタイラスを用いて手書き入力を連続的に受け入れるために、比較的小さなユーザインタフェースを使うことしか可能にしていない。手書き入力は、一度に一つの文字しか入力しないものに比べて、比較的早くデバイスに提供される。しかしながら、手書き入力を重ねて連続的に行うことは、グループ分けやユーザとの相互作用に関して困難なタスクである。手書きを重ねて連続的に行うことは、重なった手書き文字を効率的にグループ分けしてある文字を他の文字から区別することについて難しい問題をもたらす。特に、通常の連続的な手書き入力が書かれた文字の間に空間的な間隔を有することに比べて、非常に困難である。さらに、複数の文字が重なっていると、重なっている文字により背景がクリアではなくなり混乱してしまっているかもしれず、ユーザも現在書いている文字を明確に見ることができなくなり、ユーザにとっても困難をもたらす可能性がある。 The technique of continuously performing handwriting overlaid can only use a relatively small user interface to continuously accept handwritten input using the user's finger or stylus. Handwriting input is provided to devices relatively quickly compared to one that only inputs one character at a time. However, it is a difficult task regarding grouping and user interaction to perform handwritten input continuously. Performing handwriting over and over continuously poses a difficult problem in distinguishing characters that are efficiently grouped from overlapping handwritten characters from other characters. In particular, it is very difficult compared to the case where a normal continuous handwritten input has a spatial interval between written characters. In addition, if multiple characters overlap, the background may not be clear due to the overlapping characters, and the user may not be able to see the current writing clearly, making it difficult for the user. May bring about.
手書き入力を構成する一連のストロークをグループ分けする例示的実施形態に従い、方法、装置、コンピュータプログラム製品が提供される。このグループ分けは、一つ又は複数の文字へとグループ分けする前に実行されてもよく、そして実際、個々のストロークのグループは文字であるかもしれないが文字の一部であるかもしれない。しかし、どのような場合でも、ストロークのグループは一つより多くの文字を含むことがない。一連のストロークを一つ又は複数のストロークのグループにグループ分けすることにより、それに続いて一連のストロークを一つ又は複数の文字にグループ化することが効率的になる。加えて、重なった手書き入力を受け入れている間、既に入力された一つ又は複数のストロークグループは視覚的に見易くない形で表示され、直近に入力したストロークをユーザがよりはっきりと見ることを可能にする。 In accordance with an exemplary embodiment for grouping a series of strokes comprising a handwritten input, a method, apparatus, and computer program product are provided. This grouping may be performed prior to grouping into one or more characters, and in fact, individual stroke groups may be characters but may be part of characters. However, in any case, a group of strokes does not contain more than one character. By grouping a series of strokes into one or more stroke groups, it is efficient to subsequently group the series of strokes into one or more characters. In addition, while accepting overlapping handwriting input, one or more stroke groups already entered will be displayed in a visually unreadable form, allowing the user to see the most recently entered strokes more clearly To.
ある実施形態によれば、重なった手書き入力を構成する一連のストロークを受け取ると共に、複数のストロークの各々につき、プロセッサによって、前記一連のストロークの幾何学的性質に基づいて現在のストロークに関連する複数の特徴を決定する方法が提供される。この実施形態の方法はまた、前記ストロークに関連する特徴に基づき、前記一連のストロークを一つ又は複数のストロークのグループにグループ分けする。前述のように、前記ストロークのグループの各々は文字の一つ又は文字の部分であるが、どのストロークのグループも、一つより多い文字からのストロークを含まない。 According to an embodiment, a plurality of strokes comprising overlapping handwriting input is received and a plurality of strokes associated with the current stroke based on the geometric properties of the series of strokes by a processor for each of the plurality of strokes. A method is provided for determining the characteristics of. The method of this embodiment also groups the series of strokes into one or more stroke groups based on the features associated with the strokes. As described above, each of the stroke groups is a character or a portion of a character, but no stroke group includes strokes from more than one character.
ある実施形態の方法は、前記一連のストロークがグループ分けされた一つ又は複数のストロークのグループに基づいて、前記一連のストロークを一つ又は複数の文字にグループ分けすることをさらに含んでもよい。それによって、ストロークのシリーズが文字にグループ分けされるときの効率が改善する。ある例示的実施形態によれば、前記方法は、前記一連のストロークの幾何学的特性だけに基づいて前記現在のストロークに関連する複数の特徴を決定することにより、前記現在のストロークに関連する複数の特徴を決定してもよい。実施形態によっては、前記方法は、少なくとも一つのグループが少なくとも一つの他のグループから視覚的に区別されるように表示されるように、前記グループの少なくともいずれかを表示することを生じさせてもよい。それによって、重なった手書き入力の表示イメージは複雑さが減少し、ユーザが例えば直近のストロークを見ることが容易になる。 The method of an embodiment may further include grouping the series of strokes into one or more characters based on the group of one or more strokes into which the series of strokes are grouped. This improves the efficiency when a series of strokes is grouped into characters. According to an exemplary embodiment, the method includes determining a plurality of characteristics associated with the current stroke based solely on geometric characteristics of the series of strokes, thereby determining a plurality of features associated with the current stroke. The characteristics may be determined. In some embodiments, the method may cause displaying at least one of the groups such that at least one group is displayed so as to be visually distinguished from at least one other group. Good. This reduces the complexity of the superimposed handwritten input display image and makes it easier for the user to see, for example, the most recent stroke.
実施形態によっては、前記方法は、前記現在のストロークに関連する前記複数の特徴を規格化する。これに関し、前記複数の特徴は、一連のストロークの全体の寸法に基づいて規格化されてもよい。前記現在のストロークに関連する前記複数の特徴を決定するにおいて、該複数の特徴は、現在のストロークの終点、現在のストロークの幾何学的中心、次のストロークの始点、次のストロークの幾何学的中心、現在のストロークを含む最小の矩形、次のストロークを含む最小の矩形、直前のストロークを含む最小の矩形を含むグループから選択されてもよい。 In some embodiments, the method normalizes the plurality of features associated with the current stroke. In this regard, the plurality of features may be normalized based on the overall dimensions of a series of strokes. In determining the features associated with the current stroke, the features include an end point of the current stroke, a geometric center of the current stroke, a start point of the next stroke, a geometric shape of the next stroke. The center, the smallest rectangle containing the current stroke, the smallest rectangle containing the next stroke, and the group containing the smallest rectangle containing the previous stroke may be selected.
前記方法はインクリメンタルモード又はバッチモードで動作してもよい。インクリメンタルモードでは、前記複数の特徴を決定すること及び前記一連のストロークをグループ分けすることは、後続のストロークの各々が受け取られたことに続いて繰り返される。バッチモードでは、前記複数の特徴を決定すること及び前記一連のストロークをグループ分けすることは、複数のストロークが受け取られたことに続いて繰り返される。 The method may operate in incremental mode or batch mode. In incremental mode, determining the plurality of features and grouping the series of strokes are repeated following each subsequent stroke received. In batch mode, determining the plurality of features and grouping the series of strokes are repeated subsequent to receipt of the plurality of strokes.
別の実施例では、少なくとも一つのプロセッサと、コンピュータプログラムコードを含む少なくとも一つのメモリとを備える装置であって、前記少なくとも一つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサを用いて、前記装置に少なくとも、重なった手書き入力を構成する一連のストロークを受け取ることと；複数のストロークの各々につき、前記一連のストロークの幾何学的性質に基づいて現在のストロークに関連する複数の特徴を決定することと；を実行させるように構成される。この実施形態の前記少なくとも一つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサを用いて、前記装置に、前記ストロークに関連する特徴に基づき、前記一連のストロークを一つ又は複数のストロークのグループにグループ分けすることを実行させるように構成される。前述のように、前記ストロークのグループの各々は文字の一つ又は文字の部分であるが、どのストロークのグループも、一つより多い文字からのストロークを含まない。 In another embodiment, an apparatus comprising at least one processor and at least one memory containing computer program code, the at least one memory and the computer program code using the at least one processor, Receiving at least a series of strokes comprising overlapping handwriting input to the apparatus; determining, for each of a plurality of strokes, a plurality of features associated with a current stroke based on a geometric property of the series of strokes And is configured to execute. The at least one memory and the computer program code of this embodiment may use the at least one processor to cause the apparatus to convert the series of strokes into one or more strokes based on features associated with the strokes. Configured to perform grouping into groups. As described above, each of the stroke groups is a character or a portion of a character, but no stroke group includes strokes from more than one character.
ある実施形態における、前記装置の少なくとも一つのメモリ及びコンピュータプログラムコードは、前記少なくとも一つのプロセッサを用いて、前記装置に、前記一連のストロークがグループ分けされた一つ又は複数のストロークのグループに基づいて、前記一連のストロークを一つ又は複数の文字にグループ分けすることを実行させるように構成されてもよい。それによって、ストロークのシリーズが文字にグループ分けされるときの効率が改善する。ある例示的実施形態における、前記装置の少なくとも一つのメモリ及びコンピュータプログラムコードは、前記少なくとも一つのプロセッサを用いて、前記装置に、前記一連のストロークの幾何学的特性だけに基づいて前記現在のストロークに関連する複数の特徴を決定させることにより、前記現在のストロークに関連する複数の特徴を決定させるように構成されてもよい。実施形態によっては、前記装置の少なくとも一つのメモリ及びコンピュータプログラムコードは、前記少なくとも一つのプロセッサを用いて、前記装置に、少なくとも一つのグループが少なくとも一つの他のグループから視覚的に区別されるように表示されるように、前記グループの少なくともいずれかを表示することを生じさせてもよい。それによって、重なった手書き入力の表示イメージは複雑さが減少し、ユーザが例えば直近のストロークを見ることが容易になる。 In one embodiment, the at least one memory and computer program code of the device is based on a group of one or more strokes in which the series of strokes are grouped into the device using the at least one processor. The group of strokes may be configured to be grouped into one or more characters. This improves the efficiency when a series of strokes is grouped into characters. In an exemplary embodiment, the at least one memory and computer program code of the device uses the at least one processor to cause the device to send the current stroke based solely on the geometric characteristics of the series of strokes. Determining a plurality of features associated with the current stroke to determine a plurality of features associated with the current stroke. In some embodiments, the at least one memory and computer program code of the device uses the at least one processor to cause the device to visually distinguish at least one group from at least one other group. Displaying at least one of the groups may be caused to be displayed. This reduces the complexity of the superimposed handwritten input display image and makes it easier for the user to see, for example, the most recent stroke.
実施形態によっては、前記装置の少なくとも一つのメモリ及びコンピュータプログラムコードは、前記少なくとも一つのプロセッサを用いて、前記装置に、前記現在のストロークに関連する前記複数の特徴を規格化させる。これに関し、前記複数の特徴は、一連のストロークの全体の寸法に基づいて規格化されてもよい。前記現在のストロークに関連する前記複数の特徴を決定するにおいて、該複数の特徴は、現在のストロークの終点、現在のストロークの幾何学的中心、次のストロークの始点、次のストロークの幾何学的中心、現在のストロークを含む最小の矩形、次のストロークを含む最小の矩形、直前のストロークを含む最小の矩形を含むグループから選択されてもよい。 In some embodiments, the at least one memory and computer program code of the device causes the device to normalize the plurality of features associated with the current stroke using the at least one processor. In this regard, the plurality of features may be normalized based on the overall dimensions of a series of strokes. In determining the features associated with the current stroke, the features include an end point of the current stroke, a geometric center of the current stroke, a start point of the next stroke, a geometric shape of the next stroke. The center, the smallest rectangle containing the current stroke, the smallest rectangle containing the next stroke, and the group containing the smallest rectangle containing the previous stroke may be selected.
ストロークの分析はインクリメンタルモード又はバッチモードで動作してもよい。インクリメンタルモードでは、前記複数の特徴を決定すること及び前記一連のストロークをグループ分けすることは、後続のストロークの各々が受け取られたことに続いて繰り返される。バッチモードでは、前記複数の特徴を決定すること及び前記一連のストロークをグループ分けすることは、複数のストロークが受け取られたことに続いて繰り返される。 The stroke analysis may operate in incremental mode or batch mode. In incremental mode, determining the plurality of features and grouping the series of strokes are repeated following each subsequent stroke received. In batch mode, determining the plurality of features and grouping the series of strokes are repeated subsequent to receipt of the plurality of strokes.
さらに別の実施形態では、重なった手書き入力を構成する一連のストロークを受け取る手段と、複数のストロークの各々につき、前記一連のストロークの幾何学的性質に基づいて現在のストロークに関連する複数の特徴を決定する手段とを備える装置が提供される。この実施形態の装置はまた、前記ストロークに関連する特徴に基づき、前記一連のストロークを一つ又は複数のストロークのグループにグループ分けする手段を備える。前述のように、前記ストロークのグループの各々は文字の一つ又は文字の部分であるが、どのストロークのグループも、一つより多い文字からのストロークを含まない。 In yet another embodiment, the means for receiving a series of strokes comprising overlapping handwritten input and a plurality of features associated with the current stroke based on the geometric properties of the series of strokes for each of the plurality of strokes. And a means for determining. The apparatus of this embodiment also comprises means for grouping the series of strokes into one or more stroke groups based on features associated with the strokes. As described above, each of the stroke groups is a character or a portion of a character, but no stroke group includes strokes from more than one character.
ある実施形態の装置は、前記一連のストロークがグループ分けされた一つ又は複数のストロークのグループに基づいて、前記一連のストロークを一つ又は複数の文字にグループ分けする手段をさらに含んでもよい。それによって、ストロークのシリーズが文字にグループ分けされるときの効率が改善する。ある例示的実施形態によれば、前記現在のストロークに関連する複数の特徴を決定する手段は、前記一連のストロークの幾何学的特性だけに基づいて前記現在のストロークに関連する複数の特徴を決定する手段を備えてもよい。実施形態によっては、前記装置は、少なくとも一つのグループが少なくとも一つの他のグループから視覚的に区別されるように表示されるように、前記グループの少なくともいずれかを表示することを生じさせる手段を備えてもよい。それによって、重なった手書き入力の表示イメージは複雑さが減少し、ユーザが例えば直近のストロークを見ることが容易になる。 The apparatus of an embodiment may further include means for grouping the series of strokes into one or more characters based on the group of one or more strokes into which the series of strokes are grouped. This improves the efficiency when a series of strokes is grouped into characters. According to an exemplary embodiment, the means for determining a plurality of features associated with the current stroke determines a plurality of features associated with the current stroke based solely on geometric characteristics of the series of strokes. Means to do this may be provided. In some embodiments, the apparatus includes means for causing at least one of the groups to be displayed such that the at least one group is displayed visually distinct from at least one other group. You may prepare. This reduces the complexity of the superimposed handwritten input display image and makes it easier for the user to see, for example, the most recent stroke.
実施形態によっては、前記装置は、前記現在のストロークに関連する前記複数の特徴を規格化する手段を含んでもよい。これに関し、前記複数の特徴は、一連のストロークの全体の寸法に基づいて規格化されてもよい。前記現在のストロークに関連する前記複数の特徴を決定するにおいて、該複数の特徴は、現在のストロークの終点、現在のストロークの幾何学的中心、次のストロークの始点、次のストロークの幾何学的中心、現在のストロークを含む最小の矩形、次のストロークを含む最小の矩形、直前のストロークを含む最小の矩形を含むグループから選択されてもよい。 In some embodiments, the apparatus may include means for normalizing the plurality of features associated with the current stroke. In this regard, the plurality of features may be normalized based on the overall dimensions of a series of strokes. In determining the features associated with the current stroke, the features include an end point of the current stroke, a geometric center of the current stroke, a start point of the next stroke, a geometric shape of the next stroke. The center, the smallest rectangle containing the current stroke, the smallest rectangle containing the next stroke, and the group containing the smallest rectangle containing the previous stroke may be selected.
前記装置は、前記ストロークを、インクリメンタルモード又はバッチモードで分析してもよい。インクリメンタルモードでは、前記複数の特徴を決定すること及び前記一連のストロークをグループ分けすることは、後続のストロークの各々が受け取られたことに続いて繰り返される。バッチモードでは、前記複数の特徴を決定すること及び前記一連のストロークをグループ分けすることは、複数のストロークが受け取られたことに続いて繰り返される。 The apparatus may analyze the stroke in an incremental mode or a batch mode. In incremental mode, determining the plurality of features and grouping the series of strokes are repeated following each subsequent stroke received. In batch mode, determining the plurality of features and grouping the series of strokes are repeated subsequent to receipt of the plurality of strokes.
さらなる別の実施形態では、コンピュータ実行可能なコード部分を格納する少なくとも一つのコンピュータ読み取り可能なメモリを備えるコンピュータプログラム製品が提供される。ここで前記コンピュータ実行可能なコード部分は、重なった手書き入力を構成する一連のストロークを受け取るためのプログラム命令と；複数のストロークの各々につき、前記一連のストロークの幾何学的性質に基づいて現在のストロークに関連する複数の特徴を決定するためのプログラム命令とを備える。この実施形態におけるコンピュータ実行可能なコード部分はさらに、前記ストロークに関連する特徴に基づき、前記一連のストロークを一つ又は複数のストロークのグループにグループ分けするためのプログラム命令を備える。前述のように、前記ストロークのグループの各々は文字の一つ又は文字の部分であるが、どのストロークのグループも、一つより多い文字からのストロークを含まない。 In yet another embodiment, a computer program product comprising at least one computer readable memory storing computer executable code portions is provided. Wherein the computer-executable code portion includes program instructions for receiving a series of strokes comprising an overlapped handwriting input; and for each of a plurality of strokes, based on a geometric property of the series of strokes Program instructions for determining a plurality of features associated with the stroke. The computer-executable code portion in this embodiment further comprises program instructions for grouping the series of strokes into one or more stroke groups based on features associated with the strokes. As described above, each of the stroke groups is a character or a portion of a character, but no stroke group includes strokes from more than one character.
ある実施形態のコンピュータ実行可能なコード部分は、前記一連のストロークがグループ分けされた一つ又は複数のストロークのグループに基づいて、前記一連のストロークを一つ又は複数の文字にグループ分けするプログラムコード命令をさらに含んでもよい。それによって、ストロークのシリーズが文字にグループ分けされるときの効率が改善する。ある例示的実施形態におけるコンピュータ実行可能なコード部分は、前記一連のストロークの幾何学的特性だけに基づいて前記現在のストロークに関連する複数の特徴を決定することによって、前記現在のストロークに関連する複数の特徴を決定するプログラムコード命令を含んでもよい。実施形態によっては、前記コンピュータ読み取り可能なコード部分は、少なくとも一つのグループが少なくとも一つの他のグループから視覚的に区別されるように表示されるように、前記グループの少なくともいずれかを表示することを生じさせるプログラムコード命令を備えてもよい。それによって、重なった手書き入力の表示イメージは複雑さが減少し、ユーザが例えば直近のストロークを見ることが容易になる。 The computer-executable code portion of an embodiment includes program code for grouping the series of strokes into one or more characters based on the group of one or more strokes into which the series of strokes are grouped. Instructions may further be included. This improves the efficiency when a series of strokes is grouped into characters. The computer-executable code portion in an exemplary embodiment relates to the current stroke by determining a plurality of features associated with the current stroke based solely on the geometric characteristics of the series of strokes. Program code instructions for determining a plurality of features may be included. In some embodiments, the computer readable code portion displays at least one of the groups such that at least one group is displayed so as to be visually distinguished from at least one other group. May be provided with program code instructions for generating This reduces the complexity of the superimposed handwritten input display image and makes it easier for the user to see, for example, the most recent stroke.
実施形態によっては、前記コンピュータ読み取り可能なコード部分は、前記現在のストロークに関連する前記複数の特徴を規格化するためのプログラムコード命令を含んでもよい。これに関し、前記複数の特徴は、一連のストロークの全体の寸法に基づいて規格化されてもよい。前記現在のストロークに関連する前記複数の特徴を決定するにおいて、該複数の特徴は、現在のストロークの終点、現在のストロークの幾何学的中心、次のストロークの始点、次のストロークの幾何学的中心、現在のストロークを含む最小の矩形、次のストロークを含む最小の矩形、直前のストロークを含む最小の矩形を含むグループから選択されてもよい。 In some embodiments, the computer readable code portion may include program code instructions for normalizing the plurality of features associated with the current stroke. In this regard, the plurality of features may be normalized based on the overall dimensions of a series of strokes. In determining the features associated with the current stroke, the features include an end point of the current stroke, a geometric center of the current stroke, a start point of the next stroke, a geometric shape of the next stroke. The center, the smallest rectangle containing the current stroke, the smallest rectangle containing the next stroke, and the group containing the smallest rectangle containing the previous stroke may be selected.
前記コンピュータプログラム製品は、前記ストロークを、インクリメンタルモード又はバッチモードで分析してもよい。インクリメンタルモードでは、前記複数の特徴を決定すること及び前記一連のストロークをグループ分けすることは、後続のストロークの各々が受け取られたことに続いて繰り返される。バッチモードでは、前記複数の特徴を決定すること及び前記一連のストロークをグループ分けすることは、複数のストロークが受け取られたことに続いて繰り返される。 The computer program product may analyze the stroke in an incremental mode or a batch mode. In incremental mode, determining the plurality of features and grouping the series of strokes are repeated following each subsequent stroke received. In batch mode, determining the plurality of features and grouping the series of strokes are repeated subsequent to receipt of the plurality of strokes.
本明細書の開示事項のある例示的な実施形態を一般的に説明してきたが、ここで添付の図面を参照する。なお図面のスケールは正確であるとは限らない。 Having generally described certain exemplary embodiments of the disclosure herein, reference is now made to the accompanying drawings. Note that the scale of the drawing is not always accurate.
以下、添付図面を参照して本発明のいくつかの実施形態をより詳細に説明する。なお本発明の全ての実施形態が紹介されるわけではない。実際、本発明は様々な形態で実施されることができるので、本発明の実施形態がここで紹介される実施形態に限定されると考えてはならない。むしろここで紹介される実施形態は、本明細書が法的な要件を充足するために紹介されるものである。本明細書および図面を通じて同様の符号は同様の要素を表す。本明細書で使用されるとき、"データ"や"コンテンツ"、"情報"又は同様の用語は、本発明の実施形態において送信されたり受信されたり、保存されたりしうるデータを言い表すために互いに代替しうるように使用される。このため、このような用語が本発明の実施形態の範囲や技術思想を制限するものと考えてはならない。 Hereinafter, some embodiments of the present invention will be described in more detail with reference to the accompanying drawings. Note that not all embodiments of the present invention are introduced. Indeed, since the invention may be implemented in a variety of forms, it should not be considered that the embodiments of the invention are limited to the embodiments introduced herein. Rather, the embodiments introduced herein are introduced so that this specification will satisfy legal requirements. Like numbers represent like elements throughout the specification and drawings. As used herein, “data”, “content”, “information” or similar terms are used to describe data that may be transmitted, received, or stored in embodiments of the present invention. Used as an alternative. For this reason, such terms should not be considered as limiting the scope and technical idea of the embodiments of the present invention.
また、本明細書において「回路網（circuitry）」との用語は、（ａ）ハードウェアのみにより実装される回路（例えばアナログ回路及び／又はデジタル回路による実装）や、（ｂ）一つ又は複数のコンピュータ読み取り可能なメモリに記録されるソフトウェア及び／又はファームウェアと回路との組合せであって、本明細書に記載の一つ又は複数の機能を協働して装置に実行させる組み合わせ、（ｃ）例えば一つ又は複数のマイクロプロセッサや、一つ又は複数のマイクロプロセッサの部分であるような、一つ又は複数の回路であって、動作するために、（たとえ物理的には存在しないものであっても）ソフトウェア又はファームウェアを必要とするような回路、を言い表す。「回路網（circuitry）」のこの定義は、本明細書及び特許請求の範囲の全体にわたって適用されるべきものである。更なる例として、本明細書で使用されるとき、「回路網（circuitry）」との用語は、一つ又は複数のプロセッサ及び／又はこれらの一つ又は複数の部分と、これらに付随するソフトウェア及び／又はファームウェアを含む実装を含む。更なる例として、本明細書で使用されるとき、「回路網（circuitry）」との用語は、例えば、携帯電話におけるベースバンドＩＣやアプリケーションプロセッサＩＣ、サーバやセルラネットワークデバイス、その他のネットワークデバイス、及び／又はその他のコンピューティングデバイスにおける同様のＩＣを含む。 Further, in this specification, the term “circuitry” refers to (a) a circuit implemented only by hardware (for example, an analog circuit and / or a digital circuit), or (b) one or more. A combination of software and / or firmware and circuitry recorded in a computer readable memory of a computer, wherein the device cooperatively performs one or more functions described herein; (c) One or more circuits, such as one or more microprocessors or parts of one or more microprocessors, to operate (even if they are not physically present) Even if) a circuit that requires software or firmware. This definition of “circuitry” is to be applied throughout the specification and claims. By way of further example, as used herein, the term “circuitry” refers to one or more processors and / or one or more portions thereof and associated software. And / or implementations including firmware. By way of further example, as used herein, the term “circuitry” refers to, for example, baseband ICs and application processor ICs in cellular phones, servers and cellular network devices, other network devices, And / or similar ICs in other computing devices.
本明細書において"コンピュータ読み取り可能な記憶媒体"との用語は、一時的な記憶媒体ではない物理的な記憶媒体を言い表し、例えば揮発性又は非揮発性の記憶デバイスであり、電磁信号を言い表す"コンピュータ読み取り可能な送信媒体"からは区別されうるものである。 As used herein, the term “computer-readable storage medium” refers to a physical storage medium that is not a temporary storage medium, such as a volatile or non-volatile storage device and an electromagnetic signal. It can be distinguished from a “computer-readable transmission medium”.
図１に描かれるように、手書き入力はタッチスクリーンのようなユーザインタフェースを介して入力されることができる。手書き入力は連続的に重ねて行うことができる。すなわち、文字と文字の間に空間的又は時間的な分離は存在しない。この点につき、図１の例は、四つの文字が連続的に重なりあった状態を図示している。これら四つの文字は、それぞれ図１の下部に符号１００で示される文字である。この点につき、表示１０２は最初の文字の入力を描いたものであり、表示１０４は最初の文字入力と２番目の文字入力とが重なりあった状態を描いたものであり、表示１０６は最初の文字と次の文字、及び３番目の文字が重なりあった状態を描いており、表示１０８は、四つ全ての文字の入力が重なりあった状態を描いている。
As depicted in FIG. 1, handwriting input can be input via a user interface such as a touch screen. Handwriting input can be performed in a continuous manner. That is, there is no spatial or temporal separation between letters. In this regard, the example of FIG. 1 illustrates a state where four characters are continuously overlapped. These four characters are characters indicated by
重なりあった手書き入力は、ユーザにユーザインタフェースを十分に利用することを許す。これは、比較的小さく低解像度のタッチスクリーンにおいて、手書き入力を行うために指を使うユーザにとって特に有用である。さらに、重なりあった手書き入力を使用することは、手書き入力を受け取るためにどちらかといえば自然な技術であり、また速度の速い技術でもある。図１において、前に書いた文字に次の文字が重ね合わせられると混雑さが増していくことから理解されうるように、手書き入力において手書き入力の重ね合わせを用いることは、複数の文字のグループ化に関して難関をもたらす。さらに、手書き入力を重ねることは、他の重なっているいくつもの文字を重ねて同時に表示することの結果として、ユーザが現在書いている文字や直前に書いた文字を見ることをどちらかといえば困難にするかもしれない。そこで、本発明の例示的実施形態に従い、重なった手書き入力を予めグループ分けする技術が提供される。 Overwritten handwriting input allows the user to fully utilize the user interface. This is particularly useful for users who use their fingers to perform handwriting input on a relatively small, low resolution touch screen. Furthermore, using overlapping handwritten input is a rather natural technique for receiving handwritten input, and is also a fast technique. In FIG. 1, as can be understood from the fact that the next character is superimposed on the previously written character, the congestion increases. Bring about difficulties in the process. In addition, it is difficult to superimpose handwritten input, as a result of overlapping and displaying several overlapping characters at the same time, it is rather difficult to see the character that the user is currently writing or just written Maybe Therefore, according to an exemplary embodiment of the present invention, a technique for previously grouping overlapping handwritten input is provided.
予めグループ化されているかもしれない、重なった手書き文字は、例えばタッチスクリーンといったユーザインタフェースのような多種多様な入力デバイスによって提供される。それだけでなく、入力デバイスは、様々な種類の電子機器によって実現されてもよく、また、様々な種類の電子機器の部分を構成していてもよい。例えば図２は、本発明の例示的実施形態を実装しうる携帯端末１０のブロック図を描いている。ただし、携帯端末１０は、本明細書において、本発明の実施形態から利益を得られるデバイスの種類の一つの例としてここに紹介され説明されるにすぎず、その他の多くの種類の携帯端末も、本発明の例示的実施形態を容易に採用可能である。そのような携帯端末には、例えばＰＤＡや携帯電話、ポケットベル、携帯テレビ、ゲーム機、ラップトップコンピュータ、カメラ、ビデオデコーダ、音楽／ビデオプレーヤ、ラジオ、ＧＰＳデバイスなどの測位デバイス、これらのいずれか一つ以上組み合わせ、その他の種類の音声やテキストの通信システムなどが存在する。
Overlapping handwritten characters that may be grouped in advance are provided by a wide variety of input devices such as user interfaces such as touch screens. In addition, the input device may be realized by various types of electronic devices, and may constitute a part of various types of electronic devices. For example, FIG. 2 depicts a block diagram of a
携帯端末１０は、送信機１４及び受信機１６と協働するアンテナ１２又は複数のアンテナを備えてもよい。携帯電話１０はさらに、送信機１４及び受信機１６との間でそれぞれ信号を提供したり信号を受信したりするような、プロセッサ２０のような装置を備えてもよい。この信号には、使用可能なセルラシステムの無線インタフェース規格に従うシグナリング情報や、ユーザのスピーチ、受信したデータ及び／又はユーザ生成したデータが含まれる。この点につき、携帯端末１０は、一つ又は複数の無線インタフェース規格や通信プロトコル、変調タイプ、アクセスタイプで動作することが可能である。例ではあるが、携帯端末１０は、第一世代、第２世代、第３世代、第４世代、及び同様の通信プロトコルのうちいずれか一つ以上で動作することが可能である。例えば、携帯端末１０は、第２世代（２Ｇ）の無線通信プロトコルであるＩＳ−１３６や時分割多重アクセス（ＴＤＭＡ）、ＧＳＭ、ＩＳ−９５符号分割多重アクセス（ＣＤＭＡ）で動作することや、第３世代（３Ｇ）の無線通信プロトコルである例えばＵＭＴＳやＣＤＭＡ２０００、ＷＣＤＭＡ、ＴＤ−ＳＣＤＭＡで動作すること、また３．９Ｇの無線通信プロトコルであるＥ−ＵＴＲＡＮ、第４世代（４Ｇ）の無線通信プロトコル又は同様のもので動作することが可能であってもよい。これらとは別に、又は追加的に、携帯端末１０はセルラ通信機構ではない通信機構に従って動作することが可能であってもいる。例えば携帯端末１０は、無線ＬＡＮ（ＷＬＡＮ）やその他の通信ネットワークの通信機能を有していてもよい。
The
ある実施形態では、プロセッサ２０は、携帯端末１０の音声及びロジック機能を実装するのに適した回路網を備えていてもよい。例えばプロセッサ２０は、一つ又は複数のデジタル信号プロセッサ及び／又は一つ又は複数のマイクロプロセッサを備えていてもよい。プロセッサまた、一つ又は複数のＡ／Ｄコンバータや一つ又は複数のＤ／Ａコンバータ、及び／又はその他のサポート回路を備えていてもよい。携帯端末１０の制御及び信号処理機能は、それぞれの能力に従って、これらのデバイスの中に割り当てられている。プロセッサ２０は、変調して送信する前に、畳み込み的な符号化や、メッセージおよびデータのインタリーブを行う機能を有していてもよい。プロセッサ２０はさらに、音声符号器やデータモデムを内蔵していてもよい。プロセッサ２０はさらに、メモリに格納されていてもよい一つ又は複数のソフトウェアプログラムを動作させる機能を含んでいてもよい。例えばプロセッサ２０は、よく用いられているWebブラウザのような通信プログラムを動作させる機能を有していてもよい。通信プログラムは、携帯端末１０がWebコンテンツを送信したり受信したりすることを可能にする。そのようなWebコンテンツは、ロケーションベースのコンテンツであったり、例えばＷＡＰやＨＴＴＰなどに従うウェブページコンテンツであったりしてもよい。
In some embodiments, the
携帯端末１０はまた、従来型の出力デバイスであるイヤホンまたはスピーカ２４や、リンガ２２、マイクロホン２６、ディスプレイ２８、またユーザ入力インタフェースのような入力デバイスを含むユーザインタフェースを備えていてもよく、これら全てがプロセッサ２０２接続される。ユーザインタフェースは携帯端末１０がデータを受信することを可能にし、また携帯端末１０がデータを受信することを可能にするデバイスをいくつも備えてもよい。そのようなデバイスには、例えばキーパッド３０、ディスプレイ２８で表されているようなタッチスクリーンディスプレイ、またその他の入力デバイスが存在する。キーパッド３０を含む実施形態では、キーパッドはよく用いられている０−９の数字キーや関連する＃，＊のようなキー、またその他のハードキーやソフトキーを備え、それらは携帯端末１０を操作するために使われてもよい。キーパッド３０はまた、それぞれ機能に関連付けられた多くのソフトキーを備えていてもよい。それに加えて、又は代替的に、携帯端末１０は、携帯端末１０を動作させるための様々な回路に電源を供給し、また現地可能な出力としての機械的な振動を提供する、振動バッテリパックのようなバッテリ３４を備えてもよい。
The
前述のように、ユーザ入力インタフェースは既知のいかなるタッチスクリーンディスプレイとして具現化されうるタッチスクリーンディスプレイ２８を含んでもよい。したがって、例えば、タッチスクリーンディスプレイ２８は、抵抗や容量、赤外線、歪みゲージ、表面波、光学イメージ、分散信号技術、音響パルス認識など、適当な技術により触知認識が可能なように構成されていてもよい。タッチスクリーンディスプレイ２８は、ユーザ入力を示す情報を受け取り、ユーザ入力の情報をプロセッサ２０に渡すように構成されていてもよい。
As mentioned above, the user input interface may include a
携帯端末１０はまた、ユーザ認識モジュール（ＵＩＭ）３８を備えていてもよい。ＵＩＭ３８は、典型的には内蔵のプロセッサを有するメモリデバイスである。ＵＩＭ３８には、例えば、加入者識別モジュール（ＳＩＭ）や、ＵＩＣＣカード、ＵＳＩＭ、Ｒ−ＵＩＭなどが含まれる。ＵＩＭ３８は、典型的に、携帯加入者に関する情報要素を格納する。ＵＩＭ３８に加えて携帯端末１０はメモリを備えていてもよい。例えば携帯端末１０は、データの一時的な保管のためのキャッシュ領域を備えるランダムアクセスメモリ（ＲＡＭ）のような揮発性メモリを備えていてもよい。携帯端末１０はまた、内蔵の及び／又は着脱可能な非揮発性メモリ４２を備えていてもよい。これらのメモリは、携帯端末１０の機能を実装するために携帯端末１０に使用されるいかなる数の情報片やデータを格納してもよい。例えばメモリは、携帯端末をユニークに識別可能な国際移動体装置識別コード（ＩＭＥＩコード）のような識別情報を格納していてもよい。さらにメモリは、セルＩＤ情報を決定するための命令を格納していてもよい。特にメモリは、プロセッサ２０により実行されるアプリケーションプログラムであって、携帯端末１０が通信中の現在セルの識別情報（例えばセルＩＤ識別子やセルＩＤ識別情報）を決定するアプリケーションプログラムを格納していてもよい。
The
入力デバイスの種類に関わらず、また入力デバイスを含む電子機器の種類に関わらず、重なった手書き入力は、図３に示される例示的実施形態に従って解析されてもよい。この実施形態では、重なった手書き情報は例えば図２のタッチスクリーンディスプレイ２８のようなタッチスクリーン１１０を介して受け取られる。手書き入力の個々のストロークは特徴抽出部１１２に渡されてもよく、そこでストロークに関連する一つ又は複数の特徴が、以下に説明されるように決定される。続いて、例えば分類部１１４において、現在のストロークは先行するストロークと同じストロークグループの一部であるか、又は他のストロークグループの部分であるかの決定が行われる。現在のストロークが属するグループを決定するために現在のストロークに関連する特徴を解析するために様々な分類手段が用いられてもよいが、共通の分類手段、例えばサポートベクターマシンや人工ニューラルネットワークのような共通の統計的分類手段が用いられてもよい。
Regardless of the type of input device and regardless of the type of electronic device that includes the input device, the overlapping handwritten input may be analyzed according to the exemplary embodiment shown in FIG. In this embodiment, the overlapped handwritten information is received via a
図３に描かれるように、分類手段１１４は、グループ分けルール１１６を利用することにより、現在のストロークを分析する。グループ分けルール１１６は様々な方法で定められる。しかし、例示される実施形態では、連続した手書きストロークの様々な組み合わせを格納する手書きデータベース１１８が設けられる。手書きデータベース１１８に含まれるひとつながりのストロークの各々は特徴抽出１２０に渡され、そこで手書きデータベースに受けるひとつながりのストロークの各々は、ひとつながりのストロークに関連する特徴や、そのつながりを構成する個々のストロークの特徴を特定するために解析される。ある実施形態では、抽出され、手書きデータベース１１８の現在のストロークに関連付けられた特徴は、グループ分けルールを改善するためにトレーニング部１２２に渡される。この点につき、手書きデータベース１１８は、異なる人々によって書かれた異なる単語や文章の多くのサンプルを含んでいてもよい。単語や文章は、手動によって文字に分けられていてもよい。この文字への分離に基づいて、個々のストロークは、文字の最後のストロークであるか否かに分類される。それによってトレーニング部１２２は、ストロークが文字の最後のストロークであるか否かを決定するために考慮すべきパラメータを定義するグループ分けルールを確立するために、手書きデータベース１１８の中のストロークから学習する。以下に説明されるように、ストロークは、そのストロークの様々なパラメータに基づいて特徴ベクトル及びその特徴ベクトルの値により表現されてもよく、その後、グループ分けルール１１６に基づいて分類手段１１４によって決定されてもよい。分類手段はストロークを表現する特徴ベクトルの値を所定の閾値と比較し、当該ストロークが文字の最後のストロークであるか否かを決定してもよい。そして、手書きデータベース１１８の中の様々なストロークの全てに対して、ストロークの正しい分類という観点から最も高い成功率を提供するパラメータのセットを決定するように、トレーニング部１２２が役立てられてもよい。トレーニング部１２２に基づいて、グループ分けルール１１６が定義される。グループ分けルール１１６は、分類手段１１４が、手書きデータベースに格納される様々なストロークの組み合わせに基づいてストロークを分類するために利用しうるパラメータのセットを定義する。このパラメータのセットは、例えば、ひとつながりストロークに関連する特徴及び／又はそのつながりを構成する個々のストロークに関連する特徴に関する。現在のストロークから抽出された特徴に基づいて特徴ベクトルの値を所定の閾値と比較することにより、分類手段１１４は、現在のストロークが、先行するストロークと同じストロークグループの一部であるのか、別のストロークグループに属するものであるかを決定する。
As depicted in FIG. 3, the classification means 114 analyzes the current stroke by utilizing the
目的はストロークを完全な文字にグループ分けすることであるので、グループ分けされたグループが文字の一部しか含んでいなかったり、グループ分けされたグループ二つ以上の文字からのストロークを含んでいたりすると、エラーが生じてもよい。グループ分けされたグループが後続の予備的グループ分けと組み合わされてもよいので、ある例示的実施形態の方法及び装置は、グループ分けされたグループが文字の一部しか含んでいないことに関連するどのようなエラーにも容易に対応して訂正することができてもよい。そこで、ある実施形態では、グループ分けされたグループが二つ以上の文字からのストロークを含む可能性を減らすように所定の閾値が調節されてもよい（例えば増やされてもよい）。 The purpose is to group strokes into complete characters, so a grouped group contains only part of a character, or a grouped group contains strokes from two or more characters. An error may then occur. Since grouped groups may be combined with subsequent preliminary groupings, the method and apparatus of an exemplary embodiment may be used to determine which grouped group contains only part of a character. Such an error may be easily dealt with and corrected. Thus, in some embodiments, the predetermined threshold may be adjusted (eg, increased) to reduce the likelihood that the grouped group will contain strokes from more than one character.
図３の例示的実施形態では、これらの処理は、トレーニングフェーズを構成する破線の上に存在する。したがって、これらの処理は予め実行されていてもよく、タッチスクリーン１１０が重なった手書き入力を受け取ったときに繰り返される必要は無い。しかし、実装フェーズ１２４を構成する破線の下の処理については、重なった手書き入力を受け取ったときに又は受け取ったことに続いて実行される。例えば、タッチスクリーン１１４の上に一つ又は複数のストロークが入力されたことに続いて実行される。
In the exemplary embodiment of FIG. 3, these processes are above the dashed lines that make up the training phase. Therefore, these processes may be performed in advance, and do not need to be repeated when the
さらなる説明のために図４を参照する。図４は、本発明の例示的実施形態に従い装置が実行する処理を描いたものである。この装置は、例えば携帯端末１０によって利用されてもよい。しかしこの装置は他にも様々なデバイスとして具現化されてもよく、移動型でも固定型でもよく、例えば上述の如何なるデバイスとして具現化されてもよい。この装置は、プロセッサ２０やタッチスクリーンディスプレイ２８のようなユーザ入力インターフェースなどのような、一連のストロークを受け取る手段を有していてもよい（図４の処理１３０）。上述のように、受け取られる複数のストロークは重なった手書き入力を含んでおり、すなわち複数の文字が連続的に次々と書かれた手書き入力を含んでいる。個々のストロークについて複数の特徴が決定されてもよい（処理１３２）。この点につき、装置は、個々のストロークに関する複数の特徴を決定するための、例えばプロセッサ２０などの手段を備えていてもよい。本発明の例示的実施形態に従って、様々な特徴が決定されてもよい。しかしながら、ある実施形態では、現在のストロークのために決定される複数の特徴は、現在のストロークに関する特徴を含むと共に、その前の及びその後のストロークに関する特徴も決定される。この点につき、図５は現在のストローク２００，以前のストローク２１０，後のストローク２２０を含む、互いに重なった複数の手書き文字を描いている。
Refer to FIG. 4 for further explanation. FIG. 4 depicts the processing performed by the apparatus according to an exemplary embodiment of the present invention. This apparatus may be used by the
例として、現在のストロークのために決定される特徴には、現在のストロークの終点、現在のストロークの幾何学的中心、次のストロークの始点、次のストロークの幾何学的中心、現在のストロークを含む最小の矩形、次のストロークを含む最小の矩形、前のストロークを含む最小の矩形を含んでもよい。特定の点または位置を定義する特徴は、一般的に、ｘ座標，ｙ座標などの座標のペアによって定義される。同様に、矩形やその他の２次元形状によって定義される特徴は、形の左右の座標及び上下の座標のような四つの特徴によって定義されてもよい。図５を参照して、ある例示的実施形態に従い現在の特徴から抽出された特徴は、符号２０４で示される現在のストロークの終点のｘｙ座標（endX, endY），符号２０６で示される現在のストロークの幾何学的中心（currentGCX, current GCY），符号２２２で示される次のストロークの始点（startX, startY），符号２２６で示される次のストロークの幾何学的中心（nextGCX, next GCY）、現在のストロークを含む最小の矩形、次のストロークを含む最小の矩形、前のストロークを含む最小の矩形を含んでもよい。図５において、それぞれの矩形は四つの特徴、つまり、左右上下に関連する座標によって定義されてもよい。例として、現在のストロークの最小矩形に関連する特徴は、図５において、currentLeft，currentRight，currentTop，currentBottomによって表されている。図５には符号２０２で示される現在のストロークの始点、符号２２４で示される次のストロークの終点、符号２１２及び２１４でそれぞれ示される前のストロークの始点及び終点といった他の点も示されている。これら他の点は本例示的実施形態において抽出されていないが、方向を示すために描かれている。
As an example, the features determined for the current stroke include the end point of the current stroke, the geometric center of the current stroke, the start point of the next stroke, the geometric center of the next stroke, and the current stroke. It may include the smallest rectangle containing, the smallest rectangle containing the next stroke, and the smallest rectangle containing the previous stroke. A feature that defines a particular point or position is generally defined by a pair of coordinates, such as an x coordinate, a y coordinate, and the like. Similarly, features defined by rectangles and other two-dimensional shapes may be defined by four features such as left and right coordinates and up and down coordinates of the shape. Referring to FIG. 5, the features extracted from the current feature according to an exemplary embodiment are the xy coordinates (endX, endY) of the end point of the current stroke indicated at 204, the current stroke indicated at 206. Geometric center (currentGCX, current GCY), start point of next stroke indicated by reference numeral 222 (startX, startY), geometric center of next stroke indicated by reference numeral 226 (nextGCX, next GCY), current It may include the smallest rectangle containing the stroke, the smallest rectangle containing the next stroke, and the smallest rectangle containing the previous stroke. In FIG. 5, each rectangle may be defined by four features, that is, coordinates related to the left, right, up, and down directions. As an example, the features associated with the smallest rectangle of the current stroke are represented in FIG. 5 by currentLeft, currentRight, currentTop, currentBottom. Also shown in FIG. 5 are other points such as the start point of the current stroke indicated by
ストロークの幾何学的中心は様々な方法で定義されることができるが、ある例示的実施形態では、ストロークの幾何学的中心はストロークの全ての座標の平均座標で定義される。例として、終点｛(xi, yi), i=0...n-l｝を含むストロークの幾何学的中心（GCX, GCY）は次のように定義される。
GCX = sum (xi)/n, GCY=sum(yi)/n; i=0... n-1
Although the geometric center of the stroke can be defined in various ways, in one exemplary embodiment, the geometric center of the stroke is defined by the average coordinate of all the coordinates of the stroke. As an example, the geometric center (GCX, GCY) of the stroke including the end point {(x i , y i ), i = 0 ... nl} is defined as follows:
GCX = sum (x i ) / n, GCY = sum (y i ) / n; i = 0 ... n-1
複数の重なった文字や、文字を構成する対応するストロークは、それぞれ異なるサイズを有するかもしれず、小さく書かれたり大きく書かれたりするかもしれず、しかも同じ意味を伝えようとしているかもしれない。そこで装置は、考慮すべき現在のストロークから抽出された特徴を規格化する手段（例えばプロセッサ２０など）を備えていてもよい。この規格化は、例えば同じストロークのサイズによる違いの影響を除去することにより行われてもよい（図４の処理１３４参照）。ある実施形態では、規格化は、一連のストロークの全体の寸法に基づいて行われてもよい。これに関し、例えば図５に描かれるように、個々の手書きストロークを含む最小の矩形が定義されてもよい。これについて、全てのストロークを含む最小の矩形は、重なった手書き文字の左右上下に関連する座標によって定義されてもよい。この例示的実施形態において、全てのストロークを含む最小の矩形は、その一つの角が座標系の原点に位置し、２つの側面が座標軸に沿うようにされる。従って、全てのストロークを含む最小矩形は、全幅（totalWidth）と全高（totalHight）で簡単に表されてもよい。
Multiple overlapping characters and the corresponding strokes that make up a character may have different sizes, may be written smaller or larger, and may attempt to convey the same meaning. The apparatus may therefore comprise means (eg
ある実施形態において、上述の特徴は表１のように規格化されることができる。表１において、"Current"，"Next"，"Pre"のプレフィックスは、それぞれ現在、次、前のストロークに関連する特徴を表す。
ここで、CurrentStrokeEndX及びCurrentStrokeEndYはそれぞれ現在のストロークの終点のｘ座標及びｙ座標を規格化したものであり、NextStrokeStartX及びNextStrokeStartYは次のストロークの始点のｘ座標及びｙ座標を規格化したものであり、CurrentGCX及びCurrentGCYはそれぞれ現在のストロークの幾何学的中心のｘ座標及びｙ座標を規格化したものであり、NextGCX及びNextGCYはそれぞれ次のストロークの幾何学的中心のｘ座標及びｙ座標を規格化したものである。CurrentLeft，CurrentRight，CurrentTop，CurrentBottomは、それぞれ現在のストロークの左右上下の座標である。NextLeft，NextRight，NextTop，NextBottomは、それぞれ次のストロークの左右上下の座標である。PreLeft，PreRight，PreTop，PreBottomは、それぞれ前のストロークの左右上下の座標である。 Here, CurrentStrokeEndX and CurrentStrokeEndY are the normalized x and y coordinates of the end point of the current stroke, respectively. NextStrokeStartX and NextStrokeStartY are the normalized x and y coordinates of the start point of the next stroke. CurrentGCX and CurrentGCY are normalized x and y coordinates of the geometric center of the current stroke, respectively. NextGCX and NextGCY are normalized x and y coordinates of the geometric center of the next stroke, respectively. Is. CurrentLeft, CurrentRight, CurrentTop, and CurrentBottom are the left, right, top and bottom coordinates of the current stroke, respectively. NextLeft, NextRight, NextTop, and NextBottom are the left, right, top and bottom coordinates of the next stroke, respectively. PreLeft, PreRight, PreTop, and PreBottom are the horizontal and vertical coordinates of the previous stroke, respectively.
ある実施形態では、現在のストロークから抽出された複数の特徴が組み合わされる。例えばプロセッサ２０によって特徴ベクトルに組み合わされる。解析中の現在のストロークが最初のストロークである場合、前のストロークは存在しないであろう。そのような場合、前のストロークに関する特徴は所定の当たり、例えば−１にセットされる。
In some embodiments, features extracted from the current stroke are combined. For example, it is combined with the feature vector by the
現在のストロークのための複数の特徴が決定され、実施形態によってはこれら複数の特徴が規格化されると、一連のストロークが一つ又は複数のストロークのグループにグループ分けされる。このグループ分けが、ストロークに関連する特徴に基づいて行われる（図４の処理１３６参照）。従って装置は、一連のストロークを一つ又は複数のストロークのグループにグループ分けする、例えばプロセッサ２０のような手段を備えてもよい。上述のように、一連のストロークを一つ又は複数のストロークのグループにグループ分けすることは分類手段１１４によって行われてもよい。またそのための技術を後に詳細に説明する。装置はまた、一連のストロークを一つ又は複数の文字にグループ分けするための、例えばプロセッサ２０のような手段を備えてもよい（処理１３８参照）。文字のグループ分けは、上記一連のストロークが分類された、一つ又は複数のストロークのグループに基づいて行われてもよい。グループに基づいて文字へグループ分けすることは、様々な手法により行うことができる。そのような手法には、ストロークの特徴ベクトルを適切に評価するために分類手段１１４によって利用されるパラメータを定義する、グループ分けルール１１６や同様のものを利用する手法が含まれる。従って、ある例示的実施形態のプロセッサ２０は、図３に関連して上に説明された特徴抽出部１１２，分類手段１１４，グループ分けルール１１６を含むか、これらを具現化してもよい。最初にストロークのグループを定義し、続いてそのグループに基づいて文字を定義することにより、ストロークの文字へのグループ分けを計算上効率的に行なうことができる。つまり、ストロークのグループ分けという中間処理を行わずに重なった複数の文字のグループ分けを行う場合よりも効率的に行なうことができる。
Once the features for the current stroke are determined and, in some embodiments, these features are normalized, the series of strokes is grouped into one or more groups of strokes. This grouping is performed based on the features related to the stroke (see
図６を参照すると、複数の重なった文字が符号２３０で示されている。一連のストロークをストロークのグループにグループ分けすることにより、符号２３２で示されるように、複数のグループが定義される。その後、符号２３４に示されるように、定義されたグループに基づいて、一連のストロークが複数の文字に分類される。そして、符号２３６に示されるように、パターン認識などのような技術により、結果として得られた文字が認識されてもよい。このように、複数の重なった手書き文字が効率的及び効果的にグループ分けされ、ひとつながりの文字列として認識されてもよい。図６の実施形態において、グループに基づいてストロークを文字へグループ分けすることは、グループの可能な組み合わせを複数特定する。例えば符号２３４及び２３６で示されるように、グループの全ての可能な組み合わせを特定する。ここで、グループの異なる組合せにより表される複数の文字が、手書き認識エンジンによって認識されてもよい。手書き認識エンジンは、プロセッサ２０や、プロセッサと協働するコンピュータ装置によって具現化されうる。ある実施形態において、手書き認識エンジンは、グループの個々の組み合わせと文字の現在のセットとの類似度を決定してもよい。そして、グループの組み合わせにより表される文字のセットの各々が言語モデルによって分析され、文字のセットの各々がどのくらい意味を有するかが決定される。ここで言語モデルは、プロセッサ２０や、プロセッサと協働するコンピュータ装置によって具現化されうる。プロセッサ２０や手書き認識エンジン、及び／又は言語モデルのような装置は、続いて、可能な文字のセットの各々にスコアを割り当てる。この割り当ては、手書き認識エンジンによって決定された類似度の測度や、言語モデルによって決定された、現在の文字セットがどのくらい意味を有するかの測度、また実施形態によってはグループの所定の幾何学的性質の測度の組み合わせに基づいて行われうる。この点につき、一つ又は複数の所定の幾何学的性質を満足させるかどうかを決定すべく、例えばプロセッサ２０によって個々のグループが分析されてもよい。例えば、ある幾何学的性質はグループのサイズに関連していてもよく、所定の閾値より小さなグループは、文字全体とするには小さすぎると考えられてもよい。幾何学的性質の別の例は、手書き領域の端に沿って位置するグループ（例えばタッチスクリーンディスプレイ２８の左端又は右端の部分に位置するグループ）は、文字全体としては考えないとしてもよい。プロセッサ２０などによって、最も高いスコアを有すると判断された文字のセットが、符号２３８に示されるように、複数の重なった文字に最も適合する文字のセットであると特定されてもよい。この判断は、例えば類似度や意味、幾何学的性質の一つ又は複数に基づいて行われてもよい。
Referring to FIG. 6, a plurality of overlapping characters are indicated by
実施形態によっては、組み合わせの特定やその後の処理の効率を向上させるために、グループの可能な複数の組み合わせを同定する処理において、一つ又は複数の制限を加えてもよい。例えば、可能な組み合わせや文字は、最大四つのグループに限定されるという制限を加えてもよい。 In some embodiments, one or more restrictions may be added in the process of identifying a plurality of possible combinations of groups in order to identify combinations and improve the efficiency of subsequent processing. For example, possible combinations and characters may be limited to a maximum of four groups.
一連のストロークを一つ又は複数のストロークグループにグループ化することは、重なった複数の文字をグループ分けしうることの効率を向上させるだけでなく、手書き入力の表示を便利にしてもよい。この点について、装置は、少なくとも一つのグループが、他のグループから区別されていることができるように、少なくともいくつかのグループを表示させるための手段、例えばプロセッサ２０やディスプレイ２８のような手段を備えていてもよい（図４の処理１４０を参照）。例えば、少なくとも一つのグループは表示されず、グループのサブセットのみが表示されてもよい。例えば比較的少数の直近のグループのみが表示され、その他のグループはディスプレイ２８に表示されないようにしてもよい。それによって、ディスプレイ２８の雑然さが減少し、ユーザは現在入力中のストロークや直前に入力したストロークを容易に見ることができるようになるだろう。別の実施形態では、表示されるストロークグループの間を視覚的に区別可能に描画されるように、ストロークの複数のグループを表示してもよい。例えば、複数のストロークのグループが、それぞれ異なる色や輝度で表示されてもよい。例えば、ストロークが受け取られた順番に応じて、色や輝度を変えてもよい。ある実施例では、直近のストロークグループが最も濃い色（及び／又は輝度）で表示され、その直前のストロークグループは少し薄い色（及び／又は輝度）で表示され、以下同ようにして、最初のストロークグループが、最も薄い色（及び／又は輝度）で表示されてもよい。別様には、異なるストロークグループは異なるタイプの線で表されてもよい。例えば、直近のストロークグループは実線で表示され、その直前のストロークグループは破線で表示されるとしてもよい。いずれの実施形態においても、異なるストロークグループが視覚的に区別しうるようにストロークグループが表示され、まだ実施形態によっては、直近のストロークグループがより容易に判別しうるように表示される。
Grouping a series of strokes into one or more stroke groups not only improves the efficiency of being able to group overlapping characters, but may also make handwritten input display more convenient. In this regard, the device includes means for displaying at least some groups, such as
ある実施例では、ストロークに関連する特徴の決定や、ストロークの現在のグループへのグループ分けは、例えば図７に描かれるように、個々のストロークの入力に続いて行われてもよい。以下の図７の説明に関し、現在のストローク及び（上述のような）次のストロークは、それぞれストロークｋ−１及びストロークｋと言い表される。図７の処理２５０，２５２，２５４を参照して、ストロークｋの入力に続き、このストロークが最初のストロークであるか否かの決定が行われる。すなわちｋ＝０であるか否かの決定が行われる。入力されたストロークが最初のストロークである場合、実際の手書き領域が初期化されてもよい（処理２５６）。ここで「実際の手書き領域」は、最初のストロークを包囲する最小の矩形がであるというように初期化されてもよく、また、図５に示される座標系における向き及び位置における、その矩形の全幅および全高によって定義されてもよい。また、矩形の上下左右の座標によって定義されてもよい。上下左右の座標は別の向き及び位置に関するものではない。その後カウンタｋはインクリメントされ、次のストロークの入力を待つ（処理２５８）。次のストロークの入力に続いて「実際の手書き領域」は、両方のストロークを包囲する最小の矩形であるように再計算される（処理２６０）。その後、現在のストロークｋ−１の特徴が決定されてもよい（処理２６２）。ストロークｋ−１について決定された特徴に基づいて、分類手段１１４は値Spreを準備する。この点につき、分類手段１１４は、ストロークｋ−１の特徴ベクトル及びグループ分けルール１１６に基づいて値Spreを準備する（図４の処理２６４）。グループ分けルール１１６は、分類手段がストロークの特徴ベクトルを評価するために利用するパラメータを定義する。分類手段１１４によって準備される値Spreは、分類のための既定の閾値Tpreと比較されてもよい（処理２６６）。分類手段１１４によって提供される値Spreが分類のための閾値Treを越える場合は、ストロークｋ−１とストロークｋは異なるグループに属すると考える（処理２６８）。反対に、分類手段１１４によって提供される値Spreが分類のための閾値Treを超えない場合は、ストロークｋ−１とストロークｋは同じグループに属すると考える（処理２７０）。一連のストロークを適切にグループに分類するべく、上述の及び図７に示される処理は、入力されたストロークごとにｋの値を一つずつ増やして繰り返されて行われてもよい。
In some embodiments, determining stroke-related features and grouping strokes into current groups may be performed following entry of individual strokes, for example, as depicted in FIG. For the description of FIG. 7 below, the current stroke and the next stroke (as described above) are referred to as stroke k-1 and stroke k, respectively. Referring to
ストロークを適切にグループ分けするために個々のストロークの後にストロークを分析する方法の代わりに、例えば図８２示されるように、複数のストロークをバッチ処理で分析してもよい。これについて、「実際の手書き領域」は、複数のストローク０，１，．．Ｍ−１を囲む最小の矩形として定義されてもよい（処理２８０）。その後カウンタｋがｋ＝１であるように初期化され、例えばカウンタをストロークの数Ｍと比較することにより、バッチの全てのストロークが考慮されたか否かが決定される（処理２８２，２８４）。全てのストロークがまだ考慮されていない場合、ストロークｋ−１の特徴が決定され、続いて例えば分類手段１１４によって、ストロークｋ−１の特徴に基づいてストロークｋ−１のために値Spreが決定される（処理２８６，２８８）。前と同様に、分類のために値Spreを閾値Tpreと比較することが、ストロークｋ−１とストロークｋのために実行され、値Spreが分類のための閾値Tpreよりも大きいか否かによって、これらが異なるグループに属するとするか同じグループに属するとするかの分類が行われる（処理２９０，２９２，２９４）。この処理は、図示されるように処理２９６でカウンタｋをインクリメントすることにより、バッチの個々のストロークについて繰り返され、個々のストロークが考慮され適切にグループ分けされるまで続く。
Instead of a method of analyzing strokes after individual strokes in order to properly group the strokes, multiple strokes may be analyzed in a batch process, for example as shown in FIG. In this regard, the “actual handwritten area” includes a plurality of
図４，７，８は、本発明の例示的実施形態に従う方法及びプロダクト製品のフローチャートである。フローチャートの個々のブロック及びフローチャートのブロックの組み合わせは様々な手段によって実施されることに留意されたい。そのような手段には、例えばハードウェアやファームウェア、プロセッサ、回路網、及び／又はソフトウェアの実行に関連付けられるデバイスが含まれる。また当該ソフトウェアは一つ又は複数のコンピュータプログラム命令を含む。例えば上述の一つ又は複数の手続きは、コンピュータプログラム命令により具現化されることができる。ここで、上述の手続きを具現化するコンピュータプログラム命令は、携帯端末１０の記憶デバイスに格納されていてもよく、携帯端末のプロセッサ２０により実行されてもよい。理解されるように、どのようなコンピュータプログラム命令もコンピュータや例えばハードウェアのような他のプログラム可能な装置にロードされて機械を構成する。すなわち、命令がコンピュータ又はその他のプログラム可能な装置で実行されると、一つ又は複数のフローチャートのブロックにより特定される機能を実装するための手段を形成する。これらのコンピュータプログラム命令はコンピュータ読み取り可能なメモリに格納されてもよく、固有の方法でコンピュータ又はその他のプログラム可能な装置を機能させるべく命令してもよい。すなわち、コンピュータ読み取り可能なメモリに格納される命令は、一つ又は複数のフローチャートのブロックにより特定される機能実装する命令手段を備える製品を形成する。コンピュータプログラム命令はコンピュータ又はその他のプログラム可能な装置にロードされ、一連の動作を前記コンピュータ又はその他のプログラム可能な装置で実行させることにより、コンピュータ実装プロセスを生成する。すなわち、コンピュータ又はその他のプログラム可能な装置で命令が実行されることにより、フローチャートブロックの一つ又は複数で特定される機能を実装する。
4, 7, and 8 are flowcharts of methods and product products according to exemplary embodiments of the present invention. Note that the individual blocks of the flowchart and the combinations of the blocks of the flowchart are implemented by various means. Such means include, for example, hardware and firmware, processors, circuitry, and / or devices associated with software execution. The software also includes one or more computer program instructions. For example, the one or more procedures described above can be embodied by computer program instructions. Here, the computer program instructions that embody the above-described procedure may be stored in the storage device of the
従って、フローチャートのブロックは、特定の機能を実行するための手段の組み合わせや、特定の機能を実行するための動作の組み合わせ、特定の機能を実行するためのプログラム命令をサポートする。また、フローチャートの一つの複数のブロックや、フローチャートのブロックの組み合わせは、特定の機能を実行する専用のハードウェアベースのコンピュータシステムや、専用ハードウェアとコンピュータ命令との組み合わせによって実装されうることにも留意されたい。 Accordingly, the blocks in the flowchart support a combination of means for executing a specific function, a combination of operations for executing a specific function, and a program instruction for executing a specific function. In addition, a plurality of blocks in the flowchart and combinations of blocks in the flowchart can be implemented by a dedicated hardware-based computer system that executes a specific function or a combination of dedicated hardware and computer instructions. Please keep in mind.
ここで説明された発明についての多くの変形その他の実施形態が、前述の説明や関連する図面に示される教示から利益を受けうる、本発明に関連する当業者に想起されるであろう。従って本発明は、ここで退治された特定の実施形態に制限されるものと理解されてはならず、上述の変形その他の実施形態も、添付の請求項の範囲に含まれるべきものである。さらに、上述の説明や関連する図面が要素や機能の或る例示的な組み合わせという文脈で例示的な実施形態を説明してきたが、別の実施形態では、添付の請求項の範囲を逸脱せずに、要素や機能の異なる組み合わせも可能であることに留意されたい。ここで例えば、上で明示的に説明されている要素や機能の組み合わせ以外の組み合わせも、添付の請求項のいずれかに属するものと考えるべきである。本明細書では特定の語句が使用されているが、それは一般的かつ説明の意味で使われており、限定する目的で使われてはいない。 Many variations and other embodiments of the invention described herein will occur to those skilled in the art to which the invention pertains that may benefit from the teachings presented in the foregoing description and the associated drawings. Therefore, the present invention should not be construed as limited to the particular embodiments sought out here, and such modifications and other embodiments are also intended to be included within the scope of the appended claims. Moreover, while the foregoing description and related drawings have described exemplary embodiments in the context of certain exemplary combinations of elements and functions, other embodiments do not depart from the scope of the appended claims. Note that different combinations of elements and functions are possible. Here, for example, combinations other than those explicitly described above should be considered as belonging to any of the appended claims. Although specific terms are used herein, they are used in a general and descriptive sense and not for purposes of limitation.
Claims (36)
重なった手書き入力を構成する一連のストロークを受け取ることと；
複数のストロークの各々につき、プロセッサによって、前記一連のストロークの性質に基づいて現在のストロークに関連する複数の特徴を決定することと；
前記ストロークに関連する特徴に基づき、前記一連のストロークを一つ又は複数のストロークグループにグループ分けすること、ただし前記ストロークグループの各々は文字の一つ又は文字の部分であるが、どのストロークグループも、一つより多い文字からのストロークを含まない、前記グループ分けすることと；
前記ストロークグループの少なくとも何れかを表示すること、ただし前記表示されるストロークグループの各々が有する少なくとも一つの属性は、該ストロークグループに属するストロークが受け取られた順番に応じて、段階的かつ視覚的に区別可能であるように決定され、現在のストロークを含むストロークグループが有する属性の強度が最大である、前記表示することと；
を含む、方法。 A method performed by the device when the processing means of the device executes the program instructions, comprising:
Receiving a series of strokes comprising overlapping handwriting input;
Determining, for each of a plurality of strokes, a plurality of features associated with the current stroke based on the nature of the sequence of strokes;
Grouping the series of strokes into one or more stroke groups based on the features associated with the strokes, where each of the stroke groups is one or a portion of a character, but any stroke group The grouping does not include strokes from more than one character;
Displaying at least one of the stroke groups, wherein at least one attribute of each of the displayed stroke groups is stepwise and visually depending on the order in which the strokes belonging to the stroke group were received. Said displaying the maximum strength of the attribute of the stroke group including the current stroke determined to be distinguishable;
Including a method.
重なった手書き入力を構成する一連のストロークを受け取ることと；
複数のストロークの各々につき、前記一連のストロークの幾何学的性質に基づいて現在のストロークに関連する複数の特徴を決定することと；
前記ストロークに関連する特徴に基づき、前記一連のストロークを一つ又は複数のストロークグループにグループ分けすること、ただし前記ストロークグループの各々は文字の一つ又は文字の部分であるが、どのストロークグループも、一つより多い文字からのストロークを含まない、前記グループ分けすることと；
前記ストロークグループの少なくとも何れかを表示すること、ただし前記表示されるストロークグループの各々が有する少なくとも一つの属性は、該ストロークグループに属するストロークが受け取られた順番に応じて、段階的かつ視覚的に区別可能であるように決定され、現在のストロークを含むストロークグループが有する属性の強度が最大である、前記表示することと；
を含む、装置。 An apparatus comprising at least one processor and at least one memory containing computer program code , wherein the computer program code is configured to cause the apparatus to perform an operation when executed by the at least one processor . And the operation is at least:
Receiving a series of strokes comprising overlapping handwriting input;
Determining, for each of a plurality of strokes, a plurality of features associated with the current stroke based on the geometric properties of the series of strokes;
Grouping the series of strokes into one or more stroke groups based on the features associated with the strokes, where each of the stroke groups is one or a portion of a character, but any stroke group The grouping does not include strokes from more than one character;
Displaying at least one of the stroke groups, wherein at least one attribute of each of the displayed stroke groups is stepwise and visually depending on the order in which the strokes belonging to the stroke group were received. Said displaying the maximum strength of the attribute of the stroke group including the current stroke determined to be distinguishable;
Including the device.
複数のストロークの各々につき、前記一連のストロークの幾何学的性質に基づいて現在のストロークに関連する複数の特徴を決定する手段；
前記ストロークに関連する特徴に基づき、前記一連のストロークを一つ又は複数のストロークグループにグループ分けする手段、ただし前記ストロークグループの各々は文字の一つ又は文字の部分であるが、どのストロークグループも、一つより多い文字からのストロークを含まない、前記グループ分けする手段；
前記ストロークグループの少なくとも何れかを表示する手段、ただし前記表示されるストロークグループの各々が有する少なくとも一つの属性は、該ストロークグループに属するストロークが受け取られた順番に応じて、段階的かつ視覚的に区別可能であるように決定され、現在のストロークを含むストロークグループが有する属性の強度が最大である、前記表示する手段；
を備える装置。 Means for receiving a series of strokes comprising overlapping handwriting input;
Means for determining, for each of a plurality of strokes, a plurality of features associated with the current stroke based on the geometric properties of the series of strokes;
Means for grouping the series of strokes into one or more stroke groups based on features associated with the strokes, wherein each of the stroke groups is a character or part of a character, but any stroke group Means for grouping that do not include strokes from more than one character;
Means for displaying at least one of the stroke groups, wherein at least one attribute of each of the displayed stroke groups is stepwise and visually depending on the order in which the strokes belonging to the stroke group are received; Said means for displaying that is determined to be distinguishable and has a maximum attribute strength of a stroke group that includes the current stroke;
A device comprising:
請求項１９又は２０に記載の装置。 The attribute is a color or luminance, and the intensity of the attribute is a color density or luminance magnitude, respectively .
Device according to claim 19 or 20.
重なった手書き入力を構成する一連のストロークを受け取ることと；
複数のストロークの各々につき、前記一連のストロークの幾何学的性質に基づいて現在のストロークに関連する複数の特徴を決定することと；
前記ストロークに関連する特徴に基づき、前記一連のストロークを一つ又は複数のストロークのグループにグループ分けすること、ただし前記ストロークのグループの各々は文字の一つ又は文字の部分であるが、どのストロークのグループも、一つより多い文字からのストロークを含まない、前記グループ分けすることと；
前記ストロークグループの少なくとも何れかを表示すること、ただし前記表示されるストロークグループの各々が有する少なくとも一つの属性は、該ストロークグループに属するストロークが受け取られた順番に応じて、段階的かつ視覚的に区別可能であるように決定され、現在のストロークを含むストロークグループが有する属性の強度が最大である、前記表示することと；
を含む、コンピュータプログラム。 A computer program comprising computer-executable code, the computer-executable code , when executed by a processor of the device, causes the device to perform an operation, the operation being at least:
Receiving a series of strokes constituting the overlapping handwriting input and;
For each of a plurality of strokes, and determining a plurality of features associated with the current stroke based on geometric properties of the series of strokes;
Wherein based on the feature associated with stroke, grouping the series of strokes to one or more groups of strokes, but are each of a group of the stroke is one or a character portion of the character, which stroke group also does not include the strokes from more than one character, and to the grouping;
Displaying at least one of the stroke groups, wherein at least one attribute of each of the displayed stroke groups is stepwise and visually depending on the order in which the strokes belonging to the stroke group were received. Said displaying the maximum strength of the attribute of the stroke group including the current stroke determined to be distinguishable;
Including computer programs .
請求項２８又は２９に記載のコンピュータプログラム。 The attribute is a color or luminance, and the intensity of the attribute is a color density or luminance magnitude, respectively .
30. The computer program according to claim 28 or 29.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2010/076285 WO2012024829A1 (en) | 2010-08-24 | 2010-08-24 | Method and apparatus for segmenting strokes of overlapped handwriting into one or more groups |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013543158A JP2013543158A (en) | 2013-11-28 |
| JP5581448B2 true JP5581448B2 (en) | 2014-08-27 |
Family
ID=45722811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013525107A Active JP5581448B2 (en) | 2010-08-24 | 2010-08-24 | Method and apparatus for grouping overlapping handwritten character strokes into one or more groups |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP5581448B2 (en) |
| KR (1) | KR101486174B1 (en) |
| CN (1) | CN103080878B (en) |
| WO (1) | WO2012024829A1 (en) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103376998B (en) * | 2012-04-19 | 2016-06-15 | 中兴通讯股份有限公司 | Handwriting equipment Chinese character type-setting method and device |
| JP5717691B2 (en) * | 2012-05-28 | 2015-05-13 | 株式会社東芝 | Handwritten character search device, method and program |
| JP2013246732A (en) * | 2012-05-28 | 2013-12-09 | Toshiba Corp | Handwritten character retrieval apparatus, method and program |
| WO2013178867A1 (en) * | 2012-05-31 | 2013-12-05 | Multitouch Oy | User interface for drawing with electronic devices |
| WO2014166114A1 (en) * | 2013-04-12 | 2014-10-16 | Nokia Corporation | An apparatus for text entry and associated methods |
| WO2014200736A1 (en) * | 2013-06-09 | 2014-12-18 | Apple Inc. | Managing real - time handwriting recognition |
| US9465985B2 (en) | 2013-06-09 | 2016-10-11 | Apple Inc. | Managing real-time handwriting recognition |
| CN103345365B (en) * | 2013-07-12 | 2016-04-13 | 北京蒙恬科技有限公司 | The display packing of continuous handwriting input and the hand input device of employing the method |
| KR102125212B1 (en) * | 2013-08-29 | 2020-07-08 | 삼성전자 주식회사 | Operating Method for Electronic Handwriting and Electronic Device supporting the same |
| JP2015099566A (en) * | 2013-11-20 | 2015-05-28 | 株式会社東芝 | Feature calculation device, method and program |
| US9224038B2 (en) | 2013-12-16 | 2015-12-29 | Google Inc. | Partial overlap and delayed stroke input recognition |
| US9881224B2 (en) | 2013-12-17 | 2018-01-30 | Microsoft Technology Licensing, Llc | User interface for overlapping handwritten text input |
| US9524440B2 (en) * | 2014-04-04 | 2016-12-20 | Myscript | System and method for superimposed handwriting recognition technology |
| CN105095924A (en) * | 2014-04-25 | 2015-11-25 | 夏普株式会社 | Handwriting recognition method and device |
| DK179374B1 (en) | 2016-06-12 | 2018-05-28 | Apple Inc | Handwriting keyboard for monitors |
| JP7071840B2 (en) * | 2017-02-28 | 2022-05-19 | コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド | Estimating character stroke information in the image |
| CN108492349B (en) * | 2018-03-19 | 2023-04-11 | 广州视源电子科技股份有限公司 | Processing method, device and equipment for writing strokes and storage medium |
| CN110503101A (en) * | 2019-08-23 | 2019-11-26 | 北大方正集团有限公司 | Font evaluation method, device, equipment and computer readable storage medium |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60254384A (en) * | 1984-05-31 | 1985-12-16 | Fujitsu Ltd | Corresponding method of stroke |
| JPH05233599A (en) * | 1992-02-18 | 1993-09-10 | Seiko Epson Corp | Online character recognizing device |
| JPH06162266A (en) * | 1992-11-20 | 1994-06-10 | Seiko Epson Corp | Method for recognizing on-line handwritten character and device therefor |
| JPH0792817B2 (en) * | 1994-08-19 | 1995-10-09 | 沖電気工業株式会社 | Online character recognizer |
| JPH08161426A (en) * | 1994-12-09 | 1996-06-21 | Sharp Corp | Handwritten character stroke segmenting device |
| JP2939147B2 (en) * | 1994-12-29 | 1999-08-25 | シャープ株式会社 | Handwritten character input display device and method |
| JPH09161011A (en) * | 1995-12-13 | 1997-06-20 | Matsushita Electric Ind Co Ltd | Handwritten character input device |
| US5970498A (en) * | 1996-12-06 | 1999-10-19 | International Business Machines Corporation | Object oriented framework mechanism for metering objects |
| JP3216800B2 (en) * | 1997-08-22 | 2001-10-09 | 日立ソフトウエアエンジニアリング株式会社 | Handwritten character recognition method |
| JP3024680B2 (en) * | 1998-01-13 | 2000-03-21 | 日本電気株式会社 | Handwritten pattern storage and retrieval device |
| JP3456931B2 (en) * | 1999-12-10 | 2003-10-14 | シャープ株式会社 | Handwritten character recognition device, computer readable recording medium storing a handwritten character recognition program, and method for correcting characters recognized by handwritten characters |
| JP3974359B2 (en) * | 2000-10-31 | 2007-09-12 | 株式会社東芝 | Online character recognition apparatus and method, computer-readable storage medium, and online character recognition program |
| US7324691B2 (en) * | 2003-09-24 | 2008-01-29 | Microsoft Corporation | System and method for shape recognition of hand-drawn objects |
| JP2005141329A (en) * | 2003-11-04 | 2005-06-02 | Toshiba Corp | Device and method for recognizing handwritten character |
| KR100677426B1 (en) * | 2005-01-14 | 2007-02-02 | 엘지전자 주식회사 | Short message display method for mobile communication device |
| JP2009289188A (en) * | 2008-05-30 | 2009-12-10 | Nec Corp | Character input device, character input method and character input program |
| CN101299236B (en) * | 2008-06-25 | 2010-06-09 | 华南理工大学 | Method for recognizing Chinese hand-written phrase |
-
2010
- 2010-08-24 KR KR1020137007240A patent/KR101486174B1/en active IP Right Grant
- 2010-08-24 JP JP2013525107A patent/JP5581448B2/en active Active
- 2010-08-24 CN CN201080068735.8A patent/CN103080878B/en active Active
- 2010-08-24 WO PCT/CN2010/076285 patent/WO2012024829A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| CN103080878B (en) | 2017-03-29 |
| WO2012024829A1 (en) | 2012-03-01 |
| KR20130058053A (en) | 2013-06-03 |
| KR101486174B1 (en) | 2015-01-23 |
| JP2013543158A (en) | 2013-11-28 |
| CN103080878A (en) | 2013-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5581448B2 (en) | Method and apparatus for grouping overlapping handwritten character strokes into one or more groups | |
| US10445562B2 (en) | AU feature recognition method and device, and storage medium | |
| US9613296B1 (en) | Selecting a set of exemplar images for use in an automated image object recognition system | |
| CN109241861B (en) | Mathematical formula identification method, device, equipment and storage medium | |
| CN112381183B (en) | Target detection method and device, electronic equipment and storage medium | |
| CN106560840A (en) | Recognition processing method and device of image information | |
| JP2014041486A (en) | Signal processing method and signal processing apparatus | |
| CN111259907B (en) | Content identification method and device and electronic equipment | |
| CN107291704A (en) | Treating method and apparatus, the device for processing | |
| CN108256523A (en) | Recognition methods, device and computer readable storage medium based on mobile terminal | |
| CN111414910A (en) | Small target enhancement detection method and device based on double convolutional neural network | |
| CN111178310A (en) | Palm feature recognition method and device, computer equipment and storage medium | |
| CN107729947A (en) | A kind of Face datection model training method, device and medium | |
| CN105843414B (en) | Input method input correction method and input method device | |
| CN111310543B (en) | Method for extracting and authenticating stroke-extracting continuous stroke characteristics in online handwriting authentication | |
| CN116311526A (en) | Image area determining method and device, electronic equipment and storage medium | |
| JP2008040910A (en) | Character string determining device, character string determining method, character string determination program and computer readable recording medium | |
| CN110555431B (en) | Image recognition method and device | |
| CN111582281B (en) | Picture display optimization method and device, electronic equipment and storage medium | |
| CN113221718A (en) | Formula identification method and device, storage medium and electronic equipment | |
| CN111722717A (en) | Gesture recognition method and device and computer readable storage medium | |
| CN110956190A (en) | Image recognition method and device, computer device and computer readable storage medium | |
| JP7137170B1 (en) | Information processing device, information processing method and program | |
| JP2014142797A (en) | Image recognition device, image recognition data provision device, image recognition method, image recognition program, image recognition data provision method and image recognition data provision program | |
| CN106845319A (en) | Hand-written register method, hand-written recognition method and its device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140303 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140602 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140624 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140714 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5581448 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |