JP7071840B2 - Estimating character stroke information in the image - Google Patents

Description

本発明は画像中の文字ストローク情報の推定に関する。 The present invention relates to estimating character stroke information in an image.

画像は、ハードコピーの文書をスキャンすることによって生成されうる。また、画像は、電子文書（例えば、ワープロ文書、スライドショーのスライド、スプレッドシート、ウェブページ等）を画像フォーマット（例えば、ビットマップ）に変換するソフトウェアアプリケーションによっても生成されうる。すなわち、どのように画像が生成されたかにかかわらず、画像は複数の手書きテキスト文字を含むことが多い。テキスト文字をもつ画像は閲覧、印刷、分析等のため回収される前に長期間保管された（つまりアーカイブされた）ものでありうる。 Images can be generated by scanning a hard copy document. Images can also be generated by software applications that convert electronic documents (eg, word processing documents, slide show slides, spreadsheets, web pages, etc.) into image formats (eg, bitmaps). That is, an image often contains a plurality of handwritten text characters, regardless of how the image was generated. Images with text characters may have been stored (ie, archived) for extended periods of time before being recovered for viewing, printing, analysis, etc.

インテリジェント文字認識（ＩＣＲ）は画像中のテキスト文字を識別（つまり認識）し、当該テキスト文字のデジタル編集が可能なバージョン（例えば文字列等）を出力する技術である。ＩＣＲはテキスト文字が手書きである場合に実行されるため、正確な文字認識のためのタイミング情報が利用されうる。 Intelligent character recognition (ICR) is a technique for identifying (that is, recognizing) a text character in an image and outputting a digitally editable version (for example, a character string) of the text character. Since ICR is executed when the text character is handwritten, timing information for accurate character recognition can be used.

しかしながら、ＩＣＲがテキスト文字が書かれた後で実行される（つまり、ＩＣＲはアーカイブされた画像に対して実行される）場合、タイミング情報は利用不可能であり、ＩＣＲの実行に困難が生じる。しかしながら、それでもユーザーは、手書き文字を含むアーカイブされた画像にＩＣＲを実行することを望んでいる。 However, if the ICR is executed after the text characters have been written (ie, the ICR is executed on the archived image), the timing information is not available and the ICR is difficult to execute. However, users still want to perform an ICR on archived images that contain handwritten text.

概して、本発明の実施形態は、一側面によると、文字認識方法に関する。前記方法は、画像から抽出された複数の文字セグメントを取得することと、前記複数の文字セグメントからなる第一のセットを含む第一の文字バウンディングボックス、及び前記複数の文字セグメントからなる第二のセットを含む第二の文字バウンディングボックスを決定することと、前記第一のセットの複数の方向、及び第一のセットの筆順及び第一のセットの筆記時間を含む前記第一のセットの複数のタイミングプロパティを決定することと、前記第一のセット、前記第一のセットの複数の方向及び前記第一のセットの複数のタイミングプロパティをインテリジェント文字認識（ＩＣＲ）エンジンに送信することによって前記第一の文字バウンディングボックスの文字認識を実行することと、前記第一のセット中で垂線と第一の文字セグメントとの第一の角度を算出することと、前記第一のセット中で垂線と第二の文字セグメントとの第二の角度を算出することと、前記第一の角度が前記第二の角度よりも小さいことに対応して前記第一の文字セグメントが前記第二の文字セグメントの前に書かれたことを決定することと、を含む。 In general, embodiments of the present invention relate to character recognition methods, according to one aspect. The method is to obtain a plurality of character segments extracted from an image, a first character bounding box containing a first set of the plurality of character segments, and a second character segment consisting of the plurality of character segments. Determining a second character bounding box containing a set, and a plurality of directions of the first set, and a plurality of the first set including the writing order of the first set and the writing time of the first set. The first by determining the timing properties and transmitting the first set, the plurality of directions of the first set and the plurality of timing properties of the first set to the Intelligent Character Recognition (ICR) engine. Performing character recognition in the character bounding box of , calculating the first angle between the vertical line and the first character segment in the first set, and the vertical line and the second in the first set. The first character segment precedes the second character segment in response to the calculation of the second angle with the character segment of and the smaller of the first angle than the second angle. Includes determining what was written .

概して、本発明の実施形態は、一側面によると、文字認識システムに関する。前記システムは、メモリと、前記メモリに接続するコンピュータープロセッサーを備え、前記コンピュータープロセッサーが、画像から抽出された複数の文字セグメントを取得し、前記複数の文字セグメントからなる第一のセットを含む第一の文字バウンディングボックス、及び前記複数の文字セグメントからなる第二のセットを含む第二の文字バウンディングボックスを決定し、前記第一のセットの複数の方向、及び第一のセットの筆順と第一のセットの筆記時間とを含む前記第一のセットの複数のタイミングプロパティを決定し、前記第一のセット、前記第一のセットの複数の方向及び前記第一のセットの複数のタイミングプロパティをインテリジェント文字認識（ＩＣＲ）エンジンに送信することによって前記第一の文字バウンディングボックスの文字認識を実行し、前記第一のセット中で垂線と第一の文字セグメントとの第一の角度を算出し、前記第一のセット中で垂線と第二の文字セグメントとの第二の角度を算出し、前記第一の角度が前記第二の角度よりも小さいことに対応して前記第一の文字セグメントが前記第二の文字セグメントの前に書かれたことを決定する。 In general, embodiments of the present invention relate to character recognition systems, according to one aspect. The system comprises a memory and a computer processor connected to the memory, wherein the computer processor acquires a plurality of character segments extracted from an image and includes a first set of the plurality of character segments. Character bounding box, and a second character bounding box containing the second set of the plurality of character segments, the plurality of directions of the first set, and the brush order and the first of the first set. Determine multiple timing properties of the first set, including the writing time of the set, and intelligently characterize the first set, the directions of the first set, and the timing properties of the first set. Performing character recognition of the first character bounding box by sending to a recognition (ICR) engine , calculating the first angle between the vertical line and the first character segment in the first set, said first . The second angle between the vertical line and the second character segment in one set is calculated, and the first character segment is the first character segment corresponding to the fact that the first angle is smaller than the second angle. Determine what was written before the second character segment .

概して、本発明の実施形態は、一側面によると、プログラムに関する。前記プログラムは、コンピュータープロセッサーに、画像から抽出された複数の文字セグメントを取得させ、前記複数の文字セグメントからなる第一のセットを含む第一の文字バウンディングボックス、及び前記複数の文字セグメントからなる第二のセットを含む第二の文字バウンディングボックスを決定させ、前記第一のセットの複数の方向、及び前記第一のセットの筆順及び第一のセットの筆記時間を含む前記第一のセットの複数のタイミングプロパティを決定させ、前記第一のセット、前記第一のセットの複数の方向及び前記第一のセットの複数のタイミングプロパティをインテリジェント文字認識（ＩＣＲ）エンジンに送信することによって前記第一の文字バウンディングボックスの文字認識を実行させ、前記第一のセット中で垂線と第一の文字セグメントとの第一の角度を算出させ、前記第一のセット中で垂線と第二の文字セグメントとの第二の角度を算出させ、前記第一の角度が前記第二の角度よりも小さいことに対応して前記第一の文字セグメントが前記第二の文字セグメントの前に書かれたことを決定させる。 In general, embodiments of the invention relate to a program, according to one aspect. The program causes a computer processor to acquire a plurality of character segments extracted from an image, a first character bounding box containing a first set of the plurality of character segments, and a first character segment consisting of the plurality of character segments. A plurality of directions of the first set, and a plurality of the first set including the writing order of the first set and the writing time of the first set, to determine a second character bounding box containing two sets. The first set, the plurality of directions of the first set, and the plurality of timing properties of the first set are transmitted to the intelligent character recognition (ICR) engine to determine the timing property of the first set. Character recognition of the character bounding box is executed , the first angle between the vertical line and the first character segment is calculated in the first set, and the vertical line and the second character segment are calculated in the first set. Have the second angle calculated and determine that the first character segment was written before the second character segment in response to the first angle being smaller than the second angle. To.

概して、本発明の実施形態は、一側面によると、文字認識方法に関する。前記方法は、画像から抽出された複数の文字セグメントを取得することと、前記複数の文字セグメントからなる第一のセットを含む第一の文字バウンディングボックス、及び前記複数の文字セグメントからなる第二のセットを含む第二の文字バウンディングボックスを決定することと、前記第一のセットの複数のテクスチャプロパティに基づいて前記第一のセットの筆順を決定することと、前記第一のセットの複数の筆幅と複数の明度とに基づいて前記第一のセットの複数の方向を決定することと、前記第一のセット、前記第一のセットの複数の方向及び前記第一のセットの筆順をインテリジェント文字認識（ＩＣＲ）エンジンに送信することによって前記第一の文字バウンディングボックスの文字認識を実行することと、を含む。 In general, embodiments of the present invention relate to character recognition methods, according to one aspect. The method is to obtain a plurality of character segments extracted from an image, a first character bounding box containing a first set of the plurality of character segments, and a second character segment consisting of the plurality of character segments. Determining the second character bounding box containing the set, determining the stroke order of the first set based on the plurality of texture properties of the first set, and determining the stroke order of the first set. Intelligent characters to determine multiple directions of the first set based on width and lightness, and to determine the first set, multiple directions of the first set, and stroke order of the first set. Includes performing character recognition of the first character bounding box by transmitting to an recognition (ICR) engine.

概して、この発明は、一側面によると、文字認識システムに関する。前記システムは、メモリと、前記メモリに接続するコンピュータープロセッサーと、を備え、前記コンピュータープロセッサーが、画像から抽出された複数の文字セグメントを取得し、前記複数の文字セグメントからなる第一のセットを含む第一の文字バウンディングボックス、及び複数の文字セグメントからなる第二のセットを含む第二の文字バウンディングボックスを決定し、前記第一のセットの筆順を前記第一のセットの複数のテクスチャプロパティに基づいて決定し、前記第一のセットの複数の方向を前記第一のセットの複数の筆幅及び複数の明度に基づいて決定し、前記第一のセット、前記第一のセットの複数の方向及び前記第一のセットの筆順をインテリジェント文字認識（ＩＣＲ）エンジンに送信することによって前記第一の文字バウンディングボックスの文字認識を実行する。 In general, the invention relates to a character recognition system, according to one aspect. The system comprises a memory and a computer processor connected to the memory, wherein the computer processor acquires a plurality of character segments extracted from an image and includes a first set of the plurality of character segments. A first character bounding box and a second character bounding box containing a second set of character segments are determined, and the stroke order of the first set is based on the multiple texture properties of the first set. And determine the plurality of directions of the first set based on the plurality of stroke widths and the plurality of brightness of the first set, the first set, the plurality of directions of the first set, and the plurality of directions. Character recognition of the first character bounding box is performed by transmitting the stroke order of the first set to an intelligent character recognition (ICR) engine.

概して、本発明は、一側面によると、プログラムに関する。前記プログラムは、コンピュータープロセッサーに、画像から抽出された複数の文字セグメントを取得させ、複数の文字セグメントからなる第一のセットを含む第一の文字バウンディングボックス及び複数の文字セグメントからなる第二のセットを含む第二の文字バウンディングボックスを決定させ、前記第一のセットの複数のテクスチャプロパティに基づいて前記第一のセットの筆順を決定させ、前記第一のセットの複数の筆幅及び複数の明度に基づいて前記第一のセットの複数の方向を決定させ、前記第一のセット、前記第一のセットの複数の方向及び前記第一のセットの筆順をインテリジェント文字認識（ＩＣＲ）エンジンに送信することによって前記第一の文字バウンディングボックスの文字認識を実行させる。 In general, the invention relates to a program, according to one aspect. The program causes a computer processor to acquire a plurality of character segments extracted from an image, a first character bounding box containing a first set of character segments and a second set of character segments. A second character bounding box containing the above is determined, a stroke order of the first set is determined based on a plurality of texture properties of the first set, and a plurality of stroke widths and a plurality of brightnesses of the first set are determined. Determines the plurality of directions of the first set based on, and transmits the first set, the plurality of directions of the first set, and the stroke order of the first set to an intelligent character recognition (ICR) engine. By doing so, the character recognition of the first character bounding box is executed.

発明の他の側面は、以下の説明と添付の請求項によって明らかにされる。 Other aspects of the invention are clarified by the following description and the accompanying claims.

図１は、本発明の１つ又は複数の実施形態によるシステムを示す。FIG. 1 shows a system according to one or more embodiments of the present invention. 図２は、本発明の１つ又は複数の実施形態によるフローチャートを示す。FIG. 2 shows a flowchart according to one or more embodiments of the present invention. 図３は、本発明の１つ又は複数の実施形態によるフローチャートを示す。FIG. 3 shows a flow chart according to one or more embodiments of the present invention. 図４Ａは、本発明の１つ又は複数の実施形態によるフローチャートを示す。FIG. 4A shows a flow chart according to one or more embodiments of the present invention. 図４Ｂは、本発明の１つ又は複数の実施形態によるフローチャートを示す。FIG. 4B shows a flow chart according to one or more embodiments of the present invention. 図５Ａは、本発明の１つ又は複数の実施形態による１つ又は複数の例を示す。FIG. 5A shows one or more examples according to one or more embodiments of the present invention. 図５Ｂは、本発明の１つ又は複数の実施形態による１つ又は複数の例を示す。FIG. 5B shows one or more examples according to one or more embodiments of the present invention. 図６は、本発明の１つ又は複数の実施形態によるコンピューターのシステムを示す。FIG. 6 shows a computer system according to one or more embodiments of the present invention.

本発明を特徴づける実施形態を、添付の図面を参照して詳細に説明する。一貫性を保つため、複数の図面において同様の要素は同様の付番を用いて表される。 The embodiments that characterize the present invention will be described in detail with reference to the accompanying drawings. For consistency, similar elements are represented in multiple drawings using similar numbering.

以下の本発明の実施形態の詳細な説明により、発明がより全面的に理解されるよう、多くの特徴的な細部について述べる。しかしながら、それら特徴的な細部がなくとも本発明を当業者が実行しうることは明らかである。他の例においては、不必要に説明を複雑化することを避けるため公知の性質については詳細な記述をしていない。 The following detailed description of embodiments of the invention describes many characteristic details so that the invention may be more fully understood. However, it is clear that a person skilled in the art can carry out the present invention without these characteristic details. In other examples, the known properties are not described in detail in order to avoid unnecessarily complicating the description.

概して、本発明の実施形態は、文字認識のための方法、システム及びプログラムを提供する。具体的には、画像から抽出された文字セグメントが取得され、続いて当該文字セグメントに対し文字バウンディングボックスが決定される。これらの文字セグメントは画像中の手書きのテキスト文字に対応する。各文字バウンディングボックスについて、文字バウンディングボックスにおける文字セグメントのセットの方向及びタイミングプロパティ（例えば、筆順、筆記時間等）を決定する。文字セグメントの筆順は、当該文字セグメントの交差点及びテクスチャプロパティに基づいて決定されうる。文字セグメントの１つ又は複数の方向は、筆幅及び／又は明度に基づきうる。 In general, embodiments of the present invention provide methods, systems and programs for character recognition. Specifically, the character segment extracted from the image is acquired, and then the character bounding box is determined for the character segment. These character segments correspond to handwritten text characters in the image. For each character bounding box, the direction and timing properties of the set of character segments in the character bounding box (eg, stroke order, writing time, etc.) are determined. The stroke order of a character segment can be determined based on the intersection and texture properties of the character segment. The direction of one or more character segments may be based on brush width and / or lightness.

続いて、文字セグメントのセット、文字セグメントのセットの方向及び文字セグメントのセットのタイミングプロパティが、文字認識を実行するためにＩＣＲエンジンに送信される。すなわち、ＩＣＲエンジンは画像中の手書きのテキスト文字を識別するのに、方向及びタイミングプロパティを用いる。決定された方向及び決定されたタイミングプロパティを利用することによって、ＩＣＲエンジンのパフォーマンスが向上する（つまり、識別されたテキスト文字が画像中の手書き文字に正しく合致しやすくなる）。 Subsequently, the set of character segments, the direction of the set of character segments, and the timing properties of the set of character segments are sent to the ICR engine to perform character recognition. That is, the ICR engine uses orientation and timing properties to identify handwritten text characters in an image. By utilizing the determined direction and determined timing properties, the performance of the ICR engine is improved (that is, the identified text characters are more likely to match the handwritten characters in the image correctly).

図１は、本発明の１つ又は複数の実施形態によるシステム（１００）を表す。図１に示す通り、システム（１００）は、輪郭抽出装置（１０４）、ストローク分析装置（１０６）及びＩＣＲエンジン（１０８）を含む複数の構成要素からなる。各構成要素（１０４、１０６、１０８）は有線及び／又は無線のセグメントを持つネットワークによって互いに接続されている、パーソナルコンピュータ（ＰＣ）、ノートパソコン、携帯型コンピューター装置（例えば、タブレット型ＰＣ、スマートフォン等）、サーバー、メインフレーム、キオスク等にあたる。さらに又はあるいは、２つ以上の構成要素（１０４、１０６、１０８）が少なくとも１つのコンピュータープロセッサー及びメモリを有する同じハードウェア装置に搭載されてもいい。 FIG. 1 represents a system (100) according to one or more embodiments of the present invention. As shown in FIG. 1, the system (100) comprises a plurality of components including a contour extraction device (104), a stroke analyzer (106) and an ICR engine (108). Each component (104, 106, 108) is connected to each other by a network having wired and / or wireless segments, such as a personal computer (PC), a laptop computer, a portable computer device (eg, a tablet PC, a smartphone, etc.). ), Servers, mainframes, kiosks, etc. Further or / or more, two or more components (104, 106, 108) may be mounted on the same hardware device having at least one computer processor and memory.

図１に示す通り、画像（１０２）はシステム（１００）に対する入力である。画像（１０２）は、スキャナーでの取り込み、ウェブサイトからのダウンロード、リポジトリからの回収等によって得られうる。画像（１０２）はビットマップ形式であっていい。さらに又はあるいは、画像（１０２）は任意のフォーマットであっていいい。画像（１０２）は１つ又は複数の手書きのテキスト文字を含む。認識された文字（１１０）はシステム（１００）の出力である。認識された文字（１１０）は、画像（１０２）中の手書きのテキスト文字のデジタル編集可能なバージョン（例えば文字列）である。 As shown in FIG. 1, the image (102) is an input to the system (100). Image (102) can be obtained by scanning with a scanner, downloading from a website, collecting from a repository, and the like. The image (102) may be in bitmap format. Further or / or, the image (102) may be in any format. Image (102) contains one or more handwritten text characters. The recognized character (110) is the output of the system (100). The recognized character (110) is a digitally editable version (eg, a character string) of the handwritten text character in the image (102).

本発明の１つ又は複数の実施形態において、システム（１００）は輪郭抽出装置（１０４）を含む。輪郭抽出装置（１０４）は、ハードウェア（つまり回路）、ソフトウェア又はそれらの任意の組み合わせに備えられる。輪郭抽出装置（１０４）は画像（１０２）中で見つけられた文字セグメントを抽出し出力するよう構成されている。これは画像（１０２）について、繋がりのある構成要素の分析を実行することを含む。輪郭抽出装置は一度に１つのテキスト行の文字セグメントを抽出し出力しうる。本発明の１つ又は複数の実施形態において、輪郭抽出装置（１０４）は各文字セグメントの１つ又は複数の幅（筆幅は文字セグメントの長さによって変動するため）、各文字セグメントの１つ又は複数の明度値（明度は文字セグメントの長さによって変動するため）、各文字セグメントの１つ又は複数の色区分（色区分は文字セグメントの長さによって変動するため）等を出力する。 In one or more embodiments of the invention, the system (100) comprises a contour extractor (104). The contour extraction device (104) is provided with hardware (that is, a circuit), software, or any combination thereof. The contour extraction device (104) is configured to extract and output the character segment found in the image (102). This involves performing an analysis of connected components of the image (102). The contour extractor can extract and output a character segment of one text line at a time. In one or more embodiments of the present invention, the contour extractor (104) is one or more widths of each character segment (because the brush width varies depending on the length of the character segment), one of each character segment. Alternatively, a plurality of lightness values (because the lightness varies depending on the length of the character segment), one or more color classifications of each character segment (because the color classification varies depending on the length of the character segment), etc. are output.

本発明の１つ又は複数の実施形態において、システム（１００）はストローク分析装置（１０６）を備える。ストローク分析装置（１０６）は、ハードウェア（つまり回路）、ソフトウェア、もしくはそれらの任意の組み合わせに備えられる。ストローク分析装置（１０６）は輪郭抽出装置（１０４）から受信した文字セグメントに対し文字バウンディングボックスを決定するよう構成されている。また、ストローク分析装置（１０６）は、各文字バウンディングボックスにおける文字セグメントのセットの方向を決定し、各文字バウンディングボックスにおける文字セグメントのセットタイミングプロパティ（例えば、筆記時間及び／又は筆順）を決定するよう構成される。ストローク分析装置（１０６）は、方向を決定するために少なくとも筆幅及び／又は明度を利用する。ストローク分析装置（１０６）は、タイミングプロパティ（例えば筆順）を決定するために少なくともテクスチャプロパティを利用する。方向、筆順、及び／又は追加のタイミングプロパティを割り当てられた文字セグメントはストロークとして言及される。ストロークは１つ又は複数の文字セグメントから成る。テキスト文字は１つ又は複数のストロークから成る。 In one or more embodiments of the invention, the system (100) comprises a stroke analyzer (106). The stroke analyzer (106) is provided with hardware (ie, circuit), software, or any combination thereof. The stroke analyzer (106) is configured to determine a character bounding box for a character segment received from the contour extractor (104). Further, the stroke analyzer (106) determines the direction of the set of character segments in each character bounding box, and determines the set timing property (for example, writing time and / or stroke order) of the character segment in each character bounding box. It is composed. The stroke analyzer (106) utilizes at least the brush width and / or the brightness to determine the direction. The stroke analyzer (106) utilizes at least the texture property to determine the timing property (eg, stroke order). Character segments assigned direction, stroke order, and / or additional timing properties are referred to as strokes. Strokes consist of one or more character segments. Text characters consist of one or more strokes.

本発明の１つ又は複数の実施形態において、システム（１００）はＩＣＲエンジン（１０８）を含む。ＩＣＲエンジン（１０８）は、ハードウェア、ソフトウェア、又はそれらの任意の組み合わせに備えられる。ＩＣＲエンジン（１０８）は、文字セグメントのセット、前記文字セグメントのセットの方向及び前記文字セグメントのセットのタイミングプロパティ（例えば、筆記時間、筆順等）を入力する。ＩＣＲエンジン（１０８）は、認識された文字（１１０）を識別し出力するために、文字セグメントのセット、前記文字セグメントのセットの方向及び前記文字セグメントのセットのタイミングプロパティを利用する。決定された方向及び決定されたタイミングプロパティを用いることによって、認識された文字（１１０）が画像（１０２）中の手書きのテキスト文字に正しく合致する見込みが高まる。例えば、「Ｏ」という文字と「Ｄ」という文字は似た文字セグメントを有しうる。しかし、「Ｏ」の書き方（つまり、方向やタイミングプロパティ）と「Ｄ」の書き方は非常に異なっている。したがって、ＩＣＲエンジン（１０８）で方向やタイミングプロパティを用いることにより、曖昧さを解消しうる。決定された方向及び決定されたタイミングプロパティを用いることによって、認識された文字（１１０）を出力するのに必要な時間も削減されうる。 In one or more embodiments of the invention, the system (100) comprises an ICR engine (108). The ICR engine (108) is provided with hardware, software, or any combination thereof. The ICR engine (108) inputs a set of character segments, the direction of the set of character segments, and the timing properties of the set of character segments (eg, writing time, stroke order, etc.). The ICR engine (108) utilizes the set of character segments, the direction of the set of character segments, and the timing properties of the set of character segments to identify and output the recognized character (110). By using the determined direction and determined timing properties, it is more likely that the recognized character (110) will correctly match the handwritten text character in the image (102). For example, the letter "O" and the letter "D" can have similar letter segments. However, how to write "O" (that is, direction and timing properties) and how to write "D" are very different. Therefore, the ambiguity can be resolved by using the direction and timing properties in the ICR engine (108). By using the determined direction and determined timing properties, the time required to output the recognized character (110) can also be reduced.

この詳細な説明によって、画像（１０２）の内容を含み、かつ編集も可能な電子文書を生成するのに、認識された文字（１１０）を利用しうることは、当業者に理解されるだろう。この詳細な説明によって、輪郭抽出装置（１０４）、ストローク分析装置（１０６）、及びＩＣＲエンジン（１０８）が特定の言語又はアルファベット／文字のセットに特化しうることも、当業者に理解されるだろう。さらに又はあるいは、輪郭抽出装置（１０４）、ストローク分析装置（１０６）、ＩＣＲエンジン（１０８）は複数の言語又はアルファベット／文字のセットを扱うことができる。 It will be appreciated by those skilled in the art that by this detailed description, the recognized characters (110) can be used to generate an electronic document that includes the content of the image (102) and is editable. .. It will also be appreciated by those skilled in the art that this detailed description may allow the contour extractor (104), stroke analyzer (106), and ICR engine (108) to specialize in a particular language or alphabet / character set. Let's do it. Furthermore, the contour extraction device (104), the stroke analyzer (106), and the ICR engine (108) can handle a plurality of languages or alphabet / character sets.

図２は、本発明の１つ又は複数の実施形態によるフローチャートを示す。このフローチャートは文字認識の処理を表している。図２中の１つ又は複数の工程は、図１を参照し上述したシステム（１００）の構成要素（例えば、ストローク分析装置（１０６））によって実行されうる。本発明の１つ又は複数の実施形態において、図２に示した１つ又は複数の工程は省略されたり、繰り返されたり、及び／又は図２に示されたのとは異なる順番で実行されたりすることがある。したがって、本発明の範囲は図２に示された特定の工程の配列に限定されると解釈されてはならない。 FIG. 2 shows a flowchart according to one or more embodiments of the present invention. This flowchart shows the character recognition process. One or more steps in FIG. 2 may be performed by the components of system (100) described above with reference to FIG. 1 (eg, stroke analyzer (106)). In one or more embodiments of the invention, one or more steps shown in FIG. 2 may be omitted, repeated, and / or performed in a different order than shown in FIG. I have something to do. Therefore, the scope of the invention should not be construed to be limited to the particular sequence of steps shown in FIG.

まず、文字セグメントが取得される（ステップ２０５）。これらの文字セグメントは繋がりのある構成要素の分析を行う輪郭抽出装置によって画像から抽出されたものである。これらの文字セグメントは画像中の手書きの文字に対応しうる。さらに、画像はハードコピーの文書をスキャンして生成されるか、ウェブサイトやリポジトリ等からダウンロード、回収されるか、のいずれか又はその組み合わせである。１つ又は複数の実施形態において、画像はビットマップ形式である。 First, the character segment is acquired (step 205). These character segments are extracted from the image by a contour extraction device that analyzes connected components. These character segments can correspond to handwritten characters in the image. In addition, images are either generated by scanning hardcopy documents, downloaded from websites, repositories, etc., or recovered, or a combination thereof. In one or more embodiments, the image is in bitmap format.

ステップ２１０において、複数の文字バウンディングボックスが決定される。各文字バウンディングボックスは文字セグメントのセットを含む。各文字バウンディングボックスは１つのテキスト文字及び／又は複数のテキスト文字（例えば、画像中で２つ以上のテキスト文字が接している場合）に対応している。文字バウンディングボックスを決定するには、実際、繋がった文字セグメントをそれぞれ有する複数のセットを決定するためのクラスター分析が必要となる。１つのセット中の複数の文字セグメントが新しい１つの文字セグメントに統合されうる。こうした新しい文字セグメントもセットの一部である。 In step 210, a plurality of character bounding boxes are determined. Each character bounding box contains a set of character segments. Each character bounding box corresponds to one text character and / or multiple text characters (eg, when two or more text characters are in contact in an image). Determining a character bounding box actually requires a cluster analysis to determine multiple sets with each connected character segment. Multiple character segments in a set can be merged into a new character segment. These new character segments are also part of the set.

ステップ２１５において、文字バウンディングボックスが選択される。文字バウンディングボックスはランダムに選択される。あるいは、複数の文字セグメントが文字列（すなわち列、行等）に対応する場合、文字バウンディングボックスは左から右、右から左、上から下等に向いて選択される。 At step 215, the character bounding box is selected. The character bounding box is randomly selected. Alternatively, if a plurality of character segments correspond to a character string (ie, column, row, etc.), the character bounding box is selected from left to right, right to left, top to bottom, and so on.

ステップ２２０において、選択された文字バウンディングボックスにおける文字セグメントのセットの方向及びタイミングプロパティが決定される。特に、各セグメントの方向が決定される。さらに、文字セグメントのセットの順番（すなわち、第一に書かれた文字セグメント、第二に書かれた文字セグメント、最後に書かれた文字セグメント等）が決定されうる。さらには、文字セグメントのセットの筆記時間も決定されうる。筆記時間は選択されたバウンディングボックスにおける文字セグメントを全て手書きするのに必要な時間の合計に対応しうる。１つ又は複数の実施形態において、筆記時間は各文字セグメント間の時間間隔（すなわち、１つの文字セグメントの筆記の終わりと次の文字セグメントの筆記の始まりの間の時間）をも含む。さらに又はあるいは、筆記時間はセット中の各文字セグメントについて計算、保持される。ステップ２２０に係る更なる詳細が、図３、図４Ａ及び図４Ｂに示されている。 In step 220, the orientation and timing properties of the set of character segments in the selected character bounding box are determined. In particular, the direction of each segment is determined. In addition, the order of the set of character segments (ie, first written character segment, second written character segment, last written character segment, etc.) can be determined. In addition, the writing time of a set of character segments can be determined. The writing time can correspond to the total time required to handwrite all the character segments in the selected bounding box. In one or more embodiments, the writing time also includes a time interval between each character segment (ie, the time between the end of writing in one character segment and the beginning of writing in the next character segment). Further or / or, the writing time is calculated and retained for each character segment in the set. Further details relating to step 220 are shown in FIGS. 3, 4A and 4B.

ステップ２２５において、文字セグメントのセット、決定された方向及び決定されたタイミングプロパティに基づいて文字認識が実行される。具体的には、文字セグメントのセット、決定された方向及び決定されたタイミングプロパティ（例えば筆順、筆記時間）が認識された文字を出力するＩＣＲエンジンに送信されうる。方向及びタイミングプロパティによって、認識された文字が画像中の実際の手書き文字に正しく合致する見込みが高まる。また、方向及びタイミングプロパティによって、認識された文字を出力するのに必要な時間も削減されうる。 In step 225, character recognition is performed based on the set of character segments, the determined direction and the determined timing properties. Specifically, a set of character segments, a determined direction and a determined timing property (eg, stroke order, writing time) can be transmitted to an ICR engine that outputs the recognized character. The orientation and timing properties increase the likelihood that the recognized characters will correctly match the actual handwritten characters in the image. The orientation and timing properties can also reduce the time required to output the recognized characters.

ステップ２３０において、未処理で現存する文字バウンディングボックスが存在するかどうかが決定される。文字バウンディングボックスをさらに処理する必要があると決定された場合、処理はステップ２１５に戻る。
この詳細な説明によって、図２の処理において文字セグメントのセット、文字セグメントのセットのタイミングプロパティ及び文字セグメントのセットの方向がバウンディングボックス単位でＩＣＲエンジンに供給される（つまり、送信される）ことが、当業者に理解されるだろう。また、この詳細な説明によって、図２で表された処理が画像中の各文字列（例えば列、行等）について繰り返されることも、当業者に理解されるだろう。 In step 230, it is determined whether there is an unprocessed and existing character bounding box. If it is determined that the character bounding box needs further processing, processing returns to step 215.
By this detailed description, in the process of FIG. 2, the character segment set, the character segment set timing property, and the character segment set direction can be supplied (that is, transmitted) to the ICR engine in units of a bounding box. , Will be understood by those skilled in the art. It will also be appreciated by those skilled in the art that the process represented by FIG. 2 will be repeated for each character string (eg, column, row, etc.) in the image by this detailed description.

図３は、本発明の１つ又は複数の実施形態によるフローチャートを示す。このフローチャートは文字認識の処理を表している。具体的には、このフローチャートは文字セグメントのセットの方向及びタイミングプロパティを決定する処理を表している。図３中の１つ又は複数の工程は、図１を参照し上述したシステム（１００）の構成要素（例えば、ストローク分析装置（１０６））によって実行されうる。図３に表された処理は図２のステップ２２０に対応する。本発明の１つ又は複数の実施形態において、図３に示した１つ又は複数の工程は省略されたり、繰り返されたり、及び／又は図３に示されたのとは異なる順番で実行されたりすることがある。したがって、本発明は図３に示された特定の工程の配列に限定されると解釈されてはならない。 FIG. 3 shows a flow chart according to one or more embodiments of the present invention. This flowchart shows the character recognition process. Specifically, this flowchart represents a process of determining the direction and timing properties of a set of character segments. One or more steps in FIG. 3 may be performed by a component of the system (100) described above with reference to FIG. 1 (eg, stroke analyzer (106)). The process shown in FIG. 3 corresponds to step 220 in FIG. In one or more embodiments of the invention, one or more steps shown in FIG. 3 may be omitted, repeated, and / or performed in a different order than shown in FIG. I have something to do. Therefore, the invention should not be construed as being limited to the particular sequence of steps shown in FIG.

まず、文字セグメントの筆順が決定される（ステップ３０５）。筆順の決定には、どの文字セグメントが第一に書かれたか、どの文字セグメントが第二に書かれたか、どの文字セグメントが最後に書かれたか、等が含まれる。筆順は言語によって異なる場合のある推定に基づいて決定される。例えば、より長い文字セグメントがより短い文字セグメントの先に書かれると推定されうる。さらに又はあるいは、バウンディングボックスの左側に近い文字セグメントがバウンディングボックスの右側に近い文字セグメントの前に書かれていると推定されうる。さらに又はあるいは、バウンディングボックスの上側に近い文字セグメントがバウンディングボックスの下側に近い文字セグメントの前に書かれていると推定されうる。さらに又はあるいは、縦の文字セグメントが横向きの文字セグメント等の前に書かれると推定されうる。さらに又はあるいは、方向が鋭く転換して繋がっている文字セグメント（例えば角）が他の文字セグメントの前に書かれていると推定されうる。テキスト文字を書く際に複数の人間の動作主によって繰り返される挙動を観察することで、１つ又は複数の推定がなされうる。 First, the stroke order of the character segment is determined (step 305). The stroke order determination includes which character segment was written first, which character segment was written second, which character segment was written last, and so on. Stroke order is determined based on estimates that may vary from language to language. For example, it can be presumed that a longer character segment is written before a shorter character segment. Furthermore, it can be presumed that the character segment near the left side of the bounding box is written before the character segment near the right side of the bounding box. Furthermore, it can be presumed that the character segment closer to the upper side of the bounding box is written before the character segment closer to the lower side of the bounding box. Furthermore, it can be presumed that the vertical character segment is written before the horizontal character segment or the like. Furthermore, it can be presumed that a character segment (for example, a corner) connected by a sharp change in direction is written before another character segment. One or more estimates can be made by observing repeated behaviors by multiple human agents when writing text characters.

本発明の１つ又は複数の実施形態において、２つの交差した文字セグメントの筆順は、テクスチャプロパティ（例えば、塗りつぶし色、塗りつぶしパターン等）、特に交差点及びその付近のテクスチャプロパティによって決定される（後述）。図４Ａ及び４Ｂにおいて２つの文字セグメントが正しい筆順を有するか決定するテストの例が示されている。 In one or more embodiments of the invention, the stroke order of two intersecting character segments is determined by texture properties (eg, fill color, fill pattern, etc.), in particular texture properties at and near the intersection (see below). .. An example of a test is shown in FIGS. 4A and 4B to determine if the two character segments have the correct stroke order.

ステップ３１０において、文字セグメントのセット毎にクロック値がリセットされる。クロック値はセットにおいて１つ又は複数の文字セグメントを書くのに要する時間を計測するのに用いられる。クロック値はカウンターを用いて実行されうる。 In step 310, the clock value is reset for each set of character segments. The clock value is used to measure the time required to write one or more character segments in a set. Clock values can be executed using counters.

ステップ３１５において、文字セグメントが選択される。文字セグメントは決定された筆順に基づいて選択することもある（ステップ３０５）。さらに又はあるいは、文字セグメントはランダムに選択されていい。 In step 315, the character segment is selected. Character segments may be selected based on the determined stroke order (step 305). Further or / or, the character segment may be randomly selected.

ステップ３２０において、文字セグメントの方向が選択される。１つの文字セグメントには２つの端点があり、文字セグメントの方向を決定することにより、いずれの端点が開始端点であり、いずれの端点が終了端点であるか決定しうる。 In step 320, the direction of the character segment is selected. There are two endpoints in one character segment, and by determining the direction of the character segment, it is possible to determine which endpoint is the start endpoint and which endpoint is the end endpoint.

この詳細な説明によって、ほとんどのユーザーが右利きで筆記用具（例えば、ペン、鉛筆、マーカー等）を自分側へと引いて書くということが、当業者に理解されるだろう。したがって、文字セグメントの方向を決定することにより、ユーザーがテキスト文字を書いている時のユーザーの位置を示すユーザー点を選択し、ユーザー点と２つの端点の距離を決定しうる。より近い端点が終了端点と定義され、より遠い端点が開始端点と定義されうる。 This detailed description will help those skilled in the art to understand that most users are right-handed and pull writing instruments (eg, pens, pencils, markers, etc.) to their side. Therefore, by determining the direction of the character segment, it is possible to select a user point indicating the user's position when the user is writing a text character, and determine the distance between the user point and the two endpoints. Closer endpoints can be defined as end endpoints and farther endpoints can be defined as start endpoints.

さらに又はあるいは、文字セグメントは左から右、上から下に向けて書かれる傾向がある。このことは文字セグメントの長軸によって異なる。横向きの文字セグメントは左から右へ書かれることが多い。縦向きの文字セグメントは上から下へ書かれることが多い。 Further or / or, character segments tend to be written from left to right and from top to bottom. This depends on the long axis of the character segment. Horizontal character segments are often written from left to right. Vertical character segments are often written from top to bottom.

さらに又はあるいは、１つ又は複数の実施形態において、筆幅及び／又は明度は文字セグメントの開始端点及び終了端点を決定するのに用いられる。具体的には、開始端点における筆幅は終了端点における筆幅よりも大きいことが多い。同様に、開始端点における明度は終了端点における明度よりも暗いことが多い。したがって、筆幅がより大きく及び／又は明度がより暗い端点は開始端点として定義され、他方の端点が終了端点と定義されうる。 Further or / or in one or more embodiments, the brush width and / or lightness is used to determine the start and end points of a character segment. Specifically, the brush width at the start end point is often larger than the brush width at the end point. Similarly, the lightness at the start endpoint is often darker than the brightness at the end endpoint. Therefore, an endpoint with a larger brush width and / or a darker brightness may be defined as a start endpoint, and the other endpoint may be defined as an end endpoint.

ステップ３２５において、文字セグメントの長さが算出される。文字セグメントの長さはこれ以前のステップ（例えば、ステップ３０５）を実行するために既に算出されているため、ここでは省略する。 In step 325, the length of the character segment is calculated. Since the length of the character segment has already been calculated to execute the previous step (for example, step 305), it is omitted here.

ステップ３３０において、文字セグメントを引く時間が算出され、ここで算出された時間に応じてクロック値を増加させる。文字セグメントを引く時間は文字セグメントの長さと筆記具（例えば、ペンや鉛筆等）の速度との相関となる。セット中の全ての文字セグメントについて、同じ一定速度（Ｖ_Ｃ）が推定される。さらに又はあるいは、異なる長さの別々の文字セグメントについて、一定速度の分数（又は倍数）（例えば０.２５Ｖ_Ｃ、０.５Ｖ_Ｃ、１.２Ｖ_Ｃ、１.８Ｖ_Ｃ）を推定する場合もある。さらに、文字セグメントの筆順に基づいて、速度が選択されうる。例えば、筆順の第一の文字セグメントについて速度はＶとされ、筆順の最後の文字セグメントについて速度が１.２５Ｖ又は０.７Ｖ（つまり、より高速又は低速）とされうる。別の例としては、筆順が第一の文字セグメントでも最後の文字セグメントでもない全ての文字セグメントについて（つまり中間の文字セグメント）、第一の文字セグメントと最後の文字セグメントについて決められた速度の平均を、速度として定めることができる。さらに又はあるいは、それぞれの中間の文字セグメントについて異なる速度を推定することができる。例えば、中間の文字セグメントについて推定される速度が第一の文字セグメントについて推定される速度と最後の文字セグメントについて推定される速度の間に定めることができる（例えば、筆順が先であるほど推定される速度を高速にする）。また、他の構成も可能である。 In step 330, the time for drawing the character segment is calculated, and the clock value is increased according to the time calculated here. The time to draw a character segment correlates with the length of the character segment and the speed of a writing instrument (eg, pen, pencil, etc.). The same constant velocity ( _VC ) is estimated for all character segments in the set. Further or / or for different character segments of different lengths, a constant velocity fraction (or multiple) (eg, _0.25VC , _0.5VC , _1.2VC , _1.8VC ) may be estimated. .. In addition, the speed can be selected based on the stroke order of the character segment. For example, the speed may be V for the first character segment of the stroke order and 1.25V or 0.7V (ie, faster or slower) for the last character segment of the stroke order. As another example, for all character segments whose stroke order is neither the first character segment nor the last character segment (that is, the middle character segment), the average speed determined for the first character segment and the last character segment. Can be defined as the speed. Further or / or different speeds can be estimated for each intermediate character segment. For example, the estimated speed for the middle character segment can be set between the estimated speed for the first character segment and the estimated speed for the last character segment (eg, the earlier the stroke order is estimated). Speed up). In addition, other configurations are possible.

ステップ３３５において、未処理のセグメントがさらに存在するかどうかが決定される。処理を要するセグメントがさらに存在すると判定された場合、処理はステップ３４０へ進む。処理を要するセグメントがさらに存在しないと判定された場合、処理はステップ３４５へ進む。 At step 335, it is determined if there are more unprocessed segments. If it is determined that there are more segments requiring processing, processing proceeds to step 340. If it is determined that there are no more segments requiring processing, processing proceeds to step 345.

ステップ３４０において、選択中の文字セグメントの書き終わりと次の文字セグメントの書き始めの時間間隔を調整するため、クロック値を増加させる。１つ又は複数の実施形態において、全ての一続きの文字セグメントについて同じ時間間隔が推定される。１つ又は複数の実施形態において、一続きの文字セグメントについて異なる文字セグメント間には異なる時間間隔が用いられる。 In step 340, the clock value is increased in order to adjust the time interval between the end of writing of the selected character segment and the start of writing of the next character segment. In one or more embodiments, the same time interval is estimated for all successive character segments. In one or more embodiments, different time intervals are used between different character segments for a series of character segments.

ステップ３４５において、筆記時間がクロック値に基づいて決定される。１つ又は複数の実施形態において、筆記時間は現在のクロック値となる。１つ又は複数の実施形態において、筆記時間は時間間隔を考慮して１つ以上の調整をした現在のクロック値となる。 In step 345, the writing time is determined based on the clock value. In one or more embodiments, the writing time is the current clock value. In one or more embodiments, the writing time is the current clock value adjusted by one or more in consideration of the time interval.

この詳細な説明によって、図３の処理が各文字バウンディングボックスにおける文字セグメントのセットについて実行されうることも、当業者に理解されるだろう。 It will also be appreciated by those skilled in the art that the process of FIG. 3 can be performed on a set of character segments in each character bounding box by this detailed description.

図３において、テクスチャプロパティに基づいた文字セグメントの筆順（ステップ３０５）、筆幅及び／又は明度に基づいた文字セグメントの方向（ステップ３２０）が決定される。しかし、本発明の１つ又は複数の実施形態においては、テクスチャプロパティに基づいた文字セグメントの筆順のみが決定される（つまり、ステップ３０５は実行されるが、ステップ３２０は実行されない）。本発明の１つ又は複数の実施形態において、筆幅及び／又は明度に基づいた文字セグメントの方向のみが決定される（つまり、ステップ３２０は実行されるが、ステップ３０５は実行されない）。そのような実施形態においては、文字セグメントの筆順のみ又は文字セグメントの方向のみが文字認識を行うためＩＣＲエンジンに供給される。 In FIG. 3, the stroke order of the character segment based on the texture property (step 305) and the direction of the character segment based on the brush width and / or the brightness (step 320) are determined. However, in one or more embodiments of the invention, only the stroke order of the character segments based on the texture properties is determined (ie, step 305 is performed, but step 320 is not). In one or more embodiments of the invention, only the orientation of the character segment based on brush width and / or lightness is determined (ie, step 320 is performed, but step 305 is not). In such an embodiment, only the stroke order of the character segment or only the direction of the character segment is supplied to the ICR engine for character recognition.

図４Ａ及び図４Ｂは、本発明の１つ又は複数の実施形態によるフローチャートを示す。フローチャートは、単一の文字バウンディングボックス中の２つの文字セグメント（つまり文字セグメントＡと文字セグメントＢ）が正しい筆順であるかを決定するテストを表す。１つ又は複数の実施形態において、このテストはラテンアルファベットに適する。図４Ａ及び図４Ｂの１つ又は複数の工程は、図１を参照し上述したシステム（１００）の構成要素（例えば、ストローク分析装置（１０６））によって実行されうる。図４Ａ及び図４Ｂに表された処理は図３のステップ３０５に対応する。本発明の１つ又は複数の実施形態において、図４Ａ及び図４Ｂに示した１つ又は複数の工程は省略されたり、繰り返されたり、及び／又は図４Ａ及び図４Ｂに示されたのとは異なる順番で実行されたりすることがある。したがって、本発明は図４Ａ及び４Ｂに示された特定の工程の配列に限定されると解釈されてはならない。 4A and 4B show flowcharts according to one or more embodiments of the present invention. The flow chart represents a test to determine if two character segments (ie, character segment A and character segment B) in a single character bounding box have the correct stroke order. In one or more embodiments, this test is suitable for the Latin alphabet. One or more steps of FIGS. 4A and 4B may be performed by the components of the system (100) described above with reference to FIG. 1 (eg, stroke analyzer (106)). The process shown in FIGS. 4A and 4B corresponds to step 305 of FIG. In one or more embodiments of the invention, one or more steps shown in FIGS. 4A and 4B may be omitted, repeated, and / or shown in FIGS. 4A and 4B. It may be executed in a different order. Therefore, the invention should not be construed as being limited to the particular sequence of steps shown in FIGS. 4A and 4B.

まず、文字セグメントＡが文字セグメントＢの前に書かれたと推定する（ステップ４０５）。 First, it is presumed that the character segment A is written before the character segment B (step 405).

ステップ４８９において、セグメントＡとセグメントＢが交差しているか決定する。換言すると、ステップ４８９において、セグメントＡとセグメントＢの交差点があればその位置をとる。セグメントＡとセグメントＢが交差していれば、処理はステップ４９１へ進む。セグメントＡとセグメントＢが交差していなければ、処理はステップ４１０に進む（図４Ｂに示す）。 In step 489, it is determined whether segment A and segment B intersect. In other words, in step 489, if there is an intersection between segment A and segment B, that position is taken. If segment A and segment B intersect, the process proceeds to step 491. If segment A and segment B do not intersect, the process proceeds to step 410 (shown in FIG. 4B).

ステップ４９１において、テクスチャプロパティがセグメントＡとセグメントＢについて演算される。テクスチャプロパティは、例えば、セグメントの塗りつぶしや色セグメントの塗りつぶしパターンに対応する。１つ又は複数の実施形態において、テクスチャプロパティは文字セグメントの全長にわたって同一であってもいい。さらに又はあるいは、テクスチャプロパティは文字セグメントの長さによって変わりうる。本発明の１つ又は複数の実施形態において、セグメントのテクスチャプロパティは、輪郭抽出装置（１０４）の出力から取り込むか、少なくとも導き出すことができる。 In step 491, texture properties are calculated for segment A and segment B. Texture properties correspond to, for example, segment fills and color segment fill patterns. In one or more embodiments, the texture properties may be the same over the entire length of the character segment. Further or / or, the texture properties may vary depending on the length of the character segment. In one or more embodiments of the invention, the texture properties of the segments can be taken from, or at least derived from, the output of the contour extractor (104).

ステップ４９３において、セグメントＡとセグメントＢのテクスチャプロパティが、特に交差点の付近で有意に異なるかどうか決定する。例えば、テクスチャプロパティが色である場合、セグメントＡのＲＧＢ色値とセグメントＢのＲＧＢ色値の差分が所定の閾値を超えているかどうか決定する。テクスチャプロパティが有意に異なっていると決定された場合、処理はステップ４９５へ進む。テクスチャプロパティが有意に異なっていないと決定された場合、処理はステップ４１０へ進む（図４Ｂに示す）。 In step 493, it is determined whether the texture properties of segment A and segment B are significantly different, especially near the intersection. For example, when the texture property is color, it is determined whether or not the difference between the RGB color value of segment A and the RGB color value of segment B exceeds a predetermined threshold value. If it is determined that the texture properties are significantly different, the process proceeds to step 495. If it is determined that the texture properties are not significantly different, the process proceeds to step 410 (shown in FIG. 4B).

ステップ４９５において、交差点のテクスチャプロパティ（つまり、セグメントＡとセグメントＢの交差点におけるテクスチャプロパティ）が、交差点付近のセグメントＡのテクスチャプロパティと交差点付近のセグメントＢのテクスチャプロパティの両方と比較される。 In step 495, the texture property of the intersection (ie, the texture property at the intersection of segment A and segment B) is compared with both the texture property of segment A near the intersection and the texture property of segment B near the intersection.

ステップ４９７において、交差点のテクスチャプロパティがセグメントＢのテクスチャプロパティに合致するか又はより合致するかが決定される。例えば、テクスチャプロパティが色である場合、交差点のＲＧＢ色値が文字セグメントＡのＲＧＢ色値により合致するか又は文字セグメントＡのＲＧＢ色値により合致するかが決定される。ステップ４９７が真であった場合、それはセグメントＢが文字セグメントＡの上にあるということを示唆しており、すなわちセグメントＡが文字セグメントＢの前に書かれたことになる。よって、文字セグメントＡが文字セグメントＢの前に書かれたとする推定は正しい（ステップ４４０）。しかし、ステップ４９７が偽であれば、文字セグメントＡが文字セグメントＢの上にあるということが示唆され、すなわち文字セグメントＢが文字セグメントＡの前に書かれたことになる。よって、文字セグメントＡが文字セグメントＢの前に書かれたという推定は誤りである（ステップ４４５）（つまり、文字セグメントＢが実際には文字セグメントＡの前に書かれている）。 At step 497, it is determined whether the texture properties of the intersection match or better match the texture properties of segment B. For example, when the texture property is color, it is determined whether the RGB color value of the intersection matches the RGB color value of the character segment A or the RGB color value of the character segment A. If step 497 is true, it suggests that segment B is above character segment A, that is, segment A was written before character segment B. Therefore, the estimation that the character segment A is written before the character segment B is correct (step 440). However, if step 497 is false, it is suggested that the character segment A is above the character segment B, that is, the character segment B is written before the character segment A. Therefore, the presumption that the character segment A was written before the character segment B is incorrect (step 445) (that is, the character segment B is actually written before the character segment A).

これから、図４Ｂを参照し、ステップ４１０において多様な計算を行う。具体的には、垂線と文字セグメントＡの角度（θ_Ａ）を算出し、垂線と文字セグメントＢの角度（θ_Ｂ）を算出する。さらに、（文字バウンディングボックスの最上部から測った）文字セグメントＡの垂直位置（つまり最も上の位置）（ＶＰ_Ａ）を算出し、文字セグメントＢの垂直位置（ＶＰ_Ｂ）をも算出する。さらに、文字セグメントＡの最左位置（ＬＰ_Ａ）を算出し、文字セグメントＢの最左位置（ＬＰ_Ｂ）を算出する。 From now on, with reference to FIG. 4B, various calculations will be performed in step 410. Specifically, the angle between the perpendicular line and the character segment A (θ _A ) is calculated, and the angle between the perpendicular line and the character segment B (θ _B ) is calculated. Further, the vertical position (that is, the top position) (VP _A ) of the character segment A (measured from the top of the character bounding box) is calculated, and the vertical position (VP _B ) of the character segment B is also calculated. Further, the leftmost position (LP _A ) of the character segment A is calculated, and the leftmost position (LP _B ) of the character segment B is calculated.

ステップ４１５において、θ_Ａとθ_Ｂの差分の絶対値が有意であるか（つまり、所定の閾値を超えているか）が決定される。ステップ４２０において、文字セグメントＡが文字セグメントＢより直立しているかが決定される。ステップ４２０が真である場合、セグメントＡがセグメントＢの前に書かれたという推定は正しい（ステップ４４０）。しかし、ステップ４２０が偽である場合、文字セグメントＡが文字セグメントＢの前に書かれたという推定は誤りとなる（ステップ４４５）（つまり、文字セグメントＢが実際には文字セグメントＡの前に書かれている）。 In step 415, it is determined whether the absolute value of the difference between θ _A and θ _B is significant (that is, whether it exceeds a predetermined threshold value). In step 420, it is determined whether the character segment A is upright from the character segment B. If step 420 is true, the presumption that segment A was written before segment B is correct (step 440). However, if step 420 is false, the presumption that character segment A was written before character segment B is incorrect (step 445) (ie, character segment B is actually written before character segment A). It has been).

ステップ４２５において、ＬＰ_ＡとＬＰ_Ｂの差分の絶対値が有意であるか（つまり、所定の閾値を超えているか）が決定される。ステップ４３０において、文字セグメントＡが文字セグメントＢよりも文字バウンディングボックスの左側に寄っているかどうかが決定される。ステップ４３０が正である場合、文字セグメントＡが文字セグメントＢの前に書かれたという推定は正しい（ステップ４４０）。しかし、ステップ４３０が偽である場合、文字セグメントＡが文字セグメントＢの前に書かれたという推定は誤りとなる（ステップ４４５）（つまり、文字セグメントＢが実際には文字セグメントＡの前に書かれている）。 In step 425, it is determined whether the absolute value of the difference between LP _A and LP _B is significant (that is, exceeds a predetermined threshold). In step 430, it is determined whether the character segment A is closer to the left side of the character bounding box than the character segment B. If step 430 is positive, the presumption that character segment A was written before character segment B is correct (step 440). However, if step 430 is false, the presumption that character segment A was written before character segment B is incorrect (step 445) (ie, character segment B is actually written before character segment A). It has been).

ステップ４３５において、文字セグメントＡが文字セグメントＢよりも文字バウンディングボックスの最上部に寄っているかどうかが決定される。ステップ４３５が正である場合、文字セグメントＡが文字セグメントＢの前に書かれたとする推定は正しい（ステップ４４０）。しかし、ステップ４３５が誤である場合、文字セグメントＡが文字セグメントＢの前に書かれたという推定は誤りとなる（ステップ４４５）（つまり、文字セグメントＢが実際には文字セグメントＡの前に書かれている）。 At step 435, it is determined whether the character segment A is closer to the top of the character bounding box than the character segment B. If step 435 is positive, the presumption that character segment A was written before character segment B is correct (step 440). However, if step 435 is incorrect, the presumption that character segment A was written before character segment B is incorrect (step 445) (ie, character segment B is actually written before character segment A). It has been).

図４に示された処理は、文字バウンディングボックス中の文字セグメントの全ての組み合わせについて繰り返される。この詳細な説明によって、文字バウンディングボックス中の文字セグメントの全ての組み合わせについてステップ４４０に到達した場合に、文字セグメントについて決定された筆順が正しいということは、当業者に理解されるだろう。 The process shown in FIG. 4 is repeated for all combinations of character segments in the character bounding box. With this detailed description, one of ordinary skill in the art will appreciate that the stroke order determined for the character segment is correct when step 440 is reached for all combinations of character segments in the character bounding box.

図４はステップ４１０においてなされる全ての計算を示しているものの、本発明の１つ又は複数の実施形態において、計算（ii）はステップ４２５が偽であると判明した後にのみ実行される。同様に、本発明の１つ又は複数の実施形態において、計算（iii）はステップ４１５が偽であると判明した後にのみ実行される。 Although FIG. 4 shows all the calculations made in step 410, in one or more embodiments of the invention, calculation (ii) is performed only after step 425 is found to be false. Similarly, in one or more embodiments of the invention, calculation (iii) is performed only after step 415 turns out to be false.

図５Ａは本発明の１つ又は複数の実施形態による例を示す。図５Ａは手書きのテキスト文字を有する画像（５０２）を示す。画像（５０２）は他のテキスト文字（図示しない）も含みうる。さらに、画像（５０２）は複数の文字列（図示しない）を含みうる。輪郭抽出装置が画像（５０２）から文字セグメント（５０４）を抽出しうる。図５Ａに示す通り、文字セグメントΩ、Δ及びΣが画像（５０２）から抽出されている。 FIG. 5A shows an example according to one or more embodiments of the present invention. FIG. 5A shows an image (502) with handwritten text characters. The image (502) may also include other text characters (not shown). Further, the image (502) may include a plurality of character strings (not shown). The contour extractor can extract the character segment (504) from the image (502). As shown in FIG. 5A, the character segments Ω, Δ and Σ are extracted from the image (502).

それから、文字セグメントの筆順（５０６）が上記の１つ又は複数の処理によって決定される。具体的には、文字セグメントΩが第一に書かれ、文字セグメントΣが第二に書かれ、文字セグメントΔが最後に書かれたということが決定される。 Then, the stroke order (506) of the character segment is determined by one or more of the above processes. Specifically, it is determined that the character segment Ω is written first, the character segment Σ is written second, and the character segment Δ is written last.

それから、文字セグメントの方向（５０８）が上記の１つ又は複数の処理によって決定される。具体的には、文字セグメントΩとΣが上部から下部に向けて（つまり、ユーザー側に向けて）書かれたということが決定される。さらに、文字セグメントΔは左から右に書かれた。 Then, the direction (508) of the character segment is determined by one or more of the above processes. Specifically, it is determined that the character segments Ω and Σ are written from top to bottom (that is, towards the user). In addition, the character segment Δ was written from left to right.

文字セグメント（５０４）、筆順（５０６）及び方向（５０８）が文字認識を行うためＩＣＲエンジンに送信される。ＩＣＲエンジンは文字を認識するために文字セグメント（５０４）、筆順（５０６）及び方向（５０８）を用いる。さらに、文字認識処理において、筆順（５０６）及び方向（５０８）を用いることで、認識された文字が画像（５０２）中の手書き文字と正しく合致するだろう。 The character segment (504), stroke order (506) and direction (508) are transmitted to the ICR engine for character recognition. The ICR engine uses character segments (504), stroke order (506) and directions (508) to recognize characters. Further, by using the stroke order (506) and the direction (508) in the character recognition process, the recognized characters will correctly match the handwritten characters in the image (502).

図５Ｂは１つ又は複数の実施形態による例を示す。図５Ｂに示す通り、文字（図示しない）に対応する文字セグメント（５９９）が存在する。文字セグメント（５９９）は輪郭抽出装置によってビットマップイメージから抽出されたものである。文字セグメント（５９９）は２つの端点：端点Ａ（５９７）及び端点Ｂ（５９５）を含む。端点Ａ（５９７）は端点Ｂ（５９５）よりも筆幅が大きい。端点Ａ（５９７）は端点Ｂ（５９５）よりも明度が暗い。したがって、端点Ａ（５９７）は開始端点であるはずで、端点Ｂ（５９５）は終了端点であるはずである。したがって、筆幅及び／又は明度を用いて、文字セグメント（５９９）の方向が左から右であるということが決定される。筆幅及び／又は明度は輪郭抽出装置から供給される。 FIG. 5B shows an example according to one or more embodiments. As shown in FIG. 5B, there is a character segment (599) corresponding to a character (not shown). The character segment (599) is extracted from the bitmap image by the contour extraction device. The character segment (599) includes two endpoints: endpoint A (597) and endpoint B (595). The end point A (597) has a larger brush width than the end point B (595). The end point A (597) is darker than the end point B (595). Therefore, endpoint A (597) should be the start endpoint and endpoint B (595) should be the end endpoint. Therefore, using the brush width and / or the lightness, it is determined that the direction of the character segment (599) is from left to right. The brush width and / or brightness is supplied from the contour extraction device.

さらに図５Ｂを参照すると、文字セグメントＡ（５８９）と文字セグメントＢ（５８７）も存在している。双方の文字セグメント（５８７、５８９）ともに輪郭抽出装置によってビットマップイメージから抽出されたものである。図５Ｂに示す通り、文字セグメントＡ（５８９）と文字セグメントＢ（５８７）は交差している。交差点のテクスチャプロパティ（５８５）はセグメントＡのテクスチャプロパティ（５８１）よりも文字セグメントＢのテクスチャプロパティ（５８３）により合致している。このことによって、文字セグメントＢ（５８７）が文字セグメントＡ（５８９）の上にあり、文字セグメントＡ（５８９）は文字セグメントＢ（５８７）の前に書かれたということが示唆される。換言すると、文字セグメント（５８７、５８９）の筆順はテクスチャプロパティに基づいて決定される。これらのテクスチャプロパティは文字セグメント（５８７、５８９）を抽出した輪郭抽出装置から供給されうる。 Further, referring to FIG. 5B, the character segment A (589) and the character segment B (587) also exist. Both character segments (587, 589) are extracted from the bitmap image by the contour extraction device. As shown in FIG. 5B, the character segment A (589) and the character segment B (587) intersect. The texture property (585) of the intersection is more matched by the texture property (583) of the character segment B than the texture property (581) of the segment A. This suggests that the character segment B (587) is above the character segment A (589) and the character segment A (589) was written before the character segment B (587). In other words, the stroke order of the character segment (587, 589) is determined based on the texture properties. These texture properties can be supplied by the contour extractor from which the character segments (587, 589) have been extracted.

本発明の多様な実施形態は、次の利点を１つ又は複数有しうる：筆幅及び／又は明度に基づいて文字セグメントのセットの方向を決定できること；テクスチャプロパティに基づいて文字セグメントのセットの筆順を決定できること；文字セグメントのセットの筆記時間を決定できること；画像中の文字に正しく合致する認識された文字をＩＣＲが出力する見込みを高められること；認識された文字の出力に必要な時間を短縮できること；２つの文字セグメントの筆順が正しいかどうかテストできること；異なる文字セグメントに一定速度又は異なる速度を割り当てられること；等。 Various embodiments of the present invention may have one or more of the following advantages: the orientation of a set of character segments based on stroke width and / or lightness; the set of character segments based on texture properties. Being able to determine the stroke order; being able to determine the writing time for a set of character segments; being able to increase the likelihood that the ICR will output recognized characters that correctly match the characters in the image; It can be shortened; it can be tested whether the stroke order of two character segments is correct; it can be assigned a constant speed or a different speed to different character segments; etc.

用いられるプラットフォームに関わらず、本発明の実施形態はほとんどどのような種類の演算システムにも備えられる。例えば、演算システムは１つ又は複数の携帯装置（例えば、ノートパソコン、スマートフォン、パーソナルデジタルアシスタント、タブレット、その他の携帯装置）、デスクトップコンピュータ、サーバー、サーバシャーシのブレード、又は本発明の１つ又は複数の実施形態を実行するために少なくとも最小限の処理能力、メモリ及び入出力装置を備えたその他任意の種類の１つ又は複数の演算装置とされうる。例えば、図６に示すように、演算装置（６００）は、１つ又は複数のコンピュータープロセッサー（６０２）、関連メモリ（６０４）（例えば、ランダムアクセスメモリ（ＲＡＭ）、キャッシュメモリ、フラッシュメモリ等）、１つ又は複数の記憶装置（６０６）（例えば、ハードディスク、コンパクトディスク（ＣＤ）ドライブやデジタル多用途ディスク（ＤＶＤ）ドライブなどの光学ドライブ、フラッシュメモリスティック等）、その他多くの要素や機能を有しうる。コンピュータープロセッサー（６０２）は命令を処理するための集積回路であってもいい。例えば、コンピュータープロセッサーは、プロセッサーの１つ又は複数のコアやマイクロコアであっていい。また、演算システム（６００）はタッチスクリーン、キーボード、マウス、マイク、タッチパッド、電子ペン、その他任意の種類の入力装置などの１つ又は複数の入力装置（６１０）をも備えうる。さらに、演算システム（６００）は画面（例えば、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、タッチスクリーン、ブラウン管（ＣＲＴ）モニター、プロジェクター、その他表示装置）、プリンター、外部記憶又はその他の任意の出力装置などの１つ又は複数の出力装置（６０８）を備えうる。１つ又は複数の出力装置は入力装置と同じであっても異なっていてもいい。演算装置（６００）は、ネットワークインターフェース接続（図示しない）を介してネットワーク（６１２）（例えば、ローカルエリアネットワーク（ＬＡＮ）、インターネットなどのワイドエリアネットワーク（ＷＡＮ）、モバイルネットワーク又はその他任意のネットワーク）に接続されうる。入出力装置は、ローカルもしくはリモートで（例えば、ネットワーク（６１２）を通じて）コンピュータープロセッサー（６０２）、メモリ（６０４）及び記憶装置（６０６）に接続されうる。多くの異なる演算システムが存在しており、前述の入出力装置は他の形態をとりうる。 Regardless of the platform used, embodiments of the present invention are included in almost any type of computing system. For example, the computing system may be one or more mobile devices (eg, laptops, smartphones, personal digital assistants, tablets, other mobile devices), desktop computers, servers, blades of server chassis, or one or more of the present invention. It may be one or more computing devices of any other type with at least minimal processing power, memory and input / output devices to carry out the embodiments of. For example, as shown in FIG. 6, the arithmetic unit (600) includes one or more computer processors (602), related memory (604) (eg, random access memory (RAM), cache memory, flash memory, etc.). It has one or more storage devices (606) (eg, optical drives such as hard disks, compact disk (CD) drives and digital versatile disk (DVD) drives, flash memory sticks, etc.), and many other elements and functions. sell. The computer processor (602) may be an integrated circuit for processing instructions. For example, the computer processor may be one or more cores or microcores of the processor. The arithmetic system (600) may also include one or more input devices (610) such as a touch screen, keyboard, mouse, microphone, touch pad, electronic pen, and any other type of input device. In addition, the arithmetic system (600) may include screens (eg, liquid crystal displays (LCDs), plasma displays, touch screens, brown tube (CRT) monitors, projectors, other display devices), printers, external storage or any other output device. It may be equipped with one or more output devices (608). The one or more output devices may be the same as or different from the input devices. The computing unit (600) connects to a network (612) (eg, a local area network (LAN), a wide area network (WAN) such as the Internet, a mobile network, or any other network) via a network interface connection (not shown). Can be connected. Input / output devices may be connected locally or remotely (eg, through a network (612)) to a computer processor (602), memory (604) and storage device (606). There are many different arithmetic systems, and the input / output devices described above may take other forms.

本発明の実施形態を実施するためのコンピューター可読プログラムコードの形態のソフトウェア命令は、その全体又は一部を、一時的又は恒常的に、ＣＤ、ＤＶＤ、記憶装置、ディスケット、テープ、フラッシュメモリ、物理メモリ又はその他任意のコンピューター可読記憶媒体などの非一時的なコンピューター可読媒体に保存しうる。具体的には、ソフトウェア命令は、プロセッサーによって実行される際に、本発明の実施形態を実施するために構成されるコンピューター可読プログラムコードに対応しうる。 Software instructions in the form of computer-readable program codes for implementing embodiments of the present invention, in whole or in part, may be CDs, DVDs, storage devices, diskettes, tapes, flash memories, physics, either in whole or in part, temporarily or permanently. It may be stored on a non-temporary computer-readable medium such as memory or any other computer-readable storage medium. Specifically, software instructions may correspond to computer-readable program code configured to implement embodiments of the invention when executed by a processor.

さらに、上記の演算システム（６００）の１つまたは複数の要素は、遠隔地に置かれ、ネットワーク（６１２）を通じて他の要素に接続されていい。さらに、本発明の１つ又は複数の実施形態は、複数のノードを有する分散型システムに備えられ、分散型システム中の異なるノードに発明の各部が位置してもいい。本発明の実施形態において、ノードは別個の演算装置に対応する。あるいは、ノードは関連の物理メモリを有するコンピュータープロセッサーに対応しうる。ノードは、あるいは、共有メモリ及び／又はリソースを有するコンピュータープロセッサー又はコンピュータープロセッサーのマイクロコアに対応しうる。 Further, one or more elements of the arithmetic system (600) may be located at a remote location and connected to other elements via a network (612). Further, one or more embodiments of the present invention may be provided in a distributed system having a plurality of nodes, and each part of the invention may be located at different nodes in the distributed system. In an embodiment of the invention, the node corresponds to a separate arithmetic unit. Alternatively, the node may correspond to a computer processor with associated physical memory. The node may also correspond to a computer processor or computer processor microcore with shared memory and / or resources.

限られた数の実施形態について本発明の説明がなされたが、この開示情報によって、ここで開示された発明の範囲から逸脱させることなく他の実施形態が案出されうることは、当業者に理解されるだろう。したがって、本発明の範囲は添付の請求項によってのみ限定されるものである。 Although the present invention has been described for a limited number of embodiments, it will be appreciated by those skilled in the art that this disclosed information may allow other embodiments to be devised without departing from the scope of the invention disclosed herein. Will be understood. Therefore, the scope of the present invention is limited only by the appended claims.

Claims (37)

画像から抽出された複数の文字セグメントを取得することと、
前記複数の文字セグメントからなる第一のセットを含む第一の文字バウンディングボックス、及び前記複数の文字セグメントからなる第二のセットを含む第二の文字バウンディングボックスを決定することと、
前記第一のセットの複数の方向、及び第一のセットの筆順及び第一のセットの筆記時間を含む前記第一のセットの複数のタイミングプロパティを決定することと、
前記第一のセット、前記第一のセットの複数の方向及び前記第一のセットの複数のタイミングプロパティをインテリジェント文字認識（ＩＣＲ）エンジンに送信することによって前記第一の文字バウンディングボックスの文字認識を実行することと、
前記第一のセット中で垂線と第一の文字セグメントとの第一の角度を算出することと、
前記第一のセット中で垂線と第二の文字セグメントとの第二の角度を算出することと、
前記第一の角度が前記第二の角度よりも小さいことに対応して前記第一の文字セグメントが前記第二の文字セグメントの前に書かれたことを決定することと、を含む、文字認識方法。 To get multiple character segments extracted from an image,
Determining a first character bounding box containing a first set of the plurality of character segments and a second character bounding box containing the second set of the plurality of character segments.
Determining the plurality of directions of the first set, and the plurality of timing properties of the first set, including the stroke order of the first set and the writing time of the first set.
Character recognition of the first character bounding box by transmitting the first set, the plurality of directions of the first set, and the plurality of timing properties of the first set to an intelligent character recognition (ICR) engine. To do and
To calculate the first angle between the perpendicular and the first character segment in the first set,
To calculate the second angle between the perpendicular and the second character segment in the first set,
Character recognition, including determining that the first character segment was written before the second character segment in response to the first angle being smaller than the second angle. Method. 前記第二のセットの複数の方向及び前記第二のセットの複数のタイミングプロパティを決定することと、
前記第二のセット、前記第二のセットの複数の方向及び前記第二のセットの複数のタイミングプロパティをＩＣＲエンジンに送信することによって、前記第二の文字バウンディングボックスについて文字認識を実行することをさらに含み、
前記複数の文字セグメントが輪郭抽出装置によって前記画像から抽出され、
前記複数の文字セグメントが前記画像中で１つのテキスト列を形成する、請求項１に記載の方法。 Determining multiple directions in the second set and multiple timing properties in the second set.
Performing character recognition for the second character bounding box by sending the second set, the plurality of directions of the second set, and the plurality of timing properties of the second set to the ICR engine. Including more
The plurality of character segments are extracted from the image by the contour extraction device, and the plurality of character segments are extracted from the image.
The method of claim 1, wherein the plurality of character segments form one text string in the image. 前記第一のセット中で第一の文字セグメントの第一の垂直位置を算出することと、
前記第一のセット中で第二の文字セグメントの第二の垂直位置を算出することと、
前記第一の垂直位置が前記第二の垂直位置より低いことに対応して前記第一の文字セグメントが前記第二の文字セグメントの前に書かれたことを決定することと、をさらに含む、請求項１又は２に記載の方法。 To calculate the first vertical position of the first character segment in the first set,
To calculate the second vertical position of the second character segment in the first set,
Further comprising determining that the first character segment was written before the second character segment in response to the first vertical position being lower than the second vertical position. The method according to claim 1 or 2 . 前記第一の文字バウンディングボックスのクロック値をリセットすることと、
前記第一のセット中の第一の文字セグメントの第一の長さを算出することと、
前記第一の長さに基づいて前記第一の文字セグメントのクロック値を増加させることと、
前記第一のセット中の第二の文字セグメントの第二の長さを算出することと、
前記第二の長さに基づいて前記第二の文字セグメントのクロック値を増加させることと、をさらに含み、
前記第一のセットの筆記時間が前記クロック値である、請求項１から３のいずれか一項に記載の方法。 To reset the clock value of the first character bounding box,
To calculate the first length of the first character segment in the first set,
Increasing the clock value of the first character segment based on the first length,
To calculate the second length of the second character segment in the first set,
Further including increasing the clock value of the second character segment based on the second length.
The method according to any one of claims 1 to 3 , wherein the writing time of the first set is the clock value. 前記第一の長さに基づいて前記第一の文字セグメントの第一の速度を選択し、さらに前記第一の速度に基づいて前記第一の文字セグメントのクロック値を増加させることと、
前記第二の長さに基づいて前記第二の文字セグメントの第二の速度を選択し、さらに前記第二の速度に基づいて前記第二の文字セグメントのクロック値を増加させることと、をさらに含む、請求項４に記載の方法。 To select the first speed of the first character segment based on the first length and further increase the clock value of the first character segment based on the first speed.
Further, selecting the second speed of the second character segment based on the second length and further increasing the clock value of the second character segment based on the second speed. The method according to claim 4 , including. 前記第一のセット中の文字セグメントの第一の端点及び第二の端点を決定することと、
前記第一の端点からユーザー点までの第一の距離を算出することと、
前記第二の端点から前記ユーザー点までの第二の距離を算出することと、
前記第二の距離が前記第一の距離よりも小さいことに対応して前記第一の端点が開始端点であると決定することと、をさらに含む、請求項１から５のいずれか一項に記載の方法。 Determining the first and second endpoints of the character segment in the first set,
To calculate the first distance from the first endpoint to the user point,
To calculate the second distance from the second endpoint to the user point,
One of claims 1 to 5 , further comprising determining that the first endpoint is the starting endpoint in response to the second distance being smaller than the first distance. The method described. 前記ＩＣＲエンジンにより出力された認識された文字を含む編集可能な電子文書を生成することをさらに含む、請求項１から６のいずれか一項に記載の方法。 The method of any one of claims 1-6 , further comprising generating an editable electronic document comprising the recognized characters output by the ICR engine. メモリと、
前記メモリに接続するコンピュータープロセッサーを備え、
前記コンピュータープロセッサーが、
画像から抽出された複数の文字セグメントを取得し、
前記複数の文字セグメントからなる第一のセットを含む第一の文字バウンディングボックス、及び前記複数の文字セグメントからなる第二のセットを含む第二の文字バウンディングボックスを決定し、
前記第一のセットの複数の方向、及び第一のセットの筆順と第一のセットの筆記時間とを含む前記第一のセットの複数のタイミングプロパティを決定し、
前記第一のセット、前記第一のセットの複数の方向及び前記第一のセットの複数のタイミングプロパティをインテリジェント文字認識（ＩＣＲ）エンジンに送信することによって前記第一の文字バウンディングボックスの文字認識を実行し、
前記第一のセット中で垂線と第一の文字セグメントとの第一の角度を算出し、
前記第一のセット中で垂線と第二の文字セグメントとの第二の角度を算出し、
前記第一の角度が前記第二の角度よりも小さいことに対応して前記第一の文字セグメントが前記第二の文字セグメントの前に書かれたことを決定する、文字認識システム。 With memory
Equipped with a computer processor connected to the memory
The computer processor
Get multiple character segments extracted from an image
A first character bounding box containing the first set of the plurality of character segments and a second character bounding box containing the second set of the plurality of character segments are determined.
Determine multiple timing properties of the first set, including multiple directions of the first set, and stroke order of the first set and writing time of the first set.
Character recognition of the first character bounding box by transmitting the first set, the plurality of directions of the first set, and the plurality of timing properties of the first set to an intelligent character recognition (ICR) engine. Run and
Calculate the first angle between the perpendicular and the first character segment in the first set,
Calculate the second angle between the perpendicular and the second character segment in the first set,
A character recognition system that determines that the first character segment is written before the second character segment in response to the first angle being smaller than the second angle . 前記コンピュータープロセッサーが、さらに、
前記第一のセット中で第一の文字セグメントの第一の垂直位置を算出し、
前記第一のセット中で第二の文字セグメントの第二の垂直位置を算出し、
前記第一の垂直位置が第二の垂直位置より低いことに対応して前記第一の文字セグメントが前記第二の文字セグメントの前に書かれたことを決定する、請求項８に記載
のシステム。 The computer processor further
Calculate the first vertical position of the first character segment in the first set,
Calculate the second vertical position of the second character segment in the first set,
8. The system of claim 8 , wherein the first character segment is determined to precede the second character segment in response to the first vertical position being lower than the second vertical position. .. 前記コンピュータープロセッサーが、さらに、
前記第一の文字バウンディングボックスのクロック値をリセットし、
前記第一のセット中の第一の文字セグメントの第一の長さを算出し、
前記第一の長さに基づいて前記第一の文字セグメントのクロック値を増加させ、
前記第一のセット中の第二の文字セグメントの第二の長さを算出し、
前記第二の長さに基づいて前記第二の文字セグメントのクロック値を増加させ、
前記第一のセットの筆記時間が前記クロック値である、請求項８又は９に記載のシステム。 The computer processor further
Reset the clock value of the first character bounding box,
Calculate the first length of the first character segment in the first set,
Increasing the clock value of the first character segment based on the first length
Calculate the second length of the second character segment in the first set,
Increasing the clock value of the second character segment based on the second length
The system according to claim 8 or 9, wherein the writing time of the first set is the clock value. 前記コンピュータープロセッサーが、さらに、
前記第一の長さに基づいて前記第一の文字セグメントの第一の速度を選択し、さらに前記第一の速度に基づいて前記第一の文字セグメントのクロック値を増加させ、
前記第二の長さに基づいて前記第二の文字セグメントの第二の速度を選択し、さらに前記第二の速度に基づいて前記第二の文字セグメントのクロック値を増加させる、請求項１０に記載のシステム。 The computer processor further
The first speed of the first character segment is selected based on the first length, and the clock value of the first character segment is further increased based on the first speed.
Claim 10 to select the second speed of the second character segment based on the second length and further increase the clock value of the second character segment based on the second speed. The system described in. 前記コンピュータープロセッサーが、さらに、
前記第一のセット中の文字セグメントの第一の端点及び第二の端点を決定し、
前記第一の端点からユーザー点までの第一の距離を算出し、
前記第二の端点から前記ユーザー点までの第二の距離を算出し、
前記第二の距離が前記第一の距離よりも小さいことに対応して前記第一の端点が開始端点であることを決定する、請求項８から１１のいずれか一項に記載のシステム。 The computer processor further
Determine the first and second endpoints of the character segment in the first set,
Calculate the first distance from the first endpoint to the user point,
Calculate the second distance from the second endpoint to the user point,
The system according to any one of claims 8 to 11, wherein the first endpoint is determined to be the starting endpoint in response to the second distance being smaller than the first distance. 前記コンピュータープロセッサーが、さらにＩＣＲエンジンにより出力された認識された文字を含む編集可能な電子文書を生成する、請求項８から１２のいずれか一項に記載のシステム。 The system according to any one of claims 8 to 12, wherein the computer processor further produces an editable electronic document containing the recognized characters output by the ICR engine. コンピュータープロセッサーに、
画像から抽出された複数の文字セグメントを取得させ、
前記複数の文字セグメントからなる第一のセットを含む第一の文字バウンディングボックス、及び前記複数の文字セグメントからなる第二のセットを含む第二の文字バウンディングボックスを決定させ、
前記第一のセットの複数の方向、及び前記第一のセットの筆順及び第一のセットの筆記時間を含む前記第一のセットの複数のタイミングプロパティを決定させ、
前記第一のセット、前記第一のセットの複数の方向及び前記第一のセットの複数のタイミングプロパティをインテリジェント文字認識（ＩＣＲ）エンジンに送信することによって前記第一の文字バウンディングボックスの文字認識を実行させ、
前記第一のセット中で垂線と第一の文字セグメントとの第一の角度を算出させ、
前記第一のセット中で垂線と第二の文字セグメントとの第二の角度を算出させ、
前記第一の角度が前記第二の角度よりも小さいことに対応して前記第一の文字セグメントが前記第二の文字セグメントの前に書かれたことを決定させる、プログラム。 To the computer processor
Get multiple character segments extracted from the image
A first character bounding box containing the first set of the plurality of character segments and a second character bounding box containing the second set of the plurality of character segments are determined.
Having the plurality of directions of the first set and the plurality of timing properties of the first set including the stroke order of the first set and the writing time of the first set determined.
Character recognition of the first character bounding box by transmitting the first set, the plurality of directions of the first set, and the plurality of timing properties of the first set to an intelligent character recognition (ICR) engine. Let it run
In the first set, the first angle between the perpendicular and the first character segment is calculated.
In the first set, the second angle between the perpendicular and the second character segment is calculated.
A program that causes the first character segment to be determined to be written before the second character segment in response to the first angle being smaller than the second angle . 前記コンピュータープロセッサーに、
前記第一の文字バウンディングボックスのクロック値をリセットさせ、
前記第一のセット中の第一の文字セグメントの第一の長さを算出させ、
前記第一の長さに基づいて前記第一の文字セグメントのクロック値を増加させ、
前記第一のセット中の第二の文字セグメントの第二の長さを算出させ、
前記第二の長さに基づいて前記第二の文字セグメントのクロック値を増加させ、
前記第一のセットの筆記時間が前記クロック値である、請求項１４に記載のプログラム。 To the computer processor
Reset the clock value of the first character bounding box,
Have the first length of the first character segment in the first set calculated.
Increasing the clock value of the first character segment based on the first length
Have them calculate the second length of the second character segment in the first set,
Increasing the clock value of the second character segment based on the second length
The program according to claim 14 , wherein the writing time of the first set is the clock value. 前記コンピュータープロセッサーに、
前記第一のセット中の文字セグメントの第一の端点及び第二の端点を決定させ、
前記第一の端点からユーザー点までの第一の距離を算出させ、
前記第二の端点から前記ユーザー点までの第二の距離を算出させ、
前記第二の距離が前記第一の距離よりも小さいことに対応して前記第一の端点が開始端点であると決定させる、請求項１４又は１５に記載のプログラム。 To the computer processor
The first and second endpoints of the character segment in the first set are determined.
Calculate the first distance from the first endpoint to the user's point.
The second distance from the second end point to the user point is calculated.
The program according to claim 14 or 15 , wherein the first endpoint is determined to be the starting endpoint in response to the second distance being smaller than the first distance. 前記コンピュータープロセッサーに、前記ＩＣＲエンジンにより出力された認識された文字を含む編集可能な電子文書を生成させる、請求項１４から１６のいずれか一項に記載のプログラム。 The program according to any one of claims 14 to 16 , which causes the computer processor to generate an editable electronic document containing the recognized characters output by the ICR engine. 画像から抽出された複数の文字セグメントを取得することと、
前記複数の文字セグメントからなる第一のセットを含む第一の文字バウンディングボックス、及び前記複数の文字セグメントからなる第二のセットを含む第二の文字バウンディングボックスを決定することと、
前記第一のセットの複数のテクスチャプロパティに基づいて前記第一のセットの筆順を決定することと、
前記第一のセットの複数の筆幅と複数の明度とに基づいて前記第一のセットの複数の方向を決定することと、
前記第一のセット、前記第一のセットの複数の方向及び前記第一のセットの筆順をインテリジェント文字認識（ＩＣＲ）エンジンに送信することによって前記第一の文字バウンディングボックスの文字認識を実行することと、を含む、文字認識方法。 To get multiple character segments extracted from an image,
Determining a first character bounding box containing a first set of the plurality of character segments and a second character bounding box containing the second set of the plurality of character segments.
Determining the stroke order of the first set based on multiple texture properties of the first set.
Determining the plurality of directions of the first set based on the plurality of brush widths and the plurality of brightness of the first set.
Performing character recognition in the first character bounding box by transmitting the first set, the plurality of directions of the first set, and the stroke order of the first set to an intelligent character recognition (ICR) engine. And, including, character recognition methods. 前記第二のセットの複数の方向及び前記第二のセットのタイミングプロパティを決定することと、
前記第二のセット、前記第二のセットの複数の方向及び前記第二のセットのタイミングプロパティを前記ＩＣＲエンジンに送信することによって、前記第二の文字バウンディングボックスについて文字認識を実行することと、をさらに含み、
前記複数の文字セグメントが輪郭抽出装置によって前記画像から抽出され、
前記複数の文字セグメントが前記画像中で１つのテキスト列を形成する、請求項１８に記載の方法。 Determining multiple orientations of the second set and timing properties of the second set,
Performing character recognition for the second character bounding box by transmitting the second set, the plurality of directions of the second set, and the timing properties of the second set to the ICR engine. Including
The plurality of character segments are extracted from the image by the contour extraction device, and the plurality of character segments are extracted from the image.
18. The method of claim 18 , wherein the plurality of character segments form a single text string in the image. 前記筆順を決定することが、
前記第一のセット中で第一の文字セグメントと第二の文字セグメントとの交差点を位置づけることと、
交差点のテクスチャプロパティを決定することと、
前記交差点のテクスチャプロパティを前記第一の文字セグメントのテクスチャプロパティ及び前記第二の文字セグメントのテクスチャプロパティと比較することと、
前記交差点のテクスチャプロパティが前記第二の文字セグメントのテクスチャプロパティと合致することに対応して前記第一の文字セグメントが前記第二の文字セグメントの前に書かれたことを決定することと、を含む、請求項１８又は１９に記載の方法。 Determining the stroke order
Positioning the intersection of the first character segment and the second character segment in the first set,
Determining the texture properties of the intersection and
Comparing the texture property of the intersection with the texture property of the first character segment and the texture property of the second character segment,
Determining that the first character segment was written before the second character segment, corresponding to the texture property of the intersection matching the texture property of the second character segment. The method of claim 18 or 19 , including. 前記テクスチャプロパティが色である、請求項２０に記載の方法。 The method of claim 20, wherein the texture property is color. 前記テクスチャプロパティが塗りつぶしパターンである、請求項２０に記載の方法。 The method of claim 20, wherein the texture property is a fill pattern. 前記複数の方向を決定することが、
前記第一のセット中で文字セグメントの第一の端点及び第二の端点を決定することと、
前記第一の端点の筆幅を前記第二の端点の筆幅と比較することと、
前記第一の端点の筆幅が前記第二の端点の筆幅より大きいことに対応して前記第一の端点が開始端点であることを決定することと、を含む、請求項１８から２２のいずれか一項に記載の方法。 Determining the multiple directions is
Determining the first and second endpoints of a character segment in the first set,
Comparing the brush width of the first end point with the brush width of the second end point,
18 to 22, including determining that the first endpoint is the starting endpoint corresponding to the width of the first endpoint being greater than the width of the second endpoint. The method described in any one of the above. 前記複数の方向を決定することが、
前記第一のセット中で文字セグメントの第一の端点及び第二の端点を決定することと、
前記第一の端点の明度を前記第二の端点の明度と比較することと、
前記第一の端点の明度が前記第二の端点の明度を超えることに対応して前記第一の端点が開始端点であることを決定することと、を含む、請求項１８から２３のいずれか一項に記載の方法。 Determining the multiple directions is
Determining the first and second endpoints of a character segment in the first set,
Comparing the brightness of the first endpoint with the brightness of the second endpoint,
13 . The method described in one paragraph. 前記筆順を決定することが、
前記第一のセット中で垂線と第一の文字セグメントとの第一の角度を算出することと、
前記第一のセット中で垂線と第二の文字セグメントとの第二の角度を算出することと、
前記第一の角度が前記第二の角度よりも小さいことに対応して、前記第一の文字セグメントが前記第二の文字セグメントの前に書かれたことを決定することと、を含む、請求項１８から２４のいずれか一項に記載の方法。 Determining the stroke order
To calculate the first angle between the perpendicular and the first character segment in the first set,
To calculate the second angle between the perpendicular and the second character segment in the first set,
A claim comprising determining that the first character segment was written before the second character segment in response to the first angle being smaller than the second angle. Item 6. The method according to any one of Items 18 to 24 . 前記第一の文字バウンディングボックスのクロック値をリセットすることと、
前記第一のセット中の第一の文字セグメントの第一の長さを算出することと、
前記第一の長さに基づいて前記第一の文字セグメントの前記クロック値を増加させることと、
前記第一のセット中の第二の文字セグメントの第二の長さを算出することと、
前記第二の長さに基づいて前記第二の文字セグメントの前記クロック値を増加させることと、によって、前記第一のセットの筆記時間を決定することをさらに含み、
前記第一のセットの筆記時間が前記クロック値であり、
前記第一のセットの筆記時間が前記ＩＣＲエンジンに送信される、請求項１８から２５のいずれか一項に記載の方法。 To reset the clock value of the first character bounding box,
To calculate the first length of the first character segment in the first set,
Increasing the clock value of the first character segment based on the first length,
To calculate the second length of the second character segment in the first set,
Further comprising determining the writing time of the first set by increasing the clock value of the second character segment based on the second length.
The writing time of the first set is the clock value.
The method of any one of claims 18-25 , wherein the writing time of the first set is transmitted to the ICR engine. 前記第一の長さに基づいて前記第一の文字セグメントの第一の速度を選択し、さらに前記第一の速度に基づいて前記第一の文字セグメントの前記クロック値を増加させることと、
前記第二の長さに基づいて前記第二の文字セグメントの第二の速度を選択し、さらに前記第二の速度に基づいて前記第二の文字セグメントの前記クロック値を増加させることと、をさらに含む、請求項２６に記載の方法。 To select the first speed of the first character segment based on the first length and further increase the clock value of the first character segment based on the first speed.
To select the second speed of the second character segment based on the second length, and to increase the clock value of the second character segment based on the second speed. The method of claim 26 , further comprising. 前記ＩＣＲエンジンにより出力された認識された文字を含む編集可能な電子文書を生成することをさらに含む、請求項１８から２７のいずれか一項に記載の方法。 The method of any one of claims 18-27 , further comprising generating an editable electronic document comprising the recognized characters output by the ICR engine. メモリと、
前記メモリに接続するコンピュータープロセッサーと、を備え、
前記コンピュータープロセッサーが、
画像から抽出された複数の文字セグメントを取得し、
前記複数の文字セグメントからなる第一のセットを含む第一の文字バウンディングボックス、及び複数の文字セグメントからなる第二のセットを含む第二の文字バウンディングボックスを決定し、
前記第一のセットの筆順を前記第一のセットの複数のテクスチャプロパティに基づいて決定し、
前記第一のセットの複数の方向を前記第一のセットの複数の筆幅及び複数の明度に基づいて決定し、
前記第一のセット、前記第一のセットの複数の方向及び前記第一のセットの筆順をインテリジェント文字認識（ＩＣＲ）エンジンに送信することによって前記第一の文字バウンディングボックスの文字認識を実行する、文字認識システム。 With memory
With a computer processor connected to the memory
The computer processor
Get multiple character segments extracted from an image
A first character bounding box containing the first set of the plurality of character segments and a second character bounding box containing the second set of the plurality of character segments are determined.
The stroke order of the first set is determined based on the plurality of texture properties of the first set.
A plurality of directions of the first set are determined based on a plurality of brush widths and a plurality of brightnesses of the first set.
Performing character recognition of the first character bounding box by transmitting the first set, the plurality of directions of the first set, and the stroke order of the first set to an intelligent character recognition (ICR) engine. Character recognition system. 前記筆順を決定することが、
前記第一のセット中で第一の文字セグメントと第二の文字セグメントとの交差点を位置づけることと、
交差点のテクスチャプロパティを決定することと、
前記交差点のテクスチャプロパティを前記第一の文字セグメントのテクスチャプロパティ及び前記第二の文字セグメントのテクスチャプロパティと比較することと、
前記交差点のテクスチャプロパティが前記第二の文字セグメントのテクスチャプロパティに合致することに対応して前記第一の文字セグメントが前記第二の文字セグメントの前に書かれたことを決定することと、を含む、請求項２９に記載の方法。 Determining the stroke order
Positioning the intersection of the first character segment and the second character segment in the first set,
Determining the texture properties of the intersection and
Comparing the texture property of the intersection with the texture property of the first character segment and the texture property of the second character segment,
Determining that the first character segment was written before the second character segment, corresponding to the texture property of the intersection matching the texture property of the second character segment. 29. The method of claim 29 . 前記複数の方向を決定することが、
前記第一のセット中で文字セグメントの第一の端点及び第二の端点を決定することと、
前記第一の端点の筆幅を前記第二の端点の筆幅と比較することと、
前記第一の端点の筆幅が前記第二の端点の筆幅より大きいことに対応して前記第一の端点が開始端点であることを決定することと、を含む、請求項２９又は３０に記載のシステム。 Determining the multiple directions is
Determining the first and second endpoints of a character segment in the first set,
Comparing the brush width of the first end point with the brush width of the second end point,
29 or 30 including determining that the first endpoint is the starting endpoint corresponding to the width of the first endpoint being greater than the width of the second endpoint . The system described in. 前記複数の方向を決定することが、
前記第一のセット中で文字セグメントの第一の端点及び第二の端点を決定することと、
前記第一の端点の明度を前記第二の端点の明度と比較することと、
前記第一の端点の明度が前記第二の端点の明度を超えることに対応して前記第一の端点が開始端点であることを決定することと、を含む、請求項２９から３１のいずれか一項に記載のシステム。 Determining the multiple directions is
Determining the first and second endpoints of a character segment in the first set,
Comparing the brightness of the first endpoint with the brightness of the second endpoint,
Any of claims 29 to 31, including determining that the first endpoint is the starting endpoint in response to the brightness of the first endpoint exceeding the brightness of the second endpoint. The system described in one paragraph. 前記コンピュータープロセッサーは、さらに前記ＩＣＲエンジンにより出力された認識された文字を含む編集可能な電子文書を生成する、請求項２９から３２のいずれか一項に記載のシステム。 The system according to any one of claims 29 to 32, wherein the computer processor further produces an editable electronic document containing the recognized characters output by the ICR engine. コンピュータープロセッサーに、
画像から抽出された複数の文字セグメントを取得させ、
複数の文字セグメントからなる第一のセットを含む第一の文字バウンディングボックス及び複数の文字セグメントからなる第二のセットを含む第二の文字バウンディングボックスを決定させ、
前記第一のセットの複数のテクスチャプロパティに基づいて前記第一のセットの筆順を決定させ、
前記第一のセットの複数の筆幅及び複数の明度に基づいて前記第一のセットの複数の方向を決定させ、
前記第一のセット、前記第一のセットの複数の方向及び前記第一のセットの筆順をインテリジェント文字認識（ＩＣＲ）エンジンに送信することによって前記第一の文字バウンディングボックスの文字認識を実行させる、プログラム。 To the computer processor
Get multiple character segments extracted from the image
Determine a first character bounding box containing a first set of multiple character segments and a second character bounding box containing a second set of multiple character segments.
The stroke order of the first set is determined based on the plurality of texture properties of the first set.
A plurality of directions of the first set are determined based on a plurality of brush widths and a plurality of brightnesses of the first set.
Character recognition of the first character bounding box is performed by transmitting the first set, the plurality of directions of the first set, and the stroke order of the first set to an intelligent character recognition (ICR) engine. program. 前記筆順を決定することが、
前記第一のセット中で第一の文字セグメントと第二の文字セグメントとの交差点を位置づけることと、
交差点のテクスチャプロパティを決定することと、
前記交差点のテクスチャプロパティを前記第一の文字セグメントのテクスチャプロパティ及び前記第二の文字セグメントのテクスチャプロパティと比較することと、
前記交差点のテクスチャプロパティが前記第二の文字セグメントのテクスチャプロパティに合致することに対応して前記第一の文字セグメントが前記第二の文字セグメントの前に書かれたことを決定することと、を含む、請求項３４に記載のプログラム。 Determining the stroke order
Positioning the intersection of the first character segment and the second character segment in the first set,
Determining the texture properties of the intersection and
Comparing the texture property of the intersection with the texture property of the first character segment and the texture property of the second character segment,
Determining that the first character segment was written before the second character segment, corresponding to the texture property of the intersection matching the texture property of the second character segment. The program of claim 34 , including. 前記複数の方向を決定することが、
前記第一のセット中で文字セグメントの第一の端点及び第二の端点を決定することと、
前記第一の端点の筆幅を前記第二の端点の筆幅と比較することと、
前記第一の端点の筆幅が前記第二の端点の筆幅より大きいことに対応して前記第一の端点が開始端点であることを決定することと、を含む、請求項３４又は３５に記載のプログラム。 Determining the multiple directions is
Determining the first and second endpoints of a character segment in the first set,
Comparing the brush width of the first end point with the brush width of the second end point,
3 . The program described in 5 . 前記複数の方向を決定することが、
前記第一のセット中で文字セグメントの第一の端点及び第二の端点を決定することと、
前記第一の端点の明度を前記第二の端点の明度と比較することと、
前記第一の端点の明度が前記第二の端点の明度を超えることに対応して、前記第一の端点が開始端点であることを決定することと、を含む、請求項３４から３６のいずれか一項に記載のプログラム。 Determining the multiple directions is
Determining the first and second endpoints of a character segment in the first set,
Comparing the brightness of the first endpoint with the brightness of the second endpoint,
Claims 34 to 36 include determining that the first endpoint is the starting endpoint in response to the brightness of the first endpoint exceeding the brightness of the second endpoint. The program described in any one of the above.

Images