JP2021082264A - Image processing system, image processing method, and program - Google Patents
Image processing system, image processing method, and program Download PDFInfo
- Publication number
- JP2021082264A JP2021082264A JP2020163290A JP2020163290A JP2021082264A JP 2021082264 A JP2021082264 A JP 2021082264A JP 2020163290 A JP2020163290 A JP 2020163290A JP 2020163290 A JP2020163290 A JP 2020163290A JP 2021082264 A JP2021082264 A JP 2021082264A
- Authority
- JP
- Japan
- Prior art keywords
- character
- time factor
- character area
- factor value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000000034 method Methods 0.000 claims description 76
- 230000008569 process Effects 0.000 claims description 70
- 238000001514 detection method Methods 0.000 claims description 17
- 230000007704 transition Effects 0.000 description 27
- 230000001186 cumulative effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000004043 responsiveness Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
Abstract
Description
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program.
文書画像から文字情報を文字認識した結果を画像のインデキシングに用いるシステムがある。インデキシングの方法には、例えば文書画像のタイトルをその画像のファイル名にするなどがある。また、文書画像に対して、画像中で名前や金額等が記載されている領域を特定し、文字認識を行うことで情報を抽出するシステムもある。これらシステムにおいて、ユーザの要求によって文書画像から抽出したい文字情報が存在する位置は異なり、必ずしも入力する文書画像の文字領域をすべて文字認識する必要はない。 There is a system that uses the result of character recognition of character information from a document image for image indexing. The indexing method includes, for example, changing the title of the document image to the file name of the image. There is also a system that extracts information by identifying an area in which a name, amount of money, etc. are described in a document image and performing character recognition. In these systems, the position where the character information to be extracted from the document image exists differs depending on the user's request, and it is not always necessary to recognize all the character areas of the input document image.
ここで、ユーザへの応答性や処理装置のリソースを加味し、所定時間内に文書画像中の必要な箇所だけを文字認識したい、という要求がある。特許文献１には、文書画像内のテキストブロックごとに面積から文字認識の制限時間を設定しておき、予備的な文字認識を行って得た文字数や文字サイズを基に実行順番を制御する技術が提案されている。また、特許文献１には、テキストブロックの文字認識処理が先に設定した制限時間に達した場合、次のテキストブロックの文字認識処理へ遷移することが記載されている。特許文献２には、文書画像の領域毎の文字サイズや文字の色等の属性を解析し、所定の色であって大きい文字の領域から文字認識を実行し、所定の文字数に達したら文字認識処理を終了する技術が提案されている。
Here, there is a demand that character recognition is performed only for a necessary part in a document image within a predetermined time in consideration of responsiveness to a user and resources of a processing device.
特許文献１及び特許文献２では、文書画像における領域の位置や文字サイズ、文字色に基づいて、文字認識の実行順や処理時間を設定している。しかし、低品位の文字画像、具体的にはかすれや周囲の画素と接触している文字を文字認識するには、理想的な文字画像と比較して多くの処理が必要になる。すなわち、文字認識処理においては、文字領域が持つ座標位置、大きさ、色では判定不能な、処理時間が増大する要因があり、これらの不意な処理時間の増加を防止しつつ、必要な領域の文字認識処理を実行しなければならない。さらに、特許文献１では、システム負荷による実際の文字認識処理に要する時間の変化により、文字認識の結果が変動するおそれがある。
本発明は、文書画像中の必要な部分にのみ文字認識を実行し、適切な情報を高速に特定できるようにすることを目的とする。
In
An object of the present invention is to perform character recognition only on a necessary part of a document image so that appropriate information can be identified at high speed.
本発明に係る画像処理装置は、画像中の文字領域を検出する検出手段と、前記文字領域ごとに文字認識処理に係る優先度を設定する優先度設定手段と、前記文字領域ごとに、当該文字領域内の画素塊の大きさに係る情報に基づいて、文字認識処理の処理時間に係る時間要因値を設定する時間要因値設定手段と、設定された前記優先度及び前記時間要因値に基づいて、文字認識処理を実行する前記文字領域及び実行順を決定する実行順設定手段とを有することを特徴とする。 The image processing apparatus according to the present invention includes a detection means for detecting a character area in an image, a priority setting means for setting a priority related to character recognition processing for each character area, and the character for each character area. Based on the time factor value setting means for setting the time factor value related to the processing time of the character recognition process based on the information related to the size of the pixel block in the region, and the set priority and the time factor value. It is characterized by having the character area for executing the character recognition process and the execution order setting means for determining the execution order.
本発明によれば、文書画像中の必要な部分にのみ文字認識を実行し、適切な情報を高速に特定することが可能となる。 According to the present invention, it is possible to perform character recognition only on a necessary part of a document image and identify appropriate information at high speed.
以下、本発明の実施形態を図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
（第１の実施形態）
本発明の第１の実施形態について説明する。図１は、第１の実施形態に係る画像処理システムの構成例を示すブロック図である。本実施形態における画像処理システムは、読み取り装置１００及び画像処理装置１１０を有する。
(First Embodiment)
The first embodiment of the present invention will be described. FIG. 1 is a block diagram showing a configuration example of an image processing system according to the first embodiment. The image processing system in this embodiment includes a
読み取り装置１００は、スキャナ部１０１及び通信部１０２を有する。スキャナ部１０１は、文書の読み取りを行い、スキャンした文書画像を生成する。通信部１０２は、ネットワークを介して外部装置と通信を行う。通信部１０２は、例えばスキャナ部１０１により生成された文書画像を画像処理装置１１０に送信する。
The
画像処理装置１１０は、システム制御部１１１、ＲＯＭ１１２、ＲＡＭ１１３、ハードディスクドライブ（ＨＤＤ）１１４、表示部１１５、入力部１１６、及び通信部１１７を有する。システム制御部１１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３は、システム制御部１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１１４は、各種データや各種プログラム等を記憶する。なお、後述する画像処理装置１１０の機能や処理は、システム制御部１１１がＲＯＭ１１２又はＨＤＤ１１４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。システム制御部１１１がＲＯＭ１１２等からプログラムを読み出して実行することにより、例えば検出手段、優先度設定手段、時間要因値設定手段、実行順設定手段等の機能が実現される。
The
表示部１１５は、各種情報を表示する。入力部１１６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部１１７は、ネットワークを介して外部装置との通信処理を行う。通信部１１７は、例えば読み取り装置１００から文書画像を受信する。なお、表示部１１５と入力部１１６は、タッチパネルのように一体に設けられてもよい。また、表示部１１５は、プロジェクタによる投影を行うものであってもよく、入力部１１６は、投影された画像に対する指先の位置をカメラ等で認識するものであってもよい。
The
本実施形態においては、読み取り装置１００のスキャナ部１０１が帳票等の紙文書を読み取り、スキャンした文書画像を生成する。スキャンした文書画像は、読み取り装置１００の通信部１０２により画像処理装置１１０に送信される。画像処理装置１１０は、通信部１１７が読み取り装置１００からスキャンした文書画像を受信し、受信した文書画像をＨＤＤ１１４等の記憶装置に記憶する。なお、表示部１１５と入力部１１６の一部機能が読み取り装置１００にあってもよい。
In the present embodiment, the
図２は、本実施形態における画像処理装置１１０での文字認識処理の例を示すフローチャートである。図２に示すフローチャートの処理は、画像処理装置１１０において、ＲＯＭ１１２に格納されたプログラムに従ってシステム制御部１１１が実行することによって実現される。
FIG. 2 is a flowchart showing an example of character recognition processing in the
Ｓ２００において、読み取り装置１００が、ユーザによる指示に従って紙文書をスキャナ部１０１によりスキャンし、スキャンした文書画像を通信部１０２により画像処理装置１１０に送信する。送信されたスキャンした文書画像は、画像処理装置１１０の通信部１１７で受信され、システム制御部１１１によりＨＤＤ１１４等の記憶部に格納される。図３Ａに、このＳ２００での処理により得られた画像（スキャンした文書画像）の一例を示す。
In S200, the
Ｓ２０１において、システム制御部１１１は、スキャンした文書画像に対して文字領域検出処理を行い、検出結果をＲＡＭ１１３に格納する。文字領域検出処理は、スキャンした文書画像中から文字認識の対象となる文字を含む領域（文字領域）を検出する処理である。文字領域の検出方法は、特に限定されるものではなく、公知の技術を用いることができる。文字領域の検出技術の例としては、米国特許第５６８０４７８号公報に記載の処理などがある。上例では文書画像中の画素塊、白画素塊の集合を抽出し、その形状、大きさ、集合状態等から、文字、絵や図、表、枠、線といった特徴的な領域を抽出している。図３Ｂは、このＳ２０１での処理により得られた文字領域の検出結果の一例を示す図である。図３Ｂに示す例では、スキャンした文書画像３００において、文字領域３０１〜３２５が検出されている。
In S201, the
Ｓ２０２において、システム制御部１１１は、スキャンした文書画像に含まれる文字領域のそれぞれに対し認識優先度設定処理を行い、結果をＲＡＭ１１３に格納する。ここで、認識優先度とは、文字領域が文字認識の目的に適しているかをランク付けしたパラメータ値である。以下に説明する例では、認識優先度は１が最も高く、５が最も低いものとする。ノイズ又は小ポイント文字と推測される画素塊が多い文字領域は、文字認識する優先度が低い。一方、図３Ａ及び図３Ｂに示したような伝票画像の場合には、金額や日付等の通常サイズ以上の画素塊で構成される文字領域は優先的に文字認識処理すべきである。そこで、本実施形態では、Ｓ２０１での文字領域検出処理により得られた文字領域内の画素塊の大きさの分布傾向に基づいて、文字認識処理を行う優先度を示す認識優先度を決定する。
In S202, the
図４は、図３に示したＳ２０２において実行される、本実施形態における認識優先度設定処理の例を示すフローチャートである。
Ｓ４００において、システム制御部１１１は、ＲＡＭ１１３を参照して、処理対象とする文字領域を取得する。
FIG. 4 is a flowchart showing an example of the recognition priority setting process in the present embodiment executed in S202 shown in FIG.
In S400, the
次に、Ｓ４０１において、システム制御部１１１は、Ｓ４００において取得した文字領域から抽出した画素塊を、サイズ毎に分類及び集計し、結果をＲＡＭ１１３に格納する。ここでは、画素塊の高さから、ノイズサイズ、小ポイントサイズ、及び主要文字サイズの３つのパターンに画素塊を分類する。画素塊を分類する際の閾値は、例えば伝票画像から金額や日付を抽出するケースであれば想定される文字のポイント数をピクセル数に換算した以下の値を用い、以下の条件式（１）のように分類する。
ノイズサイズ Ｈｉ＜Ｔｑ＿１
小ポイントサイズ Ｔｑ＿１≦Ｈｉ＜Ｔｑ＿２ …（１）
主要文字サイズ Ｔｑ＿２≦Ｈｉ
条件式（１）において、Ｈｉは画素塊の高さであり、Ｔｑ＿１は文字サイズ３ｐｔ（ポイント）相当のピクセル数であり、Ｔｑ＿２は文字サイズ６ｐｔ相当のピクセル数である。
Next, in S401, the
Noise size Hi <Tq_1
Small point size Tq_1 ≤ Hi <Tq_2 ... (1)
Main character size Tq_2 ≤ Hi
In the conditional expression (1), Hi is the height of the pixel block, Tq_1 is the number of pixels corresponding to the character size of 3 pt (points), and Tq_2 is the number of pixels corresponding to the character size of 6 pt.
そして、システム制御部１１１は、条件式（１）に従って分類した文字領域中の画素塊の数を分類ごとに以下の変数に格納し、結果をＲＡＭ１１３に格納する。ノイズサイズの画素塊数を変数Ｃｎｔ＿ｎｏｉｓｅに格納し、小ポイントサイズの画素塊数を変数Ｃｎｔ＿ｓｍａｌｌに格納し、主要文字サイズの画素塊数を変数Ｃｎｔ＿ｎｏｒｍａｌに格納する。
Then, the
次に、Ｓ４０２において、システム制御部１１１は、ＲＡＭ１１３を参照し、処理対象の文字領域に主要文字サイズと分類された画素塊が存在するか否かを判定する。つまり、システム制御部１１１は、Ｃｎｔ＿ｎｏｉｓｅ＞０であるか否かを判定する。主要文字サイズと分類された画素塊が存在すると判定した場合（Ｙｅｓ）、システム制御部１１１はＳ４０３へ遷移する。一方、主要文字サイズと分類された画素塊が存在しないと判定した場合（Ｎｏ）、システム制御部１１１はＳ４０５へ遷移する。
Next, in S402, the
Ｓ４０３において、システム制御部１１１は、ＲＡＭ１１３を参照し、処理対象の文字領域において、主要文字サイズと分類された画素塊の数が、ノイズサイズ、小ポイントサイズと分類された画素塊の数の合計より大きいか否かを判定する。つまり、システム制御部１１１は、Ｃｎｔ＿ｎｏｒｍａｌ＞（Ｃｎｔ＿ｓｍａｌｌ＋Ｃｎｔ＿ｎｏｉｓｅ）であるか否かを判定する。
In S403, the
主要文字サイズと分類された画素塊の数が、ノイズサイズ、小ポイントサイズと分類された画素塊の数の合計より大きいと判定した場合（Ｓ４０３のＹｅｓ）、システム制御部１１１はＳ４０６へ遷移する。Ｓ４０６において、システム制御部１１１は、処理対象の文字領域の認識優先度を１に設定してＲＡＭ１１３に格納し、認識優先度設定処理を終了する。
When it is determined that the number of pixel clusters classified as the main character size is larger than the total of the number of pixel clusters classified as the noise size and the small point size (Yes in S403), the
一方、主要文字サイズと分類された画素塊の数が、ノイズサイズ、小ポイントサイズと分類された画素塊の数の合計より大きくないと判定した場合（Ｓ４０３のＮｏ）、システム制御部１１１はＳ４０４へ遷移する。Ｓ４０４において、システム制御部１１１は、ＲＡＭ１１３を参照し、処理対象の文字領域において、ノイズサイズ、小ポイントサイズと分類された画素塊の数の合計が所定の閾値Ｔｈより大きいか否かを判定する。つまり、システム制御部１１１は、（Ｃｎｔ＿ｓｍａｌｌ＋Ｃｎｔ＿ｎｏｉｓｅ）＞Ｔｈであるか否かを判定する。
On the other hand, when it is determined that the number of pixel clusters classified as the main character size is not larger than the total number of pixel clusters classified as the noise size and the small point size (No in S403), the
ノイズサイズ、小ポイントサイズと分類された画素塊の数の合計が所定の閾値Ｔｈより大きいと判定した場合（Ｓ４０４のＹｅｓ）、システム制御部１１１はＳ４０７へ遷移する。Ｓ４０７において、システム制御部１１１は、処理対象の文字領域の認識優先度を２に設定してＲＡＭ１１３に格納し、認識優先度設定処理を終了する。
When it is determined that the total number of pixel clusters classified as the noise size and the small point size is larger than the predetermined threshold value Th (Yes in S404), the
一方、ノイズサイズ、小ポイントサイズと分類された画素塊の数の合計が所定の閾値Ｔｈより大きくないと判定した場合（Ｓ４０４のＮｏ）、システム制御部１１１はＳ４０８へ遷移する。Ｓ４０８において、システム制御部１１１は、処理対象の文字領域の認識優先度を３に設定してＲＡＭ１１３に格納し、認識優先度設定処理を終了する。
On the other hand, when it is determined that the total number of pixel clusters classified as noise size and small point size is not larger than the predetermined threshold value Th (No in S404), the
Ｓ４０５において、システム制御部１１１は、ＲＡＭ１１３を参照し、処理対象の文字領域において、小ポイントサイズと分類された画素塊の数が、ノイズサイズと分類された画素塊の数より大きいか否かを判定する。つまり、システム制御部１１１は、Ｃｎｔ＿ｓｍａｌｌ＞Ｃｎｔ＿ｎｏｉｓｅであるか否かを判定する。
In S405, the
小ポイントサイズと分類された画素塊の数が、ノイズサイズと分類された画素塊の数より大きいと判定した場合（Ｓ４０５のＹｅｓ）、システム制御部１１１はＳ４０９へ遷移する。Ｓ４０９において、システム制御部１１１は、処理対象の文字領域の認識優先度を４に設定してＲＡＭ１１３に格納し、認識優先度設定処理を終了する。
When it is determined that the number of pixel clusters classified as the small point size is larger than the number of pixel clusters classified as the noise size (Yes in S405), the
一方、小ポイントサイズと分類された画素塊の数が、ノイズサイズと分類された画素塊の数より大きくない判定した場合（Ｓ４０５のＮｏ）、システム制御部１１１はＳ４１０へ遷移する。Ｓ４１０において、システム制御部１１１は、処理対象の文字領域の認識優先度を５に設定してＲＡＭ１１３に格納し、認識優先度設定処理を終了する。
On the other hand, when it is determined that the number of pixel clusters classified as small point size is not larger than the number of pixel clusters classified as noise size (No in S405), the
以上が、Ｓ２０２での認識優先度設定処理である。認識優先度が小さいと、通常サイズの画素塊が多く小ポイント文字やノイズが少ない文字領域、すなわち文字認識の目的に適した領域となり、認識優先度が高くなる設定になる。なお、本実施形態では、画素塊の高さのみを用いて認識優先度を決定するようにしているが、文字領域の座標情報等の他の特徴量を用いて認識優先度を決定するようにしてもよい。例えば、文字領域が画像平面において上方の位置に存在すれば、文書のタイトルである可能性が高いので、認識優先度を高くする処理を追加してもよい。 The above is the recognition priority setting process in S202. When the recognition priority is small, the character area has a large number of normal-sized pixel clusters and few small point characters and noise, that is, an area suitable for the purpose of character recognition, and the recognition priority is set to be high. In the present embodiment, the recognition priority is determined only by using the height of the pixel block, but the recognition priority is determined by using other features such as the coordinate information of the character area. You may. For example, if the character area exists at an upper position on the image plane, it is highly likely that it is the title of the document, so a process for increasing the recognition priority may be added.
図２に戻り、次にＳ２０３において、システム制御部１１１は、スキャンした文書画像に含まれる文字領域のそれぞれに対し時間要因値設定処理を行い、結果をＲＡＭ１１３に格納する。ここで、時間要因値とは、処理対象となる文字領域に文字認識を実行した際の処理時間の長さを推定した値であり、値が大きいほど処理時間を要することを示す。時間要因値は、基本的には文字領域内に含まれる文字数に依存する。ここでは、文字認識を実行せずに画像から取得できる画素塊のみの情報から、仮想文字数を推定し、推定した仮想文字数から前述の時間要因値を計算する。
Returning to FIG. 2, next, in S203, the
また、文字につぶれやかすれ、下線との接触などがある、いわゆる難読状態の文字領域を正確に文字認識するには、より多くの処理が必要になり、処理時間の増加が見込まれる。さらに、ピリオドと中点、ハイフンとマイナスなどの記号は類似した形状を持つケースが多い。また、点線や長い横棒は文字認識の内部で行う１文字に分割する処理の試行回数が増える。このため、最終的な文字認識結果の出力までの処理時間が多くなるケースが多い。よって、システム制御部１１１は、画素塊の配置や形状から難読状態か否かを分類し、分類によってペナルティとなる係数を設定する。今後は、難読状態であるか否かの分類を難読レベルと称し、説明を続ける。
In addition, more processing is required to accurately recognize the so-called obfuscated character area in which the characters are crushed or blurred, or in contact with the underline, and the processing time is expected to increase. Furthermore, symbols such as periods and midpoints, hyphens and minuses often have similar shapes. In addition, the dotted line and the long horizontal bar increase the number of trials of the process of dividing into one character performed inside the character recognition. Therefore, in many cases, the processing time until the final character recognition result is output is long. Therefore, the
すなわち、本実施形態では、時間要因値Ｔｆの計算式を以下と定義する。
Ｔｆ＝Σ（Ｃｉ×Ｎｉ） …（２）
式（２）において、Ｎｉは難読レベルｉの仮想文字数であり、Ｃｉは難読レベルｉの係数である。また、難読レベル係数Ｃｉは、以下と定義する。
Ｃｉ＝αｉ×βｉ …（３）
式（３）において、αｉは難読レベルｉのサイズ要因係数であり、βｉは難読レベルｉの接触要因係数である。
That is, in the present embodiment, the calculation formula of the time factor value Tf is defined as follows.
Tf = Σ (Ci × Ni)… (2)
In the formula (2), Ni is the number of virtual characters of the obfuscation level i, and Ci is the coefficient of the obfuscation level i. The obfuscation level coefficient Ci is defined as follows.
Ci = αi × βi… (3)
In equation (3), αi is the size factor coefficient of obfuscation level i, and βi is the contact factor coefficient of obfuscation level i.
本実施形態では、難読レベルを、画素塊から得られる情報のみを用いてノイズ、小ポイント単独、主要サイズ単独、小ポイント接触、及び主要サイズ接触の５つのパターンに分け、仮想文字数及び難読レベル係数を設定して時間要因値を計算する。図５（Ａ）は、前述した式（２）を用いて実行される時間要因値設定処理の例を示すフローチャートである。 In the present embodiment, the obfuscation level is divided into five patterns of noise, small point alone, main size alone, small point contact, and main size contact using only the information obtained from the pixel block, and the number of virtual characters and the obfuscation level coefficient. To calculate the time factor value. FIG. 5A is a flowchart showing an example of the time factor value setting process executed by using the above-mentioned equation (2).
Ｓ５００において、システム制御部１１１は、ＲＡＭ１１３を参照し、処理対象とする文字領域を取得する。システム制御部１１１は、以下に説明するＳ５０１〜５１３の処理を処理対象の文字領域に含まれる画素塊すべてに対して実行する。
In S500, the
次に、Ｓ５０１において、システム制御部１１１は、文字領域から１つの画素塊の高さ及び幅を取得し、ＲＡＭ１１３に格納する。画素塊の高さについては、先にＳ４０１にて計算したので、その情報をＲＡＭ１１３から取得しても構わない。
Next, in S501, the
次に、Ｓ５０２において、システム制御部１１１は、ＲＡＭ１１３を参照し、画素塊の高さ情報に基づいて当該画素塊のサイズ要因係数を決定する。システム制御部１１１は、画素塊をノイズと分類した場合にはＳ５０３に遷移し、画素塊を小ポイント文字と分類した場合にはＳ５０４に遷移し、画素塊を主要サイズ文字と分類した場合にはＳ５０５に遷移する。
Next, in S502, the
Ｓ５０３において、システム制御部１１１は、ノイズと分類した当該画素塊のサイズ要因係数をα０とし、結果をＲＡＭ１１３に格納する。そして、Ｓ５０９へ遷移する。
Ｓ５０４において、システム制御部１１１は、小ポイント文字と分類した当該画素塊のサイズ要因係数をα１とし、結果をＲＡＭ１１３に格納する。そして、Ｓ５０６へ遷移する。
Ｓ５０５において、システム制御部１１１は、主要サイズ文字と分類した当該画素塊のサイズ要因係数をα２とし、結果をＲＡＭ１１３に格納する。そして、Ｓ５０６へ遷移する。
In S503, the
In S504, the
In S505, the
Ｓ５０６において、システム制御部１１１は、ＲＡＭ１１３を参照し、当該画素塊の幅情報に基づいて当該画素塊の接触要因係数を決定し、結果をＲＡＭ１１３に格納する。システム制御部１１１は、画素塊を単独文字と分類した場合にはＳ５０７に遷移し、画素塊を接触文字と分類した場合にはＳ５０８に遷移する。
Ｓ５０７において、システム制御部１１１は、単独文字と分類した当該画素塊の接触要因係数をβ１とし、結果をＲＡＭ１１３に格納する。そして、Ｓ５１０へ遷移する。
Ｓ５０８において、システム制御部１１１は、接触文字と分類した当該画素塊の接触要因係数をβ２とし、結果をＲＡＭ１１３に格納する。そして、Ｓ５１１へ遷移する。
In S506, the
In S507, the
In S508, the
Ｓ５０９において、システム制御部１１１は、難読レベルがノイズとなった当該画素塊についての仮想文字数Ｎを１とし、結果をＲＡＭ１１３に格納してＳ５１２へ遷移する。
Ｓ５１０において、システム制御部１１１は、難読レベルが単独文字となった当該画素についての仮想文字数Ｎを１とし、結果をＲＡＭ１１３に格納してＳ５１２へ遷移する。
Ｓ５１１において、システム制御部１１１は、難読レベルが接触文字となった当該画素塊についての仮想文字数Ｎをｎとし、結果をＲＡＭ１１３に格納してＳ５１２へ遷移する。ｎの設定については、ここでは、あくまで文字数を推定するだけであるので、規定の閾値で画素塊の幅を割った値を用いる。既定の閾値とは、例えば当該画素塊の高さのピクセル数を用いても良いし、固定値を設定しても良い。つまり、少なくとも仮想文字数Ｎは、２以上の値が設定される。
In S509, the
In S510, the
In S511, the
Ｓ５１２において、システム制御部１１１は、前述した式（３）に従って難読レベルの係数Ｃｉを算出する。すなわち、システム制御部１１１は、当該画素塊について難読レベルの係数Ｃｉを先に計算した係数α、βを乗算した値に設定し、結果をＲＡＭ１１３に格納してＳ５１３へ遷移する。
In S512, the
Ｓ５１３において、システム制御部１１１は、ＲＡＭ１１３から当該画素塊の難読レベル係数Ｃと文字数Ｎとを取得して、乗算した値を処理対象としている文字領域の時間要因値に加算する。Ｓ５１３での処理は、前述式（２）に相当する。すなわち、システム制御部１１１は、文字領域にあるすべての画素塊について、難読レベル係数Ｃと仮想文字数Ｎとの計算を行い、その合計を当該文字領域の時間要因値Ｔｆと設定してＲＡＭ１１３へ格納する。
In S513, the
図５（Ｂ）は、前述した認識優先度設定処理で設定した難読レベルごとの係数Ｃ及び仮想文字数Ｎの一覧を示す。
本実施形態では、画素塊の高さ情報に基づいて、文字認識処理を実行する必要のない領域であるノイズと、文字がつぶれて解析が困難な小ポイント文字と、主要サイズ文字とを簡易的に分類した。なお、各処理で設定する係数は、主要サイズ文字及び単独文字であれば係数の値は小さく、ノイズ、小ポイント文字、接触文字であれば係数の値を高くする。文字認識に処理時間を要するか否かの判定基準の閾値は、判定処理の計算コストを鑑み認識優先度設定処理と同等としたが、ターゲットとなる画像群や難読状態の分類の違いによって判定の閾値を変えてもよい。
FIG. 5B shows a list of the coefficient C and the number of virtual characters N for each obfuscation level set in the recognition priority setting process described above.
In the present embodiment, based on the height information of the pixel block, noise, which is an area where character recognition processing does not need to be executed, small point characters whose characters are crushed and difficult to analyze, and main size characters are simplified. It was classified into. As for the coefficient set in each process, the coefficient value is small for main size characters and single characters, and high for noise, small point characters, and contact characters. The threshold value of the criterion for determining whether or not character recognition requires processing time is the same as the recognition priority setting process in consideration of the calculation cost of the determination process, but the determination is made based on the difference in the target image group and the classification of the obfuscated state. The threshold may be changed.
また、実際に文字認識を実行する文字認識のアルゴリズムの特性や対象言語により、認識対象の下限の小ポイント文字は異なるため、実際に利用する文字認識処理工程に合わせた判定閾値を設定してもよい。同じく、文字認識のアルゴリズムによって不得手な分類の文字も異なる。よって、アルゴリズム特性に合わせた難読レベルを別途用意しても構わない。例えば、イタリック文字に関して処理時間を有する文字認識アルゴリズムを有している場合は、画素塊の形状の傾向から斜体文字と分類するケースも設定して構わない。さらに、係数は文字認識アルゴリズムの特性や認識対象言語によって異ならせてもよい。例えば、日本語や中国語などの漢字が使われる東アジア系言語の文字認識は、欧米系言語の文字認識よりも処理コストが高い。よって、文字領域が東アジア系言語である場合は係数を大きく設定する。
以上がＳ２０３での時間要因値設定処理である。
In addition, since the lower limit of small point characters to be recognized differs depending on the characteristics of the character recognition algorithm that actually executes character recognition and the target language, even if a judgment threshold is set according to the character recognition processing process actually used. Good. Similarly, different classifications of characters are different depending on the character recognition algorithm. Therefore, an obfuscation level that matches the algorithm characteristics may be prepared separately. For example, when a character recognition algorithm having a processing time for italic characters is provided, a case of classifying italic characters from the tendency of the shape of the pixel block may be set. Further, the coefficient may be different depending on the characteristics of the character recognition algorithm and the language to be recognized. For example, character recognition in East Asian languages that use Chinese characters such as Japanese and Chinese has a higher processing cost than character recognition in Western languages. Therefore, if the character area is an East Asian language, set a large coefficient.
The above is the time factor value setting process in S203.
図２に戻り、次にＳ２０４において、システム制御部１１１は、取得した文書画像中の文字領域に、Ｓ２０２において設定した認識優先度及びＳ２０３において設定した時間要因値に基づいて文字認識の実行順を設定し、結果をＲＡＭ１１３に格納する。そして、システム制御部１１１は、Ｓ２０５へ遷移する。
Returning to FIG. 2, in S204, the
図６（Ａ）は、スキャンした文書画像３００において検出された文字領域３０１〜３２５に対し、図２に示したＳ２０２及びＳ２０３の処理を実行し、認識優先度及び時間要因値を計算した一例（中間結果６００）である。文字認識の実行順は、まず、認識優先度が高い順（数値が小さい順）に文字領域をソートし、同一順位となった文字領域については、時間要因値が低い順（数値が小さい順）にソートする。これにより、文書画像のうち、文字認識の目的に適していて、かつ、文字認識の処理実行に時間がかからない順になる。図６（Ｂ）は、前述のように中間結果６００をソートした一例（中間結果６０１）である。
FIG. 6A is an example in which the processing of S202 and S203 shown in FIG. 2 is executed on the
次に、Ｓ２０５において、システム制御部１１１は、Ｓ２０４において設定した文字認識の実行順の上位から時間要因値の累計を計算し、時間要因値の累計に基づいて文字認識を実行する文字領域（文字認識の実行領域）を設定する。システム制御部１１１は、あらかじめ設定した閾値より時間要因値の総和が下回る範囲で文字認識の実行領域を設定した結果をＲＡＭ１１３に格納し、Ｓ２０６へ遷移する。ここで、時間要因値の総和に係る閾値は、システムのＣＰＵ速度と要求応答時間からあらかじめ定めた固定値を用いることができる。図６（Ｃ）は、中間結果６０１から時間要因値の累計を計算した一例（中間結果６０２）である。例えば、あらかじめ設定した時間要因値の累計の上限値となる閾値を２５０とした場合、実際に文字認識を行う文字領域は、リストで表すと範囲６０３の文字領域、文書画像で表すと図７の６０４に示される文字領域となる。
Next, in S205, the
Ｓ２０６において、システム制御部１１１は、Ｓ２０４及びＳ２０５での処理により設定した文字領域の順番及び範囲に従って文字認識を実行し、結果をＲＡＭ１１３やＨＤＤ１１４などの記憶部に格納する。
In S206, the
以上説明したように、文書画像中の文字領域のうち、文字認識の目的に適した、かつ、処理時間を要しない順に文字領域を行うことができる。また、処理対象の領域の制限に文字認識処理の実時間を用いないので、システム負荷の影響により文字認識の結果が変わることがない。これにより、応答性を保ちつつ、ユーザが必要な文字領域のテキスト情報の抽出が可能になり、文書画像中の必要な文字領域から適切な情報を高速に特定することが可能となる。 As described above, among the character areas in the document image, the character areas can be formed in the order suitable for the purpose of character recognition and not requiring the processing time. Moreover, since the real time of the character recognition process is not used to limit the area to be processed, the result of the character recognition does not change due to the influence of the system load. As a result, the user can extract the text information of the required character area while maintaining the responsiveness, and can quickly identify the appropriate information from the required character area in the document image.
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、最初に抽出した文字領域の単位で文字認識の実行順を設定した。一方、抽出した同一の文字領域に文字認識したい文字と、時間要因値が高いノイズや記号等とが混じって存在している場合がある。そこで、文書画像中に、認識優先度は高いが時間要因値も大きい文字領域があった場合、特に時間要因値を押し上げている要因となる画素塊を特定し、その画素塊を削除したうえで時間要因値を再度計算し、文字認識を実行してもよい。構成や制御の流れなど第１の実施形態と共通する内容については説明を省略し、第１の実施形態と相違する時間要因値の再設定処理（図８（Ａ）に示すＳ８００）について説明する。時間要因値再設定処理は、Ｓ２０３において時間要因値設定処理を行った後に実行される。
(Second embodiment)
Next, a second embodiment of the present invention will be described. In the first embodiment, the execution order of character recognition is set in units of the character areas extracted first. On the other hand, there are cases where characters to be recognized as characters and noises, symbols, etc. having high time factor values are mixed and exist in the same extracted character area. Therefore, if there is a character area in the document image that has a high recognition priority but also a large time factor value, identify the pixel block that is the factor that pushes up the time factor value, and then delete the pixel block. The time factor value may be recalculated and character recognition may be performed. The contents common to the first embodiment such as the configuration and the flow of control will be omitted, and the time factor value resetting process (S800 shown in FIG. 8A) different from the first embodiment will be described. .. The time factor value resetting process is executed after the time factor value setting process is performed in S203.
図８（Ｂ）は、本実施形態における時間要因値再設定処理の例を示すフローチャートである。
Ｓ８０１において、システム制御部１１１は、ＲＡＭ１１３を参照し、時間要因値の再計算処理をしていない文字領域、及び文字領域内の時間要因値の累計値を取得する。
Ｓ８０２において、システム制御部１１１は、取得した時間要因値の累計値が所定の閾値より大きいか否かを判定する。取得した時間要因値の累計値が所定の閾値より大きいと判定した場合（Ｓ８０２のＹｅｓ）、システム制御部１１１はＳ８０３に遷移する。一方、取得した時間要因値の累計値が所定の閾値より大きくないと判定した場合（Ｓ８０２のＮｏ）、システム制御部１１１はＳ８０１へ遷移する。
FIG. 8B is a flowchart showing an example of the time factor value resetting process in the present embodiment.
In S801, the
In S802, the
Ｓ８０３において、システム制御部１１１は、ＲＡＭ１１３を参照し、当該文字領域の時間要因値を押し上げる要因となる画素塊（要因画素塊）を特定し、結果をＲＡＭ１１３に格納する。具体的には、図５に示したフローチャートのＳ５１３の処理において時間要因値の計算に用いた係数が大きいものが割り当たっている画素塊を特定する。本実施形態では、文字領域の画素塊のうち、ノイズの係数が割り当たっている画素塊を要因画素塊とする。
In S803, the
Ｓ８０４において、システム制御部１１１は、特定した要因画素塊を文字領域から除去する。例えば、図３Ｂに示した文字領域３２５が入力された場合、図９に示すように、本処理によって図９（Ａ）に示す文字領域３２５に含まれているノイズ係数が割り当たっている画素塊が除去され、図９（Ｂ）に示す文字領域３２５＿１が出力される。そして、Ｓ８０５において、システム制御部１１１は、図２に示したＳ２０３と同様にして、要因画素塊が削除された文字領域について時間要因値設定処理を行う。
In S804, the
以上により、文字領域中に含まれる時間要因値が大きい画素塊を除外して、文字認識の実行順を上位に変更でき、同一文字領域内でもユーザが有用と予想される文字の文字認識の実行が可能になる。 As described above, it is possible to exclude pixel clusters having a large time factor value contained in the character area and change the execution order of character recognition to a higher level, and execute character recognition of characters that are expected to be useful by the user even within the same character area. Becomes possible.
前述した例では、文字領域内の時間要因値の高い画素塊を除去して時間要因値の再計算を行っていた。時間要因値の高い画素塊を、分離した新たな文字領域として設定し、新たな認識優先度及び時間要因値を算出し、文字認識実行順を再度設定するようにしてもよい。例えば、図１０（Ａ）に示す文字領域３２５を、図１０（Ｂ）に示すように文字領域３２５＿２、３２５＿３の２つの文字領域に分離し、認識優先度及び時間要因値を算出し、文字認識実行順を再度設定するようにしてもよい。これにより、例えば、応答性を考慮したシーンでは上位領域を認識し、そのほかの領域は後追いで文字認識を行え、最終的には文字画像中のすべての文字領域に対して文字認識の実行が可能になる。
In the above-mentioned example, the pixel block having a high time factor value in the character area is removed and the time factor value is recalculated. A pixel block having a high time factor value may be set as a new separated character area, a new recognition priority and a time factor value may be calculated, and the character recognition execution order may be set again. For example, the
なお、前述した各実施形態では、スキャンした文書画像中のすべての文字領域に対し認識優先度を算出し、すべての文字領域に対して時間要因値を算出している。それに対して、すべての文字領域の認識優先度を算出した時点で一旦並び替えを行う。そして、認識優先度が高い順に文字領域の処理順に沿って時間要因値を算出し、時間要因値が既定の値を超えたところで処理を終了し、文字認識の実行対象領域と実行順を確定するようにしてもよい。このようにした場合には、さらに認識優先度が低いとした文字領域画像に対する時間要因値設定処理を省略できるので、応答性のさらなる向上が可能になる。 In each of the above-described embodiments, the recognition priority is calculated for all the character areas in the scanned document image, and the time factor value is calculated for all the character areas. On the other hand, when the recognition priority of all the character areas is calculated, the sorting is performed once. Then, the time factor value is calculated according to the processing order of the character area in descending order of recognition priority, the processing is terminated when the time factor value exceeds the default value, and the execution target area and execution order of character recognition are determined. You may do so. In this case, the time factor value setting process for the character area image having a lower recognition priority can be omitted, so that the responsiveness can be further improved.
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。前述した第１及び第２の実施形態では、処理対象となる文字領域とその実行順を定義し、決定した実行順に従って文字領域ごとに逐次文字認識を実行している。一方、スキャナ部１０１から取得した文書画像は９０度単位で回転していることがある。このため、文字認識処理を実行する前に、文書画像中の文字が正立する方向を判定する方向判定処理を実行する必要がある。方向判定は、一般的には内部で９０度ずつ異なる四方向に回転した画像のそれぞれに対して文字認識を実行し、最も文字認識結果の信頼度が高い方向を文書の正立方向と判定している。
(Third Embodiment)
Next, a third embodiment of the present invention will be described. In the first and second embodiments described above, the character area to be processed and the execution order thereof are defined, and the character recognition is sequentially executed for each character area according to the determined execution order. On the other hand, the document image acquired from the
よって、方向判定に対しても、認識優先度と時間要因値に基づいて処理する文字領域を設定してもよい。構成や制御の流れなど第１の実施形態と共通する内容については説明を省略する。第３の実施形態では、システム制御部１１１がＲＯＭ１１２等からプログラムを読み出して実行することにより、例えば検出手段、優先度設定手段、時間要因値設定手段、実行領域設定手段、画像生成手段、方向判定手段等の機能が実現される。以下では、第３の実施形態において、第１の実施形態と相違する方向判定処理及び画像回転処理（図１１（Ａ）に示すＳ１１０１、Ｓ１１０２）について説明する。
Therefore, the character area to be processed may be set based on the recognition priority and the time factor value for the direction determination. The description of the contents common to the first embodiment such as the configuration and the flow of control will be omitted. In the third embodiment, the
図１１（Ａ）は、第３の実施形態における画像処理装置１１０での文字認識処理の例を示すフローチャートである。Ｓ１１０１の方向判定処理は、Ｓ２００においてスキャンした文書画像を取得した後に実行される。
FIG. 11A is a flowchart showing an example of character recognition processing in the
Ｓ１１０１において、システム制御部１１１は、スキャンした文書画像に対して文字が正立する方向を判定し、正立する文字方向の角度をＲＡＭ１１３に格納する。ここで文字方向とは、正立した文字の方向が０度であるとした時の文書中における文字の方向と定義し、Ｓ１１０１では文書中の文字を正立する文字方向を９０度単位（０度、９０度、１８０度、２７０度）で出力する。
In S1101, the
Ｓ１１０２において、システム制御部１１１は、ＲＡＭ１１３を参照して、正立する文字方向の角度を取得し、取得した文字方向の角度に基づいて、スキャンした文書画像を回転させる。これにより、文字が正立した文書画像が得られる。その後、システム制御部１１１は、Ｓ２０１（文字領域検出処理）に遷移する。
In S1102, the
図１１（Ｂ）は、第３の実施形態における方向判定処理の例を示すフローチャートである図１１（Ｂ）に示すフローチャートでも、認識優先度及び時間要因値の設定に関する処理について第１の実施形態と共通するものは説明を省略する。 FIG. 11 (B) is a flowchart showing an example of the direction determination process in the third embodiment. Also in the flowchart shown in FIG. 11 (B), regarding the process related to the setting of the recognition priority and the time factor value, the first embodiment. The explanation of what is common to the above is omitted.
Ｓ２０５では、システム制御部１１１は、あらかじめ設定した閾値より時間要因値の累計が下回る範囲で文字認識を実行する文字領域（文字認識の実行領域）を設定し、結果をＲＡＭ１１３に格納する。文書画像についての方向判定は、実際の文字認識の前処理であるため、更なる高速化が求められる。その一方、方向判定においては、判定対象とする文字はある程度の数が必要ではあるが、正立する文字方向が分かればよいため、実際の文字認識の実行と比べて少ない文字領域で処理しても問題ない。よって、あらかじめ設定した時間要因値の累計の上限値となる閾値は、文字認識の実行時の閾値より小さくしてもよい。本実施形態では、一例として閾値は５０とする。この場合、実際に方向判定に用いる文字領域は、リストで表すと図１２に示した範囲１２０１の文字領域となる。
In S205, the
Ｓ１１０３において、システム制御部１１１は、Ｓ２０５において設定した文字領域の範囲のみで構成される方向判定処理に用いる実行画像を生成し、結果をＲＡＭ１１３やＨＤＤ１１４などの記憶部に格納する。図１３に、本実施形態における方向判定用の実行画像の一例を示す。図１３に示す実行画像１３０１は、図１２に示した範囲１２０１の文字領域に基づいて生成された実行画像である。
In S1103, the
Ｓ１１０４において、システム制御部１１１は、ＲＡＭ１１３やＨＤＤ１１４などの記憶部を参照して、Ｓ１１０３において生成した方向判定用の実行画像に基づいて文書画像の正立方向を判定する。この処理は公知の技術を用いればよく、例えば特許第３７２７９７１号公報などに記載の処理を適用できる。システム制御部１１１は、判定結果として得られる、正立する文字方向の角度をＲＡＭ１１３に格納する。
In S1104, the
以上により、実際の文字認識の前処理である方向判定にも、認識優先度と時間要因値を用いて選択した文字領域のみで構成される画像を生成し、方向判定を行うことで更なる処理速度の向上が可能になる。 As described above, even in the direction determination which is the preprocessing of the actual character recognition, an image composed of only the character area selected by using the recognition priority and the time factor value is generated, and further processing is performed by performing the direction determination. It is possible to improve the speed.
（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other Embodiments of the present invention)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 It should be noted that the above-described embodiments are merely examples of embodiment of the present invention, and the technical scope of the present invention should not be construed in a limited manner by these. That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.
１００：読み取り装置 １０１：スキャナ部 １０２：通信部 １１０：画像処理装置 １１１：システム制御部 １１２：ＲＯＭ １１３：ＲＡＭ １１４：ＨＤＤ １１５：表示部 １１６：入力部 １１７：通信部 100: Reading device 101: Scanner unit 102: Communication unit 110: Image processing device 111: System control unit 112: ROM 113: RAM 114: HDD 115: Display unit 116: Input unit 117: Communication unit
Claims (17)
前記文字領域ごとに文字認識処理に係る優先度を設定する優先度設定手段と、
前記文字領域ごとに、当該文字領域内の画素塊の大きさに係る情報に基づいて、文字認識処理の処理時間に係る時間要因値を設定する時間要因値設定手段と、
設定された前記優先度及び前記時間要因値に基づいて、文字認識処理を実行する前記文字領域及び実行順を決定する実行順設定手段とを有することを特徴とする画像処理装置。 A detection means for detecting a character area in an image and
Priority setting means for setting the priority related to the character recognition process for each character area, and
For each character area, a time factor value setting means for setting a time factor value related to the processing time of the character recognition process based on information related to the size of the pixel block in the character area, and
An image processing apparatus comprising: the character area for executing character recognition processing and an execution order setting means for determining an execution order based on the set priority and the time factor value.
前記文字領域内の画素塊の集合から仮想文字数を算出し、
算出した前記仮想文字数ごとに難読レベルを分類して係数を設定し、
前記係数を設定する際に接触文字と判定した場合には前記仮想文字数を２以上とすることを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。 The time factor value setting means
The number of virtual characters is calculated from the set of pixel clusters in the character area, and the number of virtual characters is calculated.
Obfuscation levels are classified according to the calculated number of virtual characters, and coefficients are set.
The image processing apparatus according to any one of claims 1 to 4, wherein the number of virtual characters is 2 or more when it is determined that the characters are contact characters when the coefficient is set.
文字認識処理の実行順は、前記優先度が高い順に、また前記優先度が同じである場合には前記時間要因値が低い順に決定し、
文字認識処理を実行する前記文字領域は、実行順に累計した前記時間要因値の総和が所定の閾値を超えない文字領域までとすることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。 The execution order setting means
The execution order of the character recognition process is determined in the order of higher priority, and if the priority is the same, the order of lower time factor value is determined.
The character area for executing the character recognition process is the character area up to a character area in which the sum of the time factor values accumulated in the execution order does not exceed a predetermined threshold value, according to any one of claims 1 to 5. Image processing equipment.
設定された前記文字領域の前記時間要因値が所定の閾値より大きい場合、当該文字領域から前記時間要因値を大きくする前記画素塊を特定して削除し、前記文字領域の前記時間要因値を設定することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。 The time factor value setting means
When the time factor value of the set character area is larger than a predetermined threshold value, the pixel block that increases the time factor value is specified and deleted from the character area, and the time factor value of the character area is set. The image processing apparatus according to any one of claims 1 to 6, wherein the image processing apparatus is used.
文字認識処理のアルゴリズム及び対象言語の少なくとも１つに応じて、設定する前記時間要因値を異ならせることを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。 The time factor value setting means
The image processing apparatus according to any one of claims 1 to 8, wherein the time factor value to be set differs depending on the character recognition processing algorithm and at least one of the target languages.
生成された前記実行画像を用いて画像の方向を判定する方向判定手段とを有し、
前記方向判定手段による判定結果に基づいて、画像を回転させ文字認識処理を実行させることを特徴とする請求項１〜９の何れか１項に記載の画像処理装置。 An image generation means for generating an execution image used for direction determination based on the set priority and the time factor value, and
It has a direction determining means for determining the direction of the image using the generated execution image.
The image processing apparatus according to any one of claims 1 to 9, wherein the image is rotated to execute the character recognition process based on the determination result by the direction determination means.
前記画像生成手段は、前記実行領域設定手段により設定された前記文字領域で構成される前記実行画像を生成することを特徴とする請求項１０に記載の画像処理装置。 It has an execution area setting means for setting the character area for executing the character recognition process related to the direction determination based on the set priority and the time factor value.
The image processing apparatus according to claim 10, wherein the image generation means generates the execution image composed of the character area set by the execution area setting means.
前記文字領域ごとに文字認識処理に係る優先度を設定する優先度設定手段と、
前記文字領域ごとに、当該文字領域内の画素塊の大きさに係る情報に基づいて、文字認識処理の処理時間に係る時間要因値を設定する時間要因値設定手段と、
設定された前記優先度及び前記時間要因値に基づいて、方向判定に用いる実行画像を生成する画像生成手段と、
生成された前記実行画像を用いて画像の方向を判定する方向判定手段とを有することを特徴とする画像処理装置。 A detection means for detecting a character area in an image and
Priority setting means for setting the priority related to the character recognition process for each character area, and
For each character area, a time factor value setting means for setting a time factor value related to the processing time of the character recognition process based on information related to the size of the pixel block in the character area, and
An image generation means for generating an execution image used for direction determination based on the set priority and the time factor value, and
An image processing apparatus including a direction determining means for determining the direction of an image using the generated execution image.
前記画像生成手段は、前記実行領域設定手段により設定された前記文字領域で構成される前記実行画像を生成することを特徴とする請求項１２に記載の画像処理装置。 It has an execution area setting means for setting the character area for executing the character recognition process based on the set priority and the time factor value.
The image processing apparatus according to claim 12, wherein the image generation means generates the execution image composed of the character area set by the execution area setting means.
画像中の文字領域を検出する検出工程と、
前記文字領域ごとに文字認識処理に係る優先度を設定する優先度設定工程と、
前記文字領域ごとに、当該文字領域内の画素塊の大きさに係る情報に基づいて、文字認識処理の処理時間に係る時間要因値を設定する時間要因値設定工程と、
設定された前記優先度及び前記時間要因値に基づいて、文字認識処理を実行する前記文字領域及び実行順を決定する実行順設定工程とを有することを特徴とする画像処理方法。 It is an image processing method using an image processing device.
A detection process that detects the character area in the image,
A priority setting process for setting a priority related to character recognition processing for each character area, and a priority setting process.
A time factor value setting step of setting a time factor value related to the processing time of the character recognition process based on information related to the size of the pixel block in the character area for each character area.
An image processing method comprising: the character area for executing character recognition processing and an execution order setting step for determining an execution order based on the set priority and the time factor value.
画像中の文字領域を検出する検出工程と、
前記文字領域ごとに文字認識処理に係る優先度を設定する優先度設定工程と、
前記文字領域ごとに、当該文字領域内の画素塊の大きさに係る情報に基づいて、文字認識処理の処理時間に係る時間要因値を設定する時間要因値設定工程と、
設定された前記優先度及び前記時間要因値に基づいて、方向判定に用いる実行画像を生成する画像生成工程と、
生成された前記実行画像を用いて画像の方向を判定する方向判定工程とを有することを特徴とする画像処理方法。 It is an image processing method using an image processing device.
A detection process that detects the character area in the image,
A priority setting process for setting a priority related to character recognition processing for each character area, and a priority setting process.
A time factor value setting step of setting a time factor value related to the processing time of the character recognition process based on information related to the size of the pixel block in the character area for each character area.
An image generation step of generating an execution image used for direction determination based on the set priority and the time factor value, and
An image processing method comprising a direction determination step of determining the direction of an image using the generated execution image.
画像中の文字領域を検出する検出ステップと、
前記文字領域ごとに文字認識処理に係る優先度を設定する優先度設定ステップと、
前記文字領域ごとに、当該文字領域内の画素塊の大きさに係る情報に基づいて、文字認識処理の処理時間に係る時間要因値を設定する時間要因値設定ステップと、
設定された前記優先度及び前記時間要因値に基づいて、文字認識処理を実行する前記文字領域及び実行順を決定する実行順設定ステップとを実行させるためのプログラム。 To the computer of the image processing device
A detection step that detects the character area in the image,
A priority setting step for setting a priority related to character recognition processing for each character area, and
For each character area, a time factor value setting step for setting a time factor value related to the processing time of the character recognition process based on information related to the size of the pixel block in the character area, and a time factor value setting step.
A program for executing the character area for executing character recognition processing and the execution order setting step for determining the execution order based on the set priority and the time factor value.
画像中の文字領域を検出する検出ステップと、
前記文字領域ごとに文字認識処理に係る優先度を設定する優先度設定ステップと、
前記文字領域ごとに、当該文字領域内の画素塊の大きさに係る情報に基づいて、文字認識処理の処理時間に係る時間要因値を設定する時間要因値設定ステップと、
設定された前記優先度及び前記時間要因値に基づいて、方向判定に用いる実行画像を生成する画像生成ステップと、
生成された前記実行画像を用いて画像の方向を判定する方向判定ステップとを実行させるためのプログラム。 To the computer of the image processing device
A detection step that detects the character area in the image,
A priority setting step for setting a priority related to character recognition processing for each character area, and
For each character area, a time factor value setting step for setting a time factor value related to the processing time of the character recognition process based on information related to the size of the pixel block in the character area, and a time factor value setting step.
An image generation step of generating an execution image used for direction determination based on the set priority and the time factor value, and
A program for executing a direction determination step of determining the direction of an image using the generated execution image.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019205702 | 2019-11-13 | ||
| JP2019205702 | 2019-11-13 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021082264A true JP2021082264A (en) | 2021-05-27 |
Family
ID=75965715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020163290A Pending JP2021082264A (en) | 2019-11-13 | 2020-09-29 | Image processing system, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021082264A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE112022002580T5 (en) | 2021-05-14 | 2024-02-29 | Denso Corporation | WIPER DEVICE FOR VEHICLE AND CONTROL METHOD THEREOF |
-
2020
- 2020-09-29 JP JP2020163290A patent/JP2021082264A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE112022002580T5 (en) | 2021-05-14 | 2024-02-29 | Denso Corporation | WIPER DEVICE FOR VEHICLE AND CONTROL METHOD THEREOF |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8965127B2 (en) | Method for segmenting text words in document images | |
| KR102208683B1 (en) | Character recognition method and apparatus thereof | |
| US10885325B2 (en) | Information processing apparatus, control method, and storage medium | |
| JP6951905B2 (en) | How to cut out lines and words for handwritten text images | |
| CN109308465B (en) | Table line detection method, device, equipment and computer readable medium | |
| CN107209942B (en) | Object detection method and image retrieval system | |
| JP6245880B2 (en) | Information processing apparatus, information processing method, and program | |
| RU2581786C1 (en) | Determination of image transformations to increase quality of optical character recognition | |
| CN108596079B (en) | Gesture recognition method and device and electronic equipment | |
| JP7244223B2 (en) | Identifying emphasized text in electronic documents | |
| CN109447080B (en) | Character recognition method and device | |
| CN107272899B (en) | VR (virtual reality) interaction method and device based on dynamic gestures and electronic equipment | |
| US8965133B2 (en) | Image processing apparatus and control method therefor | |
| JP2021135993A (en) | Text recognition method, text recognition apparatus, electronic device, and storage medium | |
| US8463054B2 (en) | Hierarchical OCR using decision tree and nonparametric classifier | |
| JP2016095640A (en) | Density measurement device, density measurement method and program | |
| CN113420848A (en) | Neural network model training method and device and gesture recognition method and device | |
| JP2021082264A (en) | Image processing system, image processing method, and program | |
| JP4685711B2 (en) | Image processing method, apparatus and program | |
| CN112465050A (en) | Image template selection method, device, equipment and storage medium | |
| KR20200134813A (en) | Apparatus and method for image processing for machine learning | |
| CN113688810B (en) | Target capturing method and system of edge device and related device | |
| US10127483B2 (en) | Image processing apparatus and image processing method for estimating time required for print processing | |
| JP4967045B2 (en) | Background discriminating apparatus, method and program | |
| JP7315022B2 (en) | Machine learning device, machine learning method, and machine learning program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230925 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240619 |