JP2009199276A - Telop character pattern extraction program, telop character pattern extraction device, and telop character pattern extraction method - Google Patents
Telop character pattern extraction program, telop character pattern extraction device, and telop character pattern extraction method Download PDFInfo
- Publication number
- JP2009199276A JP2009199276A JP2008039407A JP2008039407A JP2009199276A JP 2009199276 A JP2009199276 A JP 2009199276A JP 2008039407 A JP2008039407 A JP 2008039407A JP 2008039407 A JP2008039407 A JP 2008039407A JP 2009199276 A JP2009199276 A JP 2009199276A
- Authority
- JP
- Japan
- Prior art keywords
- character
- pattern
- image
- color separation
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 87
- 238000000926 separation method Methods 0.000 claims abstract description 169
- 238000000034 method Methods 0.000 claims description 131
- 239000002131 composite material Substances 0.000 claims description 51
- 230000010339 dilation Effects 0.000 claims description 17
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 230000000916 dilatatory effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 111
- 230000002093 peripheral effect Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 26
- 238000011156 evaluation Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Character Input (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明は、テロップを含む一連のフレーム画像から文字列パターンを抽出するテロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法に関する。 The present invention relates to a telop character pattern extraction program, a telop character pattern extraction device, and a telop character pattern extraction method for extracting a character string pattern from a series of frame images including a telop.
従来から文字認識装置が開示されている（たとえば、下記特許文献１〜４を参照。）。
Conventionally, character recognition devices have been disclosed (for example, see
しかしながら、上述した従来技術には、文字認識を利用していないものがあるため、色分解後の２値画像から文字列パターンを含む行領域を抽出しても、ノイズが非常に多く含まれているという問題があった。 However, some of the above-described conventional techniques do not use character recognition, and therefore, even if a row region including a character string pattern is extracted from a binary image after color separation, noise is very much included. There was a problem of being.
また、上述した従来技術では、文字列の規則性を考慮していないため、本来ノイズとして扱っていけないパターンを除去したり、ノイズとして扱うべきパターンを除去しなかったりするという問題があった。 Further, in the above-described conventional technology, since regularity of the character string is not considered, there is a problem that a pattern that cannot be treated as noise originally is removed or a pattern that should be treated as noise is not removed.
この発明は、上述した従来技術による問題点を解消するため、文字列パターンの抽出精度の向上を図ることができるテロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法を提供することを目的とする。 The present invention provides a telop character pattern extraction program, a telop character pattern extraction device, and a telop character pattern extraction method capable of improving the extraction accuracy of a character string pattern in order to eliminate the above-described problems caused by the prior art. For the purpose.
上述した課題を解決し、目的を達成するため、第１のテロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法は、テロップを含む一連のフレーム画像の平均画像を取得し、取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成し、一連のフレーム画像からエッジ抽出したエッジ画像を集積して２値化したエッジ２値画像と、前記色分解画像と、当該色分解画像をダイレーションしたダイレーション画像と、前記平均画像と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去し、前記各色分解画像をエッジＭＦＩノイズ除去により得られた各色分解２値画像の中から行ごとに選択された行領域を合成することにより、合成２値画像を生成し、生成された合成２値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力することを要件とする。 In order to solve the above-described problems and achieve the object, a first telop character pattern extraction program, a telop character pattern extraction device, and a telop character pattern extraction method obtain an average image of a series of frame images including a telop, The obtained average image is subjected to color clustering to generate a plurality of color separation images, an edge binary image obtained by accumulating edge images extracted from a series of frame images and binarized, and the color separation image Based on the dilation image obtained by dilating the color separation image and the average image, a moving pattern is removed from each color separation image as noise, and each color separation image is removed by edge MFI noise removal. By synthesizing a row area selected for each row from the obtained color separation binary images, a synthesized binary image is obtained. And a pixel connection pattern unnecessary for the character pattern is selected from the circumscribed rectangles of the character pattern based on the character recognition result of the character pattern formed by combining the pixel connection patterns in the generated composite binary image. It is a requirement to output a character string pattern by removing it as noise.
また、上記テロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法において、前記エッジ２値画像において前記平均画像の画素連結パターンに接する画素数と、前記ダイレーション画像から前記色分解画像を引いた差分画像において前記平均画像の画素連結パターンに接する画素数と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去することとしてもよい。 In the telop character pattern extraction program, the telop character pattern extraction device, and the telop character pattern extraction method, the number of pixels that touch the pixel connection pattern of the average image in the edge binary image, and the color separation from the dilation image Based on the number of pixels in contact with the pixel connection pattern of the average image in the difference image obtained by subtracting the image, a moving pattern may be removed from the color separation images as noise.
また、上記テロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法において、前記合成２値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去し、ノイズ除去後の合成２値画像に基づいて、前記文字列パターンを出力することとしてもよい。 Further, in the telop character pattern extraction program, the telop character pattern extraction device, and the telop character pattern extraction method, a pixel connection pattern that violates a character string rule is removed from pixel connection patterns in the composite binary image, The character string pattern may be output based on the synthesized binary image after noise removal.
また、上記テロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法において、前記合成２値画像内の画素連結パターンの文字認識結果に基づいて、前記合成２値画像の中から文字らしいキー文字パターンを抽出することにより、当該キー文字パターンを包含する矩形に包含される画素連結パターンに外接する文字候補矩形を抽出し、抽出された文字候補矩形ペアが重複関係または包含関係にある場合、文字候補矩形ペアのうち当該重複関係または包含関係に関する規則に違反する文字候補矩形を除去することとしてもよい。 In the telop character pattern extraction program, telop character pattern extraction apparatus, and telop character pattern extraction method, a character is extracted from the composite binary image based on a character recognition result of a pixel connection pattern in the composite binary image. By extracting a new key character pattern, a character candidate rectangle circumscribing the pixel connection pattern included in the rectangle including the key character pattern is extracted, and the extracted character candidate rectangle pair is in an overlapping relationship or an inclusion relationship In this case, the character candidate rectangles that violate the rules regarding the overlapping relationship or the inclusion relationship may be removed from the character candidate rectangle pair.
また、上記テロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法において、前記合成２値画像内の画素連結パターンの文字認識結果に基づいて、前記合成２値画像の中から文字らしいキー文字パターンを抽出することにより、当該キー文字パターンを包含する矩形に包含される画素連結パターンに外接する文字候補矩形を抽出し、抽出された隣接する文字候補矩形が重複している重複文字候補矩形集合の中から、文字間隔の規則を遵守する文字候補矩形の組み合わせからなる組み合わせ矩形列を抽出することとしてもよい。 In the telop character pattern extraction program, telop character pattern extraction apparatus, and telop character pattern extraction method, a character is extracted from the composite binary image based on a character recognition result of a pixel connection pattern in the composite binary image. By extracting a new key character pattern, a character candidate rectangle circumscribing the pixel connection pattern included in the rectangle that includes the key character pattern is extracted, and the extracted adjacent character candidate rectangles are duplicated From the candidate rectangle set, a combination rectangle string composed of combinations of character candidate rectangles that comply with the rules for character spacing may be extracted.
また、上記テロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法において、前記合成２値画像内の画素連結パターンの文字認識結果に基づいて、前記合成２値画像の中から文字らしいキー文字パターンを抽出することにより、当該キー文字パターンを包含する矩形に包含される画素連結パターンに外接する文字候補矩形を抽出し、抽出された文字候補矩形ペアが重複関係または包含関係にある場合、文字候補矩形ペアのうち当該重複関係または包含関係に関する規則に違反する文字候補矩形を除去し、ノイズ除去結果に基づいて、隣接する文字候補矩形が重複している重複文字候補矩形集合の中から、文字間隔の規則を遵守する文字候補矩形の組み合わせからなる組み合わせ矩形列を抽出することとしてもよい。 In the telop character pattern extraction program, telop character pattern extraction apparatus, and telop character pattern extraction method, a character is extracted from the composite binary image based on a character recognition result of a pixel connection pattern in the composite binary image. By extracting a new key character pattern, a character candidate rectangle circumscribing the pixel connection pattern included in the rectangle including the key character pattern is extracted, and the extracted character candidate rectangle pair is in an overlapping relationship or an inclusion relationship The character candidate rectangles that violate the rules related to the overlapping relationship or the inclusion relationship are removed from the character candidate rectangle pair, and the adjacent character candidate rectangles are overlapped based on the noise removal result. From a combination rectangle string consisting of combinations of character candidate rectangles that comply with the rules for character spacing. It is also possible to output.
また、第２のテロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法は、テロップを含む一連のフレーム画像の平均画像を取得し、取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成し、生成された各色分解画像の中から行ごとに選択された行領域を合成することにより、合成２値画像を生成し、生成された合成２値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去し、ノイズ除去後の合成２値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力することを要件とする。 The second telop character pattern extraction program, the telop character pattern extraction device, and the telop character pattern extraction method obtain an average image of a series of frame images including the telop, and perform color clustering on the obtained average images. Generating a plurality of color separation images, and combining a row region selected for each row from the generated color separation images, thereby generating a composite binary image, and generating a composite binary image in the generated composite binary image Based on the character recognition result of the character pattern consisting of a combination of each pixel connection pattern in the composite binary image after removing the noise from the pixel connection pattern that violates the rule of the character string from the pixel connection pattern By removing a pixel connection pattern unnecessary for the character pattern from the circumscribed rectangle of the pattern as noise, The requirement that the output down.
本テロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法によれば、文字列パターンの抽出精度の向上を図ることができるという効果を奏する。 According to the telop character pattern extraction program, the telop character pattern extraction device, and the telop character pattern extraction method, there is an effect that the extraction accuracy of the character string pattern can be improved.
以下に添付図面を参照して、本テロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法の好適な実施の形態を詳細に説明する。 Exemplary embodiments of a telop character pattern extraction program, a telop character pattern extraction device, and a telop character pattern extraction method will be described below in detail with reference to the accompanying drawings.
（テロップ文字パターン抽出の概要）
本実施の形態のテロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法は、
１）文字認識を使用して色分解２値画像から正しい行を抽出する技術と、
２）ノイズを含む行パターンから文字認識を使用してキー文字と呼ばれる代表的な文字パターン候補を求め、そのキー文字を使って生成された文字候補矩形の組み合わせとなる複数の文字列候補矩形列の中から、文字の帰属度や文字間隔情報といった文字パターンの特徴を使用して、正しい文字列矩形を求める技術と、
を用いて、テロップの中から文字パターンを抽出する技術である。
(Outline of telop character pattern extraction)
The telop character pattern extraction program, telop character pattern extraction apparatus, and telop character pattern extraction method of the present embodiment are:
1) a technique for extracting correct lines from a color separation binary image using character recognition;
2) A representative character pattern candidate called a key character is obtained from a noisy line pattern using character recognition, and a plurality of character string candidate rectangles that are combinations of character candidate rectangles generated using the key character From the above, using the character pattern features such as character attribution and character spacing information,
Is a technique for extracting a character pattern from a telop using
図１は、本実施の形態にかかるテロップ文字パターン抽出方法の処理手順を示すフローチャートである。図１において、テロップ文字パターン抽出方法は、テロップ領域画像取得処理（ステップＳ１０１）、色クラスタリングによる色分解画像作成処理（ステップＳ１０２）、画像周囲のノイズ除去処理（ステップＳ１０３）、エッジＭＦＩ（Ｍｕｌｔｉ Ｆｒａｍｅ Ｉｎｔｅｇｒａｔｉｏｎ）によるノイズ除去処理（ステップＳ１０４）、行領域抽出処理（ステップＳ１０５）、行領域選択処理（ステップＳ１０６）、パターンの規則性による文字間ノイズ除去処理（ステップＳ１０７）、文字矩形内ノイズ除去処理（ステップＳ１０８）の順に実行することで、テロップから文字パターンを抽出することができる。このステップＳ１０１〜Ｓ１０５が上記１）の技術であり、ステップＳ１０６〜Ｓ１０８が上記２）の技術に相当する。以下、各処理Ｓ１０１〜Ｓ１０８を実現する内容について詳細に説明する。 FIG. 1 is a flowchart showing the processing procedure of the telop character pattern extraction method according to this embodiment. In FIG. 1, a telop character pattern extraction method includes a telop area image acquisition process (step S101), a color separation image creation process by color clustering (step S102), a noise removal process around an image (step S103), and an edge MFI (Multi Frame). Noise removal processing by integration (step S104), row region extraction processing (step S105), row region selection processing (step S106), inter-character noise removal processing by pattern regularity (step S107), and character rectangle noise removal processing By executing in the order of (step S108), the character pattern can be extracted from the telop. Steps S101 to S105 correspond to the technique 1), and steps S106 to S108 correspond to the technique 2). Hereinafter, the content which implement | achieves each process S101-S108 is demonstrated in detail.
（テロップ文字パターン抽出装置のハードウェア構成）
図２は、本実施の形態にかかるテロップ文字パターン抽出装置のハードウェア構成を示すブロック図である。図２において、テロップ文字パターン抽出装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ‐Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２０４と、ＨＤ（Ｈａｒｄ Ｄｉｓｋ）２０５と、ＦＤＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ Ｄｒｉｖｅ）２０６と、着脱可能な記録媒体の一例としてのＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）２０７と、ディスプレイ２０８と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２０９と、キーボード２１０と、マウス２１１と、スキャナ２１２と、プリンタ２１３と、を備えている。また、各構成部はバス２００によってそれぞれ接続されている。
(Hardware configuration of telop character pattern extraction device)
FIG. 2 is a block diagram showing a hardware configuration of the telop character pattern extraction apparatus according to this embodiment. In FIG. 2, a telop character pattern extraction apparatus includes a CPU (Central Processing Unit) 201, a ROM (Read-Only Memory) 202, a RAM (Random Access Memory) 203, an HDD (Hard Disk Drive) 204, and an HD (Hard Disk Drive Memory) 204. Hard Disk (205), FDD (Flexible Disk Drive) 206, FD (Flexible Disk) 207 as an example of a removable recording medium,
ここで、ＣＰＵ２０１は、テロップ文字パターン抽出装置の全体の制御を司る。ＲＯＭ２０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＨＤＤ２０４は、ＣＰＵ２０１の制御にしたがってＨＤ２０５に対するデータのリード／ライトを制御する。ＨＤ２０５は、ＨＤＤ２０４の制御で書き込まれたデータを記憶する。
Here, the
ＦＤＤ２０６は、ＣＰＵ２０１の制御にしたがってＦＤ２０７に対するデータのリード／ライトを制御する。ＦＤ２０７は、ＦＤＤ２０６の制御で書き込まれたデータを記憶したり、ＦＤ２０７に記憶されたデータをテロップ文字パターン抽出装置に読み取らせたりする。
The FDD 206 controls reading / writing of data with respect to the
また、着脱可能な記録媒体として、ＦＤ２０７のほか、ＣＤ−ＲＯＭ（ＣＤ−Ｒ、ＣＤ−ＲＷ）、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、メモリーカードなどであってもよい。ディスプレイ２０８は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。このディスプレイ２０８は、たとえば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどを採用することができる。
In addition to the FD 207, the removable recording medium may be a CD-ROM (CD-R, CD-RW), MO (Magneto-Optical disk), DVD (Digital Versatile Disk), memory card, or the like. The
Ｉ／Ｆ２０９は、通信回線を通じてインターネットなどのネットワーク２１４に接続され、このネットワーク２１４を介して他の装置に接続される。そして、Ｉ／Ｆ２０９は、ネットワーク２１４と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。Ｉ／Ｆ２０９には、たとえばモデムやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）アダプタなどを採用することができる。
The I / F 209 is connected to a
キーボード２１０は、文字、数字、各種指示などの入力のためのキーを備え、データの入力をおこなう。また、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス２１１は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などをおこなう。ポインティングデバイスとして同様に機能を備えるものであれば、トラックボールやジョイスティックなどであってもよい。
The
スキャナ２１２は、画像を光学的に読み取り、テロップ文字パターン抽出装置内に画像データを取り込む。なお、スキャナ２１２は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）機能を持たせてもよい。また、プリンタ２１３は、画像データや文書データを印刷する。プリンタ２１３には、たとえば、レーザプリンタやインクジェットプリンタを採用することができる。
The
（テロップ文字パターン抽出装置の機能的構成）
図３は、本実施の形態にかかるテロップ文字パターン抽出装置の機能的構成を示すブロック図である。図３において、テロップ文字パターン抽出装置３００は、取得部３０１と、色分解画像生成部３０２と、周辺ノイズ除去処理部３０３と、エッジＭＦＩノイズ除去処理部３０４と、行領域抽出部３０５と、行領域選択部３０６と、文字間ノイズ除去処理部３０７と、文字矩形内ノイズ除去処理部３０８と、を含む構成である。
(Functional configuration of telop character pattern extraction device)
FIG. 3 is a block diagram showing a functional configuration of the telop character pattern extraction apparatus according to the present embodiment. 3, the telop character pattern extraction apparatus 300 includes an
取得部３０１は、時系列なフレーム画像群の中から指定テロップ領域内の一連のフレーム画像を取得する機能を有する。指定テロップ区間とは、フレーム画像群が連続する全区間のうちテロップが表示される区間のことである。テロップの時間的区間、領域を求める技術については、「１９９４年電子情報通信学会春季大会 Ｄ−４２７ テロップの認識による資料映像の検索について」を用いて実現できる。取得された一連のフレーム画像は、それぞれテロップ画像を有しており、後述する平均画像やエッジ２値画像の生成元となる（図４を参照。）。
The
色分解画像生成部３０２は、取得部３０１によって取得された一連のフレーム画像から平均画像を生成して、平均画像に基づいて色分解画像を生成する機能を有する。色分解画像はクラスタリングにより生成できる。クラスタリングについては、「電子情報通信学会論文誌 Ｄ−ＩＩ， Ｖｏｌ．Ｊ８２−Ｄ−ＩＩ，ＮＯ．４， ｐｐ．７５１−７６２， １９９９年４月，ＩＳＯＤＡＴＡクラスタリング法を用いたカラー画像の領域分割」を用いて実現できる。色分解画像生成部３０２の具体的な処理内容については、図４〜図７を用いて後述する。
The color separation
周辺ノイズ除去処理部３０３は、色分解画像生成部３０２によって生成された各色分解画像から、その領域周辺に接するパターンをノイズとみなして削除する機能を有する。周辺ノイズ除去処理部３０３は、「１９９６年電子情報通信学会情報・システムソサイエティ大会 Ｄ-３４４ 映像中文字領域抽出のためのカラー画像セグメンテーション」を用いることで実現できる。周辺ノイズ除去処理部３０３の具体的な説明については、図８を用いて後述する。
The peripheral noise
エッジＭＦＩノイズ除去処理部３０４は、一連のフレーム画像からエッジ抽出したエッジ画像を集積して２値化したエッジ２値画像と、色分解画像と、当該色分解画像をダイレーションしたダイレーション画像と、平均画像と、に基づいて、各色分解画像の中から動きのあるパターンをノイズとして除去する機能を有する。具体的には、一連のフレーム画像からエッジ２値画像を生成して、周辺ノイズ除去処理部３０３によってノイズ除去された色分解画像ごとにノイズ除去処理する。エッジＭＦＩノイズ除去処理部３０４の具体的な説明については、図４および図９〜図１３を用いて後述する。
The edge MFI noise
行領域抽出部３０５は、エッジＭＦＩノイズ除去処理部３０４によるノイズ除去後の各色分解２値画像から文字パターン列が存在する行を抽出する機能を有する。行領域抽出部３０５の具体的な説明については、図１４〜図１７を用いて後述する。
The line
行領域選択部３０６は、各色分解画像をエッジＭＦＩノイズ除去処理部３０４によるノイズ除去することにより得られた各色分解２値画像の中から行ごとに選択された行領域を合成することにより、合成２値画像を生成する機能を有する。具体的には、行領域が特定された各色分解２値画像から、文字らしい画素連結パターン（たとえば、黒画素連結領域）が多く存在する行領域を行ごとに選択する。行領域選択部３０６の具体的な説明については、図１８〜図２１を用いて後述する。
The row
文字間ノイズ除去処理部３０７は、行領域選択部３０６によって生成された合成２値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去する機能を有する。文字列の規則とは、たとえば、対象とする２つの画素連結パターンが、テロップにおける文字と文字の間隔と同等な間隔で位置するための条件や、行高さが揃うための条件など、文字列の自然な配置に違反する画素連結パターンをノイズとして扱う条件である。具体的には、たとえば、行領域選択部３０６により得られた合成２値画像から行領域ごとに、文字に相当する黒画素連結領域間に存在するノイズを除去する。文字間ノイズ除去処理部３０７の具体的な説明については、図２２〜図３５を用いて後述する。
The inter-character noise
文字矩形内ノイズ除去処理部３０８は、合成２値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する機能を有する。具体的には、文字候補矩形から文字に該当しない黒画素連結領域を除去して、文字パターンに該当する黒画素連結領域のみを抽出する。文字矩形内ノイズ除去処理部３０８の具体的な説明については、図３６〜図３８を用いて後述する。
The character rectangle noise
なお、上述した取得部３０１、色分解画像生成部３０２、周辺ノイズ除去処理部３０３、エッジＭＦＩノイズ除去処理部３０４、行領域抽出部３０５、行領域選択部３０６、文字間ノイズ除去処理部３０７、および文字矩形内ノイズ除去処理部３０８は、具体的には、たとえば、図２に示したＲＯＭ２０２、ＲＡＭ２０３、ＨＤ２０５などの記憶領域に記憶されたプログラムをＣＰＵに実行させることにより、その機能を実現する。
Note that the
（色分解画像生成部３０２の詳細な処理内容）
まず、色分解画像生成部３０２の詳細な処理内容について図４〜図７を用いて説明する。図４は、平均画像およびエッジ２値画像の生成内容を示す説明図である。図４において、時系列で入力されてくる指定テロップ区間内の一連のフレーム画像４０１の同一位置の画素値を平均化することで、平均画像４１０が生成される。
(Detailed processing contents of the color separation image generation unit 302)
First, detailed processing contents of the color separation
図５は、平均画像４１０の一例を示す説明図である。この平均画像４１０を色クラスタリングすることで、色分解画像が生成される。テロップ文字は同じ文字色を持つので、テロップ文字と背景を分離する目的で、色クラスタリングをおこなって平均画像４１０を色分解する。色クラスタリングとは、平均画像４１０の各画素の値を、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３軸からなる色空間座標にプロットし、クラスタ化する処理である。
FIG. 5 is an explanatory diagram showing an example of the
図６は、色空間座標６００における色クラスタリングを示す説明図である。ここでは、平均画像４１０は、４つのクラスタ（白をあらわすクラスタ６０１、濃い灰色をあらわすクラスタ６０２、薄い灰色をあらわすクラスタ６０３、黒をあらわすクラスタ６０４）にクラスタリングされている。本例では４つのクラスタ６０１〜６０４にまとめられたが、クラスタの個数は４つに限定されず、平均画像４１０の画素値や、適用する色クラスタリングにより適宜決定される。本例では、ＩＳＯＤＡＴＡ（Ｉｔｅｒａｔｉｖｅ Ｓｅｌｆ‐Ｏｒｇａｎｉｚｉｎｇ）クラスタリングを用いている。
FIG. 6 is an explanatory diagram showing color clustering in the color space coordinates 600. Here, the
図７は、色クラスタリングによって得られた色分解画像を示す説明図である。色分解画像はクラスタごとに生成される。本例では、４個の色分解画像７０１〜７０４が生成される。色分解画像７０１は、白のクラスタから得られた２値画像であり、色分解画像７０２は、濃い灰色のクラスタから得られた２値画像であり、色分解画像７０３は、薄い灰色のクラスタから得られた２値画像であり、色分解画像７０４は、黒のクラスタから得られた２値画像である。
FIG. 7 is an explanatory diagram showing a color separation image obtained by color clustering. A color separation image is generated for each cluster. In this example, four
（周辺ノイズ除去処理部３０３の詳細な処理内容）
周辺ノイズ除去処理部３０３の詳細な処理内容について図８を用いて説明する。図８は、画像周囲のノイズ除去処理（ステップＳ１０３）により処理された色分解画像を示す説明図である。色分解画像８０１は、色分解画像７０１の画像周囲のノイズ除去処理により処理された色分解画像であり、色分解画像８０２は、色分解画像７０２の画像周囲のノイズ除去処理により処理された色分解画像であり、色分解画像８０３は、色分解画像７０３の画像周囲のノイズ除去処理により処理された色分解画像であり、色分解画像８０４は、色分解画像７０４の画像周囲のノイズ除去処理により処理された色分解画像である。
(Detailed processing contents of the peripheral noise removal processing unit 303)
Detailed processing contents of the peripheral noise
テロップ文字は領域の中央付近にあり、文字パターンとノイズとは接触しない場合が多いので、各色分解画像８０１〜８０４の領域周辺に接するパターンが削除されている。
Since the telop character is near the center of the area and the character pattern and the noise often do not contact each other, the pattern in contact with the periphery of each
（エッジＭＦＩノイズ除去処理部３０４の詳細な処理内容）
エッジＭＦＩノイズ除去処理部３０４の詳細な処理内容について、図４、図９〜図１１を用いて説明する。図４において、一連のフレーム画像４０１は、公知のエッジ抽出処理（たとえば、Ｃａｎｎｙエッジ）と２値化処理により、一連のエッジ２値画像４０２に変換され、同一位置の画素値を合計することで、エッジ濃淡画像４２０が生成される。そして、エッジ濃淡画像４２０を、固定しきい値で２値化することで、エッジ２値画像４３０が生成される。
(Detailed processing contents of the edge MFI noise removal processing unit 304)
Detailed processing contents of the edge MFI noise
図９は、エッジＭＦＩによるノイズ除去処理で得られる一連の画像を示す説明図である。ａ）は、図４に示したエッジ２値画像４３０である。このエッジ２値画像４３０は動きがないパターンのエッジ画像となる。テロップ文字は動きがないので、エッジが現れることとなる。したがって、文字ストロークパターンの周囲に動きがないエッジが多くあるものをテロップ文字パターン候補として抽出することができる。
FIG. 9 is an explanatory diagram showing a series of images obtained by noise removal processing using the edge MFI. a) is the edge
ｂ）は、図８に示した色分解画像８０１のダイレーション画像８０１Ｄである。ダイレーションとは、注目画素の周囲８画素の画素値を、注目画素の画素値に変換する処理である。ｃ）は、ｂ）のダイレーション画像８０１Ｄから元画像である色分解画像８０１を引いたことにより得られるエッジ画像９０１である。エッジ画像９０１は文字パターンの理想的なエッジを示す。ｄ）は、ａ）のエッジ２値画像４３０とｃ）のエッジ画像９０１とを用いて、エッジＭＦＩによるノイズ除去をおこなうことで得られる色分解２値画像９１０である。
b) is a
ｄ）のＭＦＩによるノイズ除去では、色分解画像８０１の各黒画素連結領域と接するエッジ２値画像４３０の画素数ｐ１を求める。同様に、色分解画像８０１の各黒画素連結領域と接するエッジ画像９０１の画素数ｐ２を求める。しきい値をｔ（たとえば、ｔ＝０．５４）とすると、ｐ１／ｐ２＜ｔの場合に、色分解画像８０１の黒画素連結領域を、動いているパターンとして色分解画像８０１から削除する。削除後の画像が色分解２値画像９１０である。ここで、ｄ）の処理内容について具体的に説明する。
In d) noise removal by MFI, the number of pixels p1 of the edge
図１０は、図９のｄ）のＭＦＩによるノイズ除去の処理内容を示す説明図である。図１０において、黒四角（■）は、色分解画像８０１の黒画素連結領域の画素（以下、「■画素」）である。白四角（□）は、色分解画像８０１の非黒画素連結領域の画素（以下、「□画素」）である。白丸（○）は、色分解画像８０１の各黒画素連結領域と接するエッジ画像９０１の画素（以下、「○画素」）である。黒丸（●）は、色分解画像８０１の各黒画素連結領域と接するエッジ２値画像４３０の画素（以下、「●画素」）である。●画素は○画素でもある。
FIG. 10 is an explanatory diagram showing the processing content of noise removal by MFI of d) of FIG. In FIG. 10, black squares (■) are pixels in the black pixel connection area of the color separation image 801 (hereinafter, “■ pixels”). White squares (□) are pixels in the non-black pixel connection region of the color separation image 801 (hereinafter “□ pixels”). A white circle (◯) is a pixel of the edge image 901 (hereinafter, “◯ pixel”) in contact with each black pixel connection region of the
図１０の（Ａ）では、●画素が１５画素（ｐ１＝１０）であり、（Ｂ）では、○画素が２０画素（ｐ２＝２０）である。したがって、図１０では、ｐ１／ｐ２＜ｔを満たすため、■画素は削除される。なお、図９に示したｂ）〜ｄ）の内容は、色分解画像８０１だけではなく、他の色分解画像８０２〜８０４についても求める。これにより、図１６に示したような色分解２値画像９２０〜９４０が得られる。
In FIG. 10A, the number of pixels is 15 pixels (p1 = 10), and in FIG. 10B, the number of ◯ pixels is 20 pixels (p2 = 20). Therefore, in FIG. 10, the pixel ■ is deleted to satisfy p1 / p2 <t. Note that the contents of b) to d) shown in FIG. 9 are obtained not only for the
図１１は、エッジＭＦＩノイズ除去処理部３０４のエッジＭＦＩによるノイズ除去処理（ステップＳ１０４）の詳細な処理手順を示すフローチャートである。図１１において、図４に示したように、エッジ２値画像生成処理を実行し（ステップＳ１１０１）、未処理の色分解画像があるか否かを判断する（ステップＳ１１０２）。未処理の色分解画像がある場合（ステップＳ１１０２：Ｙｅｓ）、未処理の色分解画像を選択して（ステップＳ１１０３）、選択色分解画像のダイレーション処理を実行する（ステップＳ１１０４）。
FIG. 11 is a flowchart showing a detailed processing procedure of the noise removal processing (step S104) by the edge MFI of the edge MFI noise
つぎに、図９のｃ）に示したように、ダイレーション画像から選択色分解画像を引いたエッジ画像を生成する（ステップＳ１１０５）。図９のｃ）の場合は、色分解画像８０１に対するエッジ画像９０１を生成することとなる。このあと、ノイズ除去処理を実行して（ステップＳ１１０６）、ステップＳ１１０２に戻る。ステップＳ１１０２において、未処理の色分解画像がない場合（ステップＳ１１０２：Ｎｏ）、行領域抽出処理（ステップＳ１０５）に移行する。
Next, as shown in FIG. 9c), an edge image is generated by subtracting the selected color separation image from the dilation image (step S1105). In the case of c) in FIG. 9, an
図１２は、図１１に示したエッジ２値画像生成処理（ステップＳ１１０１）の手順を示すフローチャートである。図１２において、まず、指定テロップ区間の開始位置が検出されるまで待ち受け（ステップＳ１２０１：Ｎｏ）、指定テロップ区間の開始位置が検出された場合（ステップＳ１２０１：Ｙｅｓ）、フレーム画像を取得する（ステップＳ１２０２）。フレーム画像は、時系列で順次取り込まれるため、取り込まれる都度、後続の処理を実行することとなる。 FIG. 12 is a flowchart showing the procedure of the edge binary image generation process (step S1101) shown in FIG. In FIG. 12, first, it waits until the start position of the designated telop section is detected (step S1201: No). When the start position of the designated telop section is detected (step S1201: Yes), a frame image is acquired (step S1201: Yes). S1202). Since the frame images are sequentially captured in time series, the subsequent processing is executed each time the frames are captured.
つぎに、取得フレーム画像に対してＣａｎｎｙエッジなどのエッジ抽出処理をおこなって、エッジ抽出後の取得フレーム画像を２値化する（ステップＳ１２０３）。そして、エッジ濃淡画像として集積する（ステップＳ１２０４）。この集積処理は、２値化されたエッジ抽出後の取得フレーム画像の同一画素の画素値を累積（加算）する処理である。 Next, edge extraction processing such as a Canny edge is performed on the acquired frame image to binarize the acquired frame image after edge extraction (step S1203). Then, it is accumulated as an edge gray image (step S1204). This accumulation process is a process of accumulating (adding) the pixel values of the same pixels in the acquired frame image after binarized edge extraction.
このあと、指定テロップ区間の終了が検出されたか否かを判断する（ステップＳ１２０５）。終了が検出されなかった場合（ステップＳ１２０５：Ｎｏ）、ステップＳ１２０２に戻る。一方、検出された場合（ステップＳ１２０５：Ｙｅｓ）、集積されたエッジ濃淡画像を固定しきい値で２値化する（ステップＳ１２０６）。これにより、図９に示したようなエッジ２値画像が生成される。 Thereafter, it is determined whether or not the end of the designated telop section is detected (step S1205). When the end is not detected (step S1205: No), the process returns to step S1202. On the other hand, if detected (step S1205: Yes), the accumulated edge grayscale image is binarized with a fixed threshold value (step S1206). Thereby, an edge binary image as shown in FIG. 9 is generated.
図１３は、図１１に示したノイズ除去処理（ステップＳ１１０６）の詳細な処理手順を示すフローチャートである。なお、図１３では、エッジ２値画像を「第１エッジ画像」と称し、ステップＳ１１０５のダイレーション画像から選択色分解画像を引いたエッジ画像を、「第２エッジ画像」と称す。 FIG. 13 is a flowchart showing a detailed processing procedure of the noise removal processing (step S1106) shown in FIG. In FIG. 13, the edge binary image is referred to as a “first edge image”, and the edge image obtained by subtracting the selected color separation image from the dilation image in step S1105 is referred to as a “second edge image”.
まず、選択色分解画像の中に、未処理の黒画素連結領域があるか否かを判断する（ステップＳ１３０１）。未処理の黒画素連結領域がある場合（ステップＳ１３０１：Ｙｅｓ）、未処理の黒画素連結領域を選択する（ステップＳ１３０２）。つぎに、選択黒画素連結領域と接する黒画素連結領域を、第１および第２エッジ画像から抽出する（ステップＳ１３０３）。これにより、第１エッジ画像については図１０の（Ａ）、第２エッジ画像については図１０の（Ｂ）に示した結果が得られる。 First, it is determined whether or not there is an unprocessed black pixel connection area in the selected color separation image (step S1301). If there is an unprocessed black pixel connection area (step S1301: Yes), an unprocessed black pixel connection area is selected (step S1302). Next, a black pixel connection area in contact with the selected black pixel connection area is extracted from the first and second edge images (step S1303). As a result, the results shown in FIG. 10A for the first edge image and the results shown in FIG. 10B for the second edge image are obtained.
そして、それぞれ、画素数ｐ１，ｐ２を算出して（ステップＳ１３０４）、ｐ１／ｐ２＜ｔであるか否かを判断する（ステップＳ１３０５）。ｐ１／ｐ２＜ｔでない場合（ステップＳ１３０５：Ｎｏ）、ｐ１／ｐ２がしきい値ｔ以上であるため、ステップＳ１３０１に戻る。一方、ｐ１／ｐ２＜ｔである場合（ステップＳ１３０５：Ｙｅｓ）、選択黒画素連結領域を、動いているパターンであるとして選択色分解画像から削除する（ステップＳ１３０６）。また、ステップＳ１３０１において、未処理の黒画素連結領域がない場合（ステップＳ１３０１：Ｎｏ）、ステップＳ１１０２に戻る。これにより、色分解２値画像（９１０〜９４０）が生成される。 Then, the numbers of pixels p1 and p2 are calculated (step S1304), and it is determined whether or not p1 / p2 <t is satisfied (step S1305). If p1 / p2 <t is not satisfied (step S1305: NO), the process returns to step S1301 because p1 / p2 is equal to or greater than the threshold value t. On the other hand, if p1 / p2 <t (step S1305: Yes), the selected black pixel connection area is deleted from the selected color separation image as a moving pattern (step S1306). If there is no unprocessed black pixel connection area in step S1301 (step S1301: No), the process returns to step S1102. Thereby, a color separation binary image (910-940) is produced | generated.
（行領域抽出部３０５の詳細な処理内容）
つぎに、行領域抽出部３０５の詳細な処理内容について説明する。図１４は、行領域抽出部３０５による行領域抽出処理（ステップＳ１０５）の詳細な処理手順を示すフローチャートである。図１４において、まず、行方向決定処理を実行する（ステップＳ１４０１）。具体的には、色分解２値画像の領域形状から行方向を決定する。すなわち、色分解２値画像の領域形状が横長なら横書き、縦長なら縦書きとする。行方向は、色分解２値画像の画素の縦横比で決定することができる。
(Detailed processing contents of the line area extraction unit 305)
Next, detailed processing contents of the line
つぎに、色分解２値画像を絞り込む（ステップＳ１４０２）。具体的には、黒画素面積（黒画素数）から決定行方向の走査時の白黒変化数を引いた値を評価値として、上位４枚の色分解２値画像に絞り込む。なお、上位４枚の色分解２値画像を選択することとなっているが、選択数は、４枚に限らず任意に設定することができる。本例では、色分解２値画像が４枚しかないため、その４枚が選ばれることとなる。 Next, the color separation binary image is narrowed down (step S1402). Specifically, the value obtained by subtracting the number of black and white changes during scanning in the determined row direction from the black pixel area (number of black pixels) is narrowed down to the top four color separation binary images as an evaluation value. Although the top four color separation binary images are selected, the number of selections is not limited to four and can be arbitrarily set. In this example, since there are only four color-separated binary images, the four are selected.
そして、未処理の色分解２値画像があるか否かを判断する（ステップＳ１４０３）。未処理の色分解２値画像がある場合（ステップＳ１４０３：Ｙｅｓ）、未処理の色分解２値画像を選択する（ステップＳ１４０４）。そして、選択色分解２値画像の中に、未処理の黒画素連結領域があるか否かを判断する（ステップＳ１４０５）。未処理の黒画素連結領域がない場合（ステップＳ１４０５：Ｎｏ）、ステップＳ１４０３に戻る。一方、未処理の黒画素連結領域がある場合（ステップＳ１４０５：Ｙｅｓ）、未処理の黒画素連結領域を１つ選択する（ステップＳ１４０６）。 Then, it is determined whether or not there is an unprocessed color separation binary image (step S1403). If there is an unprocessed color separation binary image (step S1403: Yes), an unprocessed color separation binary image is selected (step S1404). Then, it is determined whether or not there is an unprocessed black pixel connection area in the selected color separation binary image (step S1405). When there is no unprocessed black pixel connection area (step S1405: No), the process returns to step S1403. On the other hand, when there is an unprocessed black pixel connection area (step S1405: Yes), one unprocessed black pixel connection area is selected (step S1406).
そして、選択黒画素連結領域に対して１文字認識処理を実行する（ステップＳ１４０７）。１文字認識処理とは、選択黒画素連結領域が１つの文字パターンとして認識する処理である。具体的には、確信度Ｃと呼ばれる評価値を用いて、選択黒画素連結領域が１つの文字パターンであることを認識する。 Then, a single character recognition process is executed for the selected black pixel connection region (step S1407). The one character recognition process is a process in which the selected black pixel connection region recognizes as one character pattern. Specifically, using the evaluation value called the certainty factor C, it is recognized that the selected black pixel connection area is one character pattern.
確信度Ｃとは、入力画像（選択黒画素連結領域）の特徴量との類似度の高さをあらわす評価値である。確信度Ｃの算出法については、特開２０００−３０６０４５に詳細に説明されているため、ここでは、簡単に説明する。 The certainty factor C is an evaluation value representing the high degree of similarity with the feature amount of the input image (selected black pixel connection region). Since the calculation method of the certainty factor C is described in detail in Japanese Patent Laid-Open No. 2000-306045, it will be briefly described here.
図１５は、確信度Ｃの算出方法を示す説明図である。確信度Ｃを求める場合、選択黒画素連結領域と辞書の文字との比較をおこなう。具体的には、（Ａ）において、選択黒画素連結領域『あ』（この段階では、文字かどうかわからない）の特徴量を示す特徴ベクトルと、辞書内の各登録文字（ｎ個）の特徴量を示す特徴ベクトルとを求め、選択黒画素連結領域『あ』の特徴ベクトルと辞書内の各登録文字の特徴ベクトルとの距離ｄ１〜ｄｎを求める。選択黒画素連結領域は、距離の値が小さい登録文字ほど類似している。そのため、距離で昇順にソートする。 FIG. 15 is an explanatory diagram illustrating a method of calculating the certainty factor C. When obtaining the certainty factor C, the selected black pixel connection area is compared with the characters in the dictionary. Specifically, in (A), a feature vector indicating the feature amount of the selected black pixel connection area “A” (whether or not it is a character at this stage), and the feature amount of each registered character (n) in the dictionary And the distances d1 to dn between the feature vector of the selected black pixel connection region “A” and the feature vector of each registered character in the dictionary. The selected black pixel connection region is more similar to a registered character having a smaller distance value. Therefore, sort by the distance in ascending order.
（Ｂ）は昇順でのソート結果を示している。そして、（Ｃ）のように、１位の距離を２位の距離で除算する。Ｋ（０＜Ｋ≦１）の値が小さい場合、１位の距離と２位の距離との距離差が大きいため、選択黒画素連結領域が１位の登録文字に類似している可能性が高くなる。逆に、Ｋの値が大きくなるにつれ、１位と２位の区別がつきにくくなる。したがって、（Ｄ）に示したように、Ｋの値が小さいほど大きい値の確信度Ｃを割り当て、Ｋの値が大きいほど小さい値の確信度Ｃを割り当てる。確信度Ｃは、ここでは、０≦Ｃ≦９９９とする。このように、確信度Ｃの値が大きいと一意に対応する登録文字が存在することをあらわす。 (B) shows the sorting result in ascending order. Then, as shown in (C), the first place distance is divided by the second place distance. When the value of K (0 <K ≦ 1) is small, there is a possibility that the selected black pixel connected region is similar to the registered character of the first place because the distance difference between the first place and the second place is large. Get higher. Conversely, as the value of K increases, it becomes difficult to distinguish the first place from the second place. Therefore, as shown in (D), the smaller the K value, the higher the certainty factor C is assigned, and the larger the K value, the smaller the certainty factor C is assigned. Here, the certainty factor C is 0 ≦ C ≦ 999. Thus, if the value of certainty factor C is large, it indicates that there is a registered character that uniquely corresponds.
そして、図１４において、確信度ＣがＣ≦Ｃｔであるか否かを判断する（ステップＳ１４０８）。Ｃｔとはしきい値であり、たとえば、Ｃｔ＝５００とする。Ｃ≦Ｃｔでない場合（ステップＳ１４０８：Ｎｏ）、選択黒画素連結領域は文字でないと認識されるため、ステップＳ１４０５に戻る。一方、Ｃ≦Ｃｔである場合（ステップＳ１４０８：Ｙｅｓ）、選択黒画素連結領域は文字である可能性が高いため、選択黒画素連結領域の外接矩形（内の画素）を投影軸に投影して（ステップＳ１４０９）、ステップＳ１４０５に戻る。 Then, in FIG. 14, it is determined whether or not the certainty factor C is C ≦ Ct (step S1408). Ct is a threshold value, for example, Ct = 500. If C ≦ Ct is not satisfied (step S1408: NO), the selected black pixel connection area is recognized as not a character, and the process returns to step S1405. On the other hand, when C ≦ Ct (step S1408: Yes), since the selected black pixel connection area is likely to be a character, the circumscribed rectangle (inner pixel) of the selected black pixel connection area is projected onto the projection axis. (Step S1409), the process returns to Step S1405.
ここで、投影軸とは、ステップＳ１４０１で決定された行方向に直交する方向を示す軸である。この投影軸に選択黒画素連結領域の外接矩形（内の画素）を投影することで、画素のヒストグラムが生成される。 Here, the projection axis is an axis indicating a direction orthogonal to the row direction determined in step S1401. By projecting the circumscribed rectangle (inner pixels) of the selected black pixel connection area onto this projection axis, a histogram of the pixels is generated.
図１６は、ヒストグラムの生成例を示す説明図である。図１６において、ヒストグラムは、各色分解２値画像９１０〜９４０について、ステップＳ１４０３〜Ｓ１４０９を実行して累積することで生成される。このヒストグラムの座標軸のうち横軸は画素数であり、縦軸Ｘは投影軸である。
FIG. 16 is an explanatory diagram of an example of generating a histogram. In FIG. 16, the histogram is generated by executing steps S1403 to S1409 and accumulating the color
そして、図１４のステップＳ１４０３において、未処理の色分解２値画像がないと判断された場合（ステップＳ１４０３：Ｎｏ）、行領域決定処理を実行する（ステップＳ１４１０）。行領域決定処理では、ヒストグラムの山毎に、たとえば、画素数がピークの２０％の領域を行領域として抽出する。ただし、山の幅が１０画素以下の行はノイズとして削除する。 If it is determined in step S1403 in FIG. 14 that there is no unprocessed color separation binary image (step S1403: No), row area determination processing is executed (step S1410). In the row area determination process, for example, an area where the number of pixels is 20% of the peak is extracted as a row area for each mountain of the histogram. However, a line having a peak width of 10 pixels or less is deleted as noise.
たとえば、図１６では、ヒストグラムの第１の山Ｈ１のピークの２０％はｔ１であるため、その行高さｈ１が特定される。同様に、ヒストグラムの第２の山Ｈ２のピークの２０％はｔ２であるため、その行高さｈ２が抽出される。抽出された行高さｈ１，ｈ２を少し拡大してもよい。これにより、色分解２値画像ごとに行領域が決定される。 For example, in FIG. 16, since 20% of the peak of the first peak H1 of the histogram is t1, the row height h1 is specified. Similarly, since 20% of the peak of the second peak H2 of the histogram is t2, the row height h2 is extracted. The extracted row heights h1 and h2 may be slightly enlarged. Thereby, a row region is determined for each color separation binary image.
図１７は、決定された行領域を示す説明図である。色分解２値画像９１０は、行領域Ｌ１１，Ｌ１２を有する。行領域Ｌ１１の行高さはｈ１、行領域Ｌ１２の行高さはｈ２である。色分解２値画像９２０は、行領域Ｌ２１，Ｌ２２を有する。行領域Ｌ２１の行高さはｈ１、行領域Ｌ２２の行高さはｈ２である。色分解２値画像９３０は、行領域Ｌ３１，Ｌ３２を有する。行領域Ｌ３１の行高さはｈ１、行領域Ｌ３２の行高さはｈ２である。色分解２値画像９４０は、行領域Ｌ４１，Ｌ４２を有する。行領域Ｌ４１の行高さはｈ１、行領域Ｌ４２の行高さはｈ２である。
FIG. 17 is an explanatory diagram showing the determined row area. The color separation
（行領域選択部３０６の詳細な処理内容）
つぎに、行領域選択部３０６の詳細な処理内容について説明する。行領域選択部３０６では、行領域が特定された各色分解２値画像から、文字らしい黒画素連結領域が多く存在する行領域を行ごとに選択する。具体的には、図１７を例に挙げると、同一行（１行目）の行領域Ｌ１１，Ｌ２１，Ｌ３１，Ｌ４１の中から、文字らしい黒画素連結領域が多く存在する行領域を選択する。同様に、同一行（２行目）の行領域Ｌ１２，Ｌ２２，Ｌ３２，Ｌ４２の中から、文字らしい黒画素連結領域が多く存在する行領域を選択する。選択された各行領域が、同一の色分解２値画像に存在する必要はない。
(Detailed processing contents of the row area selection unit 306)
Next, detailed processing contents of the row
行領域選択部３０６では、行ごとに以下の処理を行う。すべての色分解２値画像に対して、以下の処理を行う。なお、色分解画像の数が、たとえば５以上である場合、ステップＳ１４０２により絞り込まれた色分解２値画像のみを処理対象とする。４以下の場合はすべての色分解２値画像を対象とする。
The row
また、行領域選択部３０６では、当該色分解２値画像のすべての黒画素連結領域に対して、１文字認識を実行し、以下の（Ａ）〜（Ｃ）の条件を満たす場合、妥当な文字として文字数をカウントする。
（Ａ）確信度ＣがＣ≧Ｃｔである（たとえば、Ｃｔ＝０．６０）。
（Ｂ）外接矩形の各辺の長さが所定画素数（たとえば１０画素）以上である。
（Ｃ）ノイズ文字と一致しない。
In addition, the row
(A) The certainty factor C is C ≧ Ct (for example, Ct = 0.60).
(B) The length of each side of the circumscribed rectangle is a predetermined number of pixels (for example, 10 pixels) or more.
(C) Does not match the noise character.
図１８は、ノイズ文字を示す説明図である。（Ｃ）については、ノイズ文字との距離が所定距離以内である場合、一致することとしてもよく、また、ノイズ文字との確信度Ｃが所定値以上である場合、ノイズ文字と一致することとしてもよい。また、黒画素連結領域が図１８に示したノイズ文字の文字パターンと相似である場合に、ノイズ文字と一致することとしてもよい。 FIG. 18 is an explanatory diagram showing noise characters. Regarding (C), if the distance from the noise character is within a predetermined distance, it may be matched, and if the certainty factor C with the noise character is greater than or equal to a predetermined value, it will match the noise character. Also good. Further, when the black pixel connection region is similar to the character pattern of the noise character shown in FIG. 18, it may be matched with the noise character.
このあと、各行で、文字数が一番多い色分解２値画像の行領域を選択する。選択行領域の色分解２値画像を抽出して、元領域サイズの白画像上にコピーして、以降の処理対象とする。以降の処理は、行単位で行うこととなる。 Thereafter, the row area of the color separation binary image having the largest number of characters is selected in each row. A color separation binary image of the selected row area is extracted and copied onto a white image of the original area size to be processed thereafter. Subsequent processing is performed in units of lines.
図１９は、行領域選択部３０６による行領域選択処理（ステップＳ１０６）の詳細な処理手順を示すフローチャートである。図１９において、未選択の行があるか否かを判断する（ステップＳ１９０１）。未選択の行がある場合（ステップＳ１９０１：Ｙｅｓ）、未選択の行を選択する（ステップＳ１９０２）。図１７に示した色分解２値画像では、行が２つ（１行目（上段）、２行目（下段））存在する。いずれの行も未選択であれば、いずれか一方の行を選択することとなる。
FIG. 19 is a flowchart showing a detailed processing procedure of the row region selection process (step S106) by the row
そして、未処理の色分解２値画像があるか否かを判断する（ステップＳ１９０３）。未処理の色分解２値画像がある場合（ステップＳ１９０３：Ｙｅｓ）、未処理の色分解２値画像からステップＳ１９０２による選択行の行領域を抽出する（ステップＳ１９０５）。そして、抽出行領域内の全黒画素連結領域の１文字認識処理を実行する（ステップＳ１９０６）。具体的には、各黒画素連結領域の確信度Ｃを算出する。このあと、妥当な文字カウント処理を実行する（ステップＳ１９０７）。妥当な文字カウント処理（ステップＳ１９０７）については後述する。 It is then determined whether there is an unprocessed color separation binary image (step S1903). If there is an unprocessed color separation binary image (step S1903: Yes), the row area of the selected row in step S1902 is extracted from the unprocessed color separation binary image (step S1905). Then, a single character recognition process is executed for the all black pixel connection area in the extracted line area (step S1906). Specifically, the certainty factor C of each black pixel connection region is calculated. Thereafter, an appropriate character count process is executed (step S1907). An appropriate character count process (step S1907) will be described later.
そして、妥当な文字カウント処理（ステップＳ１９０７）後のカウント文字数が記録情報としてすでにメモリに記録されている記録文字数よりも多いか否かを判断する（ステップＳ１９０８）。多くない場合（ステップＳ１９０８：Ｎｏ）、ステップＳ１９０３に戻る。一方、多い場合（ステップＳ１９０８：Ｙｅｓ）、メモリに記録された記録情報（選択行、抽出行領域を有する色分解２値画像（の識別番号）、カウント文字数）を更新する（ステップＳ１９０９）。そして、ステップＳ１９０３に戻る。 Then, it is determined whether or not the number of counted characters after the appropriate character counting process (step S1907) is larger than the number of recorded characters already recorded in the memory as recorded information (step S1908). When there are not many (step S1908: No), it returns to step S1903. On the other hand, if there are many (step S1908: Yes), the recorded information (color separation binary image (identification number) having the selected line and extracted line area, the number of counted characters) recorded in the memory is updated (step S1909). Then, the process returns to step S1903.
一方、ステップＳ１９０３において、未処理の色分解２値画像がない場合（ステップＳ１９０３：Ｎｏ）、メモリに記録されている最新の記録情報により特定される行領域を抽出し（ステップＳ１９０４）、ステップＳ１９０１に戻る。このとき選択行が変わるため、メモリ内の記録情報をリセットする。 On the other hand, if there is no unprocessed color separation binary image in step S1903 (step S1903: No), the row area specified by the latest recording information recorded in the memory is extracted (step S1904), and step S1901. Return to. Since the selected line changes at this time, the recorded information in the memory is reset.
そして、ステップＳ１９０１において、未選択の行がない場合（ステップＳ１９０１：Ｎｏ）、抽出された各行の行領域の画像を、元となる色分解２値画像の領域サイズと同サイズの白画像上の同一位置にコピーすることで、合成２値画像を生成する（ステップＳ１９１０）。 In step S1901, if there is no unselected row (step S1901: No), the image of the extracted row area of each row is displayed on the white image having the same size as the area size of the original color separation binary image. A composite binary image is generated by copying to the same position (step S1910).
図２０は、合成２値画像の一例を示す説明図である。図２０の合成２値画像２０００では、元となるエッジ２値画像４３０の領域サイズと同サイズの白画像２００１の同一位置に、選択行領域Ｌ１１，Ｌ１２がコピーされている。
FIG. 20 is an explanatory diagram illustrating an example of a composite binary image. In the composite
図２１は、図１９に示した妥当な文字カウント処理（ステップＳ１９０７）の詳細な処理手順を示すフローチャートである。図２１において、未処理の認識文字があるか否かを判断する（ステップＳ２１０１）。認識文字とは、確信度Ｃが算出された黒画素連結領域である。未処理の認識文字がある場合（ステップＳ２１０１：Ｙｅｓ）、未処理の認識文字を選択する（ステップＳ２１０２）。 FIG. 21 is a flowchart showing a detailed processing procedure of the appropriate character count processing (step S1907) shown in FIG. In FIG. 21, it is determined whether there is an unprocessed recognized character (step S2101). The recognized character is a black pixel connection region in which the certainty factor C is calculated. If there is an unprocessed recognized character (step S2101: Yes), an unprocessed recognized character is selected (step S2102).
そして、選択認識文字についてＣ≧Ｃｔであるか否かを判断する（ステップＳ２１０３）。Ｃ≧Ｃｔでない場合（ステップＳ２１０３：Ｎｏ）、ステップＳ２１０１に戻る。一方、Ｃ≧Ｃｔである場合（ステップＳ２１０３：Ｙｅｓ）、選択認識文字の外接矩形の各辺長が所定画素数以上であるか否かを判断する（ステップＳ２１０４）。所定画素数以上でない場合（ステップＳ２１０４：Ｎｏ）、ステップＳ２１０１に戻る。一方、所定画素数以上である場合（ステップＳ２１０４：Ｙｅｓ）、図１８に示したノイズ文字と一致するか否かを判断する（ステップＳ２１０５）。 And it is judged whether it is C> = Ct about a selection recognition character (Step S2103). If C ≧ Ct is not satisfied (step S2103: NO), the process returns to step S2101. On the other hand, if C ≧ Ct (step S2103: Yes), it is determined whether or not each side length of the circumscribed rectangle of the selected recognition character is equal to or greater than the predetermined number of pixels (step S2104). If it is not greater than the predetermined number of pixels (step S2104: NO), the process returns to step S2101. On the other hand, if the number of pixels is equal to or greater than the predetermined number of pixels (step S2104: Yes), it is determined whether or not the noise character matches that shown in FIG. 18 (step S2105).
ノイズ文字と一致する場合（ステップＳ２１０５：Ｙｅｓ）、ステップＳ２１０１に戻る。一方、ノイズ文字と不一致である場合（ステップＳ２１０５：Ｎｏ）、認識文字を文字としてカウントする（ステップＳ２１０６）。すなわち、カウント値が１加算される。そして、ステップＳ２１０１に戻る。ステップＳ２１０１において、未処理の認識文字がない場合（ステップＳ２１０１：Ｎｏ）、ステップＳ１９０８に移行する。 If it matches the noise character (step S2105: YES), the process returns to step S2101. On the other hand, when it does not coincide with the noise character (step S2105: No), the recognized character is counted as a character (step S2106). That is, 1 is added to the count value. Then, the process returns to step S2101. In step S2101, if there is no unprocessed recognized character (step S2101: No), the process proceeds to step S1908.
これにより、文字カウント数が多い行領域は、文字らしい黒画素連結領域が多く存在することとなる。したがって、この行領域選択部３０６および行領域選択処理（ステップＳ１０６）により、複数ある色分解２値画像から、最も文字らしい行領域を行ごとに抽出することができる。
As a result, there are many black pixel connection regions that are likely to be characters in a row region with a large character count. Therefore, by this line
（文字間ノイズ除去処理部３０７の詳細な処理内容）
つぎに、文字間ノイズ除去処理部３０７の詳細な処理内容について説明する。行領域選択部３０６により得られた合成２値画像から行領域ごとに、文字に相当する黒画素連結領域間のノイズを除去する。
(Detailed processing contents of the inter-character noise removal processing unit 307)
Next, detailed processing contents of the inter-character noise
図２２は、パターンの規則性による文字間ノイズ除去処理部３０７による文字間ノイズ除去処理（ステップＳ１０７）の詳細な処理手順を示すフローチャートである。図２２において、まず、図２０に示した合成２値画像２０００の中から未処理の行領域があるか否かを判断する（ステップＳ２２０１）。未処理の行領域がある場合（ステップＳ２２０１：Ｙｅｓ）、未処理の行領域を選択して（ステップＳ２２０２）、キー文字抽出処理（ステップＳ２２０３）、文字候補矩形抽出処理（ステップＳ２２０４）、重複・包含矩形のノイズ除去処理（ステップＳ２２０５）および文字間ノイズ除去処理（ステップＳ２２０６）を実行する。
FIG. 22 is a flowchart showing a detailed processing procedure of the inter-character noise removal processing (step S107) by the inter-character noise
このあと、ステップＳ２２０１に戻る。ステップＳ２２０１において、未処理の行領域がない場合（ステップＳ２２０１：Ｎｏ）、文字矩形内ノイズ除去処理（ステップＳ１０８）に移行する。 Thereafter, the process returns to step S2201. If there is no unprocessed line area in step S2201 (step S2201: No), the process proceeds to character rectangle noise removal processing (step S108).
ここで、キー文字抽出処理（ステップＳ２２０３）について具体的に説明する。選択行領域内の各黒画素連結領域を１文字認識する。具体的には、ステップＳ１９０６のように、各黒画素連結領域について確信度Ｃを算出する。この認識文字（確信度Ｃが算出された黒画素連結領域）について、以下の条件（Ｄ）〜（Ｆ）を満たすものをキー文字として選択する。なお、キー文字の数の上限は、本例では出現順に１０個とする。個数は任意に設定可能である。（Ｄ）〜（Ｆ）を満たすキー文字について、それぞれ外接矩形を求める。すなわち、キー文字とは、行領域内の黒画素連結領域群の中の文字らしい黒画素連結領域である。 Here, the key character extraction process (step S2203) will be specifically described. One character is recognized in each black pixel connection region in the selected row region. Specifically, the confidence C is calculated for each black pixel connection region as in step S1906. About this recognition character (black pixel connection area | region where the certainty factor C was calculated), what satisfies the following conditions (D)-(F) is selected as a key character. In this example, the upper limit of the number of key characters is 10 in the order of appearance. The number can be set arbitrarily. A circumscribed rectangle is obtained for each key character satisfying (D) to (F). That is, the key character is a black pixel connection region that seems to be a character in the black pixel connection region group in the row region.
（Ｄ）距離ｄｉ（図１５の（Ｂ）に示した最小距離）がｄｉ≦ｔｄ（ｔｄは距離しきい値で、たとえば、ｔｄ＝１８００）である。
（Ｅ）ノイズ文字（図１８を参照）と一致しない（一致判断は上記（Ｃ）と同様。）。
（Ｆ）選択行領域内に収まっている（はみ出していない）こと。
(D) The distance di (minimum distance shown in FIG. 15B) is di ≦ td (td is a distance threshold, for example, td = 1800).
(E) Does not match the noise character (see FIG. 18) (matching determination is the same as (C) above).
(F) It is within the selected line area (does not protrude).
つぎに、文字候補矩形抽出処理（ステップＳ２２０４）について具体的に説明する。文字候補矩形抽出処理はキー文字ごとに実行する。具体的には、キー文字の外接矩形を上下左右に１０％拡大した窓矩形を、当該キー文字から行方向に移動していき、以下の条件に該当する黒画素連結領域について外接矩形を求めて、文字候補矩形として記録する。このあと、文字候補矩形として選ばれた黒画素連結領域について１文字認識（確信度Ｃの算出）をおこなって、登録辞書から文字コードを取得する。これにより、窓矩形に包含されれば、黒画素連結領域が複数存在していても１文字として扱われることとなる。 Next, the character candidate rectangle extraction process (step S2204) will be specifically described. The character candidate rectangle extraction process is executed for each key character. Specifically, a window rectangle obtained by enlarging the circumscribed rectangle of the key character by 10% vertically, horizontally, is moved in the row direction from the key character, and the circumscribed rectangle is obtained for the black pixel connection region corresponding to the following conditions. And recorded as a character candidate rectangle. Thereafter, one character recognition (calculation of certainty factor C) is performed on the black pixel connection region selected as the character candidate rectangle, and the character code is acquired from the registration dictionary. As a result, if it is included in the window rectangle, even if there are a plurality of black pixel connection regions, it is treated as one character.
（Ｇ）窓矩形に完全に含まれる黒画素連結領域であること（ただし、窓矩形が他の連結領域と重複していてもかまわない）。
（Ｈ）既出でないこと（同一矩形の複数出現防止のため）。
(G) A black pixel connection region completely included in the window rectangle (however, the window rectangle may overlap with other connection regions).
(H) Not appearing (to prevent multiple appearances of the same rectangle).
図２３は、文字候補矩形抽出処理の具体例を示す説明図である。図２３では、図２０に示した合成２値画像２０００の１行目の行領域についての文字候補抽出を示している。この図２３の例では、『早』、『月』、および『す』のような黒画素連結領域がキー文字であり、矩形２３００がキー文字に外接するキー文字矩形、矩形２３０１がキー文字矩形２３００を拡大した窓矩形であり、行方向（左右）に移動させて、窓矩形２３０１に完全に含まれる黒画素連結領域を特定する。符号のない矩形は、文字候補矩形である。この処理にしたがえば、キー文字矩形も文字候補矩形となる。
FIG. 23 is an explanatory diagram of a specific example of the character candidate rectangle extraction process. FIG. 23 shows character candidate extraction for the first row area of the composite
図２４は、図２２に示した文字候補矩形抽出処理（ステップＳ２２０４）の詳細な処理手順を示すフローチャートである。図２４において、まず、未処理のキー文字があるか否かを判断する（ステップＳ２４０１）。未処理のキー文字がある場合（ステップＳ２４０１：Ｙｅｓ）、未処理のキー文字を選択して（ステップＳ２４０２）、選択キー文字について窓矩形を生成して、行方向に移動を開始させる（ステップＳ２４０３）。そして、選択行領域内をすべて移動したか否かを判断する（ステップＳ２４０４）。 FIG. 24 is a flowchart showing a detailed processing procedure of the character candidate rectangle extraction process (step S2204) shown in FIG. In FIG. 24, it is first determined whether or not there is an unprocessed key character (step S2401). If there is an unprocessed key character (step S2401: Yes), an unprocessed key character is selected (step S2402), a window rectangle is generated for the selected key character, and movement in the row direction is started (step S2403). ). Then, it is determined whether or not all of the selected row area has been moved (step S2404).
移動していない場合（ステップＳ２４０４：Ｎｏ）、窓矩形に包含される黒画素連結領域があるか否かを判断する（ステップＳ２４０５）。黒画素連結領域がない場合（ステップＳ２４０５：Ｎｏ）、ステップＳ２４０４に戻る。一方、黒画素連結領域がある場合（ステップＳ２４０５：Ｙｅｓ）、その検出された黒画素連結領域に外接する文字候補矩形を作成する（ステップＳ２４０６）。そして、作成された文字候補矩形が既出矩形であるか否かを判断する（ステップＳ２４０７）。 If it has not moved (step S2404: No), it is determined whether there is a black pixel connection region included in the window rectangle (step S2405). When there is no black pixel connection area (step S2405: No), the process returns to step S2404. On the other hand, if there is a black pixel connection area (step S2405: Yes), a character candidate rectangle circumscribing the detected black pixel connection area is created (step S2406). Then, it is determined whether or not the created character candidate rectangle is an existing rectangle (step S2407).
既出矩形である場合（ステップＳ２４０７：Ｙｅｓ）、ステップＳ２４０４に戻る。一方、既出矩形でない場合（ステップＳ２４０７：Ｎｏ）、文字候補矩形およびその内部の黒画素連結領域をメモリに保存して（ステップＳ２４０８）、ステップＳ２４０４に戻る。また、ステップＳ２４０４において、選択行領域内をすべて移動した場合（ステップＳ２４０４：Ｙｅｓ）、ステップＳ２４０１に戻る。ステップＳ２４０１において、未処理のキー文字がない場合（ステップＳ２４０１：Ｎｏ）、重複・包含矩形のノイズ除去処理（ステップＳ２２０５）に移行する。これにより、図２３に示したような文字候補矩形の集合を得ることができる。図２５は、文字候補矩形抽出処理結果を示す説明図である。 When it is an already-exposed rectangle (step S2407: Yes), the process returns to step S2404. On the other hand, if it is not an already-exposed rectangle (step S2407: No), the character candidate rectangle and the black pixel connection area inside it are stored in the memory (step S2408), and the process returns to step S2404. In step S2404, if the entire selected row area has been moved (step S2404: YES), the process returns to step S2401. In step S2401, when there is no unprocessed key character (step S2401: No), the process proceeds to the noise removal process for overlapping / inclusive rectangles (step S2205). Thereby, a set of character candidate rectangles as shown in FIG. 23 can be obtained. FIG. 25 is an explanatory diagram showing the result of the character candidate rectangle extraction process.
つぎに、重複・包含矩形のノイズ除去処理（ステップＳ２２０５）について具体的に説明する。重複・包含矩形のノイズ除去処理では、一方の文字候補矩形が他方の文字候補矩形に含まれている場合（包含関係）や、一方の文字候補矩形の一部が他方の文字候補矩形に重なっている場合（重複関係）、両文字候補矩形内のノイズを除去する。包含関係や重複関係は両文字候補矩形の頂点座標値により判別することができる。 Next, the noise removal process (step S2205) for overlapping / inclusive rectangles will be described in detail. In the noise removal processing for overlapping / inclusion rectangles, when one character candidate rectangle is included in the other character candidate rectangle (inclusion relationship), or part of one character candidate rectangle overlaps the other character candidate rectangle If there is any overlap (overlapping relationship), noise in both character candidate rectangles is removed. Inclusion relations and overlapping relations can be determined from the vertex coordinate values of both character candidate rectangles.
ここで、帰属度（％）という評価値を用いる。帰属度とは、文字候補矩形内の黒画素連結領域を、それにより推定される文字コードと仮定したときの文字らしさをあらわす値である。帰属度が高いとそれだけ推定された文字コードが確からしいことをあらわす。 Here, an evaluation value called degree of attribution (%) is used. The degree of attribution is a value that represents the character likeness when the black pixel connection region in the character candidate rectangle is assumed to be the character code estimated by the region. If the degree of attribution is high, this indicates that the estimated character code is likely.
帰属度は、文字候補矩形内の黒画素連結領域により推定される文字コードとその距離から帰属度を求められる。帰属度は、予め文字コード（カテゴリ）毎に学習サンプルを認識して距離を求めて、距離に関するヒストグラムを求めておき、このヒストグラムを参照して算出する確率である。 The degree of attribution can be obtained from the character code estimated by the black pixel connection area in the character candidate rectangle and its distance. The degree of attribution is a probability that a distance is obtained by recognizing a learning sample for each character code (category) in advance, a histogram related to the distance is obtained, and the histogram is calculated with reference to the histogram.
ある文字を１文字認識（図１５を参照）した結果、文字コードがｃで、距離がｄの場合は、文字コードｃの距離に関するヒストグラムを参照し、このヒストグラムの中で距離ｄ以上の面積を全体の面積で割った値を帰属度とする。距離に関するヒストグラムは、文字コードごとにあらかじめＲＯＭ２０２、ＲＡＭ２０３、ＨＤ２０５などの記憶領域に記憶されている。
As a result of recognizing one character (see FIG. 15), when the character code is c and the distance is d, a histogram relating to the distance of the character code c is referred to, and an area equal to or larger than the distance d in the histogram is determined. The value divided by the total area is taken as the degree of attribution. The distance-related histogram is stored in advance in a storage area such as the
図２６は、ある文字コードの頻度分布を示すグラフである。このグラフは、ある文字コードｃにおける認識文字との距離に関するヒストグラム２６００を示している。横軸は距離、縦軸が頻度である。距離が短いほど、文字コードｃとして選ばれる頻度が高い。図２６において、求められた距離ｄ以上のヒストグラム２６００の面積（図６中、塗りつぶされた領域）をＳｄ、ヒストグラム２６００全体の面積をＳとすると、文字コードｃへの帰属度Ｂｃは、Ｂｃ＝Ｓｄ／Ｓとなる。
FIG. 26 is a graph showing the frequency distribution of a certain character code. This graph shows a
ここで、ノイズ除去の条件について説明する。まず、包含関係の場合について説明する。２つの文字候補矩形が包含関係である場合、
（Ｉ）包含されている文字候補矩形の高さが行高さの一定割合（たとえば３０％）以下の場合、包含されている文字候補矩形（内部の黒画素連結領域含む）を削除する。ただし、文字候補矩形が中心付近にある行方向に長い矩形である場合は、長音である可能性があるため、削除しない。
Here, the noise removal conditions will be described. First, the case of the inclusion relationship will be described. If two candidate character rectangles are inclusive,
(I) If the height of the included character candidate rectangle is equal to or less than a certain ratio (for example, 30%) of the line height, the included character candidate rectangle (including the internal black pixel connection region) is deleted. However, if the candidate character rectangle is a rectangle that is long in the row direction near the center, it may not be deleted because it may be a long sound.
（Ｊ）（Ｉ）以外で、帰属度の差が所定のしきい値（たとえば４０％）未満で、かつ、行方向の開始座標・終了座標の誤差が所定画素（たとえば３画素）以内の場合、行高さ方向が大きい方の文字候補矩形を選択して、他方の文字候補矩形（内部の黒画素連結領域含む）を削除する。 (J) Other than (I), the difference in the degree of attribution is less than a predetermined threshold value (for example, 40%), and the error in the start and end coordinates in the row direction is within a predetermined pixel (for example, 3 pixels) The character candidate rectangle with the larger line height direction is selected, and the other character candidate rectangle (including the internal black pixel connection region) is deleted.
図２７は、包含関係を示す説明図である。図２７においては、包含関係にある両文字候補矩形２７００，２７０１のうち、包含している文字候補矩形２７００が残され、包含されている文字候補矩形２７０１が削除されることとなる。
FIG. 27 is an explanatory diagram showing an inclusion relationship. In FIG. 27, among the
つぎに重複関係の場合について説明する。２つの文字候補矩形が重複関係にある場合、（Ｋ）大きい方の文字候補矩形が濁点／半濁点文字であるが文字コードがそうでない場合、小さい方の文字候補矩形（内部の黒画素連結領域含む）を削除する。文字コードが同じ場合は帰属度が小さい方の文字候補矩形（内部の黒画素連結領域含む）を削除する。 Next, the case of an overlapping relationship will be described. When two character candidate rectangles are in an overlapping relationship, (K) when the larger character candidate rectangle is a dakuten / half dakuten character but the character code is not, the smaller character candidate rectangle (internal black pixel connection region) Delete). If the character codes are the same, the character candidate rectangle with the smaller degree of attribution (including the internal black pixel connection region) is deleted.
（Ｌ）（Ｋ）以外、すなわち、大きい方の文字候補矩形が濁点／半濁点文字でない場合、両文字候補矩形の帰属度の差が所定のしきい値（たとえば１６％）以上である場合に、帰属度が小さい方の文字候補矩形（内部の黒画素連結領域含む）を削除する。 (L) Other than (K), that is, when the larger character candidate rectangle is not a dakuten / half dakuten character, when the difference in the degree of belonging between the two character candidate rectangles is a predetermined threshold value (for example, 16%) or more The character candidate rectangle with the smaller degree of attribution (including the internal black pixel connection region) is deleted.
（Ｍ）（Ｋ）以外で、両文字候補矩形の帰属度の差が所定のしきい値（たとえば１６％）未満である場合に、一方の文字候補矩形における行方向の矩形端座標の差と他方の文字候補矩形における行方向の矩形端座標の差が、ともに所定画素以内である場合、行高さ方向が大きい方の文字候補矩形を選択して、他方の文字候補矩形（内部の黒画素連結領域含む）を削除する。すなわち、大きい方の文字候補矩形を残すこととなる。 (M) Other than (K), when the difference in the degree of membership between the two character candidate rectangles is less than a predetermined threshold (for example, 16%), the difference between the rectangle end coordinates in the row direction in one character candidate rectangle If the difference between the rectangle edge coordinates in the row direction in the other character candidate rectangle is within a predetermined pixel, the character candidate rectangle having the larger row height direction is selected and the other character candidate rectangle (internal black pixel) is selected. Delete (including linked areas). That is, the larger character candidate rectangle is left.
図２８は、重複関係を示す説明図である。図２８においては、重複関係にある両文字候補矩形２８００，２８０１のうち、非文字パターンである文字候補矩形２８０１は、距離ｄが大きくなりやすいため帰属度Ｂｃが低くなる。したがって、距離ｄが短い文字コードに対応する文字候補矩形２８００が残ることとなる。
FIG. 28 is an explanatory diagram showing an overlapping relationship. In FIG. 28, among the two
図２９は、重複・包含矩形のノイズ除去処理（ステップＳ２２０５）の詳細な処理手順を示すフローチャートである。図２９において、未処理の文字候補矩形ペアがあるか否かを判断する（ステップＳ２９０１）。未処理の文字候補矩形ペアがある場合（ステップＳ２９０１：Ｙｅｓ）、未処理の文字候補矩形ペアを選択する（ステップＳ２９０２）。 FIG. 29 is a flowchart showing a detailed processing procedure of the noise removal processing for overlapping / inclusive rectangles (step S2205). In FIG. 29, it is determined whether there is an unprocessed character candidate rectangle pair (step S2901). If there is an unprocessed character candidate rectangle pair (step S2901: YES), an unprocessed character candidate rectangle pair is selected (step S2902).
つぎに、選択文字候補矩形ペアが包含関係であるか否かを判断する（ステップＳ２９０３）。包含関係である場合（ステップＳ２９０３：Ｙｅｓ）、上記条件（Ｉ），（Ｊ）にしたがって、該当する文字候補矩形を削除して（ステップＳ２９０４）、ステップＳ２９０１に戻る。一方、包含関係でない場合（ステップＳ２９０３：Ｎｏ）、重複関係であるか否かを判断する（ステップＳ２９０５）。 Next, it is determined whether or not the selected character candidate rectangle pair has an inclusion relationship (step S2903). If it is an inclusion relationship (step S2903: Yes), the corresponding character candidate rectangle is deleted according to the above conditions (I) and (J) (step S2904), and the process returns to step S2901. On the other hand, when it is not an inclusion relationship (step S2903: No), it is determined whether it is an overlap relationship (step S2905).
重複関係である場合（ステップＳ２９０５：Ｙｅｓ）、上記条件（Ｋ），（Ｌ），（Ｍ）にしたがって、該当する文字候補矩形を削除して（ステップＳ２９０６）、ステップＳ２９０１に戻る。一方、重複関係でない場合（ステップＳ２９０５：Ｎｏ）、ステップＳ２９０１に戻る。ステップＳ２９０１において、未処理の文字候補矩形ペアがない場合（ステップＳ２９０１：Ｎｏ）、文字間ノイズ除去処理（ステップＳ２２０６）に移行する。これにより、重複または包含により発生している文字とは関係のないノイズを自動除去することができる。 If there is an overlapping relationship (step S2905: YES), the corresponding character candidate rectangle is deleted according to the above conditions (K), (L), and (M) (step S2906), and the process returns to step S2901. On the other hand, when it is not an overlapping relationship (step S2905: No), it returns to step S2901. In step S2901, if there is no unprocessed character candidate rectangle pair (step S2901: NO), the process proceeds to the inter-character noise removal process (step S2206). As a result, it is possible to automatically remove noise that is not related to characters generated due to duplication or inclusion.
図３０は、重複・包含矩形のノイズ除去処理（ステップＳ２２０５）によるノイズ除去処理結果を示す説明図である。図２５と比較すると、文字候補矩形が絞り込まれていることがわかる。 FIG. 30 is an explanatory diagram showing the result of noise removal processing performed by the noise removal processing for overlapping / inclusive rectangles (step S2205). Compared to FIG. 25, it can be seen that the character candidate rectangles are narrowed down.
つぎに、文字間ノイズ除去処理（ステップＳ２２０６）について具体的に説明する。文字間ノイズ除去処理は行領域ごとに実行する。文字間ノイズ除去処理では、重複・包含矩形のノイズ除去処理（ステップＳ２２０５）によるノイズ除去処理後の文字候補矩形（図３０に示した矩形）間の中心間距離Ｄ１の最頻値Ｄ１*と矩形間距離Ｄ２の最頻値Ｄ２*とを求める。 Next, the character noise removal process (step S2206) will be described in detail. The noise removal process between characters is executed for each line area. In the inter-character noise removal processing, the mode D1 * of the center-to-center distance D1 between the character candidate rectangles (rectangles shown in FIG. 30) after the noise removal processing by the noise removal processing of the overlapping / inclusive rectangle (step S2205) and the rectangle The mode value D2 * of the distance D2 is obtained.
図３１は、文字候補矩形間の中心間距離Ｄ１および矩形間距離Ｄ２を示す説明図である。すべての文字候補矩形ペアの中心間距離Ｄ１および矩形間距離Ｄ２を取得して、公知の統計的計算により、中心間距離Ｄ１の最頻値Ｄ１*と矩形間距離Ｄ２の最頻値Ｄ２*とを求める。中心間距離Ｄ１の最頻値Ｄ１*と矩形間距離Ｄ２の最頻値Ｄ２*の関係に近い文字候補矩形ペアは、文字列らしい文字候補矩形ペアとして認識される。中心間距離Ｄ１の最頻値Ｄ１*と矩形間距離Ｄ２の最頻値Ｄ２*とが求まったら、行領域内で重複している重複文字候補矩形集合を求める。 FIG. 31 is an explanatory diagram showing a center distance D1 and a rectangle distance D2 between character candidate rectangles. The distance between the centers D1 and the distance between rectangles D2 of all the character candidate rectangle pairs is obtained, and the mode value D1 * of the center distance D1 and the mode D2 * of the distance between rectangles D2 are obtained by known statistical calculation. Ask for. A character candidate rectangle pair that is close to the relationship between the mode value D1 * of the center distance D1 and the mode value D2 * of the inter-rectangular distance D2 is recognized as a character candidate rectangle pair that seems to be a character string. When the mode value D1 * of the center distance D1 and the mode value D2 * of the inter-rectangular distance D2 are obtained, overlapping character candidate rectangle sets overlapping in the line area are obtained.
図３２は、行領域内の重複文字候補矩形集合の一例を示す説明図である。図３２において、重複文字候補矩形集合３２００は、文字候補矩形ｓ１〜ｓ５が数珠繋ぎで重複している。このように、重複文字候補矩形集合３２００内の各文字候補矩形ｓ１〜ｓ５は、全体として数珠繋ぎになっていれば、他の文字候補矩形のうち少なくともいずれか一つと重複していればよい。 FIG. 32 is an explanatory diagram of an example of a duplicate character candidate rectangle set in the row area. In FIG. 32, in the overlapping character candidate rectangle set 3200, the character candidate rectangles s1 to s5 overlap with each other in a daisy chain. As described above, the character candidate rectangles s1 to s5 in the overlapping character candidate rectangle set 3200 need only overlap with at least one of the other character candidate rectangles as long as they are connected as a whole.
そして、重複文字候補矩形集合３２００内で中心間距離Ｄ１がＤ１*に近く、かつ矩形間距離Ｄ２がＤ２*に近い矩形列の組み合わせを求める。求めた組み合わせ矩形列において、以下の評価値を求め、最も評価値が大きな矩形列を選択する。 Then, a combination of rectangular columns in which the inter-center distance D1 is close to D1 * and the inter-rectangular distance D2 is close to D2 * in the overlapping character candidate rectangle set 3200 is obtained. In the obtained combination rectangular row, the following evaluation values are obtained, and the rectangular row having the largest evaluation value is selected.
評価値＝ａ×平均帰属度＋ｂ×中心間距離項目＋ｃ×矩形間距離項目 Evaluation value = a × average membership degree + b × center distance item + c × rectangular distance item
ａ，ｂ，ｃは、各評価項目に対する重みで、実験的に求める。たとえば、ａ＝９、ｂ＝３、ｃ＝１とすることができる。 a, b, and c are weights for each evaluation item, and are experimentally obtained. For example, a = 9, b = 3, and c = 1.
また、平均帰属度とは、組み合わせ矩形列を構成する各文字候補矩形の帰属度の平均値である。中心間距離項目とは、重複文字候補矩形集合３２００の区間長Ｌｓを求め、この区間長Ｌｓを中心間距離Ｄ１−矩形間距離Ｄ２で割った値を文字数Ｎと推定する。組み合わせ矩形列内の矩形数をＭとすると、中心間距離項目は、１−｜Ｎ−Ｍ｜／Ｎとなる。矩形間距離項目とは、選択行領域全体から求めた推定矩形間距離Ｄを求める。組み合わせ矩形列内の矩形間距離をＤ１とすると、矩形間距離項目は、１／Σ｜Ｄ１−Ｄ｜となる。 Further, the average degree of attribution is an average value of the degree of attribution of each character candidate rectangle constituting the combination rectangle row. In the center distance item, the section length Ls of the overlapping character candidate rectangle set 3200 is obtained, and a value obtained by dividing the section length Ls by the center distance D1−the distance between rectangles D2 is estimated as the number of characters N. When the number of rectangles in the combination rectangle row is M, the center distance item is 1− | N−M | / N. The inter-rectangular distance item obtains the estimated inter-rectangular distance D obtained from the entire selected row area. When the inter-rectangular distance in the combination rectangular row is D1, the inter-rectangular distance item is 1 / Σ | D1-D |.
なお、評価値の算出対象となる組み合わせ矩形列とは、文字列らしい矩形列である。したがって、組み合わせ矩形列とは、互いに重複しない文字候補矩形の組み合わせである。図３２の例では、以下の組み合わせ矩形列が得られる。 Note that the combination rectangular string for which the evaluation value is to be calculated is a rectangular string that seems to be a character string. Therefore, the combination rectangle row is a combination of character candidate rectangles that do not overlap each other. In the example of FIG. 32, the following combination rectangular columns are obtained.
｛ｓ１，ｓ３｝
｛ｓ１，ｓ４｝
｛ｓ１，ｓ５｝
｛ｓ１，ｓ３，ｓ５｝
｛ｓ２，ｓ４｝
｛ｓ２，ｓ５｝
{S1, s3}
{S1, s4}
{S1, s5}
{S1, s3, s5}
{S2, s4}
{S2, s5}
評価値が最大の組み合わせ矩形列が得られた場合、当該組み合わせ矩形列に選ばれなかった文字候補矩形はノイズとして削除される。たとえば、評価値が最大の組み合わせ矩形列が｛ｓ１，ｓ３，ｓ５｝である場合、重複文字候補矩形集合３２００から文字矩形候補ｓ２，ｓ４がノイズとして削除される。 When the combination rectangle row having the maximum evaluation value is obtained, the character candidate rectangles that are not selected as the combination rectangle row are deleted as noise. For example, when the combination rectangle string having the maximum evaluation value is {s1, s3, s5}, the character rectangle candidates s2 and s4 are deleted from the duplicate character candidate rectangle set 3200 as noise.
図３３は、文字間ノイズ除去処理（ステップＳ２２０６）の詳細な処理手順を示すフローチャートである。図３３において、未処理の行領域があるか否かを判断する（ステップＳ３３０１）。未処理の行領域がある場合（ステップＳ３３０１：Ｙｅｓ）、未処理の行領域を選択する（ステップＳ３３０２）。そして、選択行領域内のすべての文字候補矩形ペアの中心間距離Ｄ１および矩形間距離Ｄ２を求めて、その最頻値Ｄ１*，Ｄ２*を算出する（ステップＳ３３０３）。 FIG. 33 is a flowchart showing a detailed processing procedure of the inter-character noise removal processing (step S2206). In FIG. 33, it is determined whether there is an unprocessed row area (step S3301). If there is an unprocessed row area (step S3301: Yes), an unprocessed row area is selected (step S3302). Then, the center distance D1 and the inter-rectangular distance D2 of all the character candidate rectangle pairs in the selected line area are obtained, and the mode values D1 * and D2 * are calculated (step S3303).
つぎに、選択行領域から重複文字候補矩形集合を探索する（ステップＳ３３０４）。そして、未処理の重複文字候補矩形集合があるか否かを判断する（ステップＳ３３０５）。未処理の重複文字候補矩形集合がある場合（ステップＳ３３０５：Ｙｅｓ）、未処理の重複文字候補矩形集合を選択して（ステップＳ３３０６）、選択された重複文字候補矩形集合について、組み合わせ矩形列生成処理を実行し（ステップＳ３３０７）、ステップＳ３３０５に戻る。 Next, a duplicate character candidate rectangle set is searched from the selected line area (step S3304). Then, it is determined whether there is an unprocessed duplicate character candidate rectangle set (step S3305). If there is an unprocessed duplicate character candidate rectangle set (step S3305: Yes), an unprocessed duplicate character candidate rectangle set is selected (step S3306), and a combined rectangle string generation process is performed for the selected duplicate character candidate rectangle set. Is executed (step S3307), and the process returns to step S3305.
一方、ステップＳ３３０５において、未処理の重複文字候補矩形集合がない場合（ステップＳ３３０５：Ｎｏ）、各組み合わせ矩形列の評価値を算出する（ステップＳ３３０８）。そして、評価値が最大の組み合わせ矩形列を文字列らしい矩形列として選択して（ステップＳ３３０９）、ステップＳ３３０１に戻る。ステップ３３０１において、未処理の行領域がない場合（ステップＳ３３０１：Ｎｏ）、ステップＳ２２０１に戻る。 On the other hand, if there is no unprocessed duplicate character candidate rectangle set in step S3305 (step S3305: No), the evaluation value of each combination rectangle column is calculated (step S3308). Then, the combination rectangular string having the maximum evaluation value is selected as a rectangular string that seems to be a character string (step S3309), and the process returns to step S3301. In step 3301, when there is no unprocessed row area (step S3301: No), the process returns to step S2201.
図３４は、図３３に示した組み合わせ矩形列生成処理（ステップＳ３３０７）の詳細な処理手順を示すフローチャートである。図３４において、重複文字候補矩形集合の領域一端（図３２を参照）からしきい値以内の距離にある文字候補矩形を抽出する（ステップＳ３４０１）。図３２を例に挙げると、文字候補矩形ｓ１はしきい値以内なので抽出されるが、しきい値によっては、文字候補矩形ｓ２は抽出されない。 FIG. 34 is a flowchart showing a detailed processing procedure of the combined rectangular string generation process (step S3307) shown in FIG. In FIG. 34, character candidate rectangles that are within a threshold distance from one end of the overlapping character candidate rectangle set (see FIG. 32) are extracted (step S3401). Taking FIG. 32 as an example, character candidate rectangle s1 is extracted because it is within the threshold, but depending on the threshold, character candidate rectangle s2 is not extracted.
つぎに、未処理の抽出矩形があるか否かを判断する（ステップＳ３４０２）。未処理の抽出矩形がある場合（ステップＳ３４０２：Ｙｅｓ）、カレント矩形として取り出し（ステップＳ３４０３）、カレント矩形から領域他端（図３２を参照）の間に未処理の文字候補矩形があるか否かを判断する（ステップＳ３４０４）。未処理の文字候補矩形がある場合（ステップＳ３４０４：Ｙｅｓ）、未処理の文字候補矩形を選択する（ステップＳ３４０５）。 Next, it is determined whether or not there is an unprocessed extracted rectangle (step S3402). If there is an unprocessed extracted rectangle (step S3402: YES), the current rectangle is extracted (step S3403), and whether there is an unprocessed character candidate rectangle between the current rectangle and the other end of the area (see FIG. 32). Is determined (step S3404). If there is an unprocessed character candidate rectangle (step S3404: YES), an unprocessed character candidate rectangle is selected (step S3405).
そして、選択矩形がカレント矩形と妥当な位置関係にあるか否かを判断する（ステップＳ３４０６）。具体的には、選択矩形とカレント矩形との中心間距離Ｄ１と最頻値Ｄ１*との差が許容範囲以内で、かつ、選択矩形とカレント矩形との矩形間距離Ｄ２と最頻値Ｄ２*との差が許容範囲以内であるか否かを判断する。 Then, it is determined whether or not the selected rectangle has an appropriate positional relationship with the current rectangle (step S3406). Specifically, the difference between the center distance D1 between the selected rectangle and the current rectangle and the mode value D1 * is within an allowable range, and the inter-rectangular distance D2 between the selected rectangle and the current rectangle and the mode value D2 *. It is determined whether or not the difference is within an allowable range.
妥当な位置関係でない場合（ステップＳ３４０６：Ｎｏ）、ステップＳ３４０４に戻る。一方、妥当な位置関係である場合（ステップＳ３４０６：Ｙｅｓ）、選択矩形を組み合わせ矩形列の構成要素の候補としてメモリに記録して（ステップＳ３４０７）、ステップＳ３４０４に戻る。 If the positional relationship is not appropriate (step S3406: NO), the process returns to step S3404. On the other hand, if the positional relationship is appropriate (step S3406: YES), the selected rectangle is recorded in the memory as a candidate for a constituent element of the combination rectangle column (step S3407), and the process returns to step S3404.
ステップＳ３４０４において、未処理の文字候補矩形がない場合（ステップＳ３４０４：Ｎｏ）、未処理の記録済み選択矩形があるか否かを判断する（ステップＳ３４０８）。未処理の記録済み選択矩形がある場合（ステップＳ３４０８：Ｙｅｓ）、領域一端に最も近い未処理の記録済み選択矩形をカレント矩形とし（ステップＳ３４０９）、ステップＳ３４０４に戻る。 If there is no unprocessed character candidate rectangle in step S3404 (step S3404: NO), it is determined whether there is an unprocessed recorded selection rectangle (step S3408). If there is an unprocessed recorded selection rectangle (step S3408: Yes), the unprocessed recorded selection rectangle closest to one end of the area is set as the current rectangle (step S3409), and the process returns to step S3404.
一方、未処理の記録済み選択矩形がない場合（ステップＳ３４０８：Ｎｏ）、ステップＳ３４０３で取り出された初期のカレント矩形とステップＳ３４０７の記録済み選択矩形とを、組み合わせ矩形列として記録する（ステップＳ３４１０）。そして、ステップＳ３４０２に戻る。ステップＳ３４０２において、未処理の抽出矩形がない場合（ステップＳ３４０２：Ｎｏ）、ステップＳ３３０５に戻る。 On the other hand, when there is no unprocessed recorded selection rectangle (step S3408: No), the initial current rectangle extracted in step S3403 and the recorded selection rectangle in step S3407 are recorded as a combination rectangle row (step S3410). . Then, the process returns to step S3402. If there is no unprocessed extracted rectangle in step S3402 (step S3402: NO), the process returns to step S3305.
このように、文字間ノイズ除去処理（ステップＳ２２０６）により、文字列にふさわしくない黒画素連結領域をノイズとして除去することで、文字列らしいパターンを取り出すことができる。図３５は、文字間ノイズ除去処理（ステップＳ２２０６）によるノイズ除去処理結果を示す説明図である。 As described above, by removing the black pixel connection region that is not suitable for the character string as noise by the inter-character noise removal processing (step S2206), a pattern that seems to be a character string can be extracted. FIG. 35 is an explanatory diagram showing the result of noise removal processing by the character-to-character noise removal processing (step S2206).
（文字矩形内ノイズ除去処理部３０８の詳細な処理内容）
つぎに、文字矩形内ノイズ除去処理部３０８の詳細な処理内容について説明する。文字矩形内ノイズ除去処理部３０８は、文字候補矩形から文字パターンに該当しない黒画素連結領域を除去して、文字パターンに該当する黒画素連結領域のみを抽出する。具体的には、たとえば、文字候補矩形内の黒画素連結領域が２画素以上１０画素以下の場合、黒画素連結領域を組み合わせて文字パターンを生成する。
(Detailed processing contents of the noise
Next, detailed processing contents of the character rectangle noise
図３６は、文字パターンの生成例を示す説明図である。この文字候補矩形３６００では、内部の黒画素連結領域を組み合わせることで、その右側の文字パターン群が得られる。そして、生成された文字パターンの１文字認識処理（図１５を参照）して、距離ｄｉを求める。生成された文字パターンの認識結果における第１〜第１０候補の文字コードの中で、第１候補の文字コードとの距離ｄｉの差が７００以内に収まっている候補に対して、最初の文字と同じ文字コードの候補が存在するかどうか調べる。
FIG. 36 is an explanatory diagram of an example of generating a character pattern. In this
同じ文字コードの候補が存在していて、生成された文字パターンの認識結果における第１候補が、最初の文字の第１候補と比較して評価が高くなっている（距離が小さく、確信度Ｃが大きい）場合、文字パターンと認識結果を組み替える。この処理を以下、具体的に説明する。 There are candidates for the same character code, and the first candidate in the recognition result of the generated character pattern has a higher evaluation than the first candidate for the first character (the distance is small, the confidence C The character pattern and the recognition result are rearranged. This process will be specifically described below.
図３７は、文字矩形内ノイズ除去処理部３０８による文字矩形内ノイズ除去処理の詳細な処理手順を示すフローチャートである。図３７において、未処理の文字候補矩形があるか否かを判断する（ステップＳ３７０１）。未処理の文字候補矩形がある場合（ステップＳ３７０１：Ｙｅｓ）、未処理の文字候補矩形を選択する（ステップＳ３７０２）。そして、選択文字候補矩形の文字パターンについて、図１５に示したように１文字認識処理を実行する（ステップＳ３７０３）。このときの認識結果である文字コードをｃとする。そして、この文字コードｃの文字パターン（初期では、選択文字候補矩形内の全黒画素連結領域を組み合わせた文字パターン）をメモリに記録する（ステップＳ３７０４）。記録文字パターンはよりふさわしい文字パターンが出現すると後述のように更新されることとなる。
FIG. 37 is a flowchart illustrating a detailed processing procedure of the noise removal processing within the character rectangle by the noise
つぎに、図３６に示したように、選択文字候補矩形内で黒画素連結領域の全組み合わせを生成する（ステップＳ３７０５）。そして、未処理の生成パターンがあるか否かを判断する（ステップＳ３７０６）。未処理の生成パターンがある場合（ステップＳ３７０６：Ｙｅｓ）、生成パターンを１つ選択し（ステップＳ３７０７）、１文字認識処理を実行する（ステップＳ３７０８）。このときの認識結果である文字コードをｃ２とする。そして、ｃ＝ｃ２であるか否かを判断する（ステップＳ３７０９）。 Next, as shown in FIG. 36, all combinations of black pixel connected regions are generated within the selected character candidate rectangle (step S3705). Then, it is determined whether there is an unprocessed generation pattern (step S3706). If there is an unprocessed generation pattern (step S3706: Yes), one generation pattern is selected (step S3707), and a one-character recognition process is executed (step S3708). The character code that is the recognition result at this time is denoted by c2. Then, it is determined whether c = c2 (step S3709).
ｃ＝ｃ２でない場合（ステップＳ３７０９：Ｎｏ）、ステップＳ３７０６に戻る。一方、ｃ＝ｃ２である場合（ステップＳ３７０９：Ｙｅｓ）、選択生成パターンと文字コードｃ２との距離が現在の記録文字パターンと文字コードｃとの距離より小さいか否かを判断する（ステップＳ３７１０）。小さくない場合（ステップＳ３７１０：Ｎｏ）、ステップＳ３７０６に戻る。 If c = c2 is not satisfied (step S3709: NO), the process returns to step S3706. On the other hand, if c = c2 (step S3709: YES), it is determined whether or not the distance between the selected generation pattern and the character code c2 is smaller than the distance between the current recorded character pattern and the character code c (step S3710). . If not smaller (step S3710: NO), the process returns to step S3706.
一方、小さい場合（ステップＳ３７１０：Ｙｅｓ）、選択生成パターンの確信度が現在の記録文字パターンの確信度より大きいか否かを判断する（ステップＳ３７１１）。大きくない場合（ステップＳ３７１１：Ｎｏ）、ステップＳ３７０６に戻る。一方、大きい場合（ステップＳ３７１１：Ｙｅｓ）、記録文字パターンを生成パターンに更新する（ステップＳ３７１２）。以後、更新された生成パターンが記録文字パターンとなる。そして、ステップＳ３７０６に戻る。 On the other hand, if it is smaller (step S3710: Yes), it is determined whether or not the certainty factor of the selected generation pattern is greater than the certainty factor of the current recorded character pattern (step S3711). If not large (step S3711: NO), the process returns to step S3706. On the other hand, if larger (step S3711: Yes), the recorded character pattern is updated to the generated pattern (step S3712). Thereafter, the updated generated pattern becomes a recorded character pattern. Then, the process returns to step S3706.
一方、ステップＳ３７０６において、未処理の生成パターンがない場合（ステップＳ３７０６：Ｎｏ）、ステップＳ３７０１に戻る。そして、ステップＳ３７０１において、未処理の文字候補矩形がない場合（ステップＳ３７０１：Ｎｏ）、文字候補矩形ごとに最後まで記録された記録文字パターン群からなる文字列パターンを出力する（ステップＳ３７１３）。具体的には、たとえば、ディスプレイ２０８に表示する。
On the other hand, in step S3706, when there is no unprocessed generation pattern (step S3706: No), the process returns to step S3701. If there is no unprocessed character candidate rectangle in step S3701 (step S3701: NO), a character string pattern consisting of a recorded character pattern group recorded to the end for each character candidate rectangle is output (step S3713). Specifically, it is displayed on the
図３８は、出力される文字列パターン３８００を示す説明図である。この文字矩形内ノイズ除去処理部３０８および文字矩形内ノイズ除去処理によれば、各文字候補矩形内において、暫定的な文字パターンに対してより文字コードの文字らしい文字パターンが出現する都度、比較決定するため、文字らしい文字パターン列を得ることができる。
FIG. 38 is an explanatory diagram showing a
以上説明したように、テロップ文字パターン抽出装置、テロップ文字パターン抽出方法、およびテロップ文字パターン抽出プログラムによれば、文字列パターンの抽出精度の向上を図ることができる。 As described above, according to the telop character pattern extraction device, the telop character pattern extraction method, and the telop character pattern extraction program, it is possible to improve the extraction accuracy of the character string pattern.
なお、本実施の形態で説明したテロップ文字パターン抽出方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な媒体であってもよい。なお、上記実施の形態につき、以下に付記する。 The telop character pattern extraction method described in this embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation. This program is recorded on a computer-readable recording medium such as a hard disk, a flexible disk, a CD-ROM, an MO, and a DVD, and is executed by being read from the recording medium by the computer. The program may be a medium that can be distributed through a network such as the Internet. In addition, it adds to the following about the said embodiment.
（付記１）コンピュータを、
テロップを含む一連のフレーム画像の平均画像を取得する取得手段、
前記取得手段によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成手段、
一連のフレーム画像からエッジ抽出したエッジ画像を集積して２値化したエッジ２値画像と、前記生成手段によって生成された色分解画像と、当該色分解画像をダイレーションしたダイレーション画像と、前記平均画像と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去するエッジＭＦＩノイズ除去手段、
前記各色分解画像を前記エッジＭＦＩノイズ除去手段によるノイズ除去することにより得られた各色分解２値画像の中から行ごとに選択された行領域を合成することにより、合成２値画像を生成する行領域選択手段、
前記行領域選択手段によって生成された合成２値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去手段、
として機能させることを特徴とするテロップ文字パターン抽出プログラム。
(Appendix 1)
An acquisition means for acquiring an average image of a series of frame images including a telop;
Generating means for generating a plurality of color separation images by performing color clustering on the average image acquired by the acquiring means;
An edge binary image obtained by accumulating edge images extracted from a series of frame images and binarized; a color separation image generated by the generation unit; a dilation image obtained by dilating the color separation image; An edge MFI noise removing means for removing a moving pattern as noise from each of the color separation images based on the average image;
A row for generating a synthesized binary image by synthesizing a row region selected for each row from each of the color separation binary images obtained by removing noise from each color separation image by the edge MFI noise removing means. Area selection means,
Based on the character recognition result of the character pattern composed of the combination of the pixel connection patterns in the composite binary image generated by the row area selection means, the pixel connection unnecessary for the character pattern from the circumscribed rectangle of the character pattern By removing the pattern as noise, noise removal means in the character rectangle that outputs the character string pattern,
A telop character pattern extraction program characterized by functioning as
（付記２）前記エッジＭＦＩノイズ除去手段は、
前記エッジ２値画像において前記平均画像の画素連結パターンに接する画素数と、前記ダイレーション画像から前記色分解画像を引いた差分画像において前記平均画像の画素連結パターンに接する画素数と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去することを特徴とする付記１に記載のテロップ文字パターン抽出プログラム。
(Supplementary Note 2) The edge MFI noise removing means includes:
Based on the number of pixels in contact with the pixel connection pattern of the average image in the edge binary image and the number of pixels in contact with the pixel connection pattern of the average image in the difference image obtained by subtracting the color separation image from the dilation image. The telop character pattern extraction program according to
（付記３）前記コンピュータを、
前記合成２値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去する文字間ノイズ除去手段として機能させ、
前記文字矩形内ノイズ除去手段は、
前記文字間ノイズ除去手段によるノイズ除去後の合成２値画像に基づいて、前記文字列パターンを出力することを特徴とする付記１または２に記載のテロップ文字パターン抽出プログラム。
(Appendix 3)
Functioning as an inter-character noise removing means for removing a pixel connection pattern that violates a rule of a character string from pixel connection patterns in the composite binary image;
The noise removal means in the character rectangle is
The telop character pattern extraction program according to
（付記４）前記文字間ノイズ除去手段は、
前記合成２値画像内の画素連結パターンの文字認識結果に基づいて、前記合成２値画像の中から文字らしいキー文字パターンを抽出することにより、当該キー文字パターンを包含する矩形に包含される画素連結パターンに外接する文字候補矩形を抽出する文字候補矩形抽出手段と、
前記文字候補矩形抽出手段によって抽出された文字候補矩形ペアが重複関係または包含関係にある場合、文字候補矩形ペアのうち当該重複関係または包含関係に関する規則に違反する文字候補矩形を除去する重複・包含矩形ノイズ除去手段と、を備えることを特徴とする付記３に記載のテロップ文字パターン抽出プログラム。
(Supplementary note 4) The inter-character noise removing means includes:
A pixel included in a rectangle including the key character pattern by extracting a key character pattern that seems to be a character from the composite binary image based on the character recognition result of the pixel connection pattern in the composite binary image. A character candidate rectangle extracting means for extracting a character candidate rectangle circumscribing the connected pattern;
When the character candidate rectangle pair extracted by the character candidate rectangle extracting unit is in an overlap relationship or an inclusion relationship, the overlap / inclusion that removes the character candidate rectangle that violates the rule relating to the overlap relationship or the inclusion relationship from the character candidate rectangle pair The telop character pattern extraction program according to attachment 3, further comprising: a rectangular noise removing unit.
（付記５）前記文字間ノイズ除去手段は、
前記合成２値画像内の画素連結パターンの文字認識結果に基づいて、前記合成２値画像の中から文字らしいキー文字パターンを抽出することにより、当該キー文字パターンを包含する矩形に包含される画素連結パターンに外接する文字候補矩形を抽出する文字候補矩形抽出手段を備え、
前記文字候補矩形抽出手段によって抽出された隣接する文字候補矩形が重複している重複文字候補矩形集合の中から、文字間隔の規則を遵守する文字候補矩形の組み合わせからなる組み合わせ矩形列を抽出することを特徴とする付記３に記載のテロップ文字パターン抽出プログラム。
(Supplementary Note 5) The inter-character noise removing means includes:
A pixel included in a rectangle including the key character pattern by extracting a key character pattern that seems to be a character from the composite binary image based on the character recognition result of the pixel connection pattern in the composite binary image. Character candidate rectangle extracting means for extracting a character candidate rectangle circumscribing the connected pattern is provided,
Extracting a combination rectangle string composed of combinations of character candidate rectangles that comply with the character spacing rules from a set of overlapping character candidate rectangles in which adjacent character candidate rectangles extracted by the character candidate rectangle extraction unit overlap. The telop character pattern extraction program according to appendix 3, characterized by:
（付記６）前記文字間ノイズ除去手段は、
前記合成２値画像内の画素連結パターンの文字認識結果に基づいて、前記合成２値画像の中から文字らしいキー文字パターンを抽出することにより、当該キー文字パターンを包含する矩形に包含される画素連結パターンに外接する文字候補矩形を抽出する文字候補矩形抽出手段と、
前記文字候補矩形抽出手段によって抽出された文字候補矩形ペアが重複関係または包含関係にある場合、文字候補矩形ペアのうち当該重複関係または包含関係に関する規則に違反する文字候補矩形を除去する重複・包含矩形ノイズ除去手段と、を備え、
前記重複・包含矩形ノイズ除去手段によるノイズ除去結果に基づいて、隣接する文字候補矩形が重複している重複文字候補矩形集合の中から、文字間隔の規則を遵守する文字候補矩形の組み合わせからなる組み合わせ矩形列を抽出することを特徴とする付記３に記載のテロップ文字パターン抽出プログラム。
(Appendix 6) The inter-character noise removing means includes:
A pixel included in a rectangle including the key character pattern by extracting a key character pattern that seems to be a character from the composite binary image based on the character recognition result of the pixel connection pattern in the composite binary image. A character candidate rectangle extracting means for extracting a character candidate rectangle circumscribing the connected pattern;
When the character candidate rectangle pair extracted by the character candidate rectangle extracting unit is in an overlapping relationship or inclusive relationship, the overlapping / inclusive method for removing the character candidate rectangle that violates the rule regarding the overlapping relationship or inclusive relationship from the character candidate rectangle pair Rectangular noise removing means,
Based on the noise removal result by the overlapping / inclusive rectangle noise removing means, a combination consisting of a combination of character candidate rectangles that comply with the rule of character spacing from among a set of overlapping character candidate rectangles in which adjacent character candidate rectangles overlap The telop character pattern extraction program according to appendix 3, wherein a rectangular string is extracted.
（付記７）コンピュータを、
テロップを含む一連のフレーム画像の平均画像を取得する取得手段、
前記取得手段によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成手段、
前記生成手段によって生成された各色分解画像の中から行ごとに選択された行領域を合成することにより、合成２値画像を生成する行領域選択手段、
前記行領域選択手段によって生成された合成２値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去する文字間ノイズ除去手段、
前記文字間ノイズ除去手段によるノイズ除去後の合成２値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去手段、
として機能させることを特徴とするテロップ文字パターン抽出プログラム。
(Appendix 7)
An acquisition means for acquiring an average image of a series of frame images including a telop;
Generating means for generating a plurality of color separation images by performing color clustering on the average image acquired by the acquiring means;
A row region selection unit that generates a combined binary image by combining a row region selected for each row from each color separation image generated by the generation unit;
Inter-character noise removing means for removing a pixel connection pattern that violates a character string rule from pixel connection patterns in the composite binary image generated by the row region selection means;
Based on the character recognition result of the character pattern composed of the combination of the pixel connection patterns in the composite binary image after noise removal by the inter-character noise removing means, the character pattern is unnecessary from the circumscribed rectangle of the character pattern. A character rectangle noise removing means for outputting a character string pattern by removing the pixel connection pattern as noise,
A telop character pattern extraction program characterized by functioning as
（付記８）テロップを含む一連のフレーム画像の平均画像を取得する取得手段と、
前記取得手段によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成手段と、
一連のフレーム画像からエッジ抽出したエッジ画像を集積して２値化したエッジ２値画像と、前記色分解画像と、当該色分解画像をダイレーションしたダイレーション画像と、前記平均画像と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去するエッジＭＦＩノイズ除去手段と、
前記各色分解画像を前記エッジＭＦＩノイズ除去手段によるノイズ除去することにより得られた各色分解２値画像の中から行ごとに選択された行領域を合成することにより、合成２値画像を生成する行領域選択手段と、
前記行領域選択手段によって生成された合成２値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去手段と、
を備えることを特徴とするテロップ文字パターン抽出装置。
(Supplementary Note 8) Acquisition means for acquiring an average image of a series of frame images including a telop;
Generation means for generating a plurality of color separation images by color clustering the average image acquired by the acquisition means;
Based on an edge binary image obtained by accumulating edge images extracted from a series of frame images and binarized, the color separation image, a dilation image obtained by dilating the color separation image, and the average image Edge MFI noise removing means for removing a moving pattern as noise from each color separation image;
A row for generating a synthesized binary image by synthesizing a row region selected for each row from each of the color separation binary images obtained by removing noise from each color separation image by the edge MFI noise removing means. Region selection means;
Based on the character recognition result of the character pattern composed of the combination of the pixel connection patterns in the composite binary image generated by the row area selection means, the pixel connection unnecessary for the character pattern from the circumscribed rectangle of the character pattern By removing the pattern as noise, the character rectangle noise removing means for outputting the character string pattern;
A telop character pattern extraction apparatus comprising:
（付記９）テロップを含む一連のフレーム画像の平均画像を取得する取得手段と、
前記取得手段によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成手段と、
前記生成手段によって生成された各色分解画像の中から行ごとに選択された行領域を合成することにより、合成２値画像を生成する行領域選択手段と、
前記行領域選択手段によって生成された合成２値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去する文字間ノイズ除去手段と、
前記文字間ノイズ除去手段によるノイズ除去後の合成２値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去手段と、
を備えることを特徴とするテロップ文字パターン抽出装置。
(Supplementary Note 9) Acquisition means for acquiring an average image of a series of frame images including a telop;
Generation means for generating a plurality of color separation images by color clustering the average image acquired by the acquisition means;
A row region selection unit that generates a composite binary image by synthesizing a row region selected for each row from each color separation image generated by the generation unit;
Inter-character noise removing means for removing a pixel connection pattern that violates a rule of a character string from pixel connection patterns in the composite binary image generated by the row region selection means;
Based on the character recognition result of the character pattern composed of the combination of the pixel connection patterns in the composite binary image after noise removal by the inter-character noise removing means, the character pattern is unnecessary from the circumscribed rectangle of the character pattern. By removing the pixel connection pattern as noise, a character rectangle noise removing means for outputting a character string pattern;
A telop character pattern extraction apparatus comprising:
（付記１０）テロップを含む一連のフレーム画像の平均画像を取得する取得工程と、
前記取得工程によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成工程と、
一連のフレーム画像からエッジ抽出したエッジ画像を集積して２値化したエッジ２値画像と、前記色分解画像と、当該色分解画像をダイレーションしたダイレーション画像と、前記平均画像と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去するエッジＭＦＩノイズ除去工程と、
前記各色分解画像を前記エッジＭＦＩノイズ除去工程によるノイズ除去することにより得られた各色分解２値画像の中から行ごとに選択された行領域を合成することにより、合成２値画像を生成する行領域選択工程と、
前記行領域選択工程によって生成された合成２値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去工程と、
を含んだことを特徴とするテロップ文字パターン抽出方法。
(Supplementary Note 10) An acquisition step of acquiring an average image of a series of frame images including a telop;
A generation step of generating a plurality of color separation images by color clustering the average image acquired by the acquisition step;
Based on an edge binary image obtained by accumulating edge images extracted from a series of frame images and binarized, the color separation image, a dilation image obtained by dilating the color separation image, and the average image An edge MFI noise removing step of removing a moving pattern as noise from each of the color separation images;
A row for generating a synthesized binary image by synthesizing a row region selected for each row from each of the color separation binary images obtained by removing noise from each of the color separation images by the edge MFI noise removing step. Region selection process;
Based on the character recognition result of the character pattern that is a combination of each pixel connection pattern in the composite binary image generated by the row area selection step, unnecessary pixel connection from the circumscribed rectangle of the character pattern to the character pattern By removing the pattern as noise, a character rectangle noise removing step for outputting a character string pattern;
A telop character pattern extraction method comprising:
（付記１１）テロップを含む一連のフレーム画像の平均画像を取得する取得工程と、
前記取得工程によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成工程と、
前記生成工程によって生成された各色分解画像の中から行ごとに選択された行領域を合成することにより、合成２値画像を生成する行領域選択工程と、
前記行領域選択工程によって生成された合成２値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去する文字間ノイズ除去工程と、
前記文字間ノイズ除去工程によるノイズ除去後の合成２値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去工程と、
を含んだことを特徴とするテロップ文字パターン抽出方法。
(Supplementary Note 11) An acquisition step of acquiring an average image of a series of frame images including a telop;
A generation step of generating a plurality of color separation images by color clustering the average image acquired by the acquisition step;
A row region selection step of generating a composite binary image by combining the row regions selected for each row from the color separation images generated by the generation step;
A character-to-character noise removing step of removing a pixel connection pattern that violates a character string rule from pixel connection patterns in the composite binary image generated by the row region selection step;
Based on the character recognition result of the character pattern composed of a combination of pixel connection patterns in the combined binary image after noise removal by the character noise removal step, the character pattern is unnecessary from the circumscribed rectangle of the character pattern. By removing the pixel connection pattern as noise, a character rectangle noise removal step for outputting a character string pattern; and
A telop character pattern extraction method comprising:
３００ テロップ文字パターン抽出装置
３０１ 取得部
３０２ 色分解画像生成部
３０３ 周辺ノイズ除去処理部
３０４ ノイズ除去処理部
３０５ 行領域抽出部
３０６ 行領域選択部
３０７ 文字間ノイズ除去処理部
３０８ 文字矩形内ノイズ除去処理部
DESCRIPTION OF SYMBOLS 300 Ticker character
Claims (8)
テロップを含む一連のフレーム画像の平均画像を取得する取得手段、
前記取得手段によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成手段、
一連のフレーム画像からエッジ抽出したエッジ画像を集積して２値化したエッジ２値画像と、前記生成手段によって生成された色分解画像と、当該色分解画像をダイレーションしたダイレーション画像と、前記平均画像と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去するエッジＭＦＩノイズ除去手段、
前記各色分解画像を前記エッジＭＦＩノイズ除去手段によるノイズ除去することにより得られた各色分解２値画像の中から行ごとに選択された行領域を合成することにより、合成２値画像を生成する行領域選択手段、
前記行領域選択手段によって生成された合成２値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去手段、
として機能させることを特徴とするテロップ文字パターン抽出プログラム。 Computer
An acquisition means for acquiring an average image of a series of frame images including a telop;
Generating means for generating a plurality of color separation images by performing color clustering on the average image acquired by the acquiring means;
An edge binary image obtained by accumulating edge images extracted from a series of frame images and binarized; a color separation image generated by the generation unit; a dilation image obtained by dilating the color separation image; An edge MFI noise removing means for removing a moving pattern as noise from each of the color separation images based on the average image;
A row for generating a synthesized binary image by synthesizing a row region selected for each row from each color separation binary image obtained by removing noise from each of the color separation images by the edge MFI noise removing unit. Area selection means,
Based on the character recognition result of the character pattern composed of the combination of the pixel connection patterns in the composite binary image generated by the row region selection means, the pixel connection unnecessary for the character pattern from the circumscribed rectangle of the character pattern By removing the pattern as noise, noise removal means in the character rectangle that outputs the character string pattern,
A telop character pattern extraction program characterized by functioning as
前記エッジ２値画像において前記平均画像の画素連結パターンに接する画素数と、前記ダイレーション画像から前記色分解画像を引いた差分画像において前記平均画像の画素連結パターンに接する画素数と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去することを特徴とする請求項１に記載のテロップ文字パターン抽出プログラム。 The edge MFI noise removing means is:
Based on the number of pixels in contact with the pixel connection pattern of the average image in the edge binary image and the number of pixels in contact with the pixel connection pattern of the average image in the difference image obtained by subtracting the color separation image from the dilation image. The telop character pattern extraction program according to claim 1, wherein a moving pattern is removed from the color separation images as noise.
前記合成２値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去する文字間ノイズ除去手段として機能させ、
前記文字矩形内ノイズ除去手段は、
前記文字間ノイズ除去手段によるノイズ除去後の合成２値画像に基づいて、前記文字列パターンを出力することを特徴とする請求項１または２に記載のテロップ文字パターン抽出プログラム。 The computer,
Functioning as an inter-character noise removing means for removing a pixel connection pattern that violates a rule of a character string from pixel connection patterns in the composite binary image;
The noise removal means in the character rectangle is
The telop character pattern extraction program according to claim 1 or 2, wherein the character string pattern is output based on a composite binary image after noise removal by the inter-character noise removing unit.
テロップを含む一連のフレーム画像の平均画像を取得する取得手段、
前記取得手段によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成手段、
前記生成手段によって生成された各色分解画像の中から行ごとに選択された行領域を合成することにより、合成２値画像を生成する行領域選択手段、
前記行領域選択手段によって生成された合成２値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去する文字間ノイズ除去手段、
前記文字間ノイズ除去手段によるノイズ除去後の合成２値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去手段、
として機能させることを特徴とするテロップ文字パターン抽出プログラム。 Computer
An acquisition means for acquiring an average image of a series of frame images including a telop;
Generating means for generating a plurality of color separation images by performing color clustering on the average image acquired by the acquiring means;
A row region selection unit that generates a combined binary image by combining a row region selected for each row from each color separation image generated by the generation unit;
Inter-character noise removing means for removing a pixel connection pattern that violates a character string rule from pixel connection patterns in the composite binary image generated by the row region selection means;
Based on the character recognition result of the character pattern composed of the combination of the pixel connection patterns in the composite binary image after noise removal by the inter-character noise removing means, the character pattern is unnecessary from the circumscribed rectangle of the character pattern. A character rectangle noise removing means for outputting a character string pattern by removing the pixel connection pattern as noise,
A telop character pattern extraction program characterized by functioning as
前記取得手段によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成手段と、
一連のフレーム画像からエッジ抽出したエッジ画像を集積して２値化したエッジ２値画像と、前記色分解画像と、当該色分解画像をダイレーションしたダイレーション画像と、前記平均画像と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去するエッジＭＦＩノイズ除去手段と、
前記各色分解画像を前記エッジＭＦＩノイズ除去手段によるノイズ除去することにより得られた各色分解２値画像の中から行ごとに選択された行領域を合成することにより、合成２値画像を生成する行領域選択手段と、
前記行領域選択手段によって生成された合成２値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去手段と、
を備えることを特徴とするテロップ文字パターン抽出装置。 An acquisition means for acquiring an average image of a series of frame images including a telop;
Generation means for generating a plurality of color separation images by color clustering the average image acquired by the acquisition means;
Based on an edge binary image obtained by accumulating edge images extracted from a series of frame images and binarized, the color separation image, a dilation image obtained by dilating the color separation image, and the average image Edge MFI noise removing means for removing a moving pattern as noise from each color separation image;
A row for generating a synthesized binary image by synthesizing a row region selected for each row from each of the color separation binary images obtained by removing noise from each color separation image by the edge MFI noise removing means. Region selection means;
Based on the character recognition result of the character pattern composed of the combination of the pixel connection patterns in the composite binary image generated by the row area selection means, the pixel connection unnecessary for the character pattern from the circumscribed rectangle of the character pattern By removing the pattern as noise, the character rectangle noise removing means for outputting the character string pattern;
A telop character pattern extraction apparatus comprising:
前記取得手段によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成手段と、
前記生成手段によって生成された各色分解画像の中から行ごとに選択された行領域を合成することにより、合成２値画像を生成する行領域選択手段と、
前記行領域選択手段によって生成された合成２値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去する文字間ノイズ除去手段と、
前記文字間ノイズ除去手段によるノイズ除去後の合成２値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去手段と、
を備えることを特徴とするテロップ文字パターン抽出装置。 An acquisition means for acquiring an average image of a series of frame images including a telop;
Generation means for generating a plurality of color separation images by color clustering the average image acquired by the acquisition means;
A row region selection unit that generates a composite binary image by synthesizing a row region selected for each row from each color separation image generated by the generation unit;
Inter-character noise removing means for removing a pixel connection pattern that violates a rule of a character string from pixel connection patterns in the composite binary image generated by the row region selection means;
Based on the character recognition result of the character pattern composed of the combination of the pixel connection patterns in the composite binary image after noise removal by the inter-character noise removing means, the character pattern is unnecessary from the circumscribed rectangle of the character pattern. By removing the pixel connection pattern as noise, a character rectangle noise removing means for outputting a character string pattern;
A telop character pattern extraction apparatus comprising:
前記取得工程によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成工程と、
一連のフレーム画像からエッジ抽出したエッジ画像を集積して２値化したエッジ２値画像と、前記色分解画像と、当該色分解画像をダイレーションしたダイレーション画像と、前記平均画像と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去するエッジＭＦＩノイズ除去工程と、
前記各色分解画像を前記エッジＭＦＩノイズ除去工程によるノイズ除去することにより得られた各色分解２値画像の中から行ごとに選択された行領域を合成することにより、合成２値画像を生成する行領域選択工程と、
前記行領域選択工程によって生成された合成２値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去工程と、
を含んだことを特徴とするテロップ文字パターン抽出方法。 An acquisition step of acquiring an average image of a series of frame images including a telop;
A generation step of generating a plurality of color separation images by color clustering the average image acquired by the acquisition step;
Based on an edge binary image obtained by accumulating edge images extracted from a series of frame images and binarized, the color separation image, a dilation image obtained by dilating the color separation image, and the average image An edge MFI noise removing step of removing a moving pattern as noise from each of the color separation images;
A row for generating a synthesized binary image by synthesizing a row region selected for each row from each of the color separation binary images obtained by removing noise from each of the color separation images by the edge MFI noise removing step. Region selection process;
Based on the character recognition result of the character pattern that is a combination of each pixel connection pattern in the composite binary image generated by the row area selection step, unnecessary pixel connection from the circumscribed rectangle of the character pattern to the character pattern By removing the pattern as noise, the noise removal process in the character rectangle that outputs the character string pattern,
A telop character pattern extraction method comprising:
前記取得工程によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成工程と、
前記生成工程によって生成された各色分解画像の中から行ごとに選択された行領域を合成することにより、合成２値画像を生成する行領域選択工程と、
前記行領域選択工程によって生成された合成２値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去する文字間ノイズ除去工程と、
前記文字間ノイズ除去工程によるノイズ除去後の合成２値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去工程と、
を含んだことを特徴とするテロップ文字パターン抽出方法。 An acquisition step of acquiring an average image of a series of frame images including a telop;
A generation step of generating a plurality of color separation images by color clustering the average image acquired by the acquisition step;
A row region selection step of generating a composite binary image by combining the row regions selected for each row from the color separation images generated by the generation step;
A character-to-character noise removing step of removing a pixel connection pattern that violates a character string rule from pixel connection patterns in the composite binary image generated by the row region selection step;
Based on the character recognition result of the character pattern composed of a combination of pixel connection patterns in the combined binary image after noise removal by the character noise removal step, the character pattern is unnecessary from the circumscribed rectangle of the character pattern. By removing the pixel connection pattern as noise, a character rectangle noise removal step for outputting a character string pattern; and
A telop character pattern extraction method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008039407A JP5029412B2 (en) | 2008-02-20 | 2008-02-20 | Telop character pattern extraction program, telop character pattern extraction device, and telop character pattern extraction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008039407A JP5029412B2 (en) | 2008-02-20 | 2008-02-20 | Telop character pattern extraction program, telop character pattern extraction device, and telop character pattern extraction method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009199276A true JP2009199276A (en) | 2009-09-03 |
| JP5029412B2 JP5029412B2 (en) | 2012-09-19 |
Family
ID=41142714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008039407A Expired - Fee Related JP5029412B2 (en) | 2008-02-20 | 2008-02-20 | Telop character pattern extraction program, telop character pattern extraction device, and telop character pattern extraction method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5029412B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012174163A (en) * | 2011-02-24 | 2012-09-10 | Fujitsu Ltd | Character recognition processing device and method and character recognition processing program |
| JP2015184691A (en) * | 2014-03-20 | 2015-10-22 | 富士ゼロックス株式会社 | Image processor and image processing program |
| US9275279B2 (en) | 2012-03-16 | 2016-03-01 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
| JP2018152026A (en) * | 2017-03-15 | 2018-09-27 | ソフネック株式会社 | Character recognition method and computer program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001285716A (en) * | 2000-01-24 | 2001-10-12 | Toshiba Corp | Telop information processor and telop information display device |
| JP2005309819A (en) * | 2004-04-22 | 2005-11-04 | Nec Corp | Figure reading method, its device, major color extraction method, and its device |
-
2008
- 2008-02-20 JP JP2008039407A patent/JP5029412B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001285716A (en) * | 2000-01-24 | 2001-10-12 | Toshiba Corp | Telop information processor and telop information display device |
| JP2005309819A (en) * | 2004-04-22 | 2005-11-04 | Nec Corp | Figure reading method, its device, major color extraction method, and its device |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012174163A (en) * | 2011-02-24 | 2012-09-10 | Fujitsu Ltd | Character recognition processing device and method and character recognition processing program |
| US9275279B2 (en) | 2012-03-16 | 2016-03-01 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
| JP2015184691A (en) * | 2014-03-20 | 2015-10-22 | 富士ゼロックス株式会社 | Image processor and image processing program |
| JP2018152026A (en) * | 2017-03-15 | 2018-09-27 | ソフネック株式会社 | Character recognition method and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5029412B2 (en) | 2012-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110738207B (en) | Character detection method for fusing character area edge information in character image | |
| US5335290A (en) | Segmentation of text, picture and lines of a document image | |
| Wenyin et al. | From raster to vectors: extracting visual information from line drawings | |
| EP1598770B1 (en) | Low resolution optical character recognition for camera acquired documents | |
| US7627176B2 (en) | Apparatus, method, and computer program for analyzing document layout | |
| CN105574524B (en) | Based on dialogue and divide the mirror cartoon image template recognition method and system that joint identifies | |
| US20100157340A1 (en) | Object extraction in colour compound documents | |
| JP2002024836A (en) | Method for extracting title from digital image | |
| KR102592551B1 (en) | Object recognition processing apparatus and method for ar device | |
| JP5029412B2 (en) | Telop character pattern extraction program, telop character pattern extraction device, and telop character pattern extraction method | |
| Al Abodi et al. | An effective approach to offline Arabic handwriting recognition | |
| Mechi et al. | A two-step framework for text line segmentation in historical Arabic and Latin document images | |
| CN113239818A (en) | Cross-modal information extraction method of tabular image based on segmentation and graph convolution neural network | |
| Henderson | Analysis of engineering drawings and raster map images | |
| Feild et al. | Scene text recognition with bilateral regression | |
| Nordmark et al. | Window detection in facade imagery: a deep learning approach using mask R-CNN | |
| JP3720892B2 (en) | Image processing method and image processing apparatus | |
| CN117115824A (en) | Visual text detection method based on stroke region segmentation strategy | |
| JP2020119559A (en) | Character recognition method and character recognition device | |
| Rampurkar et al. | An approach towards text detection from complex images using morphological techniques | |
| JP3095069B2 (en) | Character recognition device, learning method, and recording medium storing character recognition program | |
| Tran et al. | A deep learning-based system for document layout analysis | |
| Robertson | Optical character recognition for classical philology | |
| US5940533A (en) | Method for analyzing cursive writing | |
| Baloun et al. | ChronSeg: Novel Dataset for Segmentation of Handwritten Historical Chronicles. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100917 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111020 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120529 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120611 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5029412 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150706 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |