JP2009199276A - Telop character pattern extraction program, telop character pattern extraction device, and telop character pattern extraction method - Google Patents
Telop character pattern extraction program, telop character pattern extraction device, and telop character pattern extraction method Download PDFInfo
- Publication number
- JP2009199276A JP2009199276A JP2008039407A JP2008039407A JP2009199276A JP 2009199276 A JP2009199276 A JP 2009199276A JP 2008039407 A JP2008039407 A JP 2008039407A JP 2008039407 A JP2008039407 A JP 2008039407A JP 2009199276 A JP2009199276 A JP 2009199276A
- Authority
- JP
- Japan
- Prior art keywords
- character
- pattern
- image
- color separation
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 87
- 238000000926 separation method Methods 0.000 claims abstract description 169
- 238000000034 method Methods 0.000 claims description 131
- 239000002131 composite material Substances 0.000 claims description 51
- 230000010339 dilation Effects 0.000 claims description 17
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 230000000916 dilatatory effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 111
- 230000002093 peripheral effect Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 26
- 238000011156 evaluation Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Character Input (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明は、テロップを含む一連のフレーム画像から文字列パターンを抽出するテロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法に関する。 The present invention relates to a telop character pattern extraction program, a telop character pattern extraction device, and a telop character pattern extraction method for extracting a character string pattern from a series of frame images including a telop.
従来から文字認識装置が開示されている(たとえば、下記特許文献1〜4を参照。)。
Conventionally, character recognition devices have been disclosed (for example, see
しかしながら、上述した従来技術には、文字認識を利用していないものがあるため、色分解後の2値画像から文字列パターンを含む行領域を抽出しても、ノイズが非常に多く含まれているという問題があった。 However, some of the above-described conventional techniques do not use character recognition, and therefore, even if a row region including a character string pattern is extracted from a binary image after color separation, noise is very much included. There was a problem of being.
また、上述した従来技術では、文字列の規則性を考慮していないため、本来ノイズとして扱っていけないパターンを除去したり、ノイズとして扱うべきパターンを除去しなかったりするという問題があった。 Further, in the above-described conventional technology, since regularity of the character string is not considered, there is a problem that a pattern that cannot be treated as noise originally is removed or a pattern that should be treated as noise is not removed.
この発明は、上述した従来技術による問題点を解消するため、文字列パターンの抽出精度の向上を図ることができるテロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法を提供することを目的とする。 The present invention provides a telop character pattern extraction program, a telop character pattern extraction device, and a telop character pattern extraction method capable of improving the extraction accuracy of a character string pattern in order to eliminate the above-described problems caused by the prior art. For the purpose.
上述した課題を解決し、目的を達成するため、第1のテロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法は、テロップを含む一連のフレーム画像の平均画像を取得し、取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成し、一連のフレーム画像からエッジ抽出したエッジ画像を集積して2値化したエッジ2値画像と、前記色分解画像と、当該色分解画像をダイレーションしたダイレーション画像と、前記平均画像と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去し、前記各色分解画像をエッジMFIノイズ除去により得られた各色分解2値画像の中から行ごとに選択された行領域を合成することにより、合成2値画像を生成し、生成された合成2値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力することを要件とする。 In order to solve the above-described problems and achieve the object, a first telop character pattern extraction program, a telop character pattern extraction device, and a telop character pattern extraction method obtain an average image of a series of frame images including a telop, The obtained average image is subjected to color clustering to generate a plurality of color separation images, an edge binary image obtained by accumulating edge images extracted from a series of frame images and binarized, and the color separation image Based on the dilation image obtained by dilating the color separation image and the average image, a moving pattern is removed from each color separation image as noise, and each color separation image is removed by edge MFI noise removal. By synthesizing a row area selected for each row from the obtained color separation binary images, a synthesized binary image is obtained. And a pixel connection pattern unnecessary for the character pattern is selected from the circumscribed rectangles of the character pattern based on the character recognition result of the character pattern formed by combining the pixel connection patterns in the generated composite binary image. It is a requirement to output a character string pattern by removing it as noise.
また、上記テロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法において、前記エッジ2値画像において前記平均画像の画素連結パターンに接する画素数と、前記ダイレーション画像から前記色分解画像を引いた差分画像において前記平均画像の画素連結パターンに接する画素数と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去することとしてもよい。 In the telop character pattern extraction program, the telop character pattern extraction device, and the telop character pattern extraction method, the number of pixels that touch the pixel connection pattern of the average image in the edge binary image, and the color separation from the dilation image Based on the number of pixels in contact with the pixel connection pattern of the average image in the difference image obtained by subtracting the image, a moving pattern may be removed from the color separation images as noise.
また、上記テロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法において、前記合成2値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去し、ノイズ除去後の合成2値画像に基づいて、前記文字列パターンを出力することとしてもよい。 Further, in the telop character pattern extraction program, the telop character pattern extraction device, and the telop character pattern extraction method, a pixel connection pattern that violates a character string rule is removed from pixel connection patterns in the composite binary image, The character string pattern may be output based on the synthesized binary image after noise removal.
また、上記テロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法において、前記合成2値画像内の画素連結パターンの文字認識結果に基づいて、前記合成2値画像の中から文字らしいキー文字パターンを抽出することにより、当該キー文字パターンを包含する矩形に包含される画素連結パターンに外接する文字候補矩形を抽出し、抽出された文字候補矩形ペアが重複関係または包含関係にある場合、文字候補矩形ペアのうち当該重複関係または包含関係に関する規則に違反する文字候補矩形を除去することとしてもよい。 In the telop character pattern extraction program, telop character pattern extraction apparatus, and telop character pattern extraction method, a character is extracted from the composite binary image based on a character recognition result of a pixel connection pattern in the composite binary image. By extracting a new key character pattern, a character candidate rectangle circumscribing the pixel connection pattern included in the rectangle including the key character pattern is extracted, and the extracted character candidate rectangle pair is in an overlapping relationship or an inclusion relationship In this case, the character candidate rectangles that violate the rules regarding the overlapping relationship or the inclusion relationship may be removed from the character candidate rectangle pair.
また、上記テロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法において、前記合成2値画像内の画素連結パターンの文字認識結果に基づいて、前記合成2値画像の中から文字らしいキー文字パターンを抽出することにより、当該キー文字パターンを包含する矩形に包含される画素連結パターンに外接する文字候補矩形を抽出し、抽出された隣接する文字候補矩形が重複している重複文字候補矩形集合の中から、文字間隔の規則を遵守する文字候補矩形の組み合わせからなる組み合わせ矩形列を抽出することとしてもよい。 In the telop character pattern extraction program, telop character pattern extraction apparatus, and telop character pattern extraction method, a character is extracted from the composite binary image based on a character recognition result of a pixel connection pattern in the composite binary image. By extracting a new key character pattern, a character candidate rectangle circumscribing the pixel connection pattern included in the rectangle that includes the key character pattern is extracted, and the extracted adjacent character candidate rectangles are duplicated From the candidate rectangle set, a combination rectangle string composed of combinations of character candidate rectangles that comply with the rules for character spacing may be extracted.
また、上記テロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法において、前記合成2値画像内の画素連結パターンの文字認識結果に基づいて、前記合成2値画像の中から文字らしいキー文字パターンを抽出することにより、当該キー文字パターンを包含する矩形に包含される画素連結パターンに外接する文字候補矩形を抽出し、抽出された文字候補矩形ペアが重複関係または包含関係にある場合、文字候補矩形ペアのうち当該重複関係または包含関係に関する規則に違反する文字候補矩形を除去し、ノイズ除去結果に基づいて、隣接する文字候補矩形が重複している重複文字候補矩形集合の中から、文字間隔の規則を遵守する文字候補矩形の組み合わせからなる組み合わせ矩形列を抽出することとしてもよい。 In the telop character pattern extraction program, telop character pattern extraction apparatus, and telop character pattern extraction method, a character is extracted from the composite binary image based on a character recognition result of a pixel connection pattern in the composite binary image. By extracting a new key character pattern, a character candidate rectangle circumscribing the pixel connection pattern included in the rectangle including the key character pattern is extracted, and the extracted character candidate rectangle pair is in an overlapping relationship or an inclusion relationship The character candidate rectangles that violate the rules related to the overlapping relationship or the inclusion relationship are removed from the character candidate rectangle pair, and the adjacent character candidate rectangles are overlapped based on the noise removal result. From a combination rectangle string consisting of combinations of character candidate rectangles that comply with the rules for character spacing. It is also possible to output.
また、第2のテロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法は、テロップを含む一連のフレーム画像の平均画像を取得し、取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成し、生成された各色分解画像の中から行ごとに選択された行領域を合成することにより、合成2値画像を生成し、生成された合成2値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去し、ノイズ除去後の合成2値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力することを要件とする。 The second telop character pattern extraction program, the telop character pattern extraction device, and the telop character pattern extraction method obtain an average image of a series of frame images including the telop, and perform color clustering on the obtained average images. Generating a plurality of color separation images, and combining a row region selected for each row from the generated color separation images, thereby generating a composite binary image, and generating a composite binary image in the generated composite binary image Based on the character recognition result of the character pattern consisting of a combination of each pixel connection pattern in the composite binary image after removing the noise from the pixel connection pattern that violates the rule of the character string from the pixel connection pattern By removing a pixel connection pattern unnecessary for the character pattern from the circumscribed rectangle of the pattern as noise, The requirement that the output down.
本テロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法によれば、文字列パターンの抽出精度の向上を図ることができるという効果を奏する。 According to the telop character pattern extraction program, the telop character pattern extraction device, and the telop character pattern extraction method, there is an effect that the extraction accuracy of the character string pattern can be improved.
以下に添付図面を参照して、本テロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法の好適な実施の形態を詳細に説明する。 Exemplary embodiments of a telop character pattern extraction program, a telop character pattern extraction device, and a telop character pattern extraction method will be described below in detail with reference to the accompanying drawings.
(テロップ文字パターン抽出の概要)
本実施の形態のテロップ文字パターン抽出プログラム、テロップ文字パターン抽出装置、およびテロップ文字パターン抽出方法は、
1)文字認識を使用して色分解2値画像から正しい行を抽出する技術と、
2)ノイズを含む行パターンから文字認識を使用してキー文字と呼ばれる代表的な文字パターン候補を求め、そのキー文字を使って生成された文字候補矩形の組み合わせとなる複数の文字列候補矩形列の中から、文字の帰属度や文字間隔情報といった文字パターンの特徴を使用して、正しい文字列矩形を求める技術と、
を用いて、テロップの中から文字パターンを抽出する技術である。
(Outline of telop character pattern extraction)
The telop character pattern extraction program, telop character pattern extraction apparatus, and telop character pattern extraction method of the present embodiment are:
1) a technique for extracting correct lines from a color separation binary image using character recognition;
2) A representative character pattern candidate called a key character is obtained from a noisy line pattern using character recognition, and a plurality of character string candidate rectangles that are combinations of character candidate rectangles generated using the key character From the above, using the character pattern features such as character attribution and character spacing information,
Is a technique for extracting a character pattern from a telop using
図1は、本実施の形態にかかるテロップ文字パターン抽出方法の処理手順を示すフローチャートである。図1において、テロップ文字パターン抽出方法は、テロップ領域画像取得処理(ステップS101)、色クラスタリングによる色分解画像作成処理(ステップS102)、画像周囲のノイズ除去処理(ステップS103)、エッジMFI(Multi Frame Integration)によるノイズ除去処理(ステップS104)、行領域抽出処理(ステップS105)、行領域選択処理(ステップS106)、パターンの規則性による文字間ノイズ除去処理(ステップS107)、文字矩形内ノイズ除去処理(ステップS108)の順に実行することで、テロップから文字パターンを抽出することができる。このステップS101〜S105が上記1)の技術であり、ステップS106〜S108が上記2)の技術に相当する。以下、各処理S101〜S108を実現する内容について詳細に説明する。 FIG. 1 is a flowchart showing the processing procedure of the telop character pattern extraction method according to this embodiment. In FIG. 1, a telop character pattern extraction method includes a telop area image acquisition process (step S101), a color separation image creation process by color clustering (step S102), a noise removal process around an image (step S103), and an edge MFI (Multi Frame). Noise removal processing by integration (step S104), row region extraction processing (step S105), row region selection processing (step S106), inter-character noise removal processing by pattern regularity (step S107), and character rectangle noise removal processing By executing in the order of (step S108), the character pattern can be extracted from the telop. Steps S101 to S105 correspond to the technique 1), and steps S106 to S108 correspond to the technique 2). Hereinafter, the content which implement | achieves each process S101-S108 is demonstrated in detail.
(テロップ文字パターン抽出装置のハードウェア構成)
図2は、本実施の形態にかかるテロップ文字パターン抽出装置のハードウェア構成を示すブロック図である。図2において、テロップ文字パターン抽出装置は、CPU(Central Processing Unit)201と、ROM(Read‐Only Memory)202と、RAM(Random Access Memory)203と、HDD(Hard Disk Drive)204と、HD(Hard Disk)205と、FDD(Flexible Disk Drive)206と、着脱可能な記録媒体の一例としてのFD(Flexible Disk)207と、ディスプレイ208と、I/F(Interface)209と、キーボード210と、マウス211と、スキャナ212と、プリンタ213と、を備えている。また、各構成部はバス200によってそれぞれ接続されている。
(Hardware configuration of telop character pattern extraction device)
FIG. 2 is a block diagram showing a hardware configuration of the telop character pattern extraction apparatus according to this embodiment. In FIG. 2, a telop character pattern extraction apparatus includes a CPU (Central Processing Unit) 201, a ROM (Read-Only Memory) 202, a RAM (Random Access Memory) 203, an HDD (Hard Disk Drive) 204, and an HD (Hard Disk Drive Memory) 204. Hard Disk (205), FDD (Flexible Disk Drive) 206, FD (Flexible Disk) 207 as an example of a removable recording medium,
ここで、CPU201は、テロップ文字パターン抽出装置の全体の制御を司る。ROM202は、ブートプログラムなどのプログラムを記憶している。RAM203は、CPU201のワークエリアとして使用される。HDD204は、CPU201の制御にしたがってHD205に対するデータのリード/ライトを制御する。HD205は、HDD204の制御で書き込まれたデータを記憶する。
Here, the
FDD206は、CPU201の制御にしたがってFD207に対するデータのリード/ライトを制御する。FD207は、FDD206の制御で書き込まれたデータを記憶したり、FD207に記憶されたデータをテロップ文字パターン抽出装置に読み取らせたりする。
The FDD 206 controls reading / writing of data with respect to the
また、着脱可能な記録媒体として、FD207のほか、CD−ROM(CD−R、CD−RW)、MO(Magneto−Optical disk)、DVD(Digital Versatile Disk)、メモリーカードなどであってもよい。ディスプレイ208は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。このディスプレイ208は、たとえば、CRT、TFT液晶ディスプレイ、プラズマディスプレイなどを採用することができる。
In addition to the FD 207, the removable recording medium may be a CD-ROM (CD-R, CD-RW), MO (Magneto-Optical disk), DVD (Digital Versatile Disk), memory card, or the like. The
I/F209は、通信回線を通じてインターネットなどのネットワーク214に接続され、このネットワーク214を介して他の装置に接続される。そして、I/F209は、ネットワーク214と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。I/F209には、たとえばモデムやLAN(Local Area Network)アダプタなどを採用することができる。
The I / F 209 is connected to a
キーボード210は、文字、数字、各種指示などの入力のためのキーを備え、データの入力をおこなう。また、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス211は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などをおこなう。ポインティングデバイスとして同様に機能を備えるものであれば、トラックボールやジョイスティックなどであってもよい。
The
スキャナ212は、画像を光学的に読み取り、テロップ文字パターン抽出装置内に画像データを取り込む。なお、スキャナ212は、OCR(Optical Character Reader)機能を持たせてもよい。また、プリンタ213は、画像データや文書データを印刷する。プリンタ213には、たとえば、レーザプリンタやインクジェットプリンタを採用することができる。
The
(テロップ文字パターン抽出装置の機能的構成)
図3は、本実施の形態にかかるテロップ文字パターン抽出装置の機能的構成を示すブロック図である。図3において、テロップ文字パターン抽出装置300は、取得部301と、色分解画像生成部302と、周辺ノイズ除去処理部303と、エッジMFIノイズ除去処理部304と、行領域抽出部305と、行領域選択部306と、文字間ノイズ除去処理部307と、文字矩形内ノイズ除去処理部308と、を含む構成である。
(Functional configuration of telop character pattern extraction device)
FIG. 3 is a block diagram showing a functional configuration of the telop character pattern extraction apparatus according to the present embodiment. 3, the telop character pattern extraction apparatus 300 includes an
取得部301は、時系列なフレーム画像群の中から指定テロップ領域内の一連のフレーム画像を取得する機能を有する。指定テロップ区間とは、フレーム画像群が連続する全区間のうちテロップが表示される区間のことである。テロップの時間的区間、領域を求める技術については、「1994年電子情報通信学会春季大会 D−427 テロップの認識による資料映像の検索について」を用いて実現できる。取得された一連のフレーム画像は、それぞれテロップ画像を有しており、後述する平均画像やエッジ2値画像の生成元となる(図4を参照。)。
The
色分解画像生成部302は、取得部301によって取得された一連のフレーム画像から平均画像を生成して、平均画像に基づいて色分解画像を生成する機能を有する。色分解画像はクラスタリングにより生成できる。クラスタリングについては、「電子情報通信学会論文誌 D−II, Vol.J82−D−II,NO.4, pp.751−762, 1999年4月,ISODATAクラスタリング法を用いたカラー画像の領域分割」を用いて実現できる。色分解画像生成部302の具体的な処理内容については、図4〜図7を用いて後述する。
The color separation
周辺ノイズ除去処理部303は、色分解画像生成部302によって生成された各色分解画像から、その領域周辺に接するパターンをノイズとみなして削除する機能を有する。周辺ノイズ除去処理部303は、「1996年電子情報通信学会情報・システムソサイエティ大会 D-344 映像中文字領域抽出のためのカラー画像セグメンテーション」を用いることで実現できる。周辺ノイズ除去処理部303の具体的な説明については、図8を用いて後述する。
The peripheral noise
エッジMFIノイズ除去処理部304は、一連のフレーム画像からエッジ抽出したエッジ画像を集積して2値化したエッジ2値画像と、色分解画像と、当該色分解画像をダイレーションしたダイレーション画像と、平均画像と、に基づいて、各色分解画像の中から動きのあるパターンをノイズとして除去する機能を有する。具体的には、一連のフレーム画像からエッジ2値画像を生成して、周辺ノイズ除去処理部303によってノイズ除去された色分解画像ごとにノイズ除去処理する。エッジMFIノイズ除去処理部304の具体的な説明については、図4および図9〜図13を用いて後述する。
The edge MFI noise
行領域抽出部305は、エッジMFIノイズ除去処理部304によるノイズ除去後の各色分解2値画像から文字パターン列が存在する行を抽出する機能を有する。行領域抽出部305の具体的な説明については、図14〜図17を用いて後述する。
The line
行領域選択部306は、各色分解画像をエッジMFIノイズ除去処理部304によるノイズ除去することにより得られた各色分解2値画像の中から行ごとに選択された行領域を合成することにより、合成2値画像を生成する機能を有する。具体的には、行領域が特定された各色分解2値画像から、文字らしい画素連結パターン(たとえば、黒画素連結領域)が多く存在する行領域を行ごとに選択する。行領域選択部306の具体的な説明については、図18〜図21を用いて後述する。
The row
文字間ノイズ除去処理部307は、行領域選択部306によって生成された合成2値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去する機能を有する。文字列の規則とは、たとえば、対象とする2つの画素連結パターンが、テロップにおける文字と文字の間隔と同等な間隔で位置するための条件や、行高さが揃うための条件など、文字列の自然な配置に違反する画素連結パターンをノイズとして扱う条件である。具体的には、たとえば、行領域選択部306により得られた合成2値画像から行領域ごとに、文字に相当する黒画素連結領域間に存在するノイズを除去する。文字間ノイズ除去処理部307の具体的な説明については、図22〜図35を用いて後述する。
The inter-character noise
文字矩形内ノイズ除去処理部308は、合成2値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する機能を有する。具体的には、文字候補矩形から文字に該当しない黒画素連結領域を除去して、文字パターンに該当する黒画素連結領域のみを抽出する。文字矩形内ノイズ除去処理部308の具体的な説明については、図36〜図38を用いて後述する。
The character rectangle noise
なお、上述した取得部301、色分解画像生成部302、周辺ノイズ除去処理部303、エッジMFIノイズ除去処理部304、行領域抽出部305、行領域選択部306、文字間ノイズ除去処理部307、および文字矩形内ノイズ除去処理部308は、具体的には、たとえば、図2に示したROM202、RAM203、HD205などの記憶領域に記憶されたプログラムをCPUに実行させることにより、その機能を実現する。
Note that the
(色分解画像生成部302の詳細な処理内容)
まず、色分解画像生成部302の詳細な処理内容について図4〜図7を用いて説明する。図4は、平均画像およびエッジ2値画像の生成内容を示す説明図である。図4において、時系列で入力されてくる指定テロップ区間内の一連のフレーム画像401の同一位置の画素値を平均化することで、平均画像410が生成される。
(Detailed processing contents of the color separation image generation unit 302)
First, detailed processing contents of the color separation
図5は、平均画像410の一例を示す説明図である。この平均画像410を色クラスタリングすることで、色分解画像が生成される。テロップ文字は同じ文字色を持つので、テロップ文字と背景を分離する目的で、色クラスタリングをおこなって平均画像410を色分解する。色クラスタリングとは、平均画像410の各画素の値を、R(赤)、G(緑)、B(青)の3軸からなる色空間座標にプロットし、クラスタ化する処理である。
FIG. 5 is an explanatory diagram showing an example of the
図6は、色空間座標600における色クラスタリングを示す説明図である。ここでは、平均画像410は、4つのクラスタ(白をあらわすクラスタ601、濃い灰色をあらわすクラスタ602、薄い灰色をあらわすクラスタ603、黒をあらわすクラスタ604)にクラスタリングされている。本例では4つのクラスタ601〜604にまとめられたが、クラスタの個数は4つに限定されず、平均画像410の画素値や、適用する色クラスタリングにより適宜決定される。本例では、ISODATA(Iterative Self‐Organizing)クラスタリングを用いている。
FIG. 6 is an explanatory diagram showing color clustering in the color space coordinates 600. Here, the
図7は、色クラスタリングによって得られた色分解画像を示す説明図である。色分解画像はクラスタごとに生成される。本例では、4個の色分解画像701〜704が生成される。色分解画像701は、白のクラスタから得られた2値画像であり、色分解画像702は、濃い灰色のクラスタから得られた2値画像であり、色分解画像703は、薄い灰色のクラスタから得られた2値画像であり、色分解画像704は、黒のクラスタから得られた2値画像である。
FIG. 7 is an explanatory diagram showing a color separation image obtained by color clustering. A color separation image is generated for each cluster. In this example, four
(周辺ノイズ除去処理部303の詳細な処理内容)
周辺ノイズ除去処理部303の詳細な処理内容について図8を用いて説明する。図8は、画像周囲のノイズ除去処理(ステップS103)により処理された色分解画像を示す説明図である。色分解画像801は、色分解画像701の画像周囲のノイズ除去処理により処理された色分解画像であり、色分解画像802は、色分解画像702の画像周囲のノイズ除去処理により処理された色分解画像であり、色分解画像803は、色分解画像703の画像周囲のノイズ除去処理により処理された色分解画像であり、色分解画像804は、色分解画像704の画像周囲のノイズ除去処理により処理された色分解画像である。
(Detailed processing contents of the peripheral noise removal processing unit 303)
Detailed processing contents of the peripheral noise
テロップ文字は領域の中央付近にあり、文字パターンとノイズとは接触しない場合が多いので、各色分解画像801〜804の領域周辺に接するパターンが削除されている。
Since the telop character is near the center of the area and the character pattern and the noise often do not contact each other, the pattern in contact with the periphery of each
(エッジMFIノイズ除去処理部304の詳細な処理内容)
エッジMFIノイズ除去処理部304の詳細な処理内容について、図4、図9〜図11を用いて説明する。図4において、一連のフレーム画像401は、公知のエッジ抽出処理(たとえば、Cannyエッジ)と2値化処理により、一連のエッジ2値画像402に変換され、同一位置の画素値を合計することで、エッジ濃淡画像420が生成される。そして、エッジ濃淡画像420を、固定しきい値で2値化することで、エッジ2値画像430が生成される。
(Detailed processing contents of the edge MFI noise removal processing unit 304)
Detailed processing contents of the edge MFI noise
図9は、エッジMFIによるノイズ除去処理で得られる一連の画像を示す説明図である。a)は、図4に示したエッジ2値画像430である。このエッジ2値画像430は動きがないパターンのエッジ画像となる。テロップ文字は動きがないので、エッジが現れることとなる。したがって、文字ストロークパターンの周囲に動きがないエッジが多くあるものをテロップ文字パターン候補として抽出することができる。
FIG. 9 is an explanatory diagram showing a series of images obtained by noise removal processing using the edge MFI. a) is the edge
b)は、図8に示した色分解画像801のダイレーション画像801Dである。ダイレーションとは、注目画素の周囲8画素の画素値を、注目画素の画素値に変換する処理である。c)は、b)のダイレーション画像801Dから元画像である色分解画像801を引いたことにより得られるエッジ画像901である。エッジ画像901は文字パターンの理想的なエッジを示す。d)は、a)のエッジ2値画像430とc)のエッジ画像901とを用いて、エッジMFIによるノイズ除去をおこなうことで得られる色分解2値画像910である。
b) is a
d)のMFIによるノイズ除去では、色分解画像801の各黒画素連結領域と接するエッジ2値画像430の画素数p1を求める。同様に、色分解画像801の各黒画素連結領域と接するエッジ画像901の画素数p2を求める。しきい値をt(たとえば、t=0.54)とすると、p1/p2<tの場合に、色分解画像801の黒画素連結領域を、動いているパターンとして色分解画像801から削除する。削除後の画像が色分解2値画像910である。ここで、d)の処理内容について具体的に説明する。
In d) noise removal by MFI, the number of pixels p1 of the edge
図10は、図9のd)のMFIによるノイズ除去の処理内容を示す説明図である。図10において、黒四角(■)は、色分解画像801の黒画素連結領域の画素(以下、「■画素」)である。白四角(□)は、色分解画像801の非黒画素連結領域の画素(以下、「□画素」)である。白丸(○)は、色分解画像801の各黒画素連結領域と接するエッジ画像901の画素(以下、「○画素」)である。黒丸(●)は、色分解画像801の各黒画素連結領域と接するエッジ2値画像430の画素(以下、「●画素」)である。●画素は○画素でもある。
FIG. 10 is an explanatory diagram showing the processing content of noise removal by MFI of d) of FIG. In FIG. 10, black squares (■) are pixels in the black pixel connection area of the color separation image 801 (hereinafter, “■ pixels”). White squares (□) are pixels in the non-black pixel connection region of the color separation image 801 (hereinafter “□ pixels”). A white circle (◯) is a pixel of the edge image 901 (hereinafter, “◯ pixel”) in contact with each black pixel connection region of the
図10の(A)では、●画素が15画素(p1=10)であり、(B)では、○画素が20画素(p2=20)である。したがって、図10では、p1/p2<tを満たすため、■画素は削除される。なお、図9に示したb)〜d)の内容は、色分解画像801だけではなく、他の色分解画像802〜804についても求める。これにより、図16に示したような色分解2値画像920〜940が得られる。
In FIG. 10A, the number of pixels is 15 pixels (p1 = 10), and in FIG. 10B, the number of ◯ pixels is 20 pixels (p2 = 20). Therefore, in FIG. 10, the pixel ■ is deleted to satisfy p1 / p2 <t. Note that the contents of b) to d) shown in FIG. 9 are obtained not only for the
図11は、エッジMFIノイズ除去処理部304のエッジMFIによるノイズ除去処理(ステップS104)の詳細な処理手順を示すフローチャートである。図11において、図4に示したように、エッジ2値画像生成処理を実行し(ステップS1101)、未処理の色分解画像があるか否かを判断する(ステップS1102)。未処理の色分解画像がある場合(ステップS1102:Yes)、未処理の色分解画像を選択して(ステップS1103)、選択色分解画像のダイレーション処理を実行する(ステップS1104)。
FIG. 11 is a flowchart showing a detailed processing procedure of the noise removal processing (step S104) by the edge MFI of the edge MFI noise
つぎに、図9のc)に示したように、ダイレーション画像から選択色分解画像を引いたエッジ画像を生成する(ステップS1105)。図9のc)の場合は、色分解画像801に対するエッジ画像901を生成することとなる。このあと、ノイズ除去処理を実行して(ステップS1106)、ステップS1102に戻る。ステップS1102において、未処理の色分解画像がない場合(ステップS1102:No)、行領域抽出処理(ステップS105)に移行する。
Next, as shown in FIG. 9c), an edge image is generated by subtracting the selected color separation image from the dilation image (step S1105). In the case of c) in FIG. 9, an
図12は、図11に示したエッジ2値画像生成処理(ステップS1101)の手順を示すフローチャートである。図12において、まず、指定テロップ区間の開始位置が検出されるまで待ち受け(ステップS1201:No)、指定テロップ区間の開始位置が検出された場合(ステップS1201:Yes)、フレーム画像を取得する(ステップS1202)。フレーム画像は、時系列で順次取り込まれるため、取り込まれる都度、後続の処理を実行することとなる。 FIG. 12 is a flowchart showing the procedure of the edge binary image generation process (step S1101) shown in FIG. In FIG. 12, first, it waits until the start position of the designated telop section is detected (step S1201: No). When the start position of the designated telop section is detected (step S1201: Yes), a frame image is acquired (step S1201: Yes). S1202). Since the frame images are sequentially captured in time series, the subsequent processing is executed each time the frames are captured.
つぎに、取得フレーム画像に対してCannyエッジなどのエッジ抽出処理をおこなって、エッジ抽出後の取得フレーム画像を2値化する(ステップS1203)。そして、エッジ濃淡画像として集積する(ステップS1204)。この集積処理は、2値化されたエッジ抽出後の取得フレーム画像の同一画素の画素値を累積(加算)する処理である。 Next, edge extraction processing such as a Canny edge is performed on the acquired frame image to binarize the acquired frame image after edge extraction (step S1203). Then, it is accumulated as an edge gray image (step S1204). This accumulation process is a process of accumulating (adding) the pixel values of the same pixels in the acquired frame image after binarized edge extraction.
このあと、指定テロップ区間の終了が検出されたか否かを判断する(ステップS1205)。終了が検出されなかった場合(ステップS1205:No)、ステップS1202に戻る。一方、検出された場合(ステップS1205:Yes)、集積されたエッジ濃淡画像を固定しきい値で2値化する(ステップS1206)。これにより、図9に示したようなエッジ2値画像が生成される。 Thereafter, it is determined whether or not the end of the designated telop section is detected (step S1205). When the end is not detected (step S1205: No), the process returns to step S1202. On the other hand, if detected (step S1205: Yes), the accumulated edge grayscale image is binarized with a fixed threshold value (step S1206). Thereby, an edge binary image as shown in FIG. 9 is generated.
図13は、図11に示したノイズ除去処理(ステップS1106)の詳細な処理手順を示すフローチャートである。なお、図13では、エッジ2値画像を「第1エッジ画像」と称し、ステップS1105のダイレーション画像から選択色分解画像を引いたエッジ画像を、「第2エッジ画像」と称す。 FIG. 13 is a flowchart showing a detailed processing procedure of the noise removal processing (step S1106) shown in FIG. In FIG. 13, the edge binary image is referred to as a “first edge image”, and the edge image obtained by subtracting the selected color separation image from the dilation image in step S1105 is referred to as a “second edge image”.
まず、選択色分解画像の中に、未処理の黒画素連結領域があるか否かを判断する(ステップS1301)。未処理の黒画素連結領域がある場合(ステップS1301:Yes)、未処理の黒画素連結領域を選択する(ステップS1302)。つぎに、選択黒画素連結領域と接する黒画素連結領域を、第1および第2エッジ画像から抽出する(ステップS1303)。これにより、第1エッジ画像については図10の(A)、第2エッジ画像については図10の(B)に示した結果が得られる。 First, it is determined whether or not there is an unprocessed black pixel connection area in the selected color separation image (step S1301). If there is an unprocessed black pixel connection area (step S1301: Yes), an unprocessed black pixel connection area is selected (step S1302). Next, a black pixel connection area in contact with the selected black pixel connection area is extracted from the first and second edge images (step S1303). As a result, the results shown in FIG. 10A for the first edge image and the results shown in FIG. 10B for the second edge image are obtained.
そして、それぞれ、画素数p1,p2を算出して(ステップS1304)、p1/p2<tであるか否かを判断する(ステップS1305)。p1/p2<tでない場合(ステップS1305:No)、p1/p2がしきい値t以上であるため、ステップS1301に戻る。一方、p1/p2<tである場合(ステップS1305:Yes)、選択黒画素連結領域を、動いているパターンであるとして選択色分解画像から削除する(ステップS1306)。また、ステップS1301において、未処理の黒画素連結領域がない場合(ステップS1301:No)、ステップS1102に戻る。これにより、色分解2値画像(910〜940)が生成される。 Then, the numbers of pixels p1 and p2 are calculated (step S1304), and it is determined whether or not p1 / p2 <t is satisfied (step S1305). If p1 / p2 <t is not satisfied (step S1305: NO), the process returns to step S1301 because p1 / p2 is equal to or greater than the threshold value t. On the other hand, if p1 / p2 <t (step S1305: Yes), the selected black pixel connection area is deleted from the selected color separation image as a moving pattern (step S1306). If there is no unprocessed black pixel connection area in step S1301 (step S1301: No), the process returns to step S1102. Thereby, a color separation binary image (910-940) is produced | generated.
(行領域抽出部305の詳細な処理内容)
つぎに、行領域抽出部305の詳細な処理内容について説明する。図14は、行領域抽出部305による行領域抽出処理(ステップS105)の詳細な処理手順を示すフローチャートである。図14において、まず、行方向決定処理を実行する(ステップS1401)。具体的には、色分解2値画像の領域形状から行方向を決定する。すなわち、色分解2値画像の領域形状が横長なら横書き、縦長なら縦書きとする。行方向は、色分解2値画像の画素の縦横比で決定することができる。
(Detailed processing contents of the line area extraction unit 305)
Next, detailed processing contents of the line
つぎに、色分解2値画像を絞り込む(ステップS1402)。具体的には、黒画素面積(黒画素数)から決定行方向の走査時の白黒変化数を引いた値を評価値として、上位4枚の色分解2値画像に絞り込む。なお、上位4枚の色分解2値画像を選択することとなっているが、選択数は、4枚に限らず任意に設定することができる。本例では、色分解2値画像が4枚しかないため、その4枚が選ばれることとなる。 Next, the color separation binary image is narrowed down (step S1402). Specifically, the value obtained by subtracting the number of black and white changes during scanning in the determined row direction from the black pixel area (number of black pixels) is narrowed down to the top four color separation binary images as an evaluation value. Although the top four color separation binary images are selected, the number of selections is not limited to four and can be arbitrarily set. In this example, since there are only four color-separated binary images, the four are selected.
そして、未処理の色分解2値画像があるか否かを判断する(ステップS1403)。未処理の色分解2値画像がある場合(ステップS1403:Yes)、未処理の色分解2値画像を選択する(ステップS1404)。そして、選択色分解2値画像の中に、未処理の黒画素連結領域があるか否かを判断する(ステップS1405)。未処理の黒画素連結領域がない場合(ステップS1405:No)、ステップS1403に戻る。一方、未処理の黒画素連結領域がある場合(ステップS1405:Yes)、未処理の黒画素連結領域を1つ選択する(ステップS1406)。 Then, it is determined whether or not there is an unprocessed color separation binary image (step S1403). If there is an unprocessed color separation binary image (step S1403: Yes), an unprocessed color separation binary image is selected (step S1404). Then, it is determined whether or not there is an unprocessed black pixel connection area in the selected color separation binary image (step S1405). When there is no unprocessed black pixel connection area (step S1405: No), the process returns to step S1403. On the other hand, when there is an unprocessed black pixel connection area (step S1405: Yes), one unprocessed black pixel connection area is selected (step S1406).
そして、選択黒画素連結領域に対して1文字認識処理を実行する(ステップS1407)。1文字認識処理とは、選択黒画素連結領域が1つの文字パターンとして認識する処理である。具体的には、確信度Cと呼ばれる評価値を用いて、選択黒画素連結領域が1つの文字パターンであることを認識する。 Then, a single character recognition process is executed for the selected black pixel connection region (step S1407). The one character recognition process is a process in which the selected black pixel connection region recognizes as one character pattern. Specifically, using the evaluation value called the certainty factor C, it is recognized that the selected black pixel connection area is one character pattern.
確信度Cとは、入力画像(選択黒画素連結領域)の特徴量との類似度の高さをあらわす評価値である。確信度Cの算出法については、特開2000−306045に詳細に説明されているため、ここでは、簡単に説明する。 The certainty factor C is an evaluation value representing the high degree of similarity with the feature amount of the input image (selected black pixel connection region). Since the calculation method of the certainty factor C is described in detail in Japanese Patent Laid-Open No. 2000-306045, it will be briefly described here.
図15は、確信度Cの算出方法を示す説明図である。確信度Cを求める場合、選択黒画素連結領域と辞書の文字との比較をおこなう。具体的には、(A)において、選択黒画素連結領域『あ』(この段階では、文字かどうかわからない)の特徴量を示す特徴ベクトルと、辞書内の各登録文字(n個)の特徴量を示す特徴ベクトルとを求め、選択黒画素連結領域『あ』の特徴ベクトルと辞書内の各登録文字の特徴ベクトルとの距離d1〜dnを求める。選択黒画素連結領域は、距離の値が小さい登録文字ほど類似している。そのため、距離で昇順にソートする。 FIG. 15 is an explanatory diagram illustrating a method of calculating the certainty factor C. When obtaining the certainty factor C, the selected black pixel connection area is compared with the characters in the dictionary. Specifically, in (A), a feature vector indicating the feature amount of the selected black pixel connection area “A” (whether or not it is a character at this stage), and the feature amount of each registered character (n) in the dictionary And the distances d1 to dn between the feature vector of the selected black pixel connection region “A” and the feature vector of each registered character in the dictionary. The selected black pixel connection region is more similar to a registered character having a smaller distance value. Therefore, sort by the distance in ascending order.
(B)は昇順でのソート結果を示している。そして、(C)のように、1位の距離を2位の距離で除算する。K(0<K≦1)の値が小さい場合、1位の距離と2位の距離との距離差が大きいため、選択黒画素連結領域が1位の登録文字に類似している可能性が高くなる。逆に、Kの値が大きくなるにつれ、1位と2位の区別がつきにくくなる。したがって、(D)に示したように、Kの値が小さいほど大きい値の確信度Cを割り当て、Kの値が大きいほど小さい値の確信度Cを割り当てる。確信度Cは、ここでは、0≦C≦999とする。このように、確信度Cの値が大きいと一意に対応する登録文字が存在することをあらわす。 (B) shows the sorting result in ascending order. Then, as shown in (C), the first place distance is divided by the second place distance. When the value of K (0 <K ≦ 1) is small, there is a possibility that the selected black pixel connected region is similar to the registered character of the first place because the distance difference between the first place and the second place is large. Get higher. Conversely, as the value of K increases, it becomes difficult to distinguish the first place from the second place. Therefore, as shown in (D), the smaller the K value, the higher the certainty factor C is assigned, and the larger the K value, the smaller the certainty factor C is assigned. Here, the certainty factor C is 0 ≦ C ≦ 999. Thus, if the value of certainty factor C is large, it indicates that there is a registered character that uniquely corresponds.
そして、図14において、確信度CがC≦Ctであるか否かを判断する(ステップS1408)。Ctとはしきい値であり、たとえば、Ct=500とする。C≦Ctでない場合(ステップS1408:No)、選択黒画素連結領域は文字でないと認識されるため、ステップS1405に戻る。一方、C≦Ctである場合(ステップS1408:Yes)、選択黒画素連結領域は文字である可能性が高いため、選択黒画素連結領域の外接矩形(内の画素)を投影軸に投影して(ステップS1409)、ステップS1405に戻る。 Then, in FIG. 14, it is determined whether or not the certainty factor C is C ≦ Ct (step S1408). Ct is a threshold value, for example, Ct = 500. If C ≦ Ct is not satisfied (step S1408: NO), the selected black pixel connection area is recognized as not a character, and the process returns to step S1405. On the other hand, when C ≦ Ct (step S1408: Yes), since the selected black pixel connection area is likely to be a character, the circumscribed rectangle (inner pixel) of the selected black pixel connection area is projected onto the projection axis. (Step S1409), the process returns to Step S1405.
ここで、投影軸とは、ステップS1401で決定された行方向に直交する方向を示す軸である。この投影軸に選択黒画素連結領域の外接矩形(内の画素)を投影することで、画素のヒストグラムが生成される。 Here, the projection axis is an axis indicating a direction orthogonal to the row direction determined in step S1401. By projecting the circumscribed rectangle (inner pixels) of the selected black pixel connection area onto this projection axis, a histogram of the pixels is generated.
図16は、ヒストグラムの生成例を示す説明図である。図16において、ヒストグラムは、各色分解2値画像910〜940について、ステップS1403〜S1409を実行して累積することで生成される。このヒストグラムの座標軸のうち横軸は画素数であり、縦軸Xは投影軸である。
FIG. 16 is an explanatory diagram of an example of generating a histogram. In FIG. 16, the histogram is generated by executing steps S1403 to S1409 and accumulating the color
そして、図14のステップS1403において、未処理の色分解2値画像がないと判断された場合(ステップS1403:No)、行領域決定処理を実行する(ステップS1410)。行領域決定処理では、ヒストグラムの山毎に、たとえば、画素数がピークの20%の領域を行領域として抽出する。ただし、山の幅が10画素以下の行はノイズとして削除する。 If it is determined in step S1403 in FIG. 14 that there is no unprocessed color separation binary image (step S1403: No), row area determination processing is executed (step S1410). In the row area determination process, for example, an area where the number of pixels is 20% of the peak is extracted as a row area for each mountain of the histogram. However, a line having a peak width of 10 pixels or less is deleted as noise.
たとえば、図16では、ヒストグラムの第1の山H1のピークの20%はt1であるため、その行高さh1が特定される。同様に、ヒストグラムの第2の山H2のピークの20%はt2であるため、その行高さh2が抽出される。抽出された行高さh1,h2を少し拡大してもよい。これにより、色分解2値画像ごとに行領域が決定される。 For example, in FIG. 16, since 20% of the peak of the first peak H1 of the histogram is t1, the row height h1 is specified. Similarly, since 20% of the peak of the second peak H2 of the histogram is t2, the row height h2 is extracted. The extracted row heights h1 and h2 may be slightly enlarged. Thereby, a row region is determined for each color separation binary image.
図17は、決定された行領域を示す説明図である。色分解2値画像910は、行領域L11,L12を有する。行領域L11の行高さはh1、行領域L12の行高さはh2である。色分解2値画像920は、行領域L21,L22を有する。行領域L21の行高さはh1、行領域L22の行高さはh2である。色分解2値画像930は、行領域L31,L32を有する。行領域L31の行高さはh1、行領域L32の行高さはh2である。色分解2値画像940は、行領域L41,L42を有する。行領域L41の行高さはh1、行領域L42の行高さはh2である。
FIG. 17 is an explanatory diagram showing the determined row area. The color separation
(行領域選択部306の詳細な処理内容)
つぎに、行領域選択部306の詳細な処理内容について説明する。行領域選択部306では、行領域が特定された各色分解2値画像から、文字らしい黒画素連結領域が多く存在する行領域を行ごとに選択する。具体的には、図17を例に挙げると、同一行(1行目)の行領域L11,L21,L31,L41の中から、文字らしい黒画素連結領域が多く存在する行領域を選択する。同様に、同一行(2行目)の行領域L12,L22,L32,L42の中から、文字らしい黒画素連結領域が多く存在する行領域を選択する。選択された各行領域が、同一の色分解2値画像に存在する必要はない。
(Detailed processing contents of the row area selection unit 306)
Next, detailed processing contents of the row
行領域選択部306では、行ごとに以下の処理を行う。すべての色分解2値画像に対して、以下の処理を行う。なお、色分解画像の数が、たとえば5以上である場合、ステップS1402により絞り込まれた色分解2値画像のみを処理対象とする。4以下の場合はすべての色分解2値画像を対象とする。
The row
また、行領域選択部306では、当該色分解2値画像のすべての黒画素連結領域に対して、1文字認識を実行し、以下の(A)〜(C)の条件を満たす場合、妥当な文字として文字数をカウントする。
(A)確信度CがC≧Ctである(たとえば、Ct=0.60)。
(B)外接矩形の各辺の長さが所定画素数(たとえば10画素)以上である。
(C)ノイズ文字と一致しない。
In addition, the row
(A) The certainty factor C is C ≧ Ct (for example, Ct = 0.60).
(B) The length of each side of the circumscribed rectangle is a predetermined number of pixels (for example, 10 pixels) or more.
(C) Does not match the noise character.
図18は、ノイズ文字を示す説明図である。(C)については、ノイズ文字との距離が所定距離以内である場合、一致することとしてもよく、また、ノイズ文字との確信度Cが所定値以上である場合、ノイズ文字と一致することとしてもよい。また、黒画素連結領域が図18に示したノイズ文字の文字パターンと相似である場合に、ノイズ文字と一致することとしてもよい。 FIG. 18 is an explanatory diagram showing noise characters. Regarding (C), if the distance from the noise character is within a predetermined distance, it may be matched, and if the certainty factor C with the noise character is greater than or equal to a predetermined value, it will match the noise character. Also good. Further, when the black pixel connection region is similar to the character pattern of the noise character shown in FIG. 18, it may be matched with the noise character.
このあと、各行で、文字数が一番多い色分解2値画像の行領域を選択する。選択行領域の色分解2値画像を抽出して、元領域サイズの白画像上にコピーして、以降の処理対象とする。以降の処理は、行単位で行うこととなる。 Thereafter, the row area of the color separation binary image having the largest number of characters is selected in each row. A color separation binary image of the selected row area is extracted and copied onto a white image of the original area size to be processed thereafter. Subsequent processing is performed in units of lines.
図19は、行領域選択部306による行領域選択処理(ステップS106)の詳細な処理手順を示すフローチャートである。図19において、未選択の行があるか否かを判断する(ステップS1901)。未選択の行がある場合(ステップS1901:Yes)、未選択の行を選択する(ステップS1902)。図17に示した色分解2値画像では、行が2つ(1行目(上段)、2行目(下段))存在する。いずれの行も未選択であれば、いずれか一方の行を選択することとなる。
FIG. 19 is a flowchart showing a detailed processing procedure of the row region selection process (step S106) by the row
そして、未処理の色分解2値画像があるか否かを判断する(ステップS1903)。未処理の色分解2値画像がある場合(ステップS1903:Yes)、未処理の色分解2値画像からステップS1902による選択行の行領域を抽出する(ステップS1905)。そして、抽出行領域内の全黒画素連結領域の1文字認識処理を実行する(ステップS1906)。具体的には、各黒画素連結領域の確信度Cを算出する。このあと、妥当な文字カウント処理を実行する(ステップS1907)。妥当な文字カウント処理(ステップS1907)については後述する。 It is then determined whether there is an unprocessed color separation binary image (step S1903). If there is an unprocessed color separation binary image (step S1903: Yes), the row area of the selected row in step S1902 is extracted from the unprocessed color separation binary image (step S1905). Then, a single character recognition process is executed for the all black pixel connection area in the extracted line area (step S1906). Specifically, the certainty factor C of each black pixel connection region is calculated. Thereafter, an appropriate character count process is executed (step S1907). An appropriate character count process (step S1907) will be described later.
そして、妥当な文字カウント処理(ステップS1907)後のカウント文字数が記録情報としてすでにメモリに記録されている記録文字数よりも多いか否かを判断する(ステップS1908)。多くない場合(ステップS1908:No)、ステップS1903に戻る。一方、多い場合(ステップS1908:Yes)、メモリに記録された記録情報(選択行、抽出行領域を有する色分解2値画像(の識別番号)、カウント文字数)を更新する(ステップS1909)。そして、ステップS1903に戻る。 Then, it is determined whether or not the number of counted characters after the appropriate character counting process (step S1907) is larger than the number of recorded characters already recorded in the memory as recorded information (step S1908). When there are not many (step S1908: No), it returns to step S1903. On the other hand, if there are many (step S1908: Yes), the recorded information (color separation binary image (identification number) having the selected line and extracted line area, the number of counted characters) recorded in the memory is updated (step S1909). Then, the process returns to step S1903.
一方、ステップS1903において、未処理の色分解2値画像がない場合(ステップS1903:No)、メモリに記録されている最新の記録情報により特定される行領域を抽出し(ステップS1904)、ステップS1901に戻る。このとき選択行が変わるため、メモリ内の記録情報をリセットする。 On the other hand, if there is no unprocessed color separation binary image in step S1903 (step S1903: No), the row area specified by the latest recording information recorded in the memory is extracted (step S1904), and step S1901. Return to. Since the selected line changes at this time, the recorded information in the memory is reset.
そして、ステップS1901において、未選択の行がない場合(ステップS1901:No)、抽出された各行の行領域の画像を、元となる色分解2値画像の領域サイズと同サイズの白画像上の同一位置にコピーすることで、合成2値画像を生成する(ステップS1910)。 In step S1901, if there is no unselected row (step S1901: No), the image of the extracted row area of each row is displayed on the white image having the same size as the area size of the original color separation binary image. A composite binary image is generated by copying to the same position (step S1910).
図20は、合成2値画像の一例を示す説明図である。図20の合成2値画像2000では、元となるエッジ2値画像430の領域サイズと同サイズの白画像2001の同一位置に、選択行領域L11,L12がコピーされている。
FIG. 20 is an explanatory diagram illustrating an example of a composite binary image. In the composite
図21は、図19に示した妥当な文字カウント処理(ステップS1907)の詳細な処理手順を示すフローチャートである。図21において、未処理の認識文字があるか否かを判断する(ステップS2101)。認識文字とは、確信度Cが算出された黒画素連結領域である。未処理の認識文字がある場合(ステップS2101:Yes)、未処理の認識文字を選択する(ステップS2102)。 FIG. 21 is a flowchart showing a detailed processing procedure of the appropriate character count processing (step S1907) shown in FIG. In FIG. 21, it is determined whether there is an unprocessed recognized character (step S2101). The recognized character is a black pixel connection region in which the certainty factor C is calculated. If there is an unprocessed recognized character (step S2101: Yes), an unprocessed recognized character is selected (step S2102).
そして、選択認識文字についてC≧Ctであるか否かを判断する(ステップS2103)。C≧Ctでない場合(ステップS2103:No)、ステップS2101に戻る。一方、C≧Ctである場合(ステップS2103:Yes)、選択認識文字の外接矩形の各辺長が所定画素数以上であるか否かを判断する(ステップS2104)。所定画素数以上でない場合(ステップS2104:No)、ステップS2101に戻る。一方、所定画素数以上である場合(ステップS2104:Yes)、図18に示したノイズ文字と一致するか否かを判断する(ステップS2105)。 And it is judged whether it is C> = Ct about a selection recognition character (Step S2103). If C ≧ Ct is not satisfied (step S2103: NO), the process returns to step S2101. On the other hand, if C ≧ Ct (step S2103: Yes), it is determined whether or not each side length of the circumscribed rectangle of the selected recognition character is equal to or greater than the predetermined number of pixels (step S2104). If it is not greater than the predetermined number of pixels (step S2104: NO), the process returns to step S2101. On the other hand, if the number of pixels is equal to or greater than the predetermined number of pixels (step S2104: Yes), it is determined whether or not the noise character matches that shown in FIG. 18 (step S2105).
ノイズ文字と一致する場合(ステップS2105:Yes)、ステップS2101に戻る。一方、ノイズ文字と不一致である場合(ステップS2105:No)、認識文字を文字としてカウントする(ステップS2106)。すなわち、カウント値が1加算される。そして、ステップS2101に戻る。ステップS2101において、未処理の認識文字がない場合(ステップS2101:No)、ステップS1908に移行する。 If it matches the noise character (step S2105: YES), the process returns to step S2101. On the other hand, when it does not coincide with the noise character (step S2105: No), the recognized character is counted as a character (step S2106). That is, 1 is added to the count value. Then, the process returns to step S2101. In step S2101, if there is no unprocessed recognized character (step S2101: No), the process proceeds to step S1908.
これにより、文字カウント数が多い行領域は、文字らしい黒画素連結領域が多く存在することとなる。したがって、この行領域選択部306および行領域選択処理(ステップS106)により、複数ある色分解2値画像から、最も文字らしい行領域を行ごとに抽出することができる。
As a result, there are many black pixel connection regions that are likely to be characters in a row region with a large character count. Therefore, by this line
(文字間ノイズ除去処理部307の詳細な処理内容)
つぎに、文字間ノイズ除去処理部307の詳細な処理内容について説明する。行領域選択部306により得られた合成2値画像から行領域ごとに、文字に相当する黒画素連結領域間のノイズを除去する。
(Detailed processing contents of the inter-character noise removal processing unit 307)
Next, detailed processing contents of the inter-character noise
図22は、パターンの規則性による文字間ノイズ除去処理部307による文字間ノイズ除去処理(ステップS107)の詳細な処理手順を示すフローチャートである。図22において、まず、図20に示した合成2値画像2000の中から未処理の行領域があるか否かを判断する(ステップS2201)。未処理の行領域がある場合(ステップS2201:Yes)、未処理の行領域を選択して(ステップS2202)、キー文字抽出処理(ステップS2203)、文字候補矩形抽出処理(ステップS2204)、重複・包含矩形のノイズ除去処理(ステップS2205)および文字間ノイズ除去処理(ステップS2206)を実行する。
FIG. 22 is a flowchart showing a detailed processing procedure of the inter-character noise removal processing (step S107) by the inter-character noise
このあと、ステップS2201に戻る。ステップS2201において、未処理の行領域がない場合(ステップS2201:No)、文字矩形内ノイズ除去処理(ステップS108)に移行する。 Thereafter, the process returns to step S2201. If there is no unprocessed line area in step S2201 (step S2201: No), the process proceeds to character rectangle noise removal processing (step S108).
ここで、キー文字抽出処理(ステップS2203)について具体的に説明する。選択行領域内の各黒画素連結領域を1文字認識する。具体的には、ステップS1906のように、各黒画素連結領域について確信度Cを算出する。この認識文字(確信度Cが算出された黒画素連結領域)について、以下の条件(D)〜(F)を満たすものをキー文字として選択する。なお、キー文字の数の上限は、本例では出現順に10個とする。個数は任意に設定可能である。(D)〜(F)を満たすキー文字について、それぞれ外接矩形を求める。すなわち、キー文字とは、行領域内の黒画素連結領域群の中の文字らしい黒画素連結領域である。 Here, the key character extraction process (step S2203) will be specifically described. One character is recognized in each black pixel connection region in the selected row region. Specifically, the confidence C is calculated for each black pixel connection region as in step S1906. About this recognition character (black pixel connection area | region where the certainty factor C was calculated), what satisfies the following conditions (D)-(F) is selected as a key character. In this example, the upper limit of the number of key characters is 10 in the order of appearance. The number can be set arbitrarily. A circumscribed rectangle is obtained for each key character satisfying (D) to (F). That is, the key character is a black pixel connection region that seems to be a character in the black pixel connection region group in the row region.
(D)距離di(図15の(B)に示した最小距離)がdi≦td(tdは距離しきい値で、たとえば、td=1800)である。
(E)ノイズ文字(図18を参照)と一致しない(一致判断は上記(C)と同様。)。
(F)選択行領域内に収まっている(はみ出していない)こと。
(D) The distance di (minimum distance shown in FIG. 15B) is di ≦ td (td is a distance threshold, for example, td = 1800).
(E) Does not match the noise character (see FIG. 18) (matching determination is the same as (C) above).
(F) It is within the selected line area (does not protrude).
つぎに、文字候補矩形抽出処理(ステップS2204)について具体的に説明する。文字候補矩形抽出処理はキー文字ごとに実行する。具体的には、キー文字の外接矩形を上下左右に10%拡大した窓矩形を、当該キー文字から行方向に移動していき、以下の条件に該当する黒画素連結領域について外接矩形を求めて、文字候補矩形として記録する。このあと、文字候補矩形として選ばれた黒画素連結領域について1文字認識(確信度Cの算出)をおこなって、登録辞書から文字コードを取得する。これにより、窓矩形に包含されれば、黒画素連結領域が複数存在していても1文字として扱われることとなる。 Next, the character candidate rectangle extraction process (step S2204) will be specifically described. The character candidate rectangle extraction process is executed for each key character. Specifically, a window rectangle obtained by enlarging the circumscribed rectangle of the key character by 10% vertically, horizontally, is moved in the row direction from the key character, and the circumscribed rectangle is obtained for the black pixel connection region corresponding to the following conditions. And recorded as a character candidate rectangle. Thereafter, one character recognition (calculation of certainty factor C) is performed on the black pixel connection region selected as the character candidate rectangle, and the character code is acquired from the registration dictionary. As a result, if it is included in the window rectangle, even if there are a plurality of black pixel connection regions, it is treated as one character.
(G)窓矩形に完全に含まれる黒画素連結領域であること(ただし、窓矩形が他の連結領域と重複していてもかまわない)。
(H)既出でないこと(同一矩形の複数出現防止のため)。
(G) A black pixel connection region completely included in the window rectangle (however, the window rectangle may overlap with other connection regions).
(H) Not appearing (to prevent multiple appearances of the same rectangle).
図23は、文字候補矩形抽出処理の具体例を示す説明図である。図23では、図20に示した合成2値画像2000の1行目の行領域についての文字候補抽出を示している。この図23の例では、『早』、『月』、および『す』のような黒画素連結領域がキー文字であり、矩形2300がキー文字に外接するキー文字矩形、矩形2301がキー文字矩形2300を拡大した窓矩形であり、行方向(左右)に移動させて、窓矩形2301に完全に含まれる黒画素連結領域を特定する。符号のない矩形は、文字候補矩形である。この処理にしたがえば、キー文字矩形も文字候補矩形となる。
FIG. 23 is an explanatory diagram of a specific example of the character candidate rectangle extraction process. FIG. 23 shows character candidate extraction for the first row area of the composite
図24は、図22に示した文字候補矩形抽出処理(ステップS2204)の詳細な処理手順を示すフローチャートである。図24において、まず、未処理のキー文字があるか否かを判断する(ステップS2401)。未処理のキー文字がある場合(ステップS2401:Yes)、未処理のキー文字を選択して(ステップS2402)、選択キー文字について窓矩形を生成して、行方向に移動を開始させる(ステップS2403)。そして、選択行領域内をすべて移動したか否かを判断する(ステップS2404)。 FIG. 24 is a flowchart showing a detailed processing procedure of the character candidate rectangle extraction process (step S2204) shown in FIG. In FIG. 24, it is first determined whether or not there is an unprocessed key character (step S2401). If there is an unprocessed key character (step S2401: Yes), an unprocessed key character is selected (step S2402), a window rectangle is generated for the selected key character, and movement in the row direction is started (step S2403). ). Then, it is determined whether or not all of the selected row area has been moved (step S2404).
移動していない場合(ステップS2404:No)、窓矩形に包含される黒画素連結領域があるか否かを判断する(ステップS2405)。黒画素連結領域がない場合(ステップS2405:No)、ステップS2404に戻る。一方、黒画素連結領域がある場合(ステップS2405:Yes)、その検出された黒画素連結領域に外接する文字候補矩形を作成する(ステップS2406)。そして、作成された文字候補矩形が既出矩形であるか否かを判断する(ステップS2407)。 If it has not moved (step S2404: No), it is determined whether there is a black pixel connection region included in the window rectangle (step S2405). When there is no black pixel connection area (step S2405: No), the process returns to step S2404. On the other hand, if there is a black pixel connection area (step S2405: Yes), a character candidate rectangle circumscribing the detected black pixel connection area is created (step S2406). Then, it is determined whether or not the created character candidate rectangle is an existing rectangle (step S2407).
既出矩形である場合(ステップS2407:Yes)、ステップS2404に戻る。一方、既出矩形でない場合(ステップS2407:No)、文字候補矩形およびその内部の黒画素連結領域をメモリに保存して(ステップS2408)、ステップS2404に戻る。また、ステップS2404において、選択行領域内をすべて移動した場合(ステップS2404:Yes)、ステップS2401に戻る。ステップS2401において、未処理のキー文字がない場合(ステップS2401:No)、重複・包含矩形のノイズ除去処理(ステップS2205)に移行する。これにより、図23に示したような文字候補矩形の集合を得ることができる。図25は、文字候補矩形抽出処理結果を示す説明図である。 When it is an already-exposed rectangle (step S2407: Yes), the process returns to step S2404. On the other hand, if it is not an already-exposed rectangle (step S2407: No), the character candidate rectangle and the black pixel connection area inside it are stored in the memory (step S2408), and the process returns to step S2404. In step S2404, if the entire selected row area has been moved (step S2404: YES), the process returns to step S2401. In step S2401, when there is no unprocessed key character (step S2401: No), the process proceeds to the noise removal process for overlapping / inclusive rectangles (step S2205). Thereby, a set of character candidate rectangles as shown in FIG. 23 can be obtained. FIG. 25 is an explanatory diagram showing the result of the character candidate rectangle extraction process.
つぎに、重複・包含矩形のノイズ除去処理(ステップS2205)について具体的に説明する。重複・包含矩形のノイズ除去処理では、一方の文字候補矩形が他方の文字候補矩形に含まれている場合(包含関係)や、一方の文字候補矩形の一部が他方の文字候補矩形に重なっている場合(重複関係)、両文字候補矩形内のノイズを除去する。包含関係や重複関係は両文字候補矩形の頂点座標値により判別することができる。 Next, the noise removal process (step S2205) for overlapping / inclusive rectangles will be described in detail. In the noise removal processing for overlapping / inclusion rectangles, when one character candidate rectangle is included in the other character candidate rectangle (inclusion relationship), or part of one character candidate rectangle overlaps the other character candidate rectangle If there is any overlap (overlapping relationship), noise in both character candidate rectangles is removed. Inclusion relations and overlapping relations can be determined from the vertex coordinate values of both character candidate rectangles.
ここで、帰属度(%)という評価値を用いる。帰属度とは、文字候補矩形内の黒画素連結領域を、それにより推定される文字コードと仮定したときの文字らしさをあらわす値である。帰属度が高いとそれだけ推定された文字コードが確からしいことをあらわす。 Here, an evaluation value called degree of attribution (%) is used. The degree of attribution is a value that represents the character likeness when the black pixel connection region in the character candidate rectangle is assumed to be the character code estimated by the region. If the degree of attribution is high, this indicates that the estimated character code is likely.
帰属度は、文字候補矩形内の黒画素連結領域により推定される文字コードとその距離から帰属度を求められる。帰属度は、予め文字コード(カテゴリ)毎に学習サンプルを認識して距離を求めて、距離に関するヒストグラムを求めておき、このヒストグラムを参照して算出する確率である。 The degree of attribution can be obtained from the character code estimated by the black pixel connection area in the character candidate rectangle and its distance. The degree of attribution is a probability that a distance is obtained by recognizing a learning sample for each character code (category) in advance, a histogram related to the distance is obtained, and the histogram is calculated with reference to the histogram.
ある文字を1文字認識(図15を参照)した結果、文字コードがcで、距離がdの場合は、文字コードcの距離に関するヒストグラムを参照し、このヒストグラムの中で距離d以上の面積を全体の面積で割った値を帰属度とする。距離に関するヒストグラムは、文字コードごとにあらかじめROM202、RAM203、HD205などの記憶領域に記憶されている。
As a result of recognizing one character (see FIG. 15), when the character code is c and the distance is d, a histogram relating to the distance of the character code c is referred to, and an area equal to or larger than the distance d in the histogram is determined. The value divided by the total area is taken as the degree of attribution. The distance-related histogram is stored in advance in a storage area such as the
図26は、ある文字コードの頻度分布を示すグラフである。このグラフは、ある文字コードcにおける認識文字との距離に関するヒストグラム2600を示している。横軸は距離、縦軸が頻度である。距離が短いほど、文字コードcとして選ばれる頻度が高い。図26において、求められた距離d以上のヒストグラム2600の面積(図6中、塗りつぶされた領域)をSd、ヒストグラム2600全体の面積をSとすると、文字コードcへの帰属度Bcは、Bc=Sd/Sとなる。
FIG. 26 is a graph showing the frequency distribution of a certain character code. This graph shows a
ここで、ノイズ除去の条件について説明する。まず、包含関係の場合について説明する。2つの文字候補矩形が包含関係である場合、
(I)包含されている文字候補矩形の高さが行高さの一定割合(たとえば30%)以下の場合、包含されている文字候補矩形(内部の黒画素連結領域含む)を削除する。ただし、文字候補矩形が中心付近にある行方向に長い矩形である場合は、長音である可能性があるため、削除しない。
Here, the noise removal conditions will be described. First, the case of the inclusion relationship will be described. If two candidate character rectangles are inclusive,
(I) If the height of the included character candidate rectangle is equal to or less than a certain ratio (for example, 30%) of the line height, the included character candidate rectangle (including the internal black pixel connection region) is deleted. However, if the candidate character rectangle is a rectangle that is long in the row direction near the center, it may not be deleted because it may be a long sound.
(J)(I)以外で、帰属度の差が所定のしきい値(たとえば40%)未満で、かつ、行方向の開始座標・終了座標の誤差が所定画素(たとえば3画素)以内の場合、行高さ方向が大きい方の文字候補矩形を選択して、他方の文字候補矩形(内部の黒画素連結領域含む)を削除する。 (J) Other than (I), the difference in the degree of attribution is less than a predetermined threshold value (for example, 40%), and the error in the start and end coordinates in the row direction is within a predetermined pixel (for example, 3 pixels) The character candidate rectangle with the larger line height direction is selected, and the other character candidate rectangle (including the internal black pixel connection region) is deleted.
図27は、包含関係を示す説明図である。図27においては、包含関係にある両文字候補矩形2700,2701のうち、包含している文字候補矩形2700が残され、包含されている文字候補矩形2701が削除されることとなる。
FIG. 27 is an explanatory diagram showing an inclusion relationship. In FIG. 27, among the
つぎに重複関係の場合について説明する。2つの文字候補矩形が重複関係にある場合、(K)大きい方の文字候補矩形が濁点/半濁点文字であるが文字コードがそうでない場合、小さい方の文字候補矩形(内部の黒画素連結領域含む)を削除する。文字コードが同じ場合は帰属度が小さい方の文字候補矩形(内部の黒画素連結領域含む)を削除する。 Next, the case of an overlapping relationship will be described. When two character candidate rectangles are in an overlapping relationship, (K) when the larger character candidate rectangle is a dakuten / half dakuten character but the character code is not, the smaller character candidate rectangle (internal black pixel connection region) Delete). If the character codes are the same, the character candidate rectangle with the smaller degree of attribution (including the internal black pixel connection region) is deleted.
(L)(K)以外、すなわち、大きい方の文字候補矩形が濁点/半濁点文字でない場合、両文字候補矩形の帰属度の差が所定のしきい値(たとえば16%)以上である場合に、帰属度が小さい方の文字候補矩形(内部の黒画素連結領域含む)を削除する。 (L) Other than (K), that is, when the larger character candidate rectangle is not a dakuten / half dakuten character, when the difference in the degree of belonging between the two character candidate rectangles is a predetermined threshold value (for example, 16%) or more The character candidate rectangle with the smaller degree of attribution (including the internal black pixel connection region) is deleted.
(M)(K)以外で、両文字候補矩形の帰属度の差が所定のしきい値(たとえば16%)未満である場合に、一方の文字候補矩形における行方向の矩形端座標の差と他方の文字候補矩形における行方向の矩形端座標の差が、ともに所定画素以内である場合、行高さ方向が大きい方の文字候補矩形を選択して、他方の文字候補矩形(内部の黒画素連結領域含む)を削除する。すなわち、大きい方の文字候補矩形を残すこととなる。 (M) Other than (K), when the difference in the degree of membership between the two character candidate rectangles is less than a predetermined threshold (for example, 16%), the difference between the rectangle end coordinates in the row direction in one character candidate rectangle If the difference between the rectangle edge coordinates in the row direction in the other character candidate rectangle is within a predetermined pixel, the character candidate rectangle having the larger row height direction is selected and the other character candidate rectangle (internal black pixel) is selected. Delete (including linked areas). That is, the larger character candidate rectangle is left.
図28は、重複関係を示す説明図である。図28においては、重複関係にある両文字候補矩形2800,2801のうち、非文字パターンである文字候補矩形2801は、距離dが大きくなりやすいため帰属度Bcが低くなる。したがって、距離dが短い文字コードに対応する文字候補矩形2800が残ることとなる。
FIG. 28 is an explanatory diagram showing an overlapping relationship. In FIG. 28, among the two
図29は、重複・包含矩形のノイズ除去処理(ステップS2205)の詳細な処理手順を示すフローチャートである。図29において、未処理の文字候補矩形ペアがあるか否かを判断する(ステップS2901)。未処理の文字候補矩形ペアがある場合(ステップS2901:Yes)、未処理の文字候補矩形ペアを選択する(ステップS2902)。 FIG. 29 is a flowchart showing a detailed processing procedure of the noise removal processing for overlapping / inclusive rectangles (step S2205). In FIG. 29, it is determined whether there is an unprocessed character candidate rectangle pair (step S2901). If there is an unprocessed character candidate rectangle pair (step S2901: YES), an unprocessed character candidate rectangle pair is selected (step S2902).
つぎに、選択文字候補矩形ペアが包含関係であるか否かを判断する(ステップS2903)。包含関係である場合(ステップS2903:Yes)、上記条件(I),(J)にしたがって、該当する文字候補矩形を削除して(ステップS2904)、ステップS2901に戻る。一方、包含関係でない場合(ステップS2903:No)、重複関係であるか否かを判断する(ステップS2905)。 Next, it is determined whether or not the selected character candidate rectangle pair has an inclusion relationship (step S2903). If it is an inclusion relationship (step S2903: Yes), the corresponding character candidate rectangle is deleted according to the above conditions (I) and (J) (step S2904), and the process returns to step S2901. On the other hand, when it is not an inclusion relationship (step S2903: No), it is determined whether it is an overlap relationship (step S2905).
重複関係である場合(ステップS2905:Yes)、上記条件(K),(L),(M)にしたがって、該当する文字候補矩形を削除して(ステップS2906)、ステップS2901に戻る。一方、重複関係でない場合(ステップS2905:No)、ステップS2901に戻る。ステップS2901において、未処理の文字候補矩形ペアがない場合(ステップS2901:No)、文字間ノイズ除去処理(ステップS2206)に移行する。これにより、重複または包含により発生している文字とは関係のないノイズを自動除去することができる。 If there is an overlapping relationship (step S2905: YES), the corresponding character candidate rectangle is deleted according to the above conditions (K), (L), and (M) (step S2906), and the process returns to step S2901. On the other hand, when it is not an overlapping relationship (step S2905: No), it returns to step S2901. In step S2901, if there is no unprocessed character candidate rectangle pair (step S2901: NO), the process proceeds to the inter-character noise removal process (step S2206). As a result, it is possible to automatically remove noise that is not related to characters generated due to duplication or inclusion.
図30は、重複・包含矩形のノイズ除去処理(ステップS2205)によるノイズ除去処理結果を示す説明図である。図25と比較すると、文字候補矩形が絞り込まれていることがわかる。 FIG. 30 is an explanatory diagram showing the result of noise removal processing performed by the noise removal processing for overlapping / inclusive rectangles (step S2205). Compared to FIG. 25, it can be seen that the character candidate rectangles are narrowed down.
つぎに、文字間ノイズ除去処理(ステップS2206)について具体的に説明する。文字間ノイズ除去処理は行領域ごとに実行する。文字間ノイズ除去処理では、重複・包含矩形のノイズ除去処理(ステップS2205)によるノイズ除去処理後の文字候補矩形(図30に示した矩形)間の中心間距離D1の最頻値D1*と矩形間距離D2の最頻値D2*とを求める。 Next, the character noise removal process (step S2206) will be described in detail. The noise removal process between characters is executed for each line area. In the inter-character noise removal processing, the mode D1 * of the center-to-center distance D1 between the character candidate rectangles (rectangles shown in FIG. 30) after the noise removal processing by the noise removal processing of the overlapping / inclusive rectangle (step S2205) and the rectangle The mode value D2 * of the distance D2 is obtained.
図31は、文字候補矩形間の中心間距離D1および矩形間距離D2を示す説明図である。すべての文字候補矩形ペアの中心間距離D1および矩形間距離D2を取得して、公知の統計的計算により、中心間距離D1の最頻値D1*と矩形間距離D2の最頻値D2*とを求める。中心間距離D1の最頻値D1*と矩形間距離D2の最頻値D2*の関係に近い文字候補矩形ペアは、文字列らしい文字候補矩形ペアとして認識される。中心間距離D1の最頻値D1*と矩形間距離D2の最頻値D2*とが求まったら、行領域内で重複している重複文字候補矩形集合を求める。 FIG. 31 is an explanatory diagram showing a center distance D1 and a rectangle distance D2 between character candidate rectangles. The distance between the centers D1 and the distance between rectangles D2 of all the character candidate rectangle pairs is obtained, and the mode value D1 * of the center distance D1 and the mode D2 * of the distance between rectangles D2 are obtained by known statistical calculation. Ask for. A character candidate rectangle pair that is close to the relationship between the mode value D1 * of the center distance D1 and the mode value D2 * of the inter-rectangular distance D2 is recognized as a character candidate rectangle pair that seems to be a character string. When the mode value D1 * of the center distance D1 and the mode value D2 * of the inter-rectangular distance D2 are obtained, overlapping character candidate rectangle sets overlapping in the line area are obtained.
図32は、行領域内の重複文字候補矩形集合の一例を示す説明図である。図32において、重複文字候補矩形集合3200は、文字候補矩形s1〜s5が数珠繋ぎで重複している。このように、重複文字候補矩形集合3200内の各文字候補矩形s1〜s5は、全体として数珠繋ぎになっていれば、他の文字候補矩形のうち少なくともいずれか一つと重複していればよい。 FIG. 32 is an explanatory diagram of an example of a duplicate character candidate rectangle set in the row area. In FIG. 32, in the overlapping character candidate rectangle set 3200, the character candidate rectangles s1 to s5 overlap with each other in a daisy chain. As described above, the character candidate rectangles s1 to s5 in the overlapping character candidate rectangle set 3200 need only overlap with at least one of the other character candidate rectangles as long as they are connected as a whole.
そして、重複文字候補矩形集合3200内で中心間距離D1がD1*に近く、かつ矩形間距離D2がD2*に近い矩形列の組み合わせを求める。求めた組み合わせ矩形列において、以下の評価値を求め、最も評価値が大きな矩形列を選択する。 Then, a combination of rectangular columns in which the inter-center distance D1 is close to D1 * and the inter-rectangular distance D2 is close to D2 * in the overlapping character candidate rectangle set 3200 is obtained. In the obtained combination rectangular row, the following evaluation values are obtained, and the rectangular row having the largest evaluation value is selected.
評価値=a×平均帰属度+b×中心間距離項目+c×矩形間距離項目 Evaluation value = a × average membership degree + b × center distance item + c × rectangular distance item
a,b,cは、各評価項目に対する重みで、実験的に求める。たとえば、a=9、b=3、c=1とすることができる。 a, b, and c are weights for each evaluation item, and are experimentally obtained. For example, a = 9, b = 3, and c = 1.
また、平均帰属度とは、組み合わせ矩形列を構成する各文字候補矩形の帰属度の平均値である。中心間距離項目とは、重複文字候補矩形集合3200の区間長Lsを求め、この区間長Lsを中心間距離D1−矩形間距離D2で割った値を文字数Nと推定する。組み合わせ矩形列内の矩形数をMとすると、中心間距離項目は、1−|N−M|/Nとなる。矩形間距離項目とは、選択行領域全体から求めた推定矩形間距離Dを求める。組み合わせ矩形列内の矩形間距離をD1とすると、矩形間距離項目は、1/Σ|D1−D|となる。 Further, the average degree of attribution is an average value of the degree of attribution of each character candidate rectangle constituting the combination rectangle row. In the center distance item, the section length Ls of the overlapping character candidate rectangle set 3200 is obtained, and a value obtained by dividing the section length Ls by the center distance D1−the distance between rectangles D2 is estimated as the number of characters N. When the number of rectangles in the combination rectangle row is M, the center distance item is 1− | N−M | / N. The inter-rectangular distance item obtains the estimated inter-rectangular distance D obtained from the entire selected row area. When the inter-rectangular distance in the combination rectangular row is D1, the inter-rectangular distance item is 1 / Σ | D1-D |.
なお、評価値の算出対象となる組み合わせ矩形列とは、文字列らしい矩形列である。したがって、組み合わせ矩形列とは、互いに重複しない文字候補矩形の組み合わせである。図32の例では、以下の組み合わせ矩形列が得られる。 Note that the combination rectangular string for which the evaluation value is to be calculated is a rectangular string that seems to be a character string. Therefore, the combination rectangle row is a combination of character candidate rectangles that do not overlap each other. In the example of FIG. 32, the following combination rectangular columns are obtained.
{s1,s3}
{s1,s4}
{s1,s5}
{s1,s3,s5}
{s2,s4}
{s2,s5}
{S1, s3}
{S1, s4}
{S1, s5}
{S1, s3, s5}
{S2, s4}
{S2, s5}
評価値が最大の組み合わせ矩形列が得られた場合、当該組み合わせ矩形列に選ばれなかった文字候補矩形はノイズとして削除される。たとえば、評価値が最大の組み合わせ矩形列が{s1,s3,s5}である場合、重複文字候補矩形集合3200から文字矩形候補s2,s4がノイズとして削除される。 When the combination rectangle row having the maximum evaluation value is obtained, the character candidate rectangles that are not selected as the combination rectangle row are deleted as noise. For example, when the combination rectangle string having the maximum evaluation value is {s1, s3, s5}, the character rectangle candidates s2 and s4 are deleted from the duplicate character candidate rectangle set 3200 as noise.
図33は、文字間ノイズ除去処理(ステップS2206)の詳細な処理手順を示すフローチャートである。図33において、未処理の行領域があるか否かを判断する(ステップS3301)。未処理の行領域がある場合(ステップS3301:Yes)、未処理の行領域を選択する(ステップS3302)。そして、選択行領域内のすべての文字候補矩形ペアの中心間距離D1および矩形間距離D2を求めて、その最頻値D1*,D2*を算出する(ステップS3303)。 FIG. 33 is a flowchart showing a detailed processing procedure of the inter-character noise removal processing (step S2206). In FIG. 33, it is determined whether there is an unprocessed row area (step S3301). If there is an unprocessed row area (step S3301: Yes), an unprocessed row area is selected (step S3302). Then, the center distance D1 and the inter-rectangular distance D2 of all the character candidate rectangle pairs in the selected line area are obtained, and the mode values D1 * and D2 * are calculated (step S3303).
つぎに、選択行領域から重複文字候補矩形集合を探索する(ステップS3304)。そして、未処理の重複文字候補矩形集合があるか否かを判断する(ステップS3305)。未処理の重複文字候補矩形集合がある場合(ステップS3305:Yes)、未処理の重複文字候補矩形集合を選択して(ステップS3306)、選択された重複文字候補矩形集合について、組み合わせ矩形列生成処理を実行し(ステップS3307)、ステップS3305に戻る。 Next, a duplicate character candidate rectangle set is searched from the selected line area (step S3304). Then, it is determined whether there is an unprocessed duplicate character candidate rectangle set (step S3305). If there is an unprocessed duplicate character candidate rectangle set (step S3305: Yes), an unprocessed duplicate character candidate rectangle set is selected (step S3306), and a combined rectangle string generation process is performed for the selected duplicate character candidate rectangle set. Is executed (step S3307), and the process returns to step S3305.
一方、ステップS3305において、未処理の重複文字候補矩形集合がない場合(ステップS3305:No)、各組み合わせ矩形列の評価値を算出する(ステップS3308)。そして、評価値が最大の組み合わせ矩形列を文字列らしい矩形列として選択して(ステップS3309)、ステップS3301に戻る。ステップ3301において、未処理の行領域がない場合(ステップS3301:No)、ステップS2201に戻る。 On the other hand, if there is no unprocessed duplicate character candidate rectangle set in step S3305 (step S3305: No), the evaluation value of each combination rectangle column is calculated (step S3308). Then, the combination rectangular string having the maximum evaluation value is selected as a rectangular string that seems to be a character string (step S3309), and the process returns to step S3301. In step 3301, when there is no unprocessed row area (step S3301: No), the process returns to step S2201.
図34は、図33に示した組み合わせ矩形列生成処理(ステップS3307)の詳細な処理手順を示すフローチャートである。図34において、重複文字候補矩形集合の領域一端(図32を参照)からしきい値以内の距離にある文字候補矩形を抽出する(ステップS3401)。図32を例に挙げると、文字候補矩形s1はしきい値以内なので抽出されるが、しきい値によっては、文字候補矩形s2は抽出されない。 FIG. 34 is a flowchart showing a detailed processing procedure of the combined rectangular string generation process (step S3307) shown in FIG. In FIG. 34, character candidate rectangles that are within a threshold distance from one end of the overlapping character candidate rectangle set (see FIG. 32) are extracted (step S3401). Taking FIG. 32 as an example, character candidate rectangle s1 is extracted because it is within the threshold, but depending on the threshold, character candidate rectangle s2 is not extracted.
つぎに、未処理の抽出矩形があるか否かを判断する(ステップS3402)。未処理の抽出矩形がある場合(ステップS3402:Yes)、カレント矩形として取り出し(ステップS3403)、カレント矩形から領域他端(図32を参照)の間に未処理の文字候補矩形があるか否かを判断する(ステップS3404)。未処理の文字候補矩形がある場合(ステップS3404:Yes)、未処理の文字候補矩形を選択する(ステップS3405)。 Next, it is determined whether or not there is an unprocessed extracted rectangle (step S3402). If there is an unprocessed extracted rectangle (step S3402: YES), the current rectangle is extracted (step S3403), and whether there is an unprocessed character candidate rectangle between the current rectangle and the other end of the area (see FIG. 32). Is determined (step S3404). If there is an unprocessed character candidate rectangle (step S3404: YES), an unprocessed character candidate rectangle is selected (step S3405).
そして、選択矩形がカレント矩形と妥当な位置関係にあるか否かを判断する(ステップS3406)。具体的には、選択矩形とカレント矩形との中心間距離D1と最頻値D1*との差が許容範囲以内で、かつ、選択矩形とカレント矩形との矩形間距離D2と最頻値D2*との差が許容範囲以内であるか否かを判断する。 Then, it is determined whether or not the selected rectangle has an appropriate positional relationship with the current rectangle (step S3406). Specifically, the difference between the center distance D1 between the selected rectangle and the current rectangle and the mode value D1 * is within an allowable range, and the inter-rectangular distance D2 between the selected rectangle and the current rectangle and the mode value D2 *. It is determined whether or not the difference is within an allowable range.
妥当な位置関係でない場合(ステップS3406:No)、ステップS3404に戻る。一方、妥当な位置関係である場合(ステップS3406:Yes)、選択矩形を組み合わせ矩形列の構成要素の候補としてメモリに記録して(ステップS3407)、ステップS3404に戻る。 If the positional relationship is not appropriate (step S3406: NO), the process returns to step S3404. On the other hand, if the positional relationship is appropriate (step S3406: YES), the selected rectangle is recorded in the memory as a candidate for a constituent element of the combination rectangle column (step S3407), and the process returns to step S3404.
ステップS3404において、未処理の文字候補矩形がない場合(ステップS3404:No)、未処理の記録済み選択矩形があるか否かを判断する(ステップS3408)。未処理の記録済み選択矩形がある場合(ステップS3408:Yes)、領域一端に最も近い未処理の記録済み選択矩形をカレント矩形とし(ステップS3409)、ステップS3404に戻る。 If there is no unprocessed character candidate rectangle in step S3404 (step S3404: NO), it is determined whether there is an unprocessed recorded selection rectangle (step S3408). If there is an unprocessed recorded selection rectangle (step S3408: Yes), the unprocessed recorded selection rectangle closest to one end of the area is set as the current rectangle (step S3409), and the process returns to step S3404.
一方、未処理の記録済み選択矩形がない場合(ステップS3408:No)、ステップS3403で取り出された初期のカレント矩形とステップS3407の記録済み選択矩形とを、組み合わせ矩形列として記録する(ステップS3410)。そして、ステップS3402に戻る。ステップS3402において、未処理の抽出矩形がない場合(ステップS3402:No)、ステップS3305に戻る。 On the other hand, when there is no unprocessed recorded selection rectangle (step S3408: No), the initial current rectangle extracted in step S3403 and the recorded selection rectangle in step S3407 are recorded as a combination rectangle row (step S3410). . Then, the process returns to step S3402. If there is no unprocessed extracted rectangle in step S3402 (step S3402: NO), the process returns to step S3305.
このように、文字間ノイズ除去処理(ステップS2206)により、文字列にふさわしくない黒画素連結領域をノイズとして除去することで、文字列らしいパターンを取り出すことができる。図35は、文字間ノイズ除去処理(ステップS2206)によるノイズ除去処理結果を示す説明図である。 As described above, by removing the black pixel connection region that is not suitable for the character string as noise by the inter-character noise removal processing (step S2206), a pattern that seems to be a character string can be extracted. FIG. 35 is an explanatory diagram showing the result of noise removal processing by the character-to-character noise removal processing (step S2206).
(文字矩形内ノイズ除去処理部308の詳細な処理内容)
つぎに、文字矩形内ノイズ除去処理部308の詳細な処理内容について説明する。文字矩形内ノイズ除去処理部308は、文字候補矩形から文字パターンに該当しない黒画素連結領域を除去して、文字パターンに該当する黒画素連結領域のみを抽出する。具体的には、たとえば、文字候補矩形内の黒画素連結領域が2画素以上10画素以下の場合、黒画素連結領域を組み合わせて文字パターンを生成する。
(Detailed processing contents of the noise
Next, detailed processing contents of the character rectangle noise
図36は、文字パターンの生成例を示す説明図である。この文字候補矩形3600では、内部の黒画素連結領域を組み合わせることで、その右側の文字パターン群が得られる。そして、生成された文字パターンの1文字認識処理(図15を参照)して、距離diを求める。生成された文字パターンの認識結果における第1〜第10候補の文字コードの中で、第1候補の文字コードとの距離diの差が700以内に収まっている候補に対して、最初の文字と同じ文字コードの候補が存在するかどうか調べる。
FIG. 36 is an explanatory diagram of an example of generating a character pattern. In this
同じ文字コードの候補が存在していて、生成された文字パターンの認識結果における第1候補が、最初の文字の第1候補と比較して評価が高くなっている(距離が小さく、確信度Cが大きい)場合、文字パターンと認識結果を組み替える。この処理を以下、具体的に説明する。 There are candidates for the same character code, and the first candidate in the recognition result of the generated character pattern has a higher evaluation than the first candidate for the first character (the distance is small, the confidence C The character pattern and the recognition result are rearranged. This process will be specifically described below.
図37は、文字矩形内ノイズ除去処理部308による文字矩形内ノイズ除去処理の詳細な処理手順を示すフローチャートである。図37において、未処理の文字候補矩形があるか否かを判断する(ステップS3701)。未処理の文字候補矩形がある場合(ステップS3701:Yes)、未処理の文字候補矩形を選択する(ステップS3702)。そして、選択文字候補矩形の文字パターンについて、図15に示したように1文字認識処理を実行する(ステップS3703)。このときの認識結果である文字コードをcとする。そして、この文字コードcの文字パターン(初期では、選択文字候補矩形内の全黒画素連結領域を組み合わせた文字パターン)をメモリに記録する(ステップS3704)。記録文字パターンはよりふさわしい文字パターンが出現すると後述のように更新されることとなる。
FIG. 37 is a flowchart illustrating a detailed processing procedure of the noise removal processing within the character rectangle by the noise
つぎに、図36に示したように、選択文字候補矩形内で黒画素連結領域の全組み合わせを生成する(ステップS3705)。そして、未処理の生成パターンがあるか否かを判断する(ステップS3706)。未処理の生成パターンがある場合(ステップS3706:Yes)、生成パターンを1つ選択し(ステップS3707)、1文字認識処理を実行する(ステップS3708)。このときの認識結果である文字コードをc2とする。そして、c=c2であるか否かを判断する(ステップS3709)。 Next, as shown in FIG. 36, all combinations of black pixel connected regions are generated within the selected character candidate rectangle (step S3705). Then, it is determined whether there is an unprocessed generation pattern (step S3706). If there is an unprocessed generation pattern (step S3706: Yes), one generation pattern is selected (step S3707), and a one-character recognition process is executed (step S3708). The character code that is the recognition result at this time is denoted by c2. Then, it is determined whether c = c2 (step S3709).
c=c2でない場合(ステップS3709:No)、ステップS3706に戻る。一方、c=c2である場合(ステップS3709:Yes)、選択生成パターンと文字コードc2との距離が現在の記録文字パターンと文字コードcとの距離より小さいか否かを判断する(ステップS3710)。小さくない場合(ステップS3710:No)、ステップS3706に戻る。 If c = c2 is not satisfied (step S3709: NO), the process returns to step S3706. On the other hand, if c = c2 (step S3709: YES), it is determined whether or not the distance between the selected generation pattern and the character code c2 is smaller than the distance between the current recorded character pattern and the character code c (step S3710). . If not smaller (step S3710: NO), the process returns to step S3706.
一方、小さい場合(ステップS3710:Yes)、選択生成パターンの確信度が現在の記録文字パターンの確信度より大きいか否かを判断する(ステップS3711)。大きくない場合(ステップS3711:No)、ステップS3706に戻る。一方、大きい場合(ステップS3711:Yes)、記録文字パターンを生成パターンに更新する(ステップS3712)。以後、更新された生成パターンが記録文字パターンとなる。そして、ステップS3706に戻る。 On the other hand, if it is smaller (step S3710: Yes), it is determined whether or not the certainty factor of the selected generation pattern is greater than the certainty factor of the current recorded character pattern (step S3711). If not large (step S3711: NO), the process returns to step S3706. On the other hand, if larger (step S3711: Yes), the recorded character pattern is updated to the generated pattern (step S3712). Thereafter, the updated generated pattern becomes a recorded character pattern. Then, the process returns to step S3706.
一方、ステップS3706において、未処理の生成パターンがない場合(ステップS3706:No)、ステップS3701に戻る。そして、ステップS3701において、未処理の文字候補矩形がない場合(ステップS3701:No)、文字候補矩形ごとに最後まで記録された記録文字パターン群からなる文字列パターンを出力する(ステップS3713)。具体的には、たとえば、ディスプレイ208に表示する。
On the other hand, in step S3706, when there is no unprocessed generation pattern (step S3706: No), the process returns to step S3701. If there is no unprocessed character candidate rectangle in step S3701 (step S3701: NO), a character string pattern consisting of a recorded character pattern group recorded to the end for each character candidate rectangle is output (step S3713). Specifically, it is displayed on the
図38は、出力される文字列パターン3800を示す説明図である。この文字矩形内ノイズ除去処理部308および文字矩形内ノイズ除去処理によれば、各文字候補矩形内において、暫定的な文字パターンに対してより文字コードの文字らしい文字パターンが出現する都度、比較決定するため、文字らしい文字パターン列を得ることができる。
FIG. 38 is an explanatory diagram showing a
以上説明したように、テロップ文字パターン抽出装置、テロップ文字パターン抽出方法、およびテロップ文字パターン抽出プログラムによれば、文字列パターンの抽出精度の向上を図ることができる。 As described above, according to the telop character pattern extraction device, the telop character pattern extraction method, and the telop character pattern extraction program, it is possible to improve the extraction accuracy of the character string pattern.
なお、本実施の形態で説明したテロップ文字パターン抽出方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な媒体であってもよい。なお、上記実施の形態につき、以下に付記する。 The telop character pattern extraction method described in this embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation. This program is recorded on a computer-readable recording medium such as a hard disk, a flexible disk, a CD-ROM, an MO, and a DVD, and is executed by being read from the recording medium by the computer. The program may be a medium that can be distributed through a network such as the Internet. In addition, it adds to the following about the said embodiment.
(付記1)コンピュータを、
テロップを含む一連のフレーム画像の平均画像を取得する取得手段、
前記取得手段によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成手段、
一連のフレーム画像からエッジ抽出したエッジ画像を集積して2値化したエッジ2値画像と、前記生成手段によって生成された色分解画像と、当該色分解画像をダイレーションしたダイレーション画像と、前記平均画像と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去するエッジMFIノイズ除去手段、
前記各色分解画像を前記エッジMFIノイズ除去手段によるノイズ除去することにより得られた各色分解2値画像の中から行ごとに選択された行領域を合成することにより、合成2値画像を生成する行領域選択手段、
前記行領域選択手段によって生成された合成2値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去手段、
として機能させることを特徴とするテロップ文字パターン抽出プログラム。
(Appendix 1)
An acquisition means for acquiring an average image of a series of frame images including a telop;
Generating means for generating a plurality of color separation images by performing color clustering on the average image acquired by the acquiring means;
An edge binary image obtained by accumulating edge images extracted from a series of frame images and binarized; a color separation image generated by the generation unit; a dilation image obtained by dilating the color separation image; An edge MFI noise removing means for removing a moving pattern as noise from each of the color separation images based on the average image;
A row for generating a synthesized binary image by synthesizing a row region selected for each row from each of the color separation binary images obtained by removing noise from each color separation image by the edge MFI noise removing means. Area selection means,
Based on the character recognition result of the character pattern composed of the combination of the pixel connection patterns in the composite binary image generated by the row area selection means, the pixel connection unnecessary for the character pattern from the circumscribed rectangle of the character pattern By removing the pattern as noise, noise removal means in the character rectangle that outputs the character string pattern,
A telop character pattern extraction program characterized by functioning as
(付記2)前記エッジMFIノイズ除去手段は、
前記エッジ2値画像において前記平均画像の画素連結パターンに接する画素数と、前記ダイレーション画像から前記色分解画像を引いた差分画像において前記平均画像の画素連結パターンに接する画素数と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去することを特徴とする付記1に記載のテロップ文字パターン抽出プログラム。
(Supplementary Note 2) The edge MFI noise removing means includes:
Based on the number of pixels in contact with the pixel connection pattern of the average image in the edge binary image and the number of pixels in contact with the pixel connection pattern of the average image in the difference image obtained by subtracting the color separation image from the dilation image. The telop character pattern extraction program according to
(付記3)前記コンピュータを、
前記合成2値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去する文字間ノイズ除去手段として機能させ、
前記文字矩形内ノイズ除去手段は、
前記文字間ノイズ除去手段によるノイズ除去後の合成2値画像に基づいて、前記文字列パターンを出力することを特徴とする付記1または2に記載のテロップ文字パターン抽出プログラム。
(Appendix 3)
Functioning as an inter-character noise removing means for removing a pixel connection pattern that violates a rule of a character string from pixel connection patterns in the composite binary image;
The noise removal means in the character rectangle is
The telop character pattern extraction program according to
(付記4)前記文字間ノイズ除去手段は、
前記合成2値画像内の画素連結パターンの文字認識結果に基づいて、前記合成2値画像の中から文字らしいキー文字パターンを抽出することにより、当該キー文字パターンを包含する矩形に包含される画素連結パターンに外接する文字候補矩形を抽出する文字候補矩形抽出手段と、
前記文字候補矩形抽出手段によって抽出された文字候補矩形ペアが重複関係または包含関係にある場合、文字候補矩形ペアのうち当該重複関係または包含関係に関する規則に違反する文字候補矩形を除去する重複・包含矩形ノイズ除去手段と、を備えることを特徴とする付記3に記載のテロップ文字パターン抽出プログラム。
(Supplementary note 4) The inter-character noise removing means includes:
A pixel included in a rectangle including the key character pattern by extracting a key character pattern that seems to be a character from the composite binary image based on the character recognition result of the pixel connection pattern in the composite binary image. A character candidate rectangle extracting means for extracting a character candidate rectangle circumscribing the connected pattern;
When the character candidate rectangle pair extracted by the character candidate rectangle extracting unit is in an overlap relationship or an inclusion relationship, the overlap / inclusion that removes the character candidate rectangle that violates the rule relating to the overlap relationship or the inclusion relationship from the character candidate rectangle pair The telop character pattern extraction program according to attachment 3, further comprising: a rectangular noise removing unit.
(付記5)前記文字間ノイズ除去手段は、
前記合成2値画像内の画素連結パターンの文字認識結果に基づいて、前記合成2値画像の中から文字らしいキー文字パターンを抽出することにより、当該キー文字パターンを包含する矩形に包含される画素連結パターンに外接する文字候補矩形を抽出する文字候補矩形抽出手段を備え、
前記文字候補矩形抽出手段によって抽出された隣接する文字候補矩形が重複している重複文字候補矩形集合の中から、文字間隔の規則を遵守する文字候補矩形の組み合わせからなる組み合わせ矩形列を抽出することを特徴とする付記3に記載のテロップ文字パターン抽出プログラム。
(Supplementary Note 5) The inter-character noise removing means includes:
A pixel included in a rectangle including the key character pattern by extracting a key character pattern that seems to be a character from the composite binary image based on the character recognition result of the pixel connection pattern in the composite binary image. Character candidate rectangle extracting means for extracting a character candidate rectangle circumscribing the connected pattern is provided,
Extracting a combination rectangle string composed of combinations of character candidate rectangles that comply with the character spacing rules from a set of overlapping character candidate rectangles in which adjacent character candidate rectangles extracted by the character candidate rectangle extraction unit overlap. The telop character pattern extraction program according to appendix 3, characterized by:
(付記6)前記文字間ノイズ除去手段は、
前記合成2値画像内の画素連結パターンの文字認識結果に基づいて、前記合成2値画像の中から文字らしいキー文字パターンを抽出することにより、当該キー文字パターンを包含する矩形に包含される画素連結パターンに外接する文字候補矩形を抽出する文字候補矩形抽出手段と、
前記文字候補矩形抽出手段によって抽出された文字候補矩形ペアが重複関係または包含関係にある場合、文字候補矩形ペアのうち当該重複関係または包含関係に関する規則に違反する文字候補矩形を除去する重複・包含矩形ノイズ除去手段と、を備え、
前記重複・包含矩形ノイズ除去手段によるノイズ除去結果に基づいて、隣接する文字候補矩形が重複している重複文字候補矩形集合の中から、文字間隔の規則を遵守する文字候補矩形の組み合わせからなる組み合わせ矩形列を抽出することを特徴とする付記3に記載のテロップ文字パターン抽出プログラム。
(Appendix 6) The inter-character noise removing means includes:
A pixel included in a rectangle including the key character pattern by extracting a key character pattern that seems to be a character from the composite binary image based on the character recognition result of the pixel connection pattern in the composite binary image. A character candidate rectangle extracting means for extracting a character candidate rectangle circumscribing the connected pattern;
When the character candidate rectangle pair extracted by the character candidate rectangle extracting unit is in an overlapping relationship or inclusive relationship, the overlapping / inclusive method for removing the character candidate rectangle that violates the rule regarding the overlapping relationship or inclusive relationship from the character candidate rectangle pair Rectangular noise removing means,
Based on the noise removal result by the overlapping / inclusive rectangle noise removing means, a combination consisting of a combination of character candidate rectangles that comply with the rule of character spacing from among a set of overlapping character candidate rectangles in which adjacent character candidate rectangles overlap The telop character pattern extraction program according to appendix 3, wherein a rectangular string is extracted.
(付記7)コンピュータを、
テロップを含む一連のフレーム画像の平均画像を取得する取得手段、
前記取得手段によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成手段、
前記生成手段によって生成された各色分解画像の中から行ごとに選択された行領域を合成することにより、合成2値画像を生成する行領域選択手段、
前記行領域選択手段によって生成された合成2値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去する文字間ノイズ除去手段、
前記文字間ノイズ除去手段によるノイズ除去後の合成2値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去手段、
として機能させることを特徴とするテロップ文字パターン抽出プログラム。
(Appendix 7)
An acquisition means for acquiring an average image of a series of frame images including a telop;
Generating means for generating a plurality of color separation images by performing color clustering on the average image acquired by the acquiring means;
A row region selection unit that generates a combined binary image by combining a row region selected for each row from each color separation image generated by the generation unit;
Inter-character noise removing means for removing a pixel connection pattern that violates a character string rule from pixel connection patterns in the composite binary image generated by the row region selection means;
Based on the character recognition result of the character pattern composed of the combination of the pixel connection patterns in the composite binary image after noise removal by the inter-character noise removing means, the character pattern is unnecessary from the circumscribed rectangle of the character pattern. A character rectangle noise removing means for outputting a character string pattern by removing the pixel connection pattern as noise,
A telop character pattern extraction program characterized by functioning as
(付記8)テロップを含む一連のフレーム画像の平均画像を取得する取得手段と、
前記取得手段によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成手段と、
一連のフレーム画像からエッジ抽出したエッジ画像を集積して2値化したエッジ2値画像と、前記色分解画像と、当該色分解画像をダイレーションしたダイレーション画像と、前記平均画像と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去するエッジMFIノイズ除去手段と、
前記各色分解画像を前記エッジMFIノイズ除去手段によるノイズ除去することにより得られた各色分解2値画像の中から行ごとに選択された行領域を合成することにより、合成2値画像を生成する行領域選択手段と、
前記行領域選択手段によって生成された合成2値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去手段と、
を備えることを特徴とするテロップ文字パターン抽出装置。
(Supplementary Note 8) Acquisition means for acquiring an average image of a series of frame images including a telop;
Generation means for generating a plurality of color separation images by color clustering the average image acquired by the acquisition means;
Based on an edge binary image obtained by accumulating edge images extracted from a series of frame images and binarized, the color separation image, a dilation image obtained by dilating the color separation image, and the average image Edge MFI noise removing means for removing a moving pattern as noise from each color separation image;
A row for generating a synthesized binary image by synthesizing a row region selected for each row from each of the color separation binary images obtained by removing noise from each color separation image by the edge MFI noise removing means. Region selection means;
Based on the character recognition result of the character pattern composed of the combination of the pixel connection patterns in the composite binary image generated by the row area selection means, the pixel connection unnecessary for the character pattern from the circumscribed rectangle of the character pattern By removing the pattern as noise, the character rectangle noise removing means for outputting the character string pattern;
A telop character pattern extraction apparatus comprising:
(付記9)テロップを含む一連のフレーム画像の平均画像を取得する取得手段と、
前記取得手段によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成手段と、
前記生成手段によって生成された各色分解画像の中から行ごとに選択された行領域を合成することにより、合成2値画像を生成する行領域選択手段と、
前記行領域選択手段によって生成された合成2値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去する文字間ノイズ除去手段と、
前記文字間ノイズ除去手段によるノイズ除去後の合成2値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去手段と、
を備えることを特徴とするテロップ文字パターン抽出装置。
(Supplementary Note 9) Acquisition means for acquiring an average image of a series of frame images including a telop;
Generation means for generating a plurality of color separation images by color clustering the average image acquired by the acquisition means;
A row region selection unit that generates a composite binary image by synthesizing a row region selected for each row from each color separation image generated by the generation unit;
Inter-character noise removing means for removing a pixel connection pattern that violates a rule of a character string from pixel connection patterns in the composite binary image generated by the row region selection means;
Based on the character recognition result of the character pattern composed of the combination of the pixel connection patterns in the composite binary image after noise removal by the inter-character noise removing means, the character pattern is unnecessary from the circumscribed rectangle of the character pattern. By removing the pixel connection pattern as noise, a character rectangle noise removing means for outputting a character string pattern;
A telop character pattern extraction apparatus comprising:
(付記10)テロップを含む一連のフレーム画像の平均画像を取得する取得工程と、
前記取得工程によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成工程と、
一連のフレーム画像からエッジ抽出したエッジ画像を集積して2値化したエッジ2値画像と、前記色分解画像と、当該色分解画像をダイレーションしたダイレーション画像と、前記平均画像と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去するエッジMFIノイズ除去工程と、
前記各色分解画像を前記エッジMFIノイズ除去工程によるノイズ除去することにより得られた各色分解2値画像の中から行ごとに選択された行領域を合成することにより、合成2値画像を生成する行領域選択工程と、
前記行領域選択工程によって生成された合成2値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去工程と、
を含んだことを特徴とするテロップ文字パターン抽出方法。
(Supplementary Note 10) An acquisition step of acquiring an average image of a series of frame images including a telop;
A generation step of generating a plurality of color separation images by color clustering the average image acquired by the acquisition step;
Based on an edge binary image obtained by accumulating edge images extracted from a series of frame images and binarized, the color separation image, a dilation image obtained by dilating the color separation image, and the average image An edge MFI noise removing step of removing a moving pattern as noise from each of the color separation images;
A row for generating a synthesized binary image by synthesizing a row region selected for each row from each of the color separation binary images obtained by removing noise from each of the color separation images by the edge MFI noise removing step. Region selection process;
Based on the character recognition result of the character pattern that is a combination of each pixel connection pattern in the composite binary image generated by the row area selection step, unnecessary pixel connection from the circumscribed rectangle of the character pattern to the character pattern By removing the pattern as noise, a character rectangle noise removing step for outputting a character string pattern;
A telop character pattern extraction method comprising:
(付記11)テロップを含む一連のフレーム画像の平均画像を取得する取得工程と、
前記取得工程によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成工程と、
前記生成工程によって生成された各色分解画像の中から行ごとに選択された行領域を合成することにより、合成2値画像を生成する行領域選択工程と、
前記行領域選択工程によって生成された合成2値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去する文字間ノイズ除去工程と、
前記文字間ノイズ除去工程によるノイズ除去後の合成2値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去工程と、
を含んだことを特徴とするテロップ文字パターン抽出方法。
(Supplementary Note 11) An acquisition step of acquiring an average image of a series of frame images including a telop;
A generation step of generating a plurality of color separation images by color clustering the average image acquired by the acquisition step;
A row region selection step of generating a composite binary image by combining the row regions selected for each row from the color separation images generated by the generation step;
A character-to-character noise removing step of removing a pixel connection pattern that violates a character string rule from pixel connection patterns in the composite binary image generated by the row region selection step;
Based on the character recognition result of the character pattern composed of a combination of pixel connection patterns in the combined binary image after noise removal by the character noise removal step, the character pattern is unnecessary from the circumscribed rectangle of the character pattern. By removing the pixel connection pattern as noise, a character rectangle noise removal step for outputting a character string pattern; and
A telop character pattern extraction method comprising:
300 テロップ文字パターン抽出装置
301 取得部
302 色分解画像生成部
303 周辺ノイズ除去処理部
304 ノイズ除去処理部
305 行領域抽出部
306 行領域選択部
307 文字間ノイズ除去処理部
308 文字矩形内ノイズ除去処理部
DESCRIPTION OF SYMBOLS 300 Ticker character
Claims (8)
テロップを含む一連のフレーム画像の平均画像を取得する取得手段、
前記取得手段によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成手段、
一連のフレーム画像からエッジ抽出したエッジ画像を集積して2値化したエッジ2値画像と、前記生成手段によって生成された色分解画像と、当該色分解画像をダイレーションしたダイレーション画像と、前記平均画像と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去するエッジMFIノイズ除去手段、
前記各色分解画像を前記エッジMFIノイズ除去手段によるノイズ除去することにより得られた各色分解2値画像の中から行ごとに選択された行領域を合成することにより、合成2値画像を生成する行領域選択手段、
前記行領域選択手段によって生成された合成2値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去手段、
として機能させることを特徴とするテロップ文字パターン抽出プログラム。 Computer
An acquisition means for acquiring an average image of a series of frame images including a telop;
Generating means for generating a plurality of color separation images by performing color clustering on the average image acquired by the acquiring means;
An edge binary image obtained by accumulating edge images extracted from a series of frame images and binarized; a color separation image generated by the generation unit; a dilation image obtained by dilating the color separation image; An edge MFI noise removing means for removing a moving pattern as noise from each of the color separation images based on the average image;
A row for generating a synthesized binary image by synthesizing a row region selected for each row from each color separation binary image obtained by removing noise from each of the color separation images by the edge MFI noise removing unit. Area selection means,
Based on the character recognition result of the character pattern composed of the combination of the pixel connection patterns in the composite binary image generated by the row region selection means, the pixel connection unnecessary for the character pattern from the circumscribed rectangle of the character pattern By removing the pattern as noise, noise removal means in the character rectangle that outputs the character string pattern,
A telop character pattern extraction program characterized by functioning as
前記エッジ2値画像において前記平均画像の画素連結パターンに接する画素数と、前記ダイレーション画像から前記色分解画像を引いた差分画像において前記平均画像の画素連結パターンに接する画素数と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去することを特徴とする請求項1に記載のテロップ文字パターン抽出プログラム。 The edge MFI noise removing means is:
Based on the number of pixels in contact with the pixel connection pattern of the average image in the edge binary image and the number of pixels in contact with the pixel connection pattern of the average image in the difference image obtained by subtracting the color separation image from the dilation image. The telop character pattern extraction program according to claim 1, wherein a moving pattern is removed from the color separation images as noise.
前記合成2値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去する文字間ノイズ除去手段として機能させ、
前記文字矩形内ノイズ除去手段は、
前記文字間ノイズ除去手段によるノイズ除去後の合成2値画像に基づいて、前記文字列パターンを出力することを特徴とする請求項1または2に記載のテロップ文字パターン抽出プログラム。 The computer,
Functioning as an inter-character noise removing means for removing a pixel connection pattern that violates a rule of a character string from pixel connection patterns in the composite binary image;
The noise removal means in the character rectangle is
The telop character pattern extraction program according to claim 1 or 2, wherein the character string pattern is output based on a composite binary image after noise removal by the inter-character noise removing unit.
テロップを含む一連のフレーム画像の平均画像を取得する取得手段、
前記取得手段によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成手段、
前記生成手段によって生成された各色分解画像の中から行ごとに選択された行領域を合成することにより、合成2値画像を生成する行領域選択手段、
前記行領域選択手段によって生成された合成2値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去する文字間ノイズ除去手段、
前記文字間ノイズ除去手段によるノイズ除去後の合成2値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去手段、
として機能させることを特徴とするテロップ文字パターン抽出プログラム。 Computer
An acquisition means for acquiring an average image of a series of frame images including a telop;
Generating means for generating a plurality of color separation images by performing color clustering on the average image acquired by the acquiring means;
A row region selection unit that generates a combined binary image by combining a row region selected for each row from each color separation image generated by the generation unit;
Inter-character noise removing means for removing a pixel connection pattern that violates a character string rule from pixel connection patterns in the composite binary image generated by the row region selection means;
Based on the character recognition result of the character pattern composed of the combination of the pixel connection patterns in the composite binary image after noise removal by the inter-character noise removing means, the character pattern is unnecessary from the circumscribed rectangle of the character pattern. A character rectangle noise removing means for outputting a character string pattern by removing the pixel connection pattern as noise,
A telop character pattern extraction program characterized by functioning as
前記取得手段によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成手段と、
一連のフレーム画像からエッジ抽出したエッジ画像を集積して2値化したエッジ2値画像と、前記色分解画像と、当該色分解画像をダイレーションしたダイレーション画像と、前記平均画像と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去するエッジMFIノイズ除去手段と、
前記各色分解画像を前記エッジMFIノイズ除去手段によるノイズ除去することにより得られた各色分解2値画像の中から行ごとに選択された行領域を合成することにより、合成2値画像を生成する行領域選択手段と、
前記行領域選択手段によって生成された合成2値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去手段と、
を備えることを特徴とするテロップ文字パターン抽出装置。 An acquisition means for acquiring an average image of a series of frame images including a telop;
Generation means for generating a plurality of color separation images by color clustering the average image acquired by the acquisition means;
Based on an edge binary image obtained by accumulating edge images extracted from a series of frame images and binarized, the color separation image, a dilation image obtained by dilating the color separation image, and the average image Edge MFI noise removing means for removing a moving pattern as noise from each color separation image;
A row for generating a synthesized binary image by synthesizing a row region selected for each row from each of the color separation binary images obtained by removing noise from each color separation image by the edge MFI noise removing means. Region selection means;
Based on the character recognition result of the character pattern composed of the combination of the pixel connection patterns in the composite binary image generated by the row area selection means, the pixel connection unnecessary for the character pattern from the circumscribed rectangle of the character pattern By removing the pattern as noise, the character rectangle noise removing means for outputting the character string pattern;
A telop character pattern extraction apparatus comprising:
前記取得手段によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成手段と、
前記生成手段によって生成された各色分解画像の中から行ごとに選択された行領域を合成することにより、合成2値画像を生成する行領域選択手段と、
前記行領域選択手段によって生成された合成2値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去する文字間ノイズ除去手段と、
前記文字間ノイズ除去手段によるノイズ除去後の合成2値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去手段と、
を備えることを特徴とするテロップ文字パターン抽出装置。 An acquisition means for acquiring an average image of a series of frame images including a telop;
Generation means for generating a plurality of color separation images by color clustering the average image acquired by the acquisition means;
A row region selection unit that generates a composite binary image by synthesizing a row region selected for each row from each color separation image generated by the generation unit;
Inter-character noise removing means for removing a pixel connection pattern that violates a rule of a character string from pixel connection patterns in the composite binary image generated by the row region selection means;
Based on the character recognition result of the character pattern composed of the combination of the pixel connection patterns in the composite binary image after noise removal by the inter-character noise removing means, the character pattern is unnecessary from the circumscribed rectangle of the character pattern. By removing the pixel connection pattern as noise, a character rectangle noise removing means for outputting a character string pattern;
A telop character pattern extraction apparatus comprising:
前記取得工程によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成工程と、
一連のフレーム画像からエッジ抽出したエッジ画像を集積して2値化したエッジ2値画像と、前記色分解画像と、当該色分解画像をダイレーションしたダイレーション画像と、前記平均画像と、に基づいて、前記各色分解画像の中から動きのあるパターンをノイズとして除去するエッジMFIノイズ除去工程と、
前記各色分解画像を前記エッジMFIノイズ除去工程によるノイズ除去することにより得られた各色分解2値画像の中から行ごとに選択された行領域を合成することにより、合成2値画像を生成する行領域選択工程と、
前記行領域選択工程によって生成された合成2値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去工程と、
を含んだことを特徴とするテロップ文字パターン抽出方法。 An acquisition step of acquiring an average image of a series of frame images including a telop;
A generation step of generating a plurality of color separation images by color clustering the average image acquired by the acquisition step;
Based on an edge binary image obtained by accumulating edge images extracted from a series of frame images and binarized, the color separation image, a dilation image obtained by dilating the color separation image, and the average image An edge MFI noise removing step of removing a moving pattern as noise from each of the color separation images;
A row for generating a synthesized binary image by synthesizing a row region selected for each row from each of the color separation binary images obtained by removing noise from each of the color separation images by the edge MFI noise removing step. Region selection process;
Based on the character recognition result of the character pattern that is a combination of each pixel connection pattern in the composite binary image generated by the row area selection step, unnecessary pixel connection from the circumscribed rectangle of the character pattern to the character pattern By removing the pattern as noise, the noise removal process in the character rectangle that outputs the character string pattern,
A telop character pattern extraction method comprising:
前記取得工程によって取得された平均画像を色クラスタリングすることにより、複数の色分解画像を生成する生成工程と、
前記生成工程によって生成された各色分解画像の中から行ごとに選択された行領域を合成することにより、合成2値画像を生成する行領域選択工程と、
前記行領域選択工程によって生成された合成2値画像内の画素連結パターンの中から文字列の規則に違反する画素連結パターンを除去する文字間ノイズ除去工程と、
前記文字間ノイズ除去工程によるノイズ除去後の合成2値画像内の各画素連結パターンの組み合わせからなる文字パターンの文字認識結果に基づいて、当該文字パターンの外接矩形の中から前記文字パターンに不要な画素連結パターンをノイズとして除去することにより、文字列パターンを出力する文字矩形内ノイズ除去工程と、
を含んだことを特徴とするテロップ文字パターン抽出方法。 An acquisition step of acquiring an average image of a series of frame images including a telop;
A generation step of generating a plurality of color separation images by color clustering the average image acquired by the acquisition step;
A row region selection step of generating a composite binary image by combining the row regions selected for each row from the color separation images generated by the generation step;
A character-to-character noise removing step of removing a pixel connection pattern that violates a character string rule from pixel connection patterns in the composite binary image generated by the row region selection step;
Based on the character recognition result of the character pattern composed of a combination of pixel connection patterns in the combined binary image after noise removal by the character noise removal step, the character pattern is unnecessary from the circumscribed rectangle of the character pattern. By removing the pixel connection pattern as noise, a character rectangle noise removal step for outputting a character string pattern; and
A telop character pattern extraction method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008039407A JP5029412B2 (en) | 2008-02-20 | 2008-02-20 | Telop character pattern extraction program, telop character pattern extraction device, and telop character pattern extraction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008039407A JP5029412B2 (en) | 2008-02-20 | 2008-02-20 | Telop character pattern extraction program, telop character pattern extraction device, and telop character pattern extraction method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009199276A true JP2009199276A (en) | 2009-09-03 |
JP5029412B2 JP5029412B2 (en) | 2012-09-19 |
Family
ID=41142714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008039407A Expired - Fee Related JP5029412B2 (en) | 2008-02-20 | 2008-02-20 | Telop character pattern extraction program, telop character pattern extraction device, and telop character pattern extraction method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5029412B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012174163A (en) * | 2011-02-24 | 2012-09-10 | Fujitsu Ltd | Character recognition processing device and method and character recognition processing program |
JP2015184691A (en) * | 2014-03-20 | 2015-10-22 | 富士ゼロックス株式会社 | Image processor and image processing program |
US9275279B2 (en) | 2012-03-16 | 2016-03-01 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
JP2018152026A (en) * | 2017-03-15 | 2018-09-27 | ソフネック株式会社 | Character recognition method and computer program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285716A (en) * | 2000-01-24 | 2001-10-12 | Toshiba Corp | Telop information processor and telop information display device |
JP2005309819A (en) * | 2004-04-22 | 2005-11-04 | Nec Corp | Figure reading method, its device, major color extraction method, and its device |
-
2008
- 2008-02-20 JP JP2008039407A patent/JP5029412B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285716A (en) * | 2000-01-24 | 2001-10-12 | Toshiba Corp | Telop information processor and telop information display device |
JP2005309819A (en) * | 2004-04-22 | 2005-11-04 | Nec Corp | Figure reading method, its device, major color extraction method, and its device |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012174163A (en) * | 2011-02-24 | 2012-09-10 | Fujitsu Ltd | Character recognition processing device and method and character recognition processing program |
US9275279B2 (en) | 2012-03-16 | 2016-03-01 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
JP2015184691A (en) * | 2014-03-20 | 2015-10-22 | 富士ゼロックス株式会社 | Image processor and image processing program |
JP2018152026A (en) * | 2017-03-15 | 2018-09-27 | ソフネック株式会社 | Character recognition method and computer program |
Also Published As
Publication number | Publication date |
---|---|
JP5029412B2 (en) | 2012-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110738207B (en) | Character detection method for fusing character area edge information in character image | |
US5335290A (en) | Segmentation of text, picture and lines of a document image | |
Wenyin et al. | From raster to vectors: extracting visual information from line drawings | |
EP1598770B1 (en) | Low resolution optical character recognition for camera acquired documents | |
US7627176B2 (en) | Apparatus, method, and computer program for analyzing document layout | |
CN105574524B (en) | Based on dialogue and divide the mirror cartoon image template recognition method and system that joint identifies | |
US20100157340A1 (en) | Object extraction in colour compound documents | |
JP2002024836A (en) | Method for extracting title from digital image | |
KR102592551B1 (en) | Object recognition processing apparatus and method for ar device | |
JP5029412B2 (en) | Telop character pattern extraction program, telop character pattern extraction device, and telop character pattern extraction method | |
Al Abodi et al. | An effective approach to offline Arabic handwriting recognition | |
Mechi et al. | A two-step framework for text line segmentation in historical Arabic and Latin document images | |
CN113239818A (en) | Cross-modal information extraction method of tabular image based on segmentation and graph convolution neural network | |
Henderson | Analysis of engineering drawings and raster map images | |
Feild et al. | Scene text recognition with bilateral regression | |
Nordmark et al. | Window detection in facade imagery: a deep learning approach using mask R-CNN | |
JP3720892B2 (en) | Image processing method and image processing apparatus | |
CN117115824A (en) | Visual text detection method based on stroke region segmentation strategy | |
JP2020119559A (en) | Character recognition method and character recognition device | |
Rampurkar et al. | An approach towards text detection from complex images using morphological techniques | |
JP3095069B2 (en) | Character recognition device, learning method, and recording medium storing character recognition program | |
Tran et al. | A deep learning-based system for document layout analysis | |
Robertson | Optical character recognition for classical philology | |
US5940533A (en) | Method for analyzing cursive writing | |
Baloun et al. | ChronSeg: Novel Dataset for Segmentation of Handwritten Historical Chronicles. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100917 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120529 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120611 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5029412 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150706 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |