JP2005018176A

JP2005018176A - Character area extracting device, character area extracting method and character area extracting program

Info

Publication number: JP2005018176A
Application number: JP2003178825A
Authority: JP
Inventors: Toshihiko Misu; 俊彦三須; Masahide Naemura; 昌秀苗村; Masaki Takahashi; 正樹高橋
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2003-06-24
Filing date: 2003-06-24
Publication date: 2005-01-20
Anticipated expiration: 2023-06-24
Also published as: JP4243144B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a character area extracting device, a character area extracting method and a character area extracting program for universally extracting a character area even in the case of an image plotted in an arbitrary character color and an arbitrary background color. <P>SOLUTION: In this character area extracting device 1, a statistical parameter generating part 11 generates a plurality of statistical parameters of probability density functions to specify the statistical distribution of the colors of an input image, and a statistical parameter selecting part 12 selects the statistical parameter of a character color from the plurality of statistical parameters based on the spread of colors in the input image, and a similarity calculating part 21 calculates character color similarity showing the level of the similarity of the colors of pixels to the character color from the statistical parameter of the character color and the pixel value of each of the pixels of the input image, and an area dividing part 22 divides the input image into the character area and the background area based on the character color similarity to extract the character area. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、画像の色の統計分布に基づいて、その画像から文字領域を抽出する文字領域抽出装置、文字領域抽出方法及び文字領域抽出プログラムに関する。
【０００２】
【従来の技術】
従来、画像から、文字が描かれた文字領域を抽出する装置としては、自動車道路等に設置されて、車両のナンバープレートから車両番号を読み取るナンバープレート読み取り装置等が存在している。このナンバープレート読み取り装置では、車両番号の文字認識を行う前処理として、ナンバープレートを撮影した画像から文字領域の抽出を行っている。このような、画像から文字領域を抽出する手法としては、以下に示す種々の手法が存在する。
【０００３】
まず、第１の手法としては、入力された画像を、画像の明度によって２値化画像に変換し、その２値化画像から文字領域を抽出する手法が提案されている（例えば、特許文献１、特許文献２参照。）。
また、第２の手法としては、入力された画像に対して微分処理を施すことで、エッジ画像を生成し、そのエッジ画像から文字領域を抽出する手法が提案されている（例えば、特許文献３参照。）。
さらに、第３の手法としては、文字が水平方向に並んでいる等の文字の幾何学的な特徴を、予め定めた基準値と比較することで文字領域を抽出する手法が提案されている（例えば、特許文献４参照。）。
【０００４】
【特許文献１】
特開平６−１１１０５８号公報（第３−５頁、第１図）
【特許文献２】
特開２００１−３３１８０３号公報（第３−５頁、第１図）
【特許文献３】
特開２０００−１８７７３２号公報（第４頁、第１−３図）
【特許文献４】
特開平９−３１９９９５号公報（第５−９頁、第１図及び第４図）
【０００５】
【発明が解決しようとする課題】
前記従来の技術において、第１の手法のように、２値化画像を用いて文字領域を抽出する手法では、コントラストや明度のヒストグラム等によって、２値化を行う閾値を自動で設定することも可能で、容易に２値化画像を生成することができるが、色情報を考慮していないため、文字色と背景色とが異なっていても明度が同じである場合は、文字領域と背景領域とを同一の領域であると判定してしまい、文字領域を抽出することができないという問題があった。
なお、色情報を考慮して閾値を設定する場合、例えばＲＧＢ等の多次元の空間で閾値を設定する必要があり、任意の文字色及び任意の背景色で描かれた画像に対して閾値を設定できるような、汎用的な手法は存在していない。
【０００６】
また、第２の手法のように、エッジ画像を用いて文字領域を抽出する手法では、微分演算を行う必要があるため、ノイズや汚れに弱く、文字以外の領域を文字領域と誤認識してしまうという問題があった。
さらに、第３の手法のように、文字の幾何学的な特徴によって文字領域を抽出する手法では、文字列の長さが短い、文字列の並びが不規則である、あるいは、文字列が定型の位置に配置されていない場合、その有効性を発揮することができないという問題があった。
【０００７】
本発明は、以上のような問題点に鑑みてなされたものであり、任意の文字色及び任意の背景色で描かれた画像であっても、汎用的に文字領域を抽出することが可能な文字領域抽出装置、文字領域抽出方法及び文字領域抽出プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の文字領域抽出装置は、任意の文字色、及び、その文字色以外の任意の背景色で描かれた画像から、前記文字色で描かれた文字領域を抽出する文字領域抽出装置であって、統計パラメータを生成するパラメータ生成手段と、画像における色の広がりの指標を示す広がり指標を算出する広がり指標算出手段と、文字色の統計パラメータを選択するパラメータ選択手段と、文字色類似度を算出する類似度算出手段と、画像を領域分割する領域分割手段と、を備える構成とした。
【０００９】
かかる構成によれば、文字領域抽出装置は、パラメータ生成手段によって、入力された画像における色の統計分布から、その統計分布を特定する確率密度関数の統計パラメータを複数生成する。例えば、画像から色の統計分布の加重和である混合モデルを構築することで、文字色と背景色とを異なる確率密度関数で近似する。この確率密度関数は、平均ベクトルや分散等の統計パラメータによって、統計分布を特定することができる。これによって、任意の色であっても、文字色と背景色とを統計パラメータによって区分することが可能になる。
【００１０】
そして、文字領域抽出装置は、広がり指標算出手段によって、統計パラメータから画像における色の広がり指標を算出し、その広がり指標に基づいて、パラメータ選択手段が、文字色の統計パラメータを選択する。ここで広がり指標とは、画像上で、ある色が統計分布において、どれだけの広がりを持っているかを示す指標であって、分散等の値を用いることができる。
【００１１】
例えば、背景の上に文字が描かれている画像の場合、背景色と文字色との２色が、画像を占める大部分の色となり、色の統計分布は２つの分布で表現されることになる。さらに、一般的に画像上では、文字領域の周りに背景領域が存在するため、文字色よりも背景色の方が大きな広がりを持っている。そこで、最も大きい分散を持つ統計分布は、背景色のものであり、２番目に大きい分散を持つ統計分布は、文字色のものであると仮定することができる。このように統計分布の広がり（分散）を求めることで、文字色の統計分布（統計パラメータ）を特定することができる。
【００１２】
なお、色の分布が３つ以上となる場合は、背景色及び文字色以外の色をノイズとみなし、例えば、統計分布の重み係数によって、背景色及び文字色の２組の統計パラメータのみを選択すればよい。
【００１３】
そして、文字領域抽出装置は、類似度算出手段によって、文字色の統計パラメータと、画像の各画素の画素値（色ベクトル）とに基づいて、文字色類似度を算出し、領域分割手段によって、画像を文字領域とそれ以外の領域（背景領域）とに分割する。文字色類似度は、画素値（色ベクトル）が、文字色に類似する度合いを示すものであって、例えば、色ベクトルが文字色の統計分布に属する確率である。
このように、文字領域抽出装置は、画像の色の統計分布から、文字色の統計分布を特定する確率密度関数の統計パラメータを求め、画像の各画素の画素値が文字色の統計分布に属するかどうかを判定することで、文字領域を抽出する。
【００１４】
また、請求項２に記載の文字領域抽出装置は、任意の文字色、及び、任意の背景色で描かれた画像から、前記文字色で描かれた文字領域を抽出する文字領域抽出装置であって、統計パラメータを生成するパラメータ生成手段と、画像における色の広がりの指標を示す広がり指標を算出する広がり指標算出手段と、文字色及び背景色の統計パラメータを選択するパラメータ選択手段と、文字色類似度及び背景色類似度を算出する類似度算出手段と、画像を領域分割する領域分割手段と、を備える構成とした。
【００１５】
かかる構成によれば、文字領域抽出装置は、パラメータ生成手段によって、入力された画像における色の統計分布から、その統計分布を特定する確率密度関数の統計パラメータを複数生成する。例えば、画像から色の統計分布の加重和である混合モデルを構築することで、文字色と背景色とを異なる確率密度関数で近似することで、任意の色であっても、文字色と背景色とを統計パラメータによって区分することが可能になる。
そして、文字領域抽出装置は、広がり指標算出手段によって、統計パラメータから画像における色の広がり指標（例えば、分散）を算出し、その広がり指標に基づいて、パラメータ選択手段が、文字色及び背景色の統計パラメータを選択する。
【００１６】
そして、文字領域抽出装置は、類似度算出手段によって、文字色及び背景色の統計パラメータと、画像の各画素の画素値（色ベクトル）とに基づいて、文字色類似度及び背景色類似度を算出する。この文字色類似度及び背景色類似度は、それぞれ、画素値（色ベクトル）が、文字色又は背景色に類似する度合いを示すものであって、例えば、色ベクトルが文字色又は背景色の統計分布に属する確率である。この確率（文字色類似度及び背景色類似度）に基づいて、領域分割手段が、画像を文字領域と背景領域とに分割することが可能になる。
【００１７】
さらに、請求項３に記載の文字領域抽出装置は、請求項１又は請求項２に記載の文字領域抽出装置において、領域計測手段と、領域変更手段と、を備える構成とした。
【００１８】
かかる構成によれば、文字領域抽出装置は、領域計測手段によって、領域分割手段で分割された文字領域における各画素の連結領域の大きさを計測する。この連結領域とは、文字領域を構成する画素のまとまりであって、その大きさとは、連結領域の面積、例えば画素数を示す。そして、文字領域抽出装置は、領域変更手段によって、連結領域の大きさが所定の閾値より小さい場合に、その連結領域を文字領域とは異なるノイズと判断して、背景領域に変更する。これによって、文字領域抽出装置は、画像から精度よく文字領域を抽出することができる。
【００１９】
また、請求項４に記載の文字領域抽出装置は、請求項１乃至請求項３のいずれか１項に記載の文字領域抽出装置において、前記統計パラメータには、混合モデルを構成するガウス分布のパラメータを用いることを特徴とする。
【００２０】
かかる構成によれば、文字領域抽出装置は、統計パラメータに混合モデルを構成するガウス分布のパラメータを用いることとすると、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズム等の従来のアルゴリズムに基づいて、統計パラメータを容易に算出することができる。この確率密度関数をガウス分布のパラメータである平均ベクトル、共分散行列及び当該共分散行列の混合重みで表すことで、文字色、背景色を一意に特定することが可能になる。
【００２１】
また、文字領域抽出装置において、統計パラメータにガウス分布のパラメータを用いることとすると、その統計パラメータを、本願出願人が出願した（「統計解析装置、統計解析方法及び統計解析プログラム」特願２００２−３１３６１１）で提案した統計解析装置等を用いて算出することも可能になる。これによって、ＥＭアルゴリズムのような反復収束演算を行う必要がないため、演算速度を早めることができる。
【００２２】
さらに、請求項５に記載の文字領域抽出方法は、任意の文字色、及び、その文字色以外の任意の背景色で描かれた画像から、前記文字色で描かれた文字領域を抽出する文字領域抽出方法であって、パラメータ生成ステップと、パラメータ選択ステップと、類似度算出ステップと、領域分割ステップと、を含んでいることを特徴とする。
【００２３】
この手順によれば、文字領域抽出方法は、パラメータ生成ステップで、入力された画像における色の統計分布から、その統計分布を特定する確率密度関数の統計パラメータを複数生成する。例えば、画像から色の統計分布の加重和である混合モデルを構築することで、文字色と背景色とを異なる確率密度関数で近似する。これによって、任意の色であっても、文字色と背景色とを統計パラメータによって区分することが可能になる。
【００２４】
そして、文字領域抽出方法は、パラメータ選択ステップで、統計パラメータから画像における色の広がり指標（例えば分散）を算出し、その広がり指標に基づいて、文字色の統計パラメータを選択する。この広がり指標によって、色の広がりが大きい方を背景色、小さい方を文字色というように特定することができる。
【００２５】
さらに、文字領域抽出方法は、類似度算出ステップで、文字色の統計パラメータと、画像の各画素の色ベクトルとに基づいて、文字色類似度を算出し、領域分割ステップで、画像を文字領域とそれ以外の領域（背景領域）とに分割する。この文字色類似度は、例えば、色ベクトルが文字色の統計分布に属する確率である。そして、この確率によって、画素が文字領域に含まれる画素かどうかを判定することが可能になる。
【００２６】
また、請求項６に記載の文字領域抽出プログラムは、任意の文字色、及び、その文字色以外の任意の背景色で描かれた画像から、前記文字色で描かれた文字領域を抽出するために、コンピュータを、パラメータ生成手段、広がり指標算出手段、パラメータ選択手段、類似度算出手段、領域分割手段、として機能させることを特徴とする。
【００２７】
かかる構成によれば、文字領域抽出プログラムは、パラメータ生成手段によって、入力された画像における色の統計分布から、その統計分布を特定する確率密度関数の統計パラメータを複数生成する。これによって、任意の色であっても、文字色と背景色とを統計パラメータによって区分することが可能になる。
【００２８】
そして、文字領域抽出プログラムは、広がり指標算出手段によって、統計パラメータから画像における色の広がり指標（例えば分散）を算出し、その広がり指標に基づいて、パラメータ選択手段が、文字色の統計パラメータを選択する。この広がり指標によって、色の広がりが大きい方を背景色、小さい方を文字色というように特定することができる。
【００２９】
さらに、文字領域抽出プログラムは、類似度算出手段によって、文字色の統計パラメータと、画像の各画素の色ベクトルとから、文字色類似度を算出し、領域分割手段によって、画像を文字領域とそれ以外の領域（背景領域）とに分割する。この文字色類似度は、例えば、色ベクトルが文字色の統計分布に属する確率である。そして、この確率によって、画素が文字領域に含まれる画素かどうかを判定することが可能になる。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
［第一の実施の形態：文字領域抽出装置］
図１は、本発明における第一の実施の形態に係る文字領域抽出装置の構成を示したブロック図である。図１に示すように、文字領域抽出装置１は、入力された任意の文字色、及び、その文字色以外の任意の背景色で描かれた画像（入力画像）を、文字領域と背景領域とに分割することで、入力画像から文字領域を抽出するものである。ここでは、文字領域抽出装置１は、統計パラメータ算出手段１０と、類似度判定分割手段２０とを備えて構成している。
【００３１】
統計パラメータ算出手段１０は、入力画像内の色の統計分布から、混合モデルによる確率密度関数における、文字色及び背景色の統計パラメータを算出するものである。なお、統計パラメータ算出手段１０は、統計パラメータ生成部１１と、統計パラメータ選択部１２とにより構成されている。
【００３２】
統計パラメータ生成部（パラメータ生成手段）１１は、Ｍ組（Ｍは２以上の自然数）の確率密度関数の加重和によって表される混合モデルによって、入力画像内における色の統計分布を近似し、その混合モデルにおける各確率密度関数の統計パラメータを生成するものである。なお、色は、例えば色の３原色によって表現される色空間におけるベクトル（以降、色ベクトルと呼ぶ）である。また、混合モデルにおける各確率密度関数を基底要素と呼ぶ。
【００３３】
ここで、色ベクトルをｘ、ｍを１以上Ｍ以下の自然数とし、混合モデルｐ（ｘ）を構成する第ｍ番目の基底要素をｅ_ｍ（ｘ）、当該基底要素の混合重み（重み係数）をｗ_ｍとすると、混合モデルｐ（ｘ）は、（１）式で表される。
【００３４】
【数１】

【００３５】
ただし、第ｍ番目の基底要素の混合重みｗ_ｍは、（２）式を満たしているものとする。
【００３６】
【数２】

【００３７】
このように、混合モデルｐ（ｘ）によって、入力画像の色（色ベクトル）の統計分布を近似することにより、入力画像の特徴となるＭ個の支配的な色（例えば、背景色及び文字色）の分布である基底要素ｅ_ｍ（ｘ）を抽出することができる。
【００３８】
なお、この基底要素ｅ_ｍ（ｘ）には、例えばガウス分布の確率密度関数（ガウス基底要素）を用いることができる。ここで、ｄを色ベクトルｘの色空間における次数（次元）、μ_ｍを第ｍ番目の平均ベクトル、Σ_ｍ及びΣ_ｍ ^−１をそれぞれ共分散行列及びその逆行列とし、Ｔを行列の転置を表すものとすると、ガウス基底要素Ｎ（ｘ；μ_ｍ，Σ_ｍ）は、（３）式で表される。
【００３９】
【数３】

【００４０】
なお、３原色のカラーカメラで撮影された画像を扱う場合は、次数ｄ＝３となり、モノクロームのカメラを用いる場合は、次数ｄ＝１となる。また、Ｄ（２以上）個の波長帯に分光する撮像手段を用いる場合は次数ｄ＝Ｄとなる。このように、次数ｄの次元は、扱う画像に応じて１以上の自然数であればよい。
【００４１】
以降、基底要素ｅ_ｍ（ｘ）については、ガウス分布の確率密度関数を例として説明する。すなわち、基底要素ｅ_ｍ（ｘ）は、（４）式に示すようにガウス基底要素Ｎ（ｘ；μ_ｍ，Σ_ｍ）を用いる。なお、以降の説明において、ガウス基底要素は、単に基底要素と呼ぶこととする。
【００４２】
【数４】

【００４３】
この統計パラメータ生成部１１は、（４）式に示した基底要素（ガウス基底要素）ｅ_ｍ（ｘ）に対して、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムによって、反復収束演算を行うことで、第ｍ番目の基底要素の統計パラメータである平均ベクトルμ_ｍ、共分散行列Σ_ｍ及び当該共分散行列Σ_ｍの混合重みｗ_ｍを得る。ここでは、ＥＭアルゴリズムをＭ回実行することで、Ｍ組の統計パラメータ（μ_ｍ，Σ_ｍ，ｗ_ｍ）（ｍ＝１，２，…，Ｍ）を得る。ここで生成されたＭ組の統計パラメータは、統計パラメータ選択部１２へ出力される。
【００４４】
ここで、図２及び図３を参照して、ＥＭアルゴリズムを用いた統計パラメータ（平均ベクトルμ_ｍ、共分散行列Σ_ｍ及び混合重みｗ_ｍ）を算出する手法について説明する。図２は、文字が描かれた画像（入力画像）の一例を示す図である。図３は、入力画像を色空間上の混合モデルで表現した図である。
【００４５】
図２に示すように、入力画像Ｍには、任意の文字色及び任意の背景色で描かれた文字領域Ｃ及び背景領域Ｎと、ノイズ（文字色及び背景色以外の第３色のノイズＥ_１、文字色と同色の文字色ノイズＥ_２）とが混在しているものとする。
また、図３に示すように、ここでは、色の３原色（Ｒ、Ｇ、Ｂ）によって表現される色空間上の混合モデル（ガウス混合モデル）によって、入力画像Ｍの色の統計分布を近似することとし、統計パラメータの数は３（Ｍ＝３）とする。
【００４６】
ここで、ＥＭアルゴリズムの第ｋ反復終了後における平均ベクトルの推定値をμ_ｍ ^（ｋ）、共分散行列の推定値をΣ_ｍ ^（ｋ）、及び、混合重みの推定値をｗ_ｍ ^（ｋ）とすると、ｗ_ｍ ^（ｋ）は、（５）式により求められる。
【００４７】
【数５】

【００４８】
なお、ζ_ｍ ^{（ｋ−１）}（ｘ）は、第（ｋ−１）反復終了後までに推定された平均ベクトルμ_ｍ ^{（ｋ−１）}、共分散行列Σ_ｍ ^{（ｋ−１）}、及び、混合重みｗ_ｍ ^{（ｋ−１）}に基づいて計算される値で、第ｍ番目の基底要素から色ベクトルｘが出力される確率を表す。このζ_ｍ ^{（ｋ−１）}（ｘ）は、（６）式により与えられる。
【００４９】
【数６】

【００５０】
また、第ｋ反復終了後における平均ベクトルの推定値μ_ｍ ^（ｋ）、及び、共分散行列の推定値をΣ_ｍ ^（ｋ）は、それぞれ、（７）式及び（８）式により求められる。
【００５１】
【数７】

【００５２】
【数８】

【００５３】
このように、統計パラメータ（平均ベクトルμ_ｍ、共分散行列Σ_ｍ及び混合重みｗ_ｍ）は、平均ベクトルμ_ｍ ^（０）、共分散行列Σ_ｍ ^（０）、及び、混合重みｗ_ｍ ^（０）を初期値として与え、帰納的に前記（５）式乃至（８）式に代入することにより算出される。すなわち、（９）式に示すようにｋ回の反復演算によって、混合モデルｐ（ｘ）（（１）式及び（４）式参照）を構成する基底要素の統計パラメータ（μ_ｍ，Σ_ｍ，ｗ_ｍ）を推定することができる。
【００５４】
【数９】

【００５５】
この反復演算は、反復の回数（ｋ）を予め定めた一定回数（例えば１００回）として演算を行ってもよいし、ｋの増加に対して基底要素の統計パラメータの変化量が、ある閾値を下回った時点で反復演算を終了することとしてもよい。
また、初期値として与える統計パラメータの初期値は、例えば、入力画像全体の色ベクトルの平均ベクトル及び共分散行列に乱数を加えて、μ_ｍ ^（０）及びΣ_ｍ ^（０）とし、ｗ_ｍ ^（０）は全て１／Ｍとする。
【００５６】
このように、初期値を設定することで、図３において、第１番目（ｍ＝１）の初期値Ｐ_１ ^（０）（μ_１ ^（０），Σ_１ ^（０），ｗ_１ ^（０））からは、基底要素の統計パラメータＰ_１（μ_１，Σ_１，ｗ_１）が算出される。また、第２番目（ｍ＝２）の初期値Ｐ_２ ^（０）（μ_２ ^（０），Σ_２ ^（０），ｗ_２ ^（０））からは、基底要素の統計パラメータＰ_２（μ_２，Σ_２，ｗ_２）が算出される。また、第３番目（ｍ＝３）の初期値Ｐ_３ ^（０）（μ_３ ^（０），Σ_３ ^（０），ｗ_３ ^（０））からは、基底要素の統計パラメータＰ_３（μ_３，Σ_３，ｗ_３）が算出される。
【００５７】
これによって、図２の文字領域Ｃ、背景領域Ｎ及び第３色ノイズＥ_１は、基底要素の統計パラメータＰ_１、Ｐ_２及びＰ_３で表現されたいずれかの統計分布に属することになる。また、文字色ノイズＥ_２は、文字領域Ｃと同じ統計分布に属することになる。なお、文字領域Ｃ及び背景領域Ｎが、どの統計分布に属するかの判定は、後記する統計パラメータ選択部１２（図１）によって行われる。
図１に戻って説明を続ける。
【００５８】
統計パラメータ選択部１２は、統計パラメータ生成部１１で生成されたＭ組の統計パラメータから、文字色及び背景色の統計パラメータを選択するものである。この統計パラメータ選択部１２では、Ｍ組の統計パラメータ（μ_ｍ，Σ_ｍ，ｗ_ｍ）（ｍ＝１，２，…，Ｍ）のうち、混合重みｗ_ｍの大きい方から２組の統計パラメータを選択し、その２組の統計パラメータの一方を文字色の統計パラメータ、他方を背景色の統計パラメータとする。また、ここで選択された文字色の統計パラメータ及び背景色の統計パラメータは、領域分割手段２０へ通知される。なお、ここでは、統計パラメータ選択部１２を、広がり指標算出部１２ａとパラメータ選択部１２ｂとにより構成した。
【００５９】
広がり指標算出部（広がり指標算出手段）１２ａは、混合重みｗ_ｍの大きい方から２組の統計パラメータを選択し、それぞれの統計パラメータで表される統計分布（色分布）の広がりを示す指標（広がり指標）を算出するものである。ここで算出された２つの広がり指数は、パラメータ選択部１２ｂへ通知される。
【００６０】
この広がり指標算出部１２ａでは、画像上の広がりを示す指標を、統計分布の分散によって求めるものとする。すなわち、広がり指標算出部１２ａは、入力画像の各画素の色ベクトルｘが、その統計パラメータで示された統計分布に属する確率ζ_ｍ（ｘ）を（１０）式による演算により求め、（１１）式及び（１２）式によって、統計分布の共分散行列Ｓ_ｍを求める。
【００６１】
【数１０】

【００６２】
【数１１】

【００６３】
【数１２】

【００６４】
なお、（１１）式及び（１２）式において、ｒは画像内の座標を表している。また、Ｗ_ｍは横方向の分散、Ｈ_ｍは縦方向の分散、Ｃ_ｍは共分散を表している。
このように、広がり指標算出部１２ａは、横方向の分散Ｗ_ｍ又は縦方向の分散Ｈ_ｍによって、統計分布（色分布）の広がり指標を求めることができる。そこで、広がり指標算出部１２ａは、混合重みｗ_ｍの大きい２組の統計分布の広がり指標（Ｗ_ｍ又はＨ_ｍ）を（１０）式乃至（１２）式で求め、パラメータ選択部１２ｂに通知する。
【００６５】
パラメータ選択部（パラメータ選択手段）１２ｂは、広がり指標算出部１２ａで算出された２つの広がり指標に基づいて、混合重みｗ_ｍの大きい２組の統計パラメータを、それぞれ文字色の統計パラメータ、及び、背景色の統計パラメータとして選択するものである。なお、ここでは、文字領域の周りに背景色となる余白（余白は白色とは限らない）が存在する場合を想定し、文字領域よりも背景領域（非文字領域）の方が画像上で大きな広がりを持っているものとする。
【００６６】
ここで、混合重みｗ_ｍの大きい順に２組の統計パラメータを（μ_ａ，Σ_ａ，ｗ_ａ）、（μ_ｂ，Σ_ｂ，ｗ_ｂ）とし、それぞれの広がり指標をＷ_ａ、Ｗ_ｂ（ここでは、（１１）式の横方向の分散Ｗ_ｍを用いることとする）とすると、Ｗ_ａ＜Ｗ_ｂの場合は、（μ_ａ，Σ_ａ，ｗ_ａ）が文字色の統計パラメータ、（μ_ｂ，Σ_ｂ，ｗ_ｂ）が背景色の統計パラメータとなる。また、Ｗ_ａ≧Ｗ_ｂの場合は、（μ_ｂ，Σ_ｂ，ｗ_ｂ）が文字色の統計パラメータ、（μ_ａ，Σ_ａ，ｗ_ａ）が背景色の統計パラメータとなる。すなわち、パラメータ選択部１２ｂは、（１３）式に示す判定によって、文字色の統計パラメータ（μ_ｃ，Σ_ｃ，ｗ_ｃ）と、背景色の統計パラメータ（μ_ｎ，Σ_ｎ，ｗ_ｎ）とを特定する。
【００６７】
【数１３】

【００６８】
ここで、特定された文字色の統計パラメータ（μ_ｃ，Σ_ｃ，ｗ_ｃ）と、背景色の統計パラメータ（μ_ｎ，Σ_ｎ，ｗ_ｎ）とは、類似度判定分割手段２０へ通知される。また、文字色及び背景色以外の色（例えば、図２の第３色ノイズＥ_１）の統計パラメータは、以降の判定には使用されない。
【００６９】
類似度判定分割手段２０は、統計パラメータ算出手段１０で算出された文字色の統計パラメータ（μ_ｃ，Σ_ｃ，ｗ_ｃ）及び背景色の統計パラメータ（μ_ｎ，Σ_ｎ，ｗ_ｎ）に基づいて、入力画像の各画素の色ベクトルが、文字色又は背景色のどちらの統計パラメータに類似するかを判定し、入力画像を文字領域と背景領域とに分割した２値化画像を生成するものである。ここでは、類似度判定分割手段２０を、類似度算出部２１と、領域分割部２２とにより構成した。
【００７０】
類似度算出部（類似度算出手段）２１は、統計パラメータ算出手段１０の統計パラメータ選択部１２で選択された文字色の統計パラメータ（μ_ｃ，Σ_ｃ，ｗ_ｃ）及び背景色の統計パラメータ（μ_ｎ，Σ_ｎ，ｗ_ｎ）と、入力画像内の各画素の画素値（色ベクトル）とに基づいて、各画素の色が、文字色及び背景色に類似する度合いを示す類似度（それぞれの類似度を、文字色類似度及び背景色類似度と呼ぶ）を算出するものである。ここで算出された文字色類似度及び背景色類似度は、領域分割部２２へ通知される。
【００７１】
この類似度算出部２１は、類似度を前記（３）式に示したガウス基底要素Ｎの類似性に基づいて算出する。すなわち、類似度算出部２１は、入力画像の各画素の座標ｒにおける色ベクトルｘ（ｒ）が文字色の統計パラメータに類似する文字色類似度ζ_ｃ（ｘ（ｒ））と、色ベクトルｘ（ｒ）が背景色の統計パラメータに類似する背景色類似度ζ_ｎ（ｘ（ｒ））とを、（１４）式による演算により求める。この各類似度は、色ベクトルｘ（ｒ）が、各統計パラメータで表される統計分布に属する確率である。
【００７２】
【数１４】

【００７３】
領域分割部（領域分割手段）２２は、類似度算出部２１で算出された類似度である文字色類似度ζ_ｃ（ｘ（ｒ））と、背景色類似度ζ_ｎ（ｘ（ｒ））とに基づいて、入力画像内の各画素を、文字領域と背景領域とに分割するものである。この領域分割部２２では、入力画像内の各画素の座標ｒにおける類似度を、予め定めた閾値と比較し、その画素が文字領域の画素か、背景領域の画素かを判定することで、入力画像を文字領域と背景領域とに分割した２値化画像を生成する。
【００７４】
例えば、文字色類似度ζ_ｃ（ｘ（ｒ））が予め定めた閾値θ_ｃ以上で、かつ、背景色類似度ζ_ｎ（ｘ（ｒ））が予め定めた閾値θ_ｎ未満の場合は、その座標ｒの画素の色は、文字色であると判定し、それ以外の場合は、背景色であると判定する。すなわち、領域分割部２２は、（１５）式に示すように、入力画像内の各画素の座標ｒ毎に、文字色類似度ζ_ｃ（ｘ（ｒ））及び背景色類似度ζ_ｎ（ｘ（ｒ））と、予め定めた閾値θ_ｃ及びθ_ｎとを比較し、座標ｒの画素の色ベクトルｘ（ｒ）が、文字色と判定される場合は「１」、背景色と判定される場合は「０」となる２値化画像Ｂ（ｘ（ｒ））を生成する。
【００７５】
【数１５】

【００７６】
このように、領域分割部２２は、入力画像を文字領域と背景領域とに分割することで、文字領域を抽出した文字領域抽出画像（２値化画像）を生成し出力する。
【００７７】
以上、本発明に係る文字領域抽出装置１の構成について説明したが、本発明はこれに限定されるものではない。例えば、ここでは、領域分割部２２で、文字領域抽出画像（２値化画像）Ｂ（ｘ（ｒ））を生成するときに、文字色類似度ζ_ｃ（ｘ（ｒ））及び背景色類似度ζ_ｎ（ｘ（ｒ））の両方を用いたが、文字色類似度ζ_ｃ（ｘ（ｒ））のみによって、入力画像内の各画素を、文字領域と背景領域とに分割することとしてもよい。
【００７８】
すなわち、類似度算出部２１では、前記（１４）式のうちで、文字色類似度ζ_ｃ（ｘ（ｒ））のみを算出することとし、領域分割部２２では、（１６）式に示すように、文字色類似度ζ_ｃ（ｘ（ｒ））が予め定めた閾値θ_ｃ以上の場合に、座標ｒの画素の色は文字色であると判定し、それ以外の場合は背景色であると判定する。この場合、統計パラメータ算出手段１０の統計パラメータ選択部１２は、文字色の統計パラメータのみを選択するだけでよい。
【００７９】
【数１６】

【００８０】
なお、文字領域抽出装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して文字領域抽出プログラムとして動作させることも可能である。
【００８１】
（文字領域抽出装置の動作）
次に、図４を参照（適宜図１参照）して、文字領域抽出装置１の動作について説明する。図４は、文字領域抽出装置１の動作を示すフローチャートである。
【００８２】
＜パラメータ生成ステップ＞
まず、文字領域抽出装置１は、統計パラメータ算出手段１０の統計パラメータ生成部１１によって、任意の文字色及び任意の背景色で描かれた画像（入力画像）から、その入力画像内における色の統計分布を確率密度関数の加重和によって表される混合モデルによって近似することで、その混合モデルにおける各確率密度関数の統計パラメータを生成する（ステップＳ１）。
【００８３】
このステップＳ１では、Ｍ組（Ｍは２以上の自然数）の統計パラメータ（平均ベクトルμ_ｍ、共分散行列Σ_ｍ及び混合重みｗ_ｍ）（ｍ＝１，２，…，Ｍ）が生成される。なお、この統計パラメータは、ＥＭアルゴリズムによる反復収束演算（前記（５）式乃至（８）式参照）を行うことで算出される。なお、この統計パラメータは、本願出願人が出願した（「統計解析装置、統計解析方法及び統計解析プログラム」特願２００２−３１３６１１）で提案した統計解析装置等を用いて求めることも可能である。
【００８４】
＜パラメータ選択ステップ＞
また、文字領域抽出装置１は、統計パラメータ選択部１２の広がり指標算出部１２ａによって、統計パラメータ生成部１１で生成されたＭ組の統計パラメータ（μ_ｍ、Σ_ｍ、ｗ_ｍ）の中から、混合重みｗ_ｍの大きい２組の統計パラメータを選択する（ステップＳ２）。ここでは、２組の統計パラメータをそれぞれ（μ_ａ、Σ_ａ、ｗ_ａ）、（μ_ｂ、Σ_ｂ、ｗ_ｂ）とする。
このステップＳ２では、Ｍ組の統計パラメータから、混合重みｗ_ｍの大きい２組の統計パラメータを選択することで、入力画像の中で支配的な色である文字色及び背景色の統計パラメータを選択することになる。
【００８５】
また、文字領域抽出装置１は、広がり指標算出部１２ａによって、統計パラメータで表される統計分布の広がり指標（例えば分散）を算出する（ステップＳ３）。ここでは、統計パラメータ（μ_ａ、Σ_ａ、ｗ_ａ）の分散をＷ_ａ、統計パラメータ（μ_ｂ、Σ_ｂ、ｗ_ｂ）の分散をＷ_ｂとする
【００８６】
このステップＳ３では、広がり指標算出部１２ａが、入力画像の各画素の色ベクトルが２組の統計パラメータで示された統計分布に属する確率を求め、それぞれの統計分布の共分散行列を求めることで、統計分布の広がりである分散を得ることができる（前記（１０）式乃至（１２）式参照）。
【００８７】
そして、文字領域抽出装置１は、統計パラメータ選択部１２のパラメータ選択部１２ｂによって、広がり指標算出部１２ａで算出された２つの広がり指標（分散）の大小を比較する（ステップＳ４）。ここで、分散Ｗ_ａが分散Ｗ_ｂより大きい場合（Ｗ_ａ＞Ｗ_ｂ）は、統計パラメータ（μ_ａ、Σ_ａ、ｗ_ａ）を背景色の統計パラメータ（μ_ｎ、Σ_ｎ、ｗ_ｎ）、統計パラメータ（μ_ｂ、Σ_ｂ、ｗ_ｂ）を文字色の統計パラメータ（μ_ｃ、Σ_ｃ、ｗ_ｃ）と判定する（ステップＳ５）。また、分散Ｗ_ａが分散Ｗ_ｂより小さい場合（Ｗ_ａ≦Ｗ_ｂ）は、統計パラメータ（μ_ａ、Σ_ａ、ｗ_ａ）を文字色の統計パラメータ（μ_ｃ、Σ_ｃ、ｗ_ｃ）、統計パラメータ（μ_ｂ、Σ_ｂ、ｗ_ｂ）を背景色の統計パラメータ（μ_ｎ、Σ_ｎ、ｗ_ｎ）と判定する（ステップＳ６）。
【００８８】
＜類似度算出ステップ＞
そして、文字領域抽出装置１は、類似度判定分割手段２０の類似度算出部２１によって、統計パラメータ選択部１２で選択（判定）された文字色の統計パラメータ（μ_ｃ，Σ_ｃ，ｗ_ｃ）及び背景色の統計パラメータ（μ_ｎ，Σ_ｎ，ｗ_ｎ）と、入力画像内の各画素の画素値（色ベクトル）とに基づいて、各画素の色が、文字色及び背景色に類似する度合いを示す文字色類似度及び背景色類似度を算出する（ステップＳ７）。
このステップＳ７では、類似度算出部２１が、ガウス基底要素Ｎの類似性に基づいて、入力画像内の各画素の色ベクトルが、文字色又は背景色の統計パラメータに類似する類似度を算出する（前記（１４）式参照）。
【００８９】
＜領域分割ステップ＞
そして、文字領域抽出装置１は、類似度判定分割手段２０の領域分割部２２によって、類似度算出部２１で算出された文字色類似度及び背景色類似度と、予め定めたそれぞれの閾値とに基づいて、入力画像を文字領域と、背景領域とに分割（２値化；前記（１５）式参照）する（ステップＳ８）。
以上の動作によって、文字領域抽出装置１は、任意の文字色及び任意の背景色で描かれた入力画像から、文字色で描かれた文字領域を抽出した画像（２値画像）を生成することができる。
【００９０】
［第二の実施の形態：文字領域抽出装置］
次に、図５を参照して、本発明における第二の実施の形態に係る文字領域抽出装置について説明する。図５は、第二の実施の形態に係る文字領域抽出装置の構成を示したブロック図である。図５に示すように、文字領域抽出装置１Ｂは、入力された任意の文字色及び任意の背景色で描かれた画像（入力画像）を、文字領域と背景領域とに分割することで、入力画像から文字領域を抽出するものである。ここでは、文字領域抽出装置１Ｂは、統計パラメータ算出手段１０と、類似度判定分割手段２０と、ノイズ除去手段３０とを備えて構成している。ノイズ除去手段３０以外の構成は、図１に示した文字領域抽出装置１と同一であるので、同一の符号を付し説明を省略する。
【００９１】
ノイズ除去手段３０は、類似度判定分割手段２０から２値化画像として出力される文字領域抽出画像から、文字領域と判定すべきではない小さな領域（領域分割の誤り）を背景領域とすることで、ノイズの除去を行うものである。ここでは、ノイズ除去手段３０を、領域計測部３１と、領域変更部３２とにより構成した。
【００９２】
領域計測部（領域計測手段）３１は、類似度判定分割手段２０の領域分割部２２で分割された２値化画像（文字領域抽出画像）で、文字領域と判定された領域（前記（１５）式でＢ（ｘ（ｒ））＝１となる領域）を構成する連結領域の画素数（領域の大きさ）を計測するものである。ここで計測された領域の大きさは領域変更部３２へ通知される。
【００９３】
領域変更部（領域変更手段）３２は、領域計測部３１で計測された文字領域となる連結領域の画素数（領域の大きさ）と、所定の閾値とを比較して、連結領域の画素数（大きさ）が閾値より小さい場合に、その連結領域で示される文字領域を背景領域に変更するものである。すなわち、領域変更部３２は、連結領域の画素数（大きさ）が閾値より小さい場合に、前記（１５）式で示した２値化画像内Ｂ（ｘ（ｒ））で、連結領域に含まれる座標ｒの画素について、Ｂ（ｘ（ｒ））＝０と変更する。
なお、この所定の閾値は、入力画像内で文字の概略の大きさが分かっている場合に、最小の文字の大きさ以下とする。すなわち、この所定の閾値は、入力画像の内容によって、予め設定しておくものである。
【００９４】
以上の構成によって、文字領域抽出装置１Ｂは、画像ノイズ等に起因して誤って文字領域と認識した領域を、背景領域に修正することができる。例えば、図２に示した文字色と同色の文字色ノイズＥ_２を、背景領域に修正することができる。
【００９５】
【発明の効果】
以上説明したとおり、本発明に係る文字領域抽出装置、文字領域抽出方法及び文字領域抽出プログラムでは、以下に示す優れた効果を奏する。
【００９６】
請求項１、請求項２、請求項５又は請求項６に記載の発明によれば、任意の文字色及び背景色の組み合わせで構成されている入力画像を、文字領域及び背景領域に分割することで、入力画像から文字領域を抽出することができる。このとき、色情報を考慮して閾値を設定する必要がなく、文字色及び背景色の組み合わせが任意の組み合わせであっても、汎用的に文字領域を抽出することができる。
【００９７】
このように文字領域と背景領域とを分けて認識できるので、例えば、車両のナンバープレートから車両番号の領域を抽出したり、スポーツ選手のユニフォームから背番号の領域を抽出したり等の文字領域の抽出を行うことができる。また、文字色及び背景色の色の組み合わせが任意の組み合わせであっても、文字領域を抽出することができるので、例えば、車両のナンバープレートの色が異なっていたり、スポーツ選手のチームによってユニフォームの色が異なっていても、車両番号や背番号の領域を抽出することができる。
【００９８】
また、背景色及び文字色以外の色が混在していても、統計パラメータを用いることで、例えば重み係数によって、背景色及び文字色以外の色であると認識することができ、入力画像から精度よく文字領域を抽出することができる。
【００９９】
請求項３に記載の発明によれば、画像内に文字色と同じ色を持つ領域（ノイズ）が含まれていても、そのノイズを文字領域から削除することができ、入力画像から精度よく文字領域を抽出することができる。
【０１００】
請求項４に記載の発明によれば、統計パラメータとして、ガウス分布のパラメータを用いるため、従来のＥＭアルゴリズム等に基づいて、容易に統計パラメータを算出することができる。また、このガウス分布のパラメータによって、必要かつ充分に色分布を表現することができるため、文字領域を抽出するための演算量やメモリの消費を抑えることができる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態に係る文字領域抽出装置の構成を示すブロック図である。
【図２】文字領域抽出装置に入力される、文字が描かれた画像の一例を示す図である。
【図３】入力画像を色空間上の混合モデルで表現した図である。
【図４】本発明の第一の実施の形態に係る文字領域抽出装置の動作を示すフローチャートである。
【図５】本発明の第二の実施の形態に係る文字領域抽出装置の構成を示すブロック図である。
【符号の説明】
１、１Ｂ文字領域抽出装置
１０統計パラメータ算出手段
１１統計パラメータ生成部（パラメータ生成手段）
１２統計パラメータ選択部
１２ａ広がり指標算出部（広がり指標算出手段）
１２ｂパラメータ選択部（パラメータ選択手段）
２０類似度判定分割手段
２１類似度算出部（類似度算出手段）
２２領域分割部（領域分割手段）
３０ノイズ除去手段
３１領域計測部（領域計測手段）
３２領域変更部（領域変更手段）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a character region extraction device, a character region extraction method, and a character region extraction program for extracting a character region from an image based on a statistical distribution of the color of the image.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as a device for extracting a character region in which characters are drawn from an image, there is a license plate reading device or the like that is installed on an automobile road or the like and reads a vehicle number from a vehicle license plate. In this license plate reading apparatus, character regions are extracted from an image obtained by photographing a license plate as preprocessing for character recognition of a vehicle number. As such a method for extracting a character region from an image, there are various methods described below.
[0003]
First, as a first method, a method is proposed in which an input image is converted into a binarized image according to the brightness of the image, and a character region is extracted from the binarized image (for example, Patent Document 1). , See Patent Document 2).
As a second method, a method is proposed in which an edge image is generated by performing differentiation processing on an input image, and a character region is extracted from the edge image (for example, Patent Document 3). reference.).
Furthermore, as a third method, a method of extracting a character region by comparing a geometric characteristic of a character such as characters arranged in a horizontal direction with a predetermined reference value has been proposed ( For example, see Patent Document 4.)
[0004]
[Patent Document 1]
JP-A-6-111058 (page 3-5, Fig. 1)
[Patent Document 2]
Japanese Patent Laid-Open No. 2001-331803 (page 3-5, FIG. 1)
[Patent Document 3]
Japanese Unexamined Patent Publication No. 2000-187732 (page 4, FIG. 1-3)
[Patent Document 4]
Japanese Patent Laid-Open No. 9-319995 (page 5-9, FIGS. 1 and 4)
[0005]
[Problems to be solved by the invention]
In the conventional technique, in the method of extracting a character region using a binarized image as in the first method, a threshold value for binarization may be automatically set by a contrast or brightness histogram. It is possible and can easily generate a binarized image. However, since the color information is not taken into consideration, the character region and the background region are the same if the lightness is the same even if the character color and the background color are different. Are determined to be the same area, and the character area cannot be extracted.
When setting a threshold value in consideration of color information, for example, it is necessary to set a threshold value in a multidimensional space such as RGB, and the threshold value is set for an image drawn with an arbitrary character color and an arbitrary background color. There is no universal method that can be set.
[0006]
Also, in the method of extracting a character region using an edge image as in the second method, since it is necessary to perform a differential operation, it is vulnerable to noise and dirt, and a region other than a character is erroneously recognized as a character region. There was a problem that.
Furthermore, as in the third method, in the method of extracting a character region based on the geometrical characteristics of a character, the length of the character string is short, the character string is irregularly arranged, or the character string is in a fixed form. If it is not arranged at the position, there is a problem that the effectiveness cannot be exhibited.
[0007]
The present invention has been made in view of the above problems, and it is possible to extract a character area for a general purpose even in an image drawn with an arbitrary character color and an arbitrary background color. An object of the present invention is to provide a character area extraction device, a character area extraction method, and a character area extraction program.
[0008]
[Means for Solving the Problems]
The present invention has been developed to achieve the above object. First, the character region extraction device according to claim 1 is drawn in an arbitrary character color and an arbitrary background color other than the character color. A character region extraction device for extracting a character region drawn in the character color from a captured image, parameter generation means for generating a statistical parameter, and a spread for calculating a spread index indicating a color spread index in the image An index calculation unit, a parameter selection unit that selects a character color statistical parameter, a similarity calculation unit that calculates a character color similarity, and an area division unit that divides an image into regions are provided.
[0009]
According to this configuration, the character region extraction device generates a plurality of statistical parameters of a probability density function for specifying the statistical distribution from the statistical color distribution in the input image by the parameter generation unit. For example, by constructing a mixed model that is a weighted sum of color statistical distributions from an image, the character color and the background color are approximated by different probability density functions. This probability density function can specify a statistical distribution by a statistical parameter such as an average vector or variance. Thereby, even if it is arbitrary colors, it becomes possible to distinguish a character color and a background color by a statistical parameter.
[0010]
Then, the character region extraction device calculates a color spread index in the image from the statistical parameter by the spread index calculating means, and the parameter selection means selects the statistical parameter of the character color based on the spread index. Here, the spread index is an index indicating how much a certain color has in the statistical distribution on the image, and a value such as dispersion can be used.
[0011]
For example, in the case of an image in which characters are drawn on the background, the background color and the character color are the most colors that occupy the image, and the statistical distribution of colors is expressed by two distributions. Become. Further, generally, on the image, since the background area exists around the character area, the background color has a larger spread than the character color. Therefore, it can be assumed that the statistical distribution having the largest variance is that of the background color, and the statistical distribution having the second largest variance is that of the character color. Thus, by obtaining the spread (dispersion) of the statistical distribution, it is possible to specify the statistical distribution (statistical parameter) of the character color.
[0012]
When there are three or more color distributions, colors other than the background color and the character color are regarded as noise, and only two sets of statistical parameters of the background color and the character color are selected by, for example, the weighting coefficient of the statistical distribution. do it.
[0013]
Then, the character area extraction device calculates the character color similarity based on the statistical parameter of the character color and the pixel value (color vector) of each pixel of the image by the similarity calculation means, and the area division means The image is divided into a character area and other areas (background areas). The character color similarity indicates the degree to which the pixel value (color vector) is similar to the character color, and is, for example, the probability that the color vector belongs to the character color statistical distribution.
As described above, the character region extraction device obtains a statistical parameter of a probability density function for specifying the statistical distribution of the character color from the statistical distribution of the color of the image, and the pixel value of each pixel of the image belongs to the statistical distribution of the character color. The character area is extracted by determining whether or not.
[0014]
The character area extraction device according to claim 2 is a character area extraction device that extracts a character area drawn in the character color from an image drawn in an arbitrary character color and an arbitrary background color. A parameter generating means for generating a statistical parameter, a spread index calculating means for calculating a spread index indicating a color spread index in the image, a parameter selecting means for selecting statistical parameters for the character color and the background color, and a character color The configuration includes a similarity calculation unit that calculates the similarity and the background color similarity, and a region dividing unit that divides the image into regions.
[0015]
According to this configuration, the character region extraction device generates a plurality of statistical parameters of a probability density function for specifying the statistical distribution from the statistical color distribution in the input image by the parameter generation unit. For example, by constructing a mixed model that is a weighted sum of statistical distributions of colors from an image, approximating the character color and the background color with different probability density functions, the character color and the background can be any color. Colors can be distinguished by statistical parameters.
Then, the character region extraction device calculates a color spread index (for example, variance) in the image from the statistical parameters by the spread index calculation means, and the parameter selection means calculates the character color and the background color based on the spread index. Select statistical parameters.
[0016]
Then, the character area extraction device calculates the character color similarity and the background color similarity based on the statistical parameters of the character color and the background color and the pixel value (color vector) of each pixel of the image by the similarity calculation means. calculate. The character color similarity and the background color similarity indicate the degree to which the pixel value (color vector) is similar to the character color or background color. For example, the color vector is a character color or background color statistic. Probability of belonging to the distribution. Based on this probability (character color similarity and background color similarity), the region dividing means can divide the image into character regions and background regions.
[0017]
Furthermore, the character area extraction device according to claim 3 is the character area extraction device according to

claim

1 or 2, wherein the character area extraction device includes area measurement means and area change means.
[0018]
According to such a configuration, the character area extraction device measures the size of the connected area of each pixel in the character area divided by the area dividing means by the area measuring means. The connected area is a group of pixels constituting the character area, and the size indicates the area of the connected area, for example, the number of pixels. When the size of the connected area is smaller than a predetermined threshold, the character area extracting apparatus determines that the connected area is different from the character area and changes the background area to the background area. Thereby, the character area extracting apparatus can extract the character area from the image with high accuracy.
[0019]
The character region extraction device according to claim 4 is the character region extraction device according to any one of claims 1 to 3, wherein the statistical parameter includes a parameter of a Gaussian distribution constituting a mixture model. It is characterized by using.
[0020]
According to such a configuration, if the character region extraction device uses a Gaussian distribution parameter constituting the mixed model for the statistical parameter, the statistical parameter can be easily obtained based on a conventional algorithm such as an EM (Expectation-Maximization) algorithm. Can be calculated. By expressing this probability density function with a mean vector, a covariance matrix, and a mixture weight of the covariance matrix, which are parameters of a Gaussian distribution, it is possible to uniquely specify a character color and a background color.
[0021]
In addition, if a Gaussian distribution parameter is used as a statistical parameter in the character region extraction apparatus, the applicant of the present application has applied for the statistical parameter ("Statistical analysis apparatus, statistical analysis method and statistical analysis program" Japanese Patent Application 2002-2002 It is also possible to calculate using the statistical analysis device proposed in 313611). As a result, it is not necessary to perform iterative convergence calculation as in the EM algorithm, so that the calculation speed can be increased.
[0022]
Furthermore, the character area extraction method according to claim 5 is a method for extracting a character area drawn in the character color from an image drawn in an arbitrary character color and an arbitrary background color other than the character color. An area extraction method characterized by including a parameter generation step, a parameter selection step, a similarity calculation step, and an area division step.
[0023]
According to this procedure, the character region extraction method generates a plurality of statistical parameters of a probability density function for specifying the statistical distribution from the color statistical distribution in the input image in the parameter generation step. For example, by constructing a mixed model that is a weighted sum of color statistical distributions from an image, the character color and the background color are approximated by different probability density functions. Thereby, even if it is arbitrary colors, it becomes possible to distinguish a character color and a background color by a statistical parameter.
[0024]
In the character region extraction method, in the parameter selection step, a color spread index (for example, variance) in the image is calculated from the statistical parameter, and the character color statistical parameter is selected based on the spread index. With this spread index, it is possible to specify a color having a larger color spread as a background color and a character having a smaller color spread as a character color.
[0025]
Further, in the character region extraction method, the similarity calculation step calculates the character color similarity based on the statistical parameter of the character color and the color vector of each pixel of the image, and the region division step converts the image into the character region. And the other area (background area). This character color similarity is, for example, the probability that a color vector belongs to a statistical distribution of character colors. This probability makes it possible to determine whether the pixel is a pixel included in the character area.
[0026]
The character region extraction program according to claim 6 is for extracting a character region drawn in the character color from an image drawn in an arbitrary character color and an arbitrary background color other than the character color. In addition, the computer is caused to function as a parameter generation unit, a spread index calculation unit, a parameter selection unit, a similarity calculation unit, and a region division unit.
[0027]
According to such a configuration, the character region extraction program generates a plurality of statistical parameters of a probability density function for specifying the statistical distribution from the color statistical distribution in the input image by the parameter generation unit. Thereby, even if it is arbitrary colors, it becomes possible to distinguish a character color and a background color by a statistical parameter.
[0028]
Then, the character area extraction program calculates a color spread index (for example, variance) in the image from the statistical parameter by the spread index calculating means, and the parameter selection means selects the statistical parameter for the character color based on the spread index. To do. With this spread index, it is possible to specify a color having a larger color spread as a background color and a character having a smaller color spread as a character color.
[0029]
Further, the character area extraction program calculates the character color similarity from the statistical parameter of the character color and the color vector of each pixel of the image by the similarity calculation means, and the image is separated from the character area by the area dividing means. It is divided into areas other than (background area). This character color similarity is, for example, the probability that a color vector belongs to a statistical distribution of character colors. This probability makes it possible to determine whether the pixel is a pixel included in the character area.
[0030]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment: Character Area Extraction Device]
FIG. 1 is a block diagram showing a configuration of a character area extracting apparatus according to the first embodiment of the present invention. As shown in FIG. 1, the character area extraction device 1 converts an input arbitrary character color and an image (input image) drawn in an arbitrary background color other than the character color into a character area and a background area. The character area is extracted from the input image. Here, the character area extracting apparatus 1 includes a statistical parameter calculating unit 10 and a similarity determination dividing unit 20.
[0031]
The statistical parameter calculation means 10 calculates the statistical parameters of the character color and the background color in the probability density function based on the mixed model from the color statistical distribution in the input image. The statistical parameter calculation means 10 includes a statistical parameter generation unit 11 and a statistical parameter selection unit 12.
[0032]
The statistical parameter generation unit (parameter generation means) 11 approximates the color statistical distribution in the input image by a mixed model represented by a weighted sum of probability density functions of M groups (M is a natural number of 2 or more) A statistical parameter of each probability density function in the mixed model is generated. Note that the color is a vector (hereinafter referred to as a color vector) in a color space expressed by, for example, the three primary colors. Each probability density function in the mixed model is called a base element.
[0033]
Here, the color vector is x, m is a natural number not less than 1 and not more than M, and the mth base element constituting the mixed model p (x) is e_m(X), the mixing weight (weight coefficient) of the base element is w_mThen, the mixed model p (x) is expressed by equation (1).
[0034]
[Expression 1]

[0035]
However, the mixing weight w of the mth base element_mSatisfies the equation (2).
[0036]
[Expression 2]

[0037]
In this way, by approximating the statistical distribution of the color (color vector) of the input image by the mixed model p (x), M dominant colors (for example, background color and character color) that characterize the input image are obtained. ) Base element e_m(X) can be extracted.
[0038]
This base element e_mFor (x), for example, a probability density function (Gaussian basis element) of Gaussian distribution can be used. Where d is the order (dimension) in the color space of the color vector x, μ_mIs the mth average vector, Σ_mAnd Σ_m ^-1Are the covariance matrix and its inverse matrix, and T represents the transpose of the matrix, the Gaussian basis element N (x; μ_m, Σ_m) Is expressed by equation (3).
[0039]
[Equation 3]

[0040]
Note that the order d = 3 when an image taken with a three-primary color camera is handled, and the order d = 1 when a monochrome camera is used. In addition, when an imaging unit that performs spectroscopy in D (2 or more) wavelength bands is used, the order d = D. Thus, the dimension of the order d may be a natural number of 1 or more depending on the image to be handled.
[0041]
Thereafter, the base element e_m(X) will be described using a Gaussian probability density function as an example. That is, the base element e_m(X) is a Gaussian basis element N (x; μ_m, Σ_m) Is used. In the following description, the Gaussian base element is simply referred to as a base element.
[0042]
[Expression 4]

[0043]
The statistical parameter generation unit 11 uses the basis element (Gauss basis element) e shown in the equation (4)._mAn average vector μ that is a statistical parameter of the mth basis element is obtained by performing an iterative convergence operation on (x) by an EM (Expectation-Maximization) algorithm._m, Covariance matrix Σ_mAnd the covariance matrix Σ_mMixing weight w_mGet. Here, by executing the EM algorithm M times, M sets of statistical parameters (μ_m, Σ_m, W_m) (M = 1, 2,..., M). The M sets of statistical parameters generated here are output to the statistical parameter selection unit 12.
[0044]
Here, referring to FIG. 2 and FIG. 3, a statistical parameter (average vector μ) using the EM algorithm is used._m, Covariance matrix Σ_mAnd mixing weight w_m) Will be described. FIG. 2 is a diagram illustrating an example of an image (input image) on which characters are drawn. FIG. 3 is a diagram representing an input image by a mixed model on a color space.
[0045]
As shown in FIG. 2, the input image M includes a character area C and a background area N drawn with an arbitrary character color and an arbitrary background color, and noise (noise E of a third color other than the character color and the background color).₁, Character color noise E of the same color as the character color₂).
Further, as shown in FIG. 3, here, the statistical distribution of the color of the input image M is approximated by a mixed model (Gaussian mixed model) on a color space expressed by the three primary colors (R, G, B). It is assumed that the number of statistical parameters is 3 (M = 3).
[0046]
Here, the estimated value of the average vector after the end of the kth iteration of the EM algorithm is expressed as μ_m ^(K), And estimate the covariance matrix Σ_m ^(K), And the estimated value of the mixing weight w_m ^(K)Then, w_m ^(K)Is obtained by equation (5).
[0047]
[Equation 5]

[0048]
Ζ_m ^(K-1)(X) is the average vector μ estimated until after the (k−1) th iteration._m ^(K-1), Covariance matrix Σ_m ^(K-1)And mixing weight w_m ^(K-1)Is a value calculated based on, and represents the probability that the color vector x is output from the mth base element. This ζ_m ^(K-1)(X) is given by equation (6).
[0049]
[Formula 6]

[0050]
In addition, the estimated value μ of the average vector after the end of the k-th iteration_m ^(K), And estimate the covariance matrix Σ_m ^(K)Are obtained by the equations (7) and (8), respectively.
[0051]
[Expression 7]

[0052]
[Equation 8]

[0053]
Thus, statistical parameters (mean vector μ_m, Covariance matrix Σ_mAnd mixing weight w_m) Means vector μ_m ⁽⁰⁾, Covariance matrix Σ_m ⁽⁰⁾And mixing weight w_m ⁽⁰⁾Is given as an initial value, and is recursively substituted into the equations (5) to (8). That is, as shown in the equation (9), the statistical parameters (μ) of the base elements constituting the mixed model p (x) (see the equations (1) and (4)) are obtained by k iterations._m, Σ_m, W_m) Can be estimated.
[0054]
[Equation 9]

[0055]
This iterative calculation may be performed by setting the number of iterations (k) as a predetermined number of times (for example, 100), and the change amount of the statistical parameter of the base element is set to a certain threshold with respect to the increase of k It is also possible to end the iterative calculation when it falls below.
The initial value of the statistical parameter given as the initial value is, for example, by adding a random number to the average vector and covariance matrix of the color vectors of the entire input image, and μ_m ⁽⁰⁾And Σ_m ⁽⁰⁾And w_m ⁽⁰⁾Are all 1 / M.
[0056]
In this way, by setting the initial value, the first (m = 1) initial value P in FIG.₁ ⁽⁰⁾(Μ₁ ⁽⁰⁾, Σ₁ ⁽⁰⁾, W₁ ⁽⁰⁾) From the statistical parameter P of the base element₁(Μ₁, Σ₁, W₁) Is calculated. Also, the second (m = 2) initial value P₂ ⁽⁰⁾(Μ₂ ⁽⁰⁾, Σ₂ ⁽⁰⁾, W₂ ⁽⁰⁾) From the statistical parameter P of the base element₂(Μ₂, Σ₂, W₂) Is calculated. Also, the third (m = 3) initial value P₃ ⁽⁰⁾(Μ₃ ⁽⁰⁾, Σ₃ ⁽⁰⁾, W₃ ⁽⁰⁾) From the statistical parameter P of the base element₃(Μ₃, Σ₃, W₃) Is calculated.
[0057]
As a result, the character area C, background area N, and third color noise E in FIG.₁Is the statistical parameter P of the base element₁, P₂And P₃Belongs to one of the statistical distributions represented by. In addition, character color noise E₂Belong to the same statistical distribution as the character region C. The statistical parameter selection unit 12 (FIG. 1), which will be described later, determines which statistical distribution the character area C and the background area N belong to.
Returning to FIG. 1, the description will be continued.
[0058]
The statistical parameter selection unit 12 selects the text color and background color statistical parameters from the M sets of statistical parameters generated by the statistical parameter generation unit 11. In this statistical parameter selection unit 12, M sets of statistical parameters (μ_m, Σ_m, W_m) (M = 1, 2,..., M)_mTwo sets of statistical parameters are selected from the larger one, and one of the two sets of statistical parameters is set as a character color statistical parameter and the other as a background color statistical parameter. The character color statistical parameter and the background color statistical parameter selected here are notified to the region dividing means 20. Here, the statistical parameter selection unit 12 is composed of a spread index calculation unit 12a and a parameter selection unit 12b.
[0059]
The spread index calculation unit (spread index calculation means) 12a_mTwo sets of statistical parameters are selected from the larger one, and an index (spreading index) indicating the spread of the statistical distribution (color distribution) represented by each statistical parameter is calculated. The two spread indexes calculated here are notified to the parameter selection unit 12b.
[0060]
In the spread index calculation unit 12a, an index indicating the spread on the image is obtained by the distribution of the statistical distribution. That is, the spread index calculation unit 12a has a probability ζ that the color vector x of each pixel of the input image belongs to the statistical distribution indicated by the statistical parameter._m(X) is obtained by calculation according to the equation (10), and the covariance matrix S of the statistical distribution is obtained by the equations (11) and (12)._mAsk for.
[0061]
[Expression 10]

[0062]
## EQU11 ##

[0063]
[Expression 12]

[0064]
In the equations (11) and (12), r represents the coordinates in the image. W_mIs the lateral dispersion, H_mIs the vertical dispersion, C_mRepresents covariance.
In this way, the spread index calculation unit 12a performs the horizontal dispersion W_mOr longitudinal dispersion H_mThus, the spread index of the statistical distribution (color distribution) can be obtained. Therefore, the spread index calculation unit 12a uses the mixing weight w._m2 sets of statistical distribution spread index (W_mOr H_m) Is obtained from the equations (10) to (12) and notified to the parameter selection unit 12b.
[0065]
The parameter selection unit (parameter selection unit) 12b is configured to mix the mixing weight w based on the two spread indexes calculated by the spread index calculation unit 12a._mThe two large statistical parameters are selected as a character color statistical parameter and a background color statistical parameter, respectively. In this example, it is assumed that there is a background color margin (the margin is not necessarily white) around the character area, and the background area (non-character area) is larger on the image than the character area. It shall have a spread.
[0066]
Where the mixing weight w_m2 sets of statistical parameters in the descending order of (μ_a, Σ_a, W_a), (Μ_b, Σ_b, W_b) And each spread index is W_a, W_b(Here, the lateral dispersion W of equation (11)_mW)_a<W_bIn the case of (μ_a, Σ_a, W_a) Is the statistical parameter of the character color, (μ_b, Σ_b, W_b) Is a background color statistical parameter. W_a≧ W_bIn the case of (μ_b, Σ_b, W_b) Is the statistical parameter of the character color, (μ_a, Σ_a, W_a) Is a background color statistical parameter. That is, the parameter selection unit 12b determines the statistical parameter (μ_c, Σ_c, W_c) And statistical parameter of background color (μ_n, Σ_n, W_n).
[0067]
[Formula 13]

[0068]
Here, the statistical parameter (μ_c, Σ_c, W_c) And statistical parameter of background color (μ_n, Σ_n, W_n) Is notified to the similarity determination dividing means 20. Further, colors other than the character color and the background color (for example, the third color noise E in FIG. 2).₁) Statistical parameters are not used for subsequent determinations.
[0069]
The similarity determination dividing unit 20 uses the character parameter statistical parameter (μ) calculated by the statistical parameter calculation unit 10._c, Σ_c, W_c) And background color statistical parameters (μ_n, Σ_n, W_n) To determine whether the color vector of each pixel of the input image is similar to the statistical parameter of the character color or the background color, and a binary image obtained by dividing the input image into a character region and a background region Is to be generated. Here, the similarity determination division unit 20 is configured by a similarity calculation unit 21 and a region division unit 22.
[0070]
The similarity calculation unit (similarity calculation unit) 21 is a statistical parameter (μ for character color) selected by the statistical parameter selection unit 12 of the statistical parameter calculation unit 10._c, Σ_c, W_c) And background color statistical parameters (μ_n, Σ_n, W_n) And the pixel value (color vector) of each pixel in the input image, the degree of similarity indicating the degree of similarity of the color of each pixel to the character color and the background color (respectively similar to the character color similarity) And the background color similarity). The character color similarity and background color similarity calculated here are notified to the region dividing unit 22.
[0071]
The similarity calculation unit 21 calculates the similarity based on the similarity of the Gaussian base element N shown in the equation (3). That is, the similarity calculation unit 21 determines that the color vector x (r) at the coordinate r of each pixel of the input image is similar to the character color statistical parameter ζ._c(X (r)) and the background color similarity ζ whose color vector x (r) is similar to the statistical parameter of the background color_n(X (r)) is obtained by calculation according to equation (14). Each similarity is a probability that the color vector x (r) belongs to a statistical distribution represented by each statistical parameter.
[0072]
[Expression 14]

[0073]
The area dividing unit (area dividing unit) 22 is a character color similarity ζ that is the similarity calculated by the similarity calculating unit 21._c(X (r)) and background color similarity ζ_nBased on (x (r)), each pixel in the input image is divided into a character area and a background area. The area dividing unit 22 compares the similarity at the coordinate r of each pixel in the input image with a predetermined threshold, and determines whether the pixel is a pixel in the character area or a pixel in the background area. A binary image obtained by dividing the image into a character area and a background area is generated.
[0074]
For example, character color similarity ζ_c(X (r)) is a predetermined threshold value θ_cAbove, and background color similarity ζ_n(X (r)) is a predetermined threshold value θ_nIf it is less than that, it is determined that the color of the pixel at the coordinate r is a character color, otherwise it is determined that it is a background color. That is, as shown in the equation (15), the region dividing unit 22 performs character color similarity ζ for each coordinate r of each pixel in the input image._c(X (r)) and background color similarity ζ_n(X (r)) and a predetermined threshold value θ_cAnd θ_nAnd a binary image B (x) in which the color vector x (r) of the pixel at the coordinate r is “1” when it is determined as a character color and “0” when it is determined as a background color. (R)) is generated.
[0075]
[Expression 15]

[0076]
In this manner, the region dividing unit 22 generates and outputs a character region extraction image (binarized image) obtained by extracting the character region by dividing the input image into the character region and the background region.
[0077]
The configuration of the character area extraction device 1 according to the present invention has been described above, but the present invention is not limited to this. For example, here, when the region dividing unit 22 generates a character region extraction image (binarized image) B (x (r)), the character color similarity ζ_c(X (r)) and background color similarity ζ_n(X (r)) was used, but the character color similarity ζ_cEach pixel in the input image may be divided into a character area and a background area only by (x (r)).
[0078]
That is, in the similarity calculation unit 21, the character color similarity ζ in the equation (14)._cIt is assumed that only (x (r)) is calculated, and the region division unit 22 calculates the character color similarity ζ as shown in the equation (16)._c(X (r)) is a predetermined threshold value θ_cIn the above case, it is determined that the color of the pixel at the coordinate r is a character color, and in other cases, it is determined that it is a background color. In this case, the statistical parameter selection unit 12 of the statistical parameter calculation unit 10 need only select the statistical parameter of the character color.
[0079]
[Expression 16]

[0080]
Note that the character area extraction apparatus 1 can also realize each means as a function program in a computer, and can also combine the function programs to operate as a character area extraction program.
[0081]
(Operation of character area extraction device)
Next, referring to FIG. 4 (refer to FIG. 1 as appropriate), the operation of the character region extraction apparatus 1 will be described. FIG. 4 is a flowchart showing the operation of the character area extraction apparatus 1.
[0082]
<Parameter generation step>
First, the character area extraction apparatus 1 uses the statistical parameter generation unit 11 of the statistical parameter calculation unit 10 to calculate color statistics in an input image from an image (input image) drawn with an arbitrary character color and an arbitrary background color. By approximating the distribution by a mixed model represented by a weighted sum of probability density functions, a statistical parameter of each probability density function in the mixed model is generated (step S1).
[0083]
In this step S1, statistical parameters (average vector μ) of M groups (M is a natural number of 2 or more)_m, Covariance matrix Σ_mAnd mixing weight w_m) (M = 1, 2,..., M) is generated. This statistical parameter is calculated by performing an iterative convergence calculation (see the above formulas (5) to (8)) by the EM algorithm. This statistical parameter can also be obtained using the statistical analysis device proposed by the applicant of the present application (“Statistical analysis device, statistical analysis method and statistical analysis program” Japanese Patent Application No. 2002-313611).
[0084]
<Parameter selection step>
Further, the character area extracting apparatus 1 includes M sets of statistical parameters (μ) generated by the statistical parameter generating unit 11 by the spread index calculating unit 12a of the statistical parameter selecting unit 12._m, Σ_m, W_m), The mixing weight w_mTwo sets of statistical parameters having large values are selected (step S2). Here, two sets of statistical parameters (μ_a, Σ_a, W_a), (Μ_b, Σ_b, W_b).
In this step S2, the mixture weight w is calculated from M sets of statistical parameters._mBy selecting two sets of statistical parameters having large values, the statistical parameters of the character color and background color, which are dominant colors in the input image, are selected.
[0085]
Further, the character area extraction apparatus 1 calculates a spread index (for example, variance) of the statistical distribution represented by the statistical parameter by using the spread index calculation unit 12a (step S3). Here, statistical parameters (μ_a, Σ_a, W_a) Variance of W_a, Statistical parameters (μ_b, Σ_b, W_b) Variance of W_bBe
[0086]
In this step S3, the spread index calculation unit 12a obtains the probability that the color vector of each pixel of the input image belongs to the statistical distribution indicated by the two sets of statistical parameters, and obtains the covariance matrix of each statistical distribution. Thus, the dispersion which is the spread of the statistical distribution can be obtained (see the above formulas (10) to (12)).
[0087]
Then, the character area extracting apparatus 1 compares the magnitudes of the two spread indices (variances) calculated by the spread index calculating section 12a by the parameter selecting section 12b of the statistical parameter selecting section 12 (step S4). Where variance W_aIs distributed W_bGreater than (W_a> W_b) Is a statistical parameter (μ_a, Σ_a, W_a) The background color statistical parameter (μ_n, Σ_n, W_n), Statistical parameters (μ_b, Σ_b, W_b) Statistical parameter for character color (μ_c, Σ_c, W_c) (Step S5). Also, distributed W_aIs distributed W_bIf smaller (W_a≦ W_b) Is a statistical parameter (μ_a, Σ_a, W_a) Statistical parameter for character color (μ_c, Σ_c, W_c), Statistical parameters (μ_b, Σ_b, W_b) The background color statistical parameter (μ_n, Σ_n, W_n) (Step S6).
[0088]
<Similarity calculation step>
Then, the character area extraction apparatus 1 uses the statistical parameter (μ) of the character color selected (determined) by the statistical parameter selection unit 12 by the similarity calculation unit 21 of the similarity determination division unit 20._c, Σ_c, W_c) And background color statistical parameters (μ_n, Σ_n, W_n) And the pixel value (color vector) of each pixel in the input image, the character color similarity and the background color similarity indicating the degree to which the color of each pixel is similar to the character color and the background color are calculated. (Step S7).
In step S7, the similarity calculation unit 21 calculates the similarity that the color vector of each pixel in the input image is similar to the statistical parameter of the text color or background color based on the similarity of the Gaussian base element N. (See formula (14) above).
[0089]
<Region division step>
Then, the character area extraction device 1 uses the area division unit 22 of the similarity determination division unit 20 to set the character color similarity and background color similarity calculated by the similarity calculation unit 21 and predetermined thresholds. Based on the input image, the input image is divided into a character area and a background area (binarization; see equation (15)) (step S8).
Through the above operation, the character area extraction apparatus 1 generates an image (binary image) obtained by extracting a character area drawn in a character color from an input image drawn in an arbitrary character color and an arbitrary background color. Can do.
[0090]
[Second Embodiment: Character Area Extraction Device]
Next, with reference to FIG. 5, a character area extracting apparatus according to the second embodiment of the present invention will be described. FIG. 5 is a block diagram showing the configuration of the character area extracting apparatus according to the second embodiment. As shown in FIG. 5, the character area extraction device 1 </ b> B divides an input image (input image) drawn with an arbitrary character color and an arbitrary background color into a character area and a background area, thereby inputting an image. A character area is extracted from an image. Here, the character area extracting apparatus 1B includes a statistical parameter calculation unit 10, a similarity determination division unit 20, and a noise removal unit 30. Since the configuration other than the noise removing means 30 is the same as that of the character area extracting apparatus 1 shown in FIG. 1, the same reference numerals are given and description thereof is omitted.
[0091]
The noise removing unit 30 sets a small region (region division error) that should not be determined as a character region as a background region from the character region extracted image output as a binarized image from the similarity determination dividing unit 20. Noise removal is performed. Here, the noise removing means 30 is composed of an area measuring unit 31 and an area changing unit 32.
[0092]
The area measuring unit (area measuring unit) 31 is a binarized image (character area extracted image) divided by the area dividing unit 22 of the similarity determination dividing unit 20 and is determined as a character area (the above (15)). The number of pixels (area size) of the connected area constituting B (x (r)) = 1 in the equation) is measured. The area size measured here is notified to the area changing unit 32.
[0093]
The area changing unit (area changing unit) 32 compares the number of pixels (area size) of the connected area to be a character area measured by the area measuring unit 31 with a predetermined threshold value, and determines the number of pixels in the connected area. When (size) is smaller than the threshold, the character area indicated by the connected area is changed to the background area. That is, the area changing unit 32 includes the binarized image B (x (r)) expressed by the above equation (15) in the connected area when the number (size) of pixels in the connected area is smaller than the threshold. For the pixel at the coordinate r to be changed, B (x (r)) = 0 is changed.
Note that the predetermined threshold is set to be equal to or smaller than the minimum character size when the approximate size of the character is known in the input image. That is, the predetermined threshold is set in advance according to the content of the input image.
[0094]
With the above configuration, the character region extraction device 1B can correct a region erroneously recognized as a character region due to image noise or the like to a background region. For example, the character color noise E of the same color as that shown in FIG.₂Can be corrected to the background area.
[0095]
【The invention's effect】
As described above, the character region extraction device, the character region extraction method, and the character region extraction program according to the present invention have the following excellent effects.
[0096]
According to the invention of claim 1, claim 2, claim 5 or claim 6, an input image composed of a combination of an arbitrary character color and background color is divided into a character region and a background region. Thus, a character region can be extracted from the input image. At this time, it is not necessary to set a threshold value in consideration of the color information, and even if the combination of the character color and the background color is an arbitrary combination, the character region can be extracted for general purposes.
[0097]
Since the character area and the background area can be recognized separately in this way, for example, the area of the vehicle number is extracted from the license plate of the vehicle, or the area of the back number is extracted from the uniform of the athlete. Extraction can be performed. Moreover, even if the combination of the character color and the background color is an arbitrary combination, the character region can be extracted. For example, the color of the license plate of the vehicle is different, or the uniform of the sports team Even if the colors are different, the region of the vehicle number or the number can be extracted.
[0098]
Even if colors other than the background color and the character color are mixed, by using the statistical parameter, it can be recognized as a color other than the background color and the character color by using, for example, a weighting factor, and the accuracy can be determined from the input image. The character area can be extracted well.
[0099]
According to the third aspect of the present invention, even if a region (noise) having the same color as the character color is included in the image, the noise can be deleted from the character region, and the character can be accurately extracted from the input image. Regions can be extracted.
[0100]
According to the fourth aspect of the present invention, since a Gaussian distribution parameter is used as the statistical parameter, the statistical parameter can be easily calculated based on a conventional EM algorithm or the like. Further, since the color distribution can be expressed as necessary and sufficiently by the parameters of the Gaussian distribution, it is possible to suppress the calculation amount and memory consumption for extracting the character area.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a character area extracting apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of an image on which characters are drawn, which is input to the character region extraction device.
FIG. 3 is a diagram representing an input image by a mixed model on a color space.
FIG. 4 is a flowchart showing the operation of the character area extracting apparatus according to the first embodiment of the present invention.
FIG. 5 is a block diagram showing a configuration of a character area extracting apparatus according to a second embodiment of the present invention.
[Explanation of symbols]
1, 1B character area extraction device
10 Statistical parameter calculation means
11 Statistical parameter generator (parameter generator)
12 Statistical parameter selector
12a Spread index calculation unit (spread index calculation means)
12b Parameter selection unit (parameter selection means)
20 similarity determination division means
21. Similarity calculation unit (similarity calculation means)
22 Region dividing unit (region dividing means)
30 Noise removal means
31 Area measurement unit (area measurement means)
32 Area change section (area change means)

Claims

任意の文字色、及び、その文字色以外の任意の背景色で描かれた画像から、前記文字色で描かれた文字領域を抽出する文字領域抽出装置であって、
前記画像における色の統計分布から、その統計分布を特定する確率密度関数の統計パラメータを複数生成するパラメータ生成手段と、
このパラメータ生成手段で生成された複数の統計パラメータ毎に、その統計パラメータに基づいて、前記画像における色の広がりの指標を示す広がり指標を算出する広がり指標算出手段と、
この広がり指標算出手段で算出された広がり指標に基づいて、複数の前記統計パラメータから、前記文字色の統計パラメータを選択するパラメータ選択手段と、
このパラメータ選択手段で選択された前記文字色の統計パラメータと、前記画像の各画素の画素値とに基づいて、当該画素の色が前記文字色に類似する度合いを示す文字色類似度を算出する類似度算出手段と、
この類似度算出手段で算出された文字色類似度に基づいて、前記画像を前記文字領域と背景領域とに分割する領域分割手段と、
を備えていることを特徴とする文字領域抽出装置。A character region extraction device that extracts a character region drawn in the character color from an image drawn in an arbitrary character color and an arbitrary background color other than the character color,
Parameter generation means for generating a plurality of statistical parameters of a probability density function for specifying the statistical distribution from the statistical distribution of colors in the image;
For each of a plurality of statistical parameters generated by the parameter generating means, a spread index calculating means for calculating a spread index indicating a color spread index in the image based on the statistical parameters;
Based on the spread index calculated by the spread index calculation means, parameter selection means for selecting the text color statistical parameter from the plurality of statistical parameters;
Based on the statistical parameter of the character color selected by the parameter selection unit and the pixel value of each pixel of the image, the character color similarity indicating the degree of similarity of the color of the pixel to the character color is calculated. Similarity calculation means;
Area dividing means for dividing the image into the character area and the background area based on the character color similarity calculated by the similarity calculating means;
A character area extracting apparatus comprising:

任意の文字色、及び、その文字色以外の任意の背景色で描かれた画像から、前記文字色で描かれた文字領域を抽出する文字領域抽出装置であって、
前記画像における色の統計分布から、その統計分布を特定する確率密度関数の統計パラメータを複数生成するパラメータ生成手段と、
このパラメータ生成手段で生成された複数の統計パラメータ毎に、その統計パラメータに基づいて、前記画像における色の広がりの指標を示す広がり指標を算出する広がり指標算出手段と、
この広がり指標算出手段で算出された広がり指標に基づいて、複数の前記統計パラメータから、前記文字色及び前記背景色の統計パラメータをそれぞれ選択するパラメータ選択手段と、
このパラメータ選択手段で選択された前記文字色及び前記背景色の各統計パラメータと、前記画像の各画素の画素値とに基づいて、当該画素の色が前記文字色及び前記背景色にそれぞれ類似する度合いを示す文字色類似度及び背景色類似度を算出する類似度算出手段と、
この類似度算出手段で算出された文字色類似度及び背景色類似度に基づいて、前記画像を前記文字領域と背景領域とに分割する領域分割手段と、
を備えていることを特徴とする文字領域抽出装置。A character region extraction device that extracts a character region drawn in the character color from an image drawn in an arbitrary character color and an arbitrary background color other than the character color,
Parameter generation means for generating a plurality of statistical parameters of a probability density function for specifying the statistical distribution from the statistical distribution of colors in the image;
For each of a plurality of statistical parameters generated by the parameter generating means, a spread index calculating means for calculating a spread index indicating a color spread index in the image based on the statistical parameters;
Based on the spread index calculated by the spread index calculation means, parameter selection means for selecting each of the text color and background color statistical parameters from a plurality of the statistical parameters;
Based on the statistical parameters of the character color and the background color selected by the parameter selection unit and the pixel value of each pixel of the image, the color of the pixel is similar to the character color and the background color, respectively. A similarity calculating means for calculating a character color similarity indicating a degree and a background color similarity;
Area dividing means for dividing the image into the character area and the background area based on the character color similarity and background color similarity calculated by the similarity calculating means;
A character area extracting apparatus comprising:

前記領域分割手段で分割された文字領域における各画素の連結領域の大きさを計測する領域計測手段と、
この領域計測手段で計測された連結領域の大きさに基づいて、前記連結領域の大きさが所定の閾値より小さい場合に、その連結領域で示される文字領域を前記背景領域に変更する領域変更手段と、
を備えていることを特徴とする請求項１又は請求項２に記載の文字領域抽出装置。Area measuring means for measuring the size of the connected area of each pixel in the character area divided by the area dividing means;
Based on the size of the connected area measured by the area measuring means, the area changing means for changing the character area indicated by the connected area to the background area when the size of the connected area is smaller than a predetermined threshold. When,
The character region extraction device according to claim 1, wherein the character region extraction device is provided.

前記統計パラメータには、混合モデルを構成するガウス分布のパラメータを用いることを特徴とする請求項１乃至請求項３のいずれか１項に記載の文字領域抽出装置。The character region extraction apparatus according to any one of claims 1 to 3, wherein a Gaussian distribution parameter constituting a mixture model is used as the statistical parameter.

任意の文字色、及び、その文字色以外の任意の背景色で描かれた画像から、前記文字色で描かれた文字領域を抽出する文字領域抽出方法であって、
前記画像における色の統計分布から、その統計分布を特定する確率密度関数の統計パラメータを複数生成するパラメータ生成ステップと、
このパラメータ生成ステップで生成された複数の統計パラメータ毎に、その統計パラメータに基づいて、前記画像における色の広がりの指標を示す広がり指標を算出し、その広がり指標に基づいて、複数の前記統計パラメータから、前記文字色の統計パラメータを選択するパラメータ選択ステップと、
このパラメータ選択ステップで選択された前記文字色の統計パラメータと、前記画像の各画素の画素値とに基づいて、当該画素の色が前記文字色に類似する度合いを示す文字色類似度を算出する類似度算出ステップと、
この類似度算出ステップで算出された文字色類似度に基づいて、前記画像を前記文字領域と背景領域とに分割する領域分割ステップと、
を含んでいることを特徴とする文字領域抽出方法。A character region extraction method for extracting a character region drawn in the character color from an image drawn in an arbitrary character color and an arbitrary background color other than the character color,
A parameter generation step of generating a plurality of statistical parameters of a probability density function for specifying the statistical distribution from the statistical distribution of colors in the image;
For each of the plurality of statistical parameters generated in the parameter generation step, a spread index indicating a color spread index in the image is calculated based on the statistical parameter, and the plurality of statistical parameters are calculated based on the spread index. From the parameter selection step of selecting the statistical parameter of the character color,
Based on the statistical parameter of the character color selected in the parameter selection step and the pixel value of each pixel of the image, the character color similarity indicating the degree of similarity of the color of the pixel to the character color is calculated. Similarity calculation step;
An area dividing step for dividing the image into the character area and the background area based on the character color similarity calculated in the similarity calculating step;
A character region extraction method characterized by including a character string.

任意の文字色、及び、その文字色以外の任意の背景色で描かれた画像から、前記文字色で描かれた文字領域を抽出するために、コンピュータを、
前記画像における色の統計分布から、その統計分布を特定する確率密度関数の統計パラメータを複数生成するパラメータ生成手段、
このパラメータ生成手段で生成された複数の統計パラメータ毎に、その統計パラメータに基づいて、前記画像における色の広がりの指標を示す広がり指標を算出する広がり指標算出手段、
この広がり指標算出手段で算出された広がり指標に基づいて、複数の前記統計パラメータから、前記文字色の統計パラメータを選択するパラメータ選択手段、
このパラメータ選択手段で選択された前記文字色の統計パラメータと、前記画像の各画素の画素値とに基づいて、当該画素の色が前記文字色に類似する度合いを示す文字色類似度を算出する類似度算出手段、
この類似度算出手段で算出された文字色類似度に基づいて、前記画像を前記文字領域と背景領域とに分割する領域分割手段、
として機能させることを特徴とする文字領域抽出プログラム。In order to extract a character area drawn in the character color from an image drawn in an arbitrary character color and an arbitrary background color other than the character color,
Parameter generation means for generating a plurality of statistical parameters of a probability density function for specifying the statistical distribution from the statistical distribution of colors in the image;
For each of the plurality of statistical parameters generated by the parameter generating unit, a spread index calculating unit that calculates a spread index indicating a color spread index in the image based on the statistical parameter;
Parameter selection means for selecting the character color statistical parameter from the plurality of statistical parameters based on the spread index calculated by the spread index calculation means;
Based on the statistical parameter of the character color selected by the parameter selection unit and the pixel value of each pixel of the image, the character color similarity indicating the degree of similarity of the color of the pixel to the character color is calculated. Similarity calculation means,
Area dividing means for dividing the image into the character area and the background area based on the character color similarity calculated by the similarity calculating means;
Character area extraction program characterized by functioning as