JP4361946B2

JP4361946B2 - 画像処理装置、画像処理方法、画像処理プログラム、およびそのプログラムが格納された記録媒体

Info

Publication number: JP4361946B2
Application number: JP2007205949A
Authority: JP
Inventors: 雅和大平; 秀義吉村
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2007-08-07
Filing date: 2007-08-07
Publication date: 2009-11-11
Anticipated expiration: 2027-08-07
Also published as: CN101364268B; CN101364268A; US7986838B2; US20090041360A1; JP2009042942A

Description

本発明は、入力された原稿画像データと予め登録された画像データの類似度を判定するための画像処理装置に関する。

従来、この種の画像処理装置では、スキャナで原稿を読み取り、読み取って得られた画像データと、予め登録されている画像データとを照合して、画像の類似度を判定する画像処理が行われている。

例えば、ＯＣＲ（Optical Character Reader）で読み取った画像データからキーワードを抽出し、抽出したキーワードにより画像の類似度を判定する方法、類似度の判定を行う画像を罫線のある帳票画像に限定して、罫線の特徴を抽出して画像の類似度を判定する方法、画像データの文字列等を点に置き換えて、点（特徴点）の位置関係を特徴量として求め画像の類似度を判定する方法などが提案されている。

また、特許文献１には、次のような画像処理装置が開示されている。すなわち、デジタルカメラで撮像された画像やスキャナで読み取った画像に対して、画像の連結部分を単語領域と見なして、その重心を特徴点として求め、この特徴点を用いて幾何学的不変量を算出し、さらに幾何学的不変量より特徴量を求め、特徴量、特徴点を表すインデックスおよび画像を表すインデックスをハッシュテーブルに登録する。

検索を行う際には、検索質問（入力画像）から、同様の処理で特徴点、特徴量、特徴点を表すインデックスを求めてハッシュテーブルにアクセスし、登録されている画像に対して投票を行って検索を行う。

上記特徴量を求める際に、ある注目特徴点に最も近いｎ点の特徴点を選択し、選択したｎ点の特徴点からｍ個（ｍ＜ｎ）をさらに選択し、このｍ個の特徴点からｄ個（ｄはｍ以下の値）を抽出し、全ての組み合わせについてｄ個の点に係る特徴量を算出する。
国際公開第ＷＯ２００６／９２９５７Ａ１号パンフレット（公開日：２００６年９月８日）

ところで、特許文献１の検索方法では、文字の重心を特徴点とした場合に、長い英単語など、重心の変動がほとんどないパターンから計算される特徴量は、本来異なる文字列であるにも拘わらず、特徴量が一致してしまう場合がある。そのため、このようなパターンを多数含む画像に対しての判定精度が低下するといった問題がある。

本発明は、上記に鑑み、原稿画像から特徴点を求め、これらの特徴点を用いて特徴量（ハッシュ値）を算出する際、判定精度の低下を防止できる画像処理装置及び画像処理方法の提供を目的としている。

上記目的を達成するため、本発明では、原稿画像から特徴点を求め、これらの特徴点を用いて特徴量（ハッシュ値）を算出する際、複数の特徴点を選択するときに、注目特徴点に対して、最近傍の特徴点から予め指定された点数までの特徴点を注目特徴点に対して近い順に除いた上で、所定の数の特徴点を選択することで、判定精度を低下させることなく、画像の類似度を検索しようとするものである。
すなわち、本発明は、入力された原稿画像データから抽出された特徴量と、予め登録されている登録画像の特徴量とを比較して、前記入力された原稿画像データが予め登録されている登録画像に類似しているか否かの判定処理を行う画像処理装置において、前記特徴量は、前記入力された原稿画像データの複数の画素値より求められる画像の局所的な特徴を表す点を抽出して特徴点とし、ある注目特徴点に対して、その周辺の複数の特徴点を選択して、これら複数の特徴点の位置関係に基づいて計算される値であり、前記複数の特徴点を選択する際に、前記注目特徴点に対して、最近傍の特徴点から予め指定された点数までの特徴点を、注目特徴点に対して近い順に除いた上で、所定の数の特徴点を選択する近傍点選択部を備えたことを特徴とする。

上記構成によると、特徴量の計算に用いる特徴点の数を増やすことなく、したがって、計算量、データ量を増加することなく、より広範な特徴点を参照することが可能になり、異なる画像データから抽出された特徴点の形状が局所的に類似してしまう場合の特徴量を異なる値として算出可能になる。

これにより、異なる文字列から求められた特徴点の特徴量が一致してしまい、誤って一致している特徴点と判定されて、最終的な文書画像の類似判定精度が低下することを抑制することができる。

例えば、文字の重心を特徴点とした場合に、長い英単語など、重心の変動がほとんどないパターンから計算される特徴量が一致してしまう場合があるが、このようなパターンを多数含んだ画像を識別しなければならないケースで特に効果がある。

ここで、「入力された原稿画像データ」とは、（ア）スキャナにより原稿を読み取ることにより入力される画像データ、（イ）電子データのフォーマットに、コンピュータ（ソフトウェア）を用いて必要事項を入力して作成される電子データ、の２通りを意味する。実使用を考えた場合、紙ベースのデータをスキャナーにより読み取って電子化したものと、電子データで直接作成したものとの２通りが考えられる。

また、本発明の画像形成装置は、上記したいずれかに記載の画像処理装置と、入力画像データに応じた画像を記録材上に形成する画像出力部とを備えていることを特徴とする。

上記構成によると、特徴量の計算に用いる特徴点の数を増やすことなく、したがって、計算量、データ量を増加することなく、より広範な特徴点を参照することが可能となり、異なる画像データから抽出された特徴点の形状が局所的に類似してしまう場合の特徴点と判定されて、最終的な文書画像の類似判定精度が低下することを抑制することができる。
これにより、異なる文字列から求められた特徴点の特徴量が一致してしまい、誤って一致している特徴点と判定されて、最終的な文書画像の類似判定精度が低下することを抑制することができる。

また、本発明に係る画像処理方法では、入力された原稿画像データから抽出された特徴量と、予め登録されている登録画像の特徴量とを比較して、上記入力された原稿画像データが予め登録されている登録画像に類似しているか否かの判定を行う画像処理方法において、上記特徴量は、上記入力された原稿画像データの複数の画素値より求められる画像の局所的な特徴を表す点を抽出して特徴点とし、ある注目特徴点に対してその周辺の複数の特徴点を選択してこれら複数の特徴点の位置関係に基づいて計算される値であり、上記複数の特徴点を選択する際に、上記注目特徴点の少なくとも最近接の位置に存在する特徴点を除いて複数の特徴点を選択することを特徴とする。

上記構成によると、特徴量の計算に用いる点の数を増やすことなく、したがって、計算量、データ量を増加することなく、より広範な特徴点を参照することが可能になり、異なる画像データから抽出された特徴点の形状が局所的に類似してしまう場合の特徴量を異なる値として算出可能になる。

さらに、本発明に係る画像処理装置を動作させるプログラムは、コンピュータを上記各手段として機能させるためのプログラムを備えている。

上記構成によると、異なる文字列から求められた特徴量が一致してしまい、誤って一致していると判定されるのを抑制することができるので、照合精度が向上した処理をソフトウェアで実現することができる。

さらに、本発明に係る記録媒体は、上記プログラムを記録した、コンピュータで読取り可能な記録媒体も提供することができる。

上記構成によると、記録媒体から読み出されたプログラムによって、画像読取装置、画像形成装置の動作を制御することができる。また、コンピュータを用いて、上記画像処理方法をコンピュータ上に実現することができる。

以上のとおり、本発明によると、注目特徴点の近傍の特徴点を除いて特徴点を抽出し、これらの特徴点を用いて特徴量を算出することで、判定精度を低下させることなく、画像の類似度を検索することができる。

以下、本発明の実施形態を図面に基づいて説明する。図１は本発明で用いる特徴点算出部の構成例を示す。図２は本発明で用いる文書照合処理部の構成ブロック図である。図3は文書照合処理のフローチャートである。

まず、本発明の本質的特徴部分である文書照合処理部の構成を図2に基づいて説明する。文書照合処理部１０１は、特徴点算出部１０２、特徴量算出部１０３、投票処理部１０４、類似度判定処理部１０５、登録処理部１０６、制御部１０７およびメモリ１０８から構成される。

特徴点算出部１０２は、文字列や罫線の連結成分を抽出し、連結成分の重心を特徴点１１０として算出する。図４は英文字「Ａ」の連結成分の重心１１０を示す図である。図５は文字列１１１における特徴点抽出結果を示す図である。

特徴量算出部１０３は、特徴点算出部１０２で算出された特徴点１１０を用いて、回転、拡大、縮小に対して不変な量、すなわち、原稿画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変なパラメータである特徴量を算出する。特徴量を計算するために注目特徴点の近傍の特徴点を選択して用いる。

本発明では、この特徴点を選択する際に、あらかじめ指定された点数分の最近傍の特徴点は除いて、特徴点を選択する。その理由および算出方法の一例は後述する。

投票処理部１０４は、原稿より算出された特徴量（ハッシュ値）を用いて、ハッシュテーブルに登録されている原稿に投票する。図９は原稿と得票数との関係を示すグラフである。

類似度判定処理部１０５は、投票処理部１０４の投票処理結果に基づいて、最大の得票数を得た原稿（インデックス）および得票数を抽出する。また、抽出された得票数を予め定められている閾値と比較して類似度を算出する。あるいは、抽出された得票数をその原稿が有している最大得票数で除算して正規化し、その結果と予め定められている閾値との比較を行う。この場合の閾値の例としては、例えば、０．８以上に設定する方法が挙げられる。手書き部分があると、投票数は最大得票数より大きくなることがあるため、類似度が１より大きくなる場合もあり得る。

最大得票数は、特徴点の数×１つの特徴点（注目特徴点）から算出されるハッシュ値の数で表される。図６および図７の例では、最も簡単例として、１つの特徴点から１つのハッシュ値が算出される例を示しているが、注目特徴点の周辺の特徴点を選択する方法を変えると、１つの特徴点から複数のハッシュ値を算出することができる。例えば、注目特徴点の周辺の特徴点として６点を抽出し、この６点から５点を抽出する組合せは６通り存在する。そして、これら６通りのそれぞれについて、５点から３点を抽出して不変量を求め、ハッシュ値を算出する方法が挙げられる。

登録処理部１０６は、原稿より算出された特徴量（ハッシュ値）に応じて原稿を表すインデックス（原稿ＩＤ）を登録する。登録処理を行う場合、投票処理部１０４および類似度判定処理部１０５の処理はスルー（何も処理を行わない）となる。また、逆に、文章照合処理を行う場合は、登録処理部１０６の処理はスルーになる。

制御部１０７は、マイクロコンピュータのＣＰＵから構成され、上記各処理部１０２〜１０６およびメモリ１０８へのアクセスを制御する。

次に、特徴点算出部１０２の構成を図１に基づいて説明する。特徴点算出部１０２は、無彩化処理部１１２、解像度変換部１１３、ＭＴＦ補正処理部１１４、２値化処理部１１５、および重心算出部１１６から構成される。

無彩化処理部１１２は、入力画像データがカラー画像であった場合に無彩化して、明度もしくは輝度信号に変換するための処理部である。例えば、下記式より輝度Ｙを求める。

上記の方法ではなく、ＲＧＢ信号をＣＩＥ１９７６Ｌ^*ａ^*ｂ^*信号（CIE： Commission International de l'Eclairage、Ｌ^*：明度、a^* , ｂ^*:：色度）に変換しても良い。

解像度変換部１１３は、入力画像データが画像入力装置で光学的に変倍されていた場合に、所定の解像度になるように再度変倍する処理を行う。また、解像度変換部１１３では、後段の処理量を軽減するために、画像入力装置で等倍時に読み込まれる解像度よりも解像度を落とすための解像度変換としても用いられる。例えば、６００ｄｐｉ（ｄｏｔｐｅｒｉｎｃｈ）で読み込まれた画像データを３００ｄｐｉに変換する。

ＭＴＦ補正処理部１１４は、電子回路における光ピックアップの持つ伝達特性（ＭＴＦ：Modulation Transfer Function：振幅伝達関数）を補正処理するもので、画像入力装置の空間周波数特性が機種ごとに異なることを吸収するために用いられる。

ＣＣＤの出力する画像信号には、レンズやミラー等の光学部品、ＣＣＤの受光面のアパーチャ開口度、転送効率や残像、物理的な走査による積分効果及び操作むら等に起因し、ＭＴＦ（Modulation Transfer Function：振幅伝達関数）の劣化が生じている。そのため、ＭＴＦの劣化により、読み込まれた画像がぼやけたものとなっている。

ＭＴＦ補正処理部では、適切なフィルタ処理（強調処理）を施すことにより、ＭＴＦの劣化により生じるぼやけを修復する処理を行う。また、後段の特徴点抽出処理に不要な高周波成分を抑制するためにも用いる。すなわち、混合フィルタ（フィルタ係数は図１３を参照）を用いて強調及び平滑化処理を行う。

２値化処理部１１５は、無彩化された画像データ（輝度値（輝度信号）又は明度値（明度信号））を閾値と比較することにより画像を二値化する。

重心算出部１１６では、２値化された画像データ（例えば、「１」、「０」で表される）に基づいて、各画素に対してラベリング（ラベル付け処理）を行い、同一ラベルが付された画素が連結した連結領域を特定し、特定した連結領域の重心１１０を特徴点として抽出し、抽出した特徴点１１０を特徴量算出部１０３へ出力する。なお、特徴点１１０は、二値画像における座標値（ｘ座標、ｙ座標）で表すことができる。

次に、特徴量算出部１０３の構成と特徴量算出方法の例を示す。特徴量算出部１０３は、図１０に示すように、特徴点算出部１０２で抽出した複数の特徴点から注目特徴点に周辺の特徴点を選択する処理を行う近傍点選択部１１７と、選択された近傍点からハッシュ値（特徴量）を算出するハッシュ値算出部１１８とを備えている。

また、特徴量の算出方法の例を以下に示す。
・特徴点算出部１０２において、２値化された画像データの連結部分について、重心（特徴点）を算出する。図４および図５は文字列に対して特徴点を算出した例を示す。
・注目特徴点に対して、周辺の特徴点を選択する（近傍点選択部１１７）。図６に示すように、注目特徴点ａに対して、周辺の特徴点をｂ，ｃ，ｄ，ｅ，ｆとすると、注目特徴点ａに対して距離が近いものから順に周辺の特徴点ｂ，ｃ，ｄ，ｅの４点が選択される。
・選択した特徴点４点からさらに３点を選択し（近傍点選択部１１７）、３種類（図７（ａ）〜（ｃ）、（ｄ）〜（ｆ））の不変量Ｈｉｊが求められる。例えば、下記式により、余りをハッシュ値Ｈｉ（特徴量）とする（ハッシュ値算出部１１８）。

あるいは、選択した特徴点４点からさらに３点を選択し、４種類（図８（ａ）〜（ｄ）、（ｅ）〜（ｈ））の不変量Ｈｉｊが求められる。例えば、下記式により、ハッシュ値Ｈｉ（特徴量）を求めるようにしても良い。

ここで、ハッシュ値を算出する式は上記以外の一般的に知られているハッシュ関数を用いても構わない。

また、不変量Ｈｉｊは、例えば、次式で算出する。

特徴点間の距離Ａｉｊ、Ｂｉｊは、それぞれの特徴点の座標より算出する。これによりＨｉｊは相似変換に対して不変な値となる。
・ハッシュ値と原稿を表すインデックス（ＩＤｋ）をハッシュテーブルに登録する（図９参照）。ハッシュ値が同じ場合（図９（ｂ）では、Ｈ１＝Ｈ５）、テーブルを１つにまとめても良い。

次に、特徴量を算出する際の特徴点選択方法について説明する。注目特徴点に対して、例えば、周辺の特徴点を４点選択し、さらに選択した特徴点４点より３点を選択して、３種類、あるいは４種類の不変量を求める場合、互いに異なる文字列であるが、重心の位置変動が小さい場合などに、特徴点の形状が類似していて、同じ特徴量が算出される場合がある。

例えば、図１６は重心の位置変動が小さい例を模擬的に表したものであり、同図（ａ）、（ｂ）は異なる文字列を現す。図１６において、丸は特徴点を表し、塗りつぶした丸は注目特徴点の特徴量を計算するために選択された特徴点を示す。

図１６（ａ）（ｂ）に示すように、異なる文字列から抽出された特徴点であるのに、一致していると判定される。このために、判定精度が低下する。特に、英文等で顕著である。

そこで、本発明では、注目特徴点に対して、周辺の特徴点を選択する際に、最近傍の点から予め指定された点数までの特徴点を注目特徴点に対して近い順に除いた上で、所定の数の特徴点を選択する。

注目特徴点からより離れた特徴点までを選択することにより、異なる画像パターン（文字列）から同じ形状の特徴点が選択される可能性が小さくなり、異なるパターンについて誤って特徴量が一致する確率を小さくできる。

図１７は図１６（ａ）（ｂ）の文字列に対応する特徴点の選択する本発明の方法を示す図であり、特徴点の選択時に指定点数を「１」とし、つまり、最近傍の特徴点を除く例を示したものである。異なる文字列であるのに、注目特徴点の特徴量を計算するために、選択された特徴点４点の形状が類似しており、そのため、求めた注目特徴点の特徴量が一致してしまう例を示している。

これに対して、図１７（ａ）（ｂ）の例では、最近傍の特徴点を除いて４点を選択したことで、図１６の場合よりも一点分遠い点が参照されるために、選択された４点の形状に差異が発生して特徴点が異なる値をとることを示している。

図１８（ａ）（ｂ）は、指定点数として最近傍から２点の特徴点を除く例を示す。この例では、図１７の場合よりもさらに遠い点が注目特徴点の特徴量計算に用いられる。そのため、算出された特徴量が誤って一致する可能性はさらに小さくなる。

次に、図３のフローチャートに基づいて文書照合全体の処理を説明すると、まず、登録モードが選択された否かを判断し、登録モードの場合、入力された原稿画像データから特徴点を算出する処理を行い、算出した特徴点から特徴量を算出する処理を行い、特徴量、原稿を表すインデックスをテーブルに登録する処理を行って終了する。

登録モードでない場合、登録モードと同様にまず、特徴点を算出する処理を行い、その算出された特徴点から特徴量を算出し、登録されている登録画像の特徴量とを比較して、前記入力された原稿画像データが予め登録されている登録画像に類似しているか否かの判定を行い、その判定結果が類似性がある場合、所定の処理が必要か否かを判断し、必要な場合、判定信号「１」を出力して終了する。処理が不要な場合、または類似性がない場合には、判定信号「０」を出力して終了する。

本発明は、このような文書照合処理において、特徴量の算出において、注目特徴点に対して、周辺の特徴点を選択する際に、最近傍の点から予め指定された点数までの特徴点を注目特徴点に対して近い順に除いた上で、所定の数の特徴点を選択することにある。指定点数は、例えば「１」とすれば、注目特徴点に最も近い特徴点を除いて、特徴点を選択する。指定点数「２」の場合、注目特徴点に最も近い特徴点と２番目に近い特徴点とを除いて、所定の数の特徴点を選択する。

上記特徴点の選択により特徴量を算出することで、判定精度を低下させることなく、画像の類似度を検索することができる。

図１２は本発明を適用する画像処理装置としてのデジタルカラー複写機の構成ブロックを示す。デジタルカラー複写機１２１は、カラー画像入力装置１２２、カラー画像処理装置１２３、およびカラー画像出力装置１２４により構成される。

カラー画像入力装置１２２は、例えば、ＣＣＤなどの光学情報を電気信号に変換するデバイスを備えたスキャナ部より構成され、原稿からの反射光像を、ＲＧＢのアナログ信号として出力する。

カラー画像入力装置１２２にて読み取られたアナログ信号は、カラー画像処理装置１２３内を、Ａ／Ｄ変換部１２５、シェーディング補正部１２６、文書照合処理部１２７、入力階調補正部１２８、領域分離処理部１２９、色補正部１３０、黒生成下色除去部１３１、空間フィルタ処理部１３２、出力階調補正部１３３、および階調再現処理部１３４の順で送られ、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）、Ｋ（ブラック）のデジタルカラー信号として、カラー画像出力装置１２４へ出力される。

Ａ／Ｄ変換部１２５は、ＲＧＢ（Ｒ：赤・Ｇ：緑・Ｂ：青）のアナログ信号をデジタル信号に変換するもので、シェーディング補正部１２６では、Ａ／Ｄ変換部１２５より送られてきたデジタルのＲＧＢ信号に対して、カラー画像入力装置１２２の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施す。また、カラーバランスを整えると同時に、濃度信号などカラー画像処理装置１２３に採用されている画像処理システムの扱い易い信号に変換する処理を施す。

文書照合処理部１２７では、特徴点算出処理を行い、その結果を用いて事前に登録されている文書画像データとの類似度を判定する。類似ありと判定された場合は、図３に示すように、複写、電子配信、ファクシミリ送信、ファイリングなどの処理を禁止する。文書照合処理部１２７は、入力されたＲＧＢ信号をそのまま後段の入力階調補正部１２８へ出力する。

入力階調補正部１２８は、シェーディング補正部１２６にて各種の歪みが取り除かれたＲＧＢ信号に対して、下地濃度の除去やコントラストなどの画質調整処理が施される。

領域分離処理部１２９は、ＲＧＢ信号より、入力画像中の各画素を文字領域、網点領域、写真領域のいずれかに分離するものである。領域分離処理部１２９は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を、黒生成下色除去部１３１、空間フィルタ処理部１３２および階調再現処理部１３４へと出力すると共に、入力階調補正部１２８より出力された入力信号をそのまま後段の色補正部１３０に出力する。

色補正部１３０では、色再現の忠実化を図るために、不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りを取り除く処理を行う。

黒生成下色除去部１３１は、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する黒生成、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いて新たなＣＭＹ信号を生成する処理を行う。これによりＣＭＹの３色信号はＣＭＹＫの４色信号に変換される。

空間フィルタ処理部１３２は、黒生成下色除去部１３１より入力されるＣＭＹＫ信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正する。これにより出力画像のぼやけや粒状性劣化を軽減することができる。

階調再現処理部１３４では、空間フィルタ処理部１３２と同様に、ＣＭＹＫ信号の画像データに対して、領域識別信号に基づいて後述する所定の処理が施される。

例えば、領域分離処理部１２９にて文字に分離された領域は、文字の再現性を高めるために、空間フィルタ処理部１３２における空間フィルタに高周波成分の強調量が大きいフィルタが用いられる。同時に、階調再現処理部１３４においては、高域周波成分の再現に適した高解像度のスクリーンによる二値化もしくは多値化処理が実施される。

また、領域分離処理部１２９にて網点に分離された領域に関しては、空間フィルタ処理部１３２において、入力網点成分を除去するためのローパス・フィルタ処理が施される。

そして、出力階調補正部１３３では、濃度信号などの信号をカラー画像出力装置１２４の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部１３４で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理が施される。領域分離処理部１２９にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。

上述した各処理が施された画像データは、いったん記憶装置に記憶され、所定のタイミングで読み出されてカラー画像出力装置に入力される。

このカラー画像出力装置１２４は、画像データを紙などの記録媒体上に出力するもので、例えば、電子写真方式やインクジェット方式を用いたカラー無像出力装置等をあげることができるが、特にこれに限定されるものではない。なお、以上の処理は不図示のＣＰＵ（Central Processing Unit）により制御される。

なお、本発明は、デジタル複写機ではなく、コピア機能、プリンタ機能、ファクシミリ送信機能、scan to e-mail機能等を備えるデジタルカラー複合機１４１（図１５参照）に適用してもよい。

図１５に示すように、デジタルカラー複合機１４１は、さらに、例えば、モデムやネットワークカードよりなる通信装置１４２を備えている。ファクシミリの送信を行うときは、モデムにて、相手先との送信手続きを行い送信可能な状態が確保されると、所定の形式で圧縮された画像データ（スキャナで読み込まれた画像データ）をメモリから読み出し、圧縮形式の変更など必要な処理を施して、相手先に通信回線を介して順次送信する。

ファクシミリを受信する場合、ＣＰＵは、通信手続きを行いながら相手先から送信されてくる画像データを受信して画像処理装置１２３に入力する。画像処理装置１２３では、受信した画像データを、不図示の圧縮／伸張処理部にて伸張処理を施す。伸張された画像データは、必要に応じて、回転処理や解像度変換処理が行なわれ、出力階調補正、階調再現処理が施され、画像出力装置１２４より出力される。

また、ネットワークカード、ＬＡＮケーブルを介して、ネットワークに接続されたコンピュータや他のデジタル複合機とデータ通信を行なうこともできる。

なお、上記では、カラー複合機１４１について説明したが、モノクロの複合機であっても構わない。また、単体のファクシミリ通信装置であっても構わない。

図１３は本発明の本質的特徴部分を構成する文書照合処理部を備えた画像読取装置（フラットベッドスキャナ）の構成を示すブロック図である。図に示すように、カラー画像処理装置１２３は、Ａ／Ｄ変換部１２５、シェーディング補正部１２６および文書照合処理部１２７から構成されており、これに、カラー画像入力装置１２２が接続され、全体として画像読取装置１５１を構成している。

カラー画像入力装置（画像読取部）１２２は、例えばＣＣＤ（Charge Coupled Device ）を備えたスキャナ部より構成され、原稿からの反射光像を、ＲＧＢ（Ｒ：赤・Ｇ：緑・Ｂ：青）のアナログ信号としてＣＣＤにて読み取って、カラー画像処理装置に入力するものである。

カラー画像入力装置１２２にて読み取られたアナログ信号は、カラー画像処理装置１２３内を、Ａ／Ｄ変換部１２５、シェーディング補正部１２６、文書照合処理部１２７の順で送られる。

Ａ／Ｄ（アナログ／デジタル）変換部１２５は、ＲＧＢのアナログ信号をデジタル信号に変換するもので、シェーディング補正部１２６は、Ａ／Ｄ変換部１２５より送られてきたデジタルのＲＧＢ信号に対して、カラー画像入力装置１２２の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施すものである。また、シェーディング補正部１２６では、カラーバランスの調整を行う。また、シェーディング補正部１２６では、ＲＧＢの反射率信号を濃度信号に変換する。

文書照合処理部１２７は、特徴点算出処理を行い、その結果を用いて事前に登録されている文書画像データとの類似度を判定する。類似ありと判定された場合は、複写、電子配信、ファクシミリ送信、ファイリングなどの処理を禁止する判定信号を出力する。

判定信号は、読み込まれた画像データとともにネットワークを介してプリンタや複合機に送信され出力される。あるいは、コンピュータを介してプリンタに、もしくは、直接プリンタに入力される。この場合、プリンタや複合機、コンピュータ側で処理内容を表す信号を判断できるようにしておく必要がある。上記判定信号を出力するのではなく、特徴量を出力するようにしても良い。

なお、本実施形態の画像読取装置として、デジタルカメラを用いても良い。

また、本発明は、コンピュータに実行させるためのプログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録したコンピュータ読み取り可能な記録媒体に、上記した文書照合並びに出力制御を行う画像処理方法を記録することができる。

この結果、文書照合並びに出力制御、原稿画像の登録処理を行う画像処理方法を行うプログラムコードを記録した記録媒体を持ち運び自在に提供することができる。

なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるために、図示していないメモリ、例えばＲＯＭのようなもの、そのものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。

いずれの場合においても、格納されているプログラムは、マイクロプロセッサがアクセスして実行させる構成であっても良いし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムコードが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。

ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやCD−ROM／MO／MD／DVD等の光ディスクのディスク系、ICカード（メモリカードを含む）／光カード等のカード系、あるいはマスクROM、EPROM（Erasable Programmable Read Only Memory）、EEPROM（Electrically Erasable Programmable Read Only Memory）、フラッシュROM等による半導体メモリを含めた固定的にプログラムを担持する媒体であっても良い。

また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムを担持する媒体であっても良い。

なお、このように通信ネットワークからプログラムコードをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。

なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

上記記録媒体は、デジタルカラー画像形成装置やコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。

コンピュータシステムは、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどの画像入力装置、所定のプログラムがロードされることにより上記画像処理方法など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するＣＲＴディスプレイ・液晶ディスプレイなどの画像表示装置およびコンピュータの処理結果を紙などに出力するプリンタより構成される。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられる。

以上のとおり、本発明は、注目特徴点の近傍の予め指定する点数の特徴点を除いて、特徴点を抽出し、これらの特徴点を用いて特徴量を算出することで、判定精度を低下させることなく、画像の類似度を検索することができる。

本発明の実施形態である画像処理装置の特徴点算出部の構成ブロック図本発明の画像処理装置における文書照合処理部の構成ブロック図本発明の文書照合処理のフローチャート文字の連結成分の重心を示す図本発明の特徴点抽出結果を示す図特徴点と注目特徴点との関係を示す図（ａ）〜（ｆ）は１つの特徴点から１つのハッシュ値が算出される例を示す図（ａ）〜（ｈ）は１つの特徴点から１つのハッシュ値が算出される別の例を示す図（ａ）（ｂ）はハッシュ値と原稿を表すインデックスとの関係を示す図本発明の投票処理部の処理方法を示すための原稿と得票数との関係図本発明の特徴量算出部の構成ブロック図本発明を適用したデジタルカラー複写機の構成ブロック図本発明を適用した画像読取装置の構成ブロック図ハッシュテーブルを表す図本発明を適用したデジタルカラー複合機の構成ブロック図（ａ）（ｂ）はそれぞれ異なる文字列において、重心の位置変動が小さい例を模擬的に表した図図１６に対応する文字列について、本発明の特徴点の選択例を示す図図１６に対応する文字列について、本発明の別の特徴点選択例を示す図

符号の説明

１０１文書照合処理部
１０２特徴点算出部
１０３特徴量算出部
１０４投票処理部
１０５類似度判定処理部
１０６登録処理部
１０７制御部
１０８メモリ
１１２無彩化処理部
１１３解像度変換部
１１４ＭＴＦ補正処理部
１１５２値化処理部
１１６重心算出部

Claims

入力された原稿画像データから抽出された特徴量と、予め登録されている登録画像の特徴量とを比較して、前記入力された原稿画像データが予め登録されている登録画像に類似しているか否かの判定処理を行う画像処理装置において、
前記特徴量は、前記入力された原稿画像データの複数の画素値より求められる画像の局所的な特徴を表す点を抽出して特徴点とし、ある注目特徴点に対して、その周辺の複数の特徴点を選択して、これら複数の特徴点の位置関係に基づいて計算される値であり、前記複数の特徴点を選択する際に、前記注目特徴点に対して、最近傍の特徴点から予め指定された点数までの特徴点を、前記注目特徴点に対して近い順に除いた上で、所定の数の特徴点を選択する近傍点選択部を備えたことを特徴とする画像処理装置。
前記近傍点選択部では、複数の特徴点を選択する際に、前記注目特徴点の少なくとも最近接の位置に存在する特徴点を除いて複数の特徴点を選択することを特徴とする請求項１に記載の画像処理装置。
前記近傍点選択部では、複数の特徴点を選択する際に、前記注目特徴点の少なくとも最近接の位置に存在する特徴点と、２番目に近い位置に存在する特徴点とを除いて複数の特徴点を選択することを特徴とする請求項１に記載の画像処理装置。
請求項１〜３のいずれかに記載の画像処理装置と、入力画像データに応じた画像を記録材上に形成する画像出力部とを備えていることを特徴とする画像形成装置。
入力された原稿画像データから抽出された特徴量と、予め登録されている登録画像の特徴量とを比較して、前記入力された原稿画像データが予め登録されている登録画像に類似しているか否かの判定を行う画像処理方法において、
前記特徴量は、前記入力された原稿画像データの複数の画素値より求められる画像の局所的な特徴を表す点を抽出して特徴点とし、ある注目特徴点に対してその周辺の複数の特徴点を選択してこれら複数の特徴点の位置関係に基づいて計算される値であり、前記複数の特徴点を選択する際に、前記注目特徴点に対して、最近傍の特徴点から予め指定された点数までの特徴点を、前記注目特徴点に対して近い順に除いた上で、所定の数の特徴点を選択することを特徴とする画像処理方法。
請求項１〜３のいずれかに記載の画像処理装置を動作させるためのプログラムであって、コンピュータを前記特徴点算出部として機能させるプログラム。
請求項６に記載のプログラムを格納した、コンピュータで読取り可能な記録媒体。