JP4469873B2 - 画像文書の検索装置、プログラム、及び記録媒体 - Google Patents

Description

本発明は、文字と図表を主な内容とする画像である画像文書を、画像の特徴を用いて検索する画像文書の検索装置及び検索方法に関するものである。

文書をイメージスキャナ等の画像入力装置で画像に変換して電子的に蓄積し、後から検索することを可能とする画像ファイリングシステムが実用化されている。文書を画像として読み取った画像の検索には、画像の検索技術を用いることができる。

従来、画像の検索技術としては、画像に付与されたテキストに基づく検索と、画像の視覚的内容に基づく検索とがある。

このうち、画像に付与されたテキストに基づく検索とは、画像に付属する情報として、画像を説明するテキスト情報を作成し、そのテキスト情報をキーワードとして画像を検索するものであり、先行技術としては、例えば特許文献１、２がある。

しかしながら、コンピュータ視覚や人工知能技術は、日々発展を遂げているものの、現在のところ、これらによって、画像に対して自動的にテキストを付与することはできない。そのため、テキストに基づく検索では、人の手によってテキストを付与する必要があり、煩わしい作業が必要になる。

しかも、人の手によるため、人の主観が入る余地があり、付与されるテキストに意味的な相違が生じることがある。また、画像へのテキストの付け方に対してルールも定められていないため、キーワードの解釈にもある程度の差が生じる。これらの結果、検索にて得られた画像が、必ずしもユーザの目的とする画像であるとは限らず、検索の正確率に影響が出る。

さらに、テキストに基づく画像の検索技術では、画像の視覚的特徴（例えば、カラー或いは模様）は一切使用しないので、画像の情報を十分に表すことができているとはいえない。

これに対し、画像の視覚的内容に基づく検索は、画像の特徴に基づいて画像を検索するもので、画像にて画像を検索するので、人手に頼るテキストの入力が必要なく、煩わしい作業は必要なく、人の主観が入る余地もない。

画像の特徴としては、通常、カラー特徴、模様特徴、及び形状特徴の三つの特徴が用いられる。

カラー特徴は、画像の全体属性であり、画像のカラー情報を利用し、画像の表面的性質を現すものであり、先行技術としては、例えば特許文献３、４がある。

模様特徴は、画像の局所構造の特徴を反映し、画像の表面的性質を現すもので、複数の画素点を含んだ区域以内で局部統計計算をする必要がある。先行技術としては、例えば特許文献５、６がある。

形状特徴は、画像の特定区域に対して、まず、画像の分割、区域の識別を行い、それから形状の特徴について抽出するものである。先行技術としては、例えば特許文献７、８がある。
中国特許出願公開第１８５１７１３号明細書 「複数の画像文書の画像検索及び表示方法」 中国特許出願公開第１４０２８５３号明細書 「画像検索システム及び画像検索方法」 中国特許出願公開第１３６５０６７号明細書 「カラーと画像との特徴の組み合せによる画像の検索方法」 中国特許出願公開第１４２６００２号明細書 「照明の変化による影響を受けない画像の検索方法と装置」 中国特許出願公開第１５７０９７２号明細書 「画像の模様の特徴に基づく画像の検索方法」 中国特許出願公開第１３４２３００号明細書 「周波数領域中のＧａｂｏｒフィルタによる模様の説明方法と模様に基づく画像の検索方法」 中国特許出願公開第１５７０９６９号明細書 「顕著的な興味点に基づく画像の検索方法」 中国特許出願公開第１５７０９７３号明細書 「顕著的なエッジによる画像の検索方法」

しかしながら、上記した従来の画像の視覚的内容に基づく検索においては、以下のような問題がある。

画像は、常にノイズを受けており、その影響にて変形や歪みが発生する。模様とカラーを画像の特徴とする検索方法では、変形や歪みが発生すると、理想的な検索効果が得られなくなる。

また、カラーは画像区域の方向やサイズの変化に対して敏感ではないため、カラーの特徴によって局部特徴をうまく捉えることができない。

特に、特許文献４は、照明が画像形成時のカラー情報に与える影響を考慮しており、画像に対して低輝度と自らの輝度を取り除いて、残った画素を標準輝度空間下のカラーに変換するようになっている。しかしながら、低輝度値の確定標準及び確定方法、かつ、自らの輝度の限界値の選択は、画像に対する後段の処理に直接影響を及ぼすので、検索結果に与える影響が大きい。

また、単純に、模様の特徴を利用する検索方法では、高いレベルの画像内容を獲得することができない。しかも、画像の解像度が変化すると、それによって計算して獲得した模様にも大きな偏差が生じることがある。その上、画像が光の照射や反射状況の影響を受けると、偽りの模様が形成され、誤った方向に導くこともある。

一方、画像の形状の特徴に基づいた検索は、輪郭がはっきりしていない画像に対してはあまり効果がない。通常、抽出された形状の特徴が反映する目標形状の情報は、人の直観とは完全に一致していないし、完全な数学モデルを作りにくいので、特徴に対する計算が難しく、多くの計算時間とメモリを要する。また、画像に形状の変化が起こると、正確さも大きく低下する。

特に、特許文献８は、エッジがはっきりした画像に適用されるもので、本願発明が対象としている、文字と図表を主な内容とする画像文書においては、画像の中のエッジを捉えやすい。しかしながら、全画像を現すようなエッジの確定は、困難である。

本発明の目的は、画像文書の検索精度の向上を図り得る画像文書の検索装置及び検索方法を提供することにある。

本発明の画像文書の検索装置は、上記目的を達成するために、文字と図表を主な内容とする画像文書の検索装置であって、頁画像文書の特徴ベクトルを生成する特徴ベクトル生成部と、前記特徴ベクトル生成部を用いて生成された、識別対象の頁画像文書の特徴ベクトルと検索対象に蓄積されている頁画像文書の特徴ベクトルとを比較し、検索対象より識別対象の頁画像文書に対応する頁画像文書を抽出する画像文書識別部とを備え、前記特徴ベクトル生成部は、頁画像文書における文字部分を連結して矩形画像を抽出する矩形画像抽出部と、前記矩形画像抽出部にて抽出された矩形画像の情報を基に、頁の幾何構造を分析して前記頁画像文書を複数のブロックに分割するブロック分割部と、前記ブロック分割部にて分割された複数のブロックの中から、当該頁画像文書の特徴を現す特徴ブロックを選択する特徴ブロック選択部と、前記特徴ブロック選択部にて選択された複数の特徴ブロックの情報を、当該頁画像文書の特徴として算出する特徴算出部とを有し、前記特徴算出部の算出結果を、当該頁画像文書の特徴ベクトルの要素に含めることを特徴としている。なお、ここで、頁画像文書とは、頁単位で読み取られた１頁よりなる画像文書のことである。

上記構成によれば、矩形画像抽出部やブロック分割部等において、カラーの特徴（黒画素か白画素か）、空間関係の特徴（隣り合う黒画素間の距離）、及び対象の特徴が総合的に利用される。したがって、複数種類の画像の特徴情報を利用することとなり、単一の特徴の利用により、画像情報を失うことを避けることができる。また、画像の内容を十分に表すことによって、画像検索の精度を有効に向上させることができる。

また、ブロック分割部は、頁の幾何構造の分析によって、画像文書の特徴を表す特徴ブロックを確定する方法を使い、画像文書の行間隔が相対的に均一である幾何ブロックに区分する。これにより、カラー濃度や解像度が違ったり、複数の言語が混合したりしている画像文書の検索に対しても、検索精度を高く保つことができる。

さらに、ブロック分割部にて分割された全てのブロックを使用するのではなく、特徴ブロック選択部にて頁画像文書の特徴を現す特徴ブロックを選択して用いて頁画像文書の特徴を現しているので、内容の少ないブロック等、検索の正確さに影響を及ぼす要素を取り除くことができ、正確さを高めることができる。

特徴算出部は、このようにして選択された複数の特徴ブロックの情報を当該頁画像文書の特徴として算出し、これを、当該頁画像文書の特徴ベクトルの要素に含めているので、画像文書の特徴ベクトルには、画像の主要な特徴が統合されており、より全面的な画像文書の内容を表すことができる。これによって、画像文書の検索の精度が更に向上する。また、各特徴ブロックの情報を統合してできた特徴ベクトルは、従来の特徴抽出方法に比べて、より簡潔で直観的になり、計算量を減らすこともできる。

また、複数の特徴ブロックの情報を頁画像文書の特徴ベクトルに含めているので、画像文書識別部が、識別画像と検索対象の頁画像文書との整合性を見るべく特徴ベクトル同士を比較する過程で、各特徴ブロック同士が比較されるので、画像の局部の情報偏差による整合不可という検索エラーを回避でき、検索誤差を低減させることができる。

本発明の画像文書の検索装置においては、さらに、前記特徴ブロック選択部は、非直線的で、かつ面積の大きいブロックを特徴ブロックとして選択する構成とすることもできる。非直線的で、かつ、面積の大きいブロックは、視覚強度が大きく、人間の主観的判断と比較的に合致しており、画像の特徴を現す特徴ブロックとして適している。

また、本発明の画像文書の検索装置においては、さらに、前記特徴ブロック選択部は、ｎ（ｎは３以上の整数）個の特徴ブロックを選択し、前記特徴算出部は、当該頁画像文書の特徴として、ｎ個の特徴ブロックの情報に加えて、ｎ個の特徴ブロックの中心を頂点としたｎ角形（ｎは３以上の整数）の情報を算出し、前記画像文書識別部は、特徴ベクトルに含まれる頁画像文書の特徴のうちの、ｎ角形が相似する特徴ベクトルに対してのみ、ｎ個の特徴ブロックの情報についての比較を行う構成とすることもできる。

ｎ個の特徴ブロックの中心を頂点としたｎ角形は、ｎ個の特徴ブロックの配置を現している。したがって、このような情報を、画像の特徴の一つに含めることで、画像文書識別部は、ｎ個の特徴ブロックの情報についての比較を行う前に、ｎ角形が相似するかどうかで、検索対象に蓄積されている画像文書を精度よく篩いにかけることができ、特徴ベクトル同士を比較して適合性を判断する処理の計算量を少なくできる。

また、この場合、前記特徴算出部が、算出するｎ個の特徴ブロックの情報として、各特徴ブロックにおける、ブロックの高さ、ブロックの幅、ブロックの周長をブロックの面積、及びブロックに含まれる黒画素の数／面積で除した値、４つの特性を算出する構成とすることもできる。このような４つの特性にて各特徴ブロックを特徴付けて相似度を計算することで、目標画像を精度よく抽出できることを確認している。

また、本発明の画像文書の検索装置においては、さらに、前記ブロック分割部は、矩形画像の情報を基に、１ブロック内において、矩形画像間の背景領域の水平方向の寸法が相対的に均一であると共に、矩形画像間の背景領域の垂直方向の寸法が相対的に均一であるように、前記頁画像文書を分割することを特徴とすることもできる。

これにより、画像文書の行間隔が相対的に均一である幾何ブロックに区分することができる。

また、本発明の画像文書の検索装置においては、さらに、前記ブロック分割部は、矩形画像の情報を基に、垂直方向に投影し、矩形画像間の背景領域の水平方向の寸法が他の背景領域の同方向の寸法と相似しない箇所に垂直に分割線を引く操作と、水平方向に投影し、矩形画像間の背景領域の垂直方向の寸法が他の背景領域の同方向の寸法と相似しない箇所に水平に分割線を引く操作とを、分割線にて区分された領域それぞれにおける矩形画像間の背景領域の水平方向及び垂直方向の寸法が均一となるまで交互に繰り返すことを特徴とすることもできる。

これによれば、画像文書の行間隔が相対的に均一である幾何ブロックに容易に区分することができる。

また、本発明の画像文書の検索装置においては、さらに、前記特徴ベクトル生成部の前段に、前記画像文書より外周部の影を除去するエッジ除去部が設けられている構成とすることが好ましい。

コピーにて形成されたコピー画像が主であるが、画像の外周部に影が形成されることがある。このような影が画像の特徴に含まれると、画像の特徴を用いて検索するにおいて精度よく検索することはできない。特に、本発明の検索装置が、複合機やコピー機等に搭載された場合、このような影が含まれていると、精度のよい検索は望めない。

このように、エッジ除去部にて頁画像文書より影を取り除くことで、処理範囲を拡大させ、本発明の検索装置を複合機や複写機等に適用することが可能となる。

また、本発明の画像文書の検索装置においては、さらに、頁画像文書を蓄積させていく画像文書蓄積部と、前記特徴ベクトル生成部を用いて、前記画像文書蓄積部に蓄積される頁画像文書の特徴ベクトルを生成し、前記画像文書蓄積部に対応付けて蓄積させていく特徴ベクトル蓄積部とを備え、前記画像文書識別部は、識別対象の頁画像文書の特徴ベクトルと、前記特徴ベクトル蓄積部に蓄積されている特徴ベクトルとを比較し、前記画像文書蓄積部より識別対象の頁画像文書に対応する頁画像文書を抽出することを特徴とすることもできる。

これにより、画像文書識別部は、特徴ベクトル蓄積部に蓄積されている特徴ベクトルを用いて、画像文書蓄積部に蓄積されていく頁画像文書に対して検索をかけることができ、画像文書の検索に適した、画像ファイリングシステムを構成することができる。

本発明の画像文書の検索方法は、文字と図表を主な内容とする画像文書の検索方法であって、頁画像文書の特徴ベクトルを生成する特徴ベクトル生成ステップと、前記特徴ベクトル生成ステップを用いて生成された、識別対象の頁画像文書の特徴ベクトルと検索対象に蓄積されている頁画像文書の特徴ベクトルとを比較し、検索対象より識別対象の頁画像文書に対応する頁画像文書を抽出する画像文書識別ステップとを備え、前記特徴ベクトル生成ステップは、頁画像文書から文字部分を連結して矩形画像を抽出する矩形画像抽出ステップと、前記矩形画像抽出ステップにて抽出された頁矩形画像の情報を基に、頁の幾何構造を分析して頁画像文書を複数のブロックに分割するブロック分割ステップと、前記ブロック分割ステップにて分割された複数のブロックの中から、予め定められた条件に基づいて複数の特徴ブロックを選択する特徴ブロック選択ステップと、前記特徴ブロック選択部にて選択された複数の特徴ブロックの情報を、当該頁画像文書の特徴として算出する特徴算出ステップとを有し、前記特徴算出ステップの算出結果を、当該頁画像文書の特徴ベクトルの要素に含めることを特徴としている。

ところで、上記画像文書の検索装置は、ハードウェアで実現してもよいし、プログラムをコンピュータに実行させることによって実現してもよい。具体的には、本発明に係るプログラムは、上記特徴ベクトル生成部、画像文書識別部、矩形画像抽出部、ブロック分割部、特徴ブロック選択部、特徴計算部、画像文書蓄積部、及び特徴ベクトル蓄積部としてコンピュータを動作させるプログラムであり、本発明に係る記録媒体には、当該プログラムが記録されている。

これらのプログラムがコンピュータによって実行されると、当該コンピュータは、上記画像文書の検索装置として動作する。したがって、上記画像文書の検索装置と同様の作用を奏することができる。

本発明の画像文書の検索装置は、以上のように、文字と図表を主な内容とする画像文書の検索装置であって、頁画像文書の特徴ベクトルを生成する特徴ベクトル生成部と、前記特徴ベクトル生成部を用いて生成された、識別対象の頁画像文書の特徴ベクトルと検索対象に蓄積されている頁画像文書の特徴ベクトルとを比較し、検索対象より識別対象の頁画像文書に対応する頁画像文書を抽出する画像文書識別部とを備え、前記特徴ベクトル生成部は、頁画像文書における文字部分を連結して矩形画像を抽出する矩形画像抽出部と、前記矩形画像抽出部にて抽出された矩形画像の情報を基に、頁の幾何構造を分析して前記頁画像文書を複数のブロックに分割するブロック分割部と、前記ブロック分割部にて分割された複数のブロックの中から、当該頁画像文書の特徴を現す特徴ブロックを選択する特徴ブロック選択部と、前記特徴ブロック選択部にて選択された複数の特徴ブロックの情報を、当該頁画像文書の特徴として算出する特徴算出部とを有し、前記特徴算出部の算出結果を、当該頁画像文書の特徴ベクトルの要素に含めることを特徴としている。

本発明の画像文書の検索方法は、以上のように、文字と図表を主な内容とする画像文書の検索方法であって、頁画像文書の特徴ベクトルを生成する特徴ベクトル生成ステップと、前記特徴ベクトル生成ステップを用いて生成された、識別対象の頁画像文書の特徴ベクトルと検索対象に蓄積されている頁画像文書の特徴ベクトルとを比較し、検索対象より識別対象の頁画像文書に対応する頁画像文書を抽出する画像文書識別ステップとを備え、前記特徴ベクトル生成ステップは、頁画像文書から文字部分を連結して矩形画像を抽出する矩形画像抽出ステップと、前記矩形画像抽出ステップにて抽出された頁矩形画像の情報を基に、頁の幾何構造を分析して頁画像文書を複数のブロックに分割するブロック分割ステップと、前記ブロック分割ステップにて分割された複数のブロックの中から、予め定められた条件に基づいて複数の特徴ブロックを選択する特徴ブロック選択ステップと、前記特徴ブロック選択部にて選択された複数の特徴ブロックの情報を、当該頁画像文書の特徴として算出する特徴算出ステップとを有し、前記特徴算出ステップの算出結果を、当該頁画像文書の特徴ベクトルの要素に含めることを特徴としている。

これにより、画像文書の検索精度の向上を図り得る画像文書の検索装置及び検索方法を提供することができるという効果を奏する。

本発明は、文字と図表を主な内容とする画像である画像文書を、画像の特徴を用いて検索するものである。本発明は、従来の画像検索方法と異なり、画像内部の文字や絵や表などの情報が相対的に集中しているサブ区域が画像文書の特徴を十分に現すことができるとの考えにたち、画像に対して特徴を表す特徴ブロックを定め、該特徴ブロックを用いて検索を行う。

より詳細にいうと、画像に対して２値化処理を含む画像前処理を施したのち、１頁の画像に対して幾何構造を分析してサブ区域に区分し、その中から画像の特徴を示す特徴ブロックを設定し、該特徴ブロックにて画像のブロックの特徴を計算して、当該画像の特徴ベクトルを生成し、これを用いて画像文書の検索を行うものである。なお、以下においては、文字と図表を主な内容とする画像であることを明確にすることが好ましい場合には、画像文書と表現するが、それ以外は単に画像と称する。

そして、本発明は、例えば、画像文書の検索システムとして独立に使用することが可能であり、ネットワーク情報の安全や、知的所有権の保護などの分野に応用できる。また、複合機や画像形成装置、プリンタに組み込んで、目標画像の検索を行うことも可能である。

以下、本発明にかかる実施の一形態を、図１〜図１２に基づいて説明する。本実施の形態では、複合機等に搭載されて画像ファイリングシステムとして機能することを想定している。したがって、ファイリング対象の画像を蓄積してデータベース化する機能を備え、画像の蓄積と同時に、画像の特徴ベクトルも併せて蓄積してデータベース化する機能を備えた構成を例示する。但し、本発明はこれに限定されるものではない。

図１は、本発明の実施の一形態を示すものであり、画像文書検索装置の機能を示す機能ブロック図である。

図１に示すように、本実施の形態の画像文書検索装置は、画像入力部１、画像前処理部２、特徴ベクトル生成部７、特徴ベクトルデータベース１２、画像識別部１３、検索結果表示部１４、及び画像データベース１５を含んでいる。

画像入力部１は、画像を取得するものであり、例えば、イメージスキャナである。但し、画像の取得は、イメージスキャナに限られるものではなく、ネットワーク等を介して画像を取得する通信インターフェースであってもよい。また、デジタルカメラ等のデジタル式撮影装置にて撮影されたものを入力させるインターフェースなどであってもよい。

ファイリング対象（蓄積対象）の画像（以下、ファイリング画像と称する）も、目標画像を検索するためのキー画像となる識別対象の画像（以下、識別画像）も、画像入力部１より入力される。

画像入力部１より入力された、ファイリング画像及び識別画像は、画像前処理部２に送られる。また、ファイリング画像については、画像データベース１５（画像蓄積部）にも送られる。画像データベース１５は、このようにして画像入力部１より送られてくる画像を蓄積していくものである。画像データベース１５にて、本発明の画像文書蓄積部が構成されている。

画像前処理部２は、画像入力部１より送られてくる、ファイリング画像及び識別画像に対して前処理を施すものである。画像前処理部２は、画像を白黒の２値画像とする２値化処理部３と、画像データに含まれるノイズを除去するノイズ除去部４と、画像の傾きを補正する傾き補正部５と、画像より読取り時の影を除去するエッジ除去部６とを備えている。

図２に、上記エッジ除去部６におけるエッジ除去処理の手順を示す。また、図３（ａ）〜（ｅ）に、図２の各ステップによる効果を示す。

コピーに形成されたコピー画像の場合が主であるが、画像の外周部に影が形成されることがある。エッジ除去部６は、この影を除去するものである。まずは、画像にある太線を取り除く（Ｓ１）。これにより、図３（ａ）に示す原図の太枠が、図３（ｂ）に示すように除去される。次に、細いエッジ（縁）の影を取り除く（Ｓ２）。これにより、図３（ｂ）に示す細い縁の影が、図３（ｃ）に示すように除去される。次に、画像内部にある筋状の影を取り除く（Ｓ３）。これにより、図３（ｃ）に示す画像内部にある筋状の影が、図３（ｄ）に示すように除去される。最後に、残余の点状の影を取り除く（Ｓ４）。これにより、図３（ｄ）に示す点状の影が、図３（ｅ）に示すように除去される。

画像の外周部に影が形成されており、このような影が画像の特徴に含まれると、画像の特徴を用いて検索するにおいて精度よく検索することはできないが、このように、エッジ除去部にて頁画像文書より影を取り除くことで、処理範囲を拡大させ、複合機や複写機等に適用することが可能となる。

このようにして画像前処理部２にて前処理が施されたファイリング画像及び識別画像は、特徴ベクトル生成部７に送られる。

特徴ベクトル生成部７は、画像の特徴ベクトルを生成するものであり、矩形画像抽出部８と、ブロック分割部９と、特徴ブロック選択部１０と、特徴算出部１１とを備えている。

特徴ベクトル生成部７へ送られたファイリング画像及び識別画像は、まず、矩形画像抽出部８に入力される。矩形画像抽出部８は、カラーの特徴及び空間関係の特徴とを用いて、画像のテキスト領域を連結する処理を行って矩形画像を抽出するものである。上記カラーの特徴とは、黒画素か白画素かのことであり、空間関係の特徴とは、隣り合う２つの黒画素の距離である。

このように、複数種類の画像の特徴情報を利用することとなり、単一の特徴の利用により、画像情報を失うことを避けることができる。また、画像の内容を十分に表すことによって、画像検索の精度を有効に向上させることができる。

矩形画像抽出部８は、２つの隣り合う黒画素の距離が、予め設定されている閾値距離よりも小さい場合は、２つの隣り合う画素間にある全ての画素、つまり画素間にある全ての白画素を黒画素とする。このような処理を繰り返すことで、図４に示すように、画像中の文字領域は近いもの同士連結されて、矩形画像Ｐとなる。図４の例は、横書きの例であり、このような場合、行に応じた複数の矩形画像Ｐ‥が形成される。なお、縦書きの場合は、列に応じた矩形画像が形成されることとなる。

このようにして矩形画像抽出部８にて矩形画像Ｐよりなる画像に変換されたファイリング画像及び識別画像は、ブロック分割部９に送られる。

ブロック分割部９は、このように矩形画像Ｐよりなるファイリング画像及び識別画像に対して、矩形画像Ｐの情報を基に、１頁の画像（頁画像文書）全体の幾何構造を分析して、画像を複数のブロックに分割するものである。

上記矩形画像Ｐの情報とは、矩形画像Ｐの位置座標、及び矩形画像Ｐの高さと幅である。ここで、高さは垂直方向の距離であり、幅は水平方向の距離である。矩形画像Ｐのこのような情報に基づき、矩形画像Ｐ間に形成されている白画素の集まりである背景リボン（背景領域）Ｗの幅ＶＷＷと高さＨＷＨを算出することができる。背景リボンＷの幅ＶＷＷとは、水平方向に隣り合う背景リボンＷ・Ｗ間の水平方向の距離であり、背景リボンＷの高さＨＷＨとは、垂直方向に隣り合う背景リボンＷ・Ｗ間の垂直方向の距離である。

ブロック分割部９は、このような背景リボンＷの幅ＶＷＷと高さＨＷＨを用いて、１つのブロック内で、背景リボンＷの幅ＶＷＷが均一であり、また、高さＨＷＨが均一となるように、１頁の画像を複数のブロックに分割する。

図５（ａ）（ｂ）に、ブロック分割部６のブロック分割処理に用いられる、縦の方向（垂直方向）及び横の方向（水平方向）に画像を区分する各フローを示す。このうち、図５（ａ）が、縦の方向の区分に用いるフローであり、図５（ｂ）が横の方向の区分に用いるフローである。

まず、図５（ａ）に示す縦の方向の区分のフローについて説明する。矩形画像Ｐよりなる画像を基に、垂直方向での投影を行う（Ｓ１１）。次に、Ｍ個の背景リボンＷの幅ＶＷＷのシリーズを記録する（Ｓ１２）。次に、垂直方向の限界値を計算する（Ｓ１３）。限界値の計算は、シリーズに含まれる背景リボンＷの異なる幅ＶＷＷの数をまず算出し、最も多くの背景リボンＷの有する幅ＶＷＷを限界値とする。

次に、シリーズに含まれる背景リボンＷの幅ＶＷＷと限界値とを比較し（Ｓ１４）、限界値に類似する場合は、Ｓ１７に進んで次の背景リボンＷを処理し、Ｓ１４に戻る。Ｓ１４にて限界値と異なる値であれば、垂直に分割線を引き（Ｓ１５）、形成されたサブ区域の位置座標を記録した後（Ｓ１６）、Ｓ１７に進んで次の背景リボンＷを処理し、Ｓ１４に戻る。

シリーズに含まれるＭ個の全ての背景リボンＷに対してＳ１４〜Ｓ１７の処理を繰り返したのち、Ｓ１６で記録した各サブ区域に対してそれぞれ、図５（ｂ）に示す横の方向の区分のフローを使用する（Ｓ１８）。

次に、図５（ｂ）を用いて横の方向の区分のフローについて説明する。矩形画像Ｐよりなる画像を基に、水平方向での投影を行う（Ｓ２１）。次に、Ｎ個の背景リボンＷの高さＨＷＨのシリーズを記録する（Ｓ２２）。次に、水平方向の限界値を計算する（Ｓ２３）。限界値の計算は、シリーズに含まれる背景リボンＷの異なる高さＨＷＨの数をまず算出し、最も多くの背景リボンＷの有する高さＨＷＨを限界値とする。

次に、シリーズに含まれる背景リボンＷの高さＨＷＨと限界値とを比較し（Ｓ２４）、限界値に類似する場合は、Ｓ２７に進んで次の背景リボンＷを処理し、Ｓ２４に戻る。Ｓ２４にて限界値と異なる値であれば、水平に分割線を引き（Ｓ２５）、形成されたサブ区域の位置座標を記録した後（Ｓ２６）、Ｓ２７に進んで次の背景リボンＷを処理し、Ｓ２４に戻る。

シリーズに含まれるＮ個の全ての背景リボンＷに対してＳ２４〜Ｓ２７の処理を繰り返したのち、各サブ区域に対してそれぞれ、図５（ａ）に示す、縦の方向の区分を使用する（Ｓ２８）。

このような区分の仕方を利用して、ブロック分割部６は、まずは全画像を選択し、図５（ａ）に示す縦の区分を処理し、次に、処理された各区分に対して、画像の区分が均一になるまで、図５（ｂ）に示す横の区分と上記した縦の区分とを循環的に行う。背景リボンＷの幅ＶＷＷが均一である場合、縦方向に区分する処理を終了し、背景リボンＷの高さＨＷＨが均一である場合、横方向に区分する処理を終了する。

図６に、ブロック分割後の画像を示す。１頁の画像は、画像の区分が均一なＢ１〜Ｂ８の８個のブロックに分割されている。

また、図７に、図６の分割例における、ブロックＢ４の詳細を示す。ブロックＢ４は、垂直の分割線Ｖ１にて区分された右側の領域にある。図において、参照符号１００は、ブロックＢ４の拡大図、参照符号１０１は、ブロックＢ４を水平方向に投影した結果である。投影した結果１０１において、２つの背景リボンＷ１、Ｗ２の高さＨＷＨは、他の背景リボンＷのものよりも大きい。したがって、背景リボンＷ１、Ｗ２には、水平の分割線Ｈ１、Ｈ２がひかれている。そして、ブロックＢ４においては、背景リボンＷ１、Ｗ２以外の背景リボンＷの高さＨＷＨは均一である。このような状態となると、ブロック分割部６は、横方向の区分を終了する。

なお、ブロック分割の手法は、図５（ａ）（ｂ）に手順を示したものに限らず、背景リボンの幅ＶＷＷ及び背景リボンＷの高さＨＷＨが、それぞれ均一なサブ区域に区分できる手法であればよい。

画像文書の行間隔が相対的に均一である幾何ブロックに区分することにより、カラー濃度や解像度が違ったり、複数の言語が混合したりしている画像文書の検索に対しても、検索精度を高く保つことができる。

このようにしてブロック分割部９にてブロック分割されたファイリング画像及び識別画像は、特徴ブロック選択部１０へと送られる。

特徴ブロック選択部１０は、このように複数のブロックに分割されたファイリング画像、識別画像を基に、これら画像の特徴を表す特徴ブロックを、一定の規則に基づいて所定数選択するものである。

特徴ブロックとしては、画像的に視覚強度がより大きく、面積がより大きいブロックが選択される。このような特徴ブロックの選択は、人間の主観的判断に比較的合致していると考えられる。

そして、ブロック分割部にて分割された全てのブロックを使用するのではなく、特徴ブロック選択部１０にて頁画像文書の特徴を現す特徴ブロックを選択することで、内容の少ないブロック等、検索の正確さに影響を及ぼす要素を取り除くことができ、正確さを高めることができる。

具体的には、特徴ブロック選択部１０は、頁内の全ブロックの中より、非直線的であって、かつ、面積のより大きいブロックを選択する。特徴ブロックの選択数が増えるほど、目標の画像文書を検出する精度は上がるが、相似度の算出に時間を要する。本実施の形態では、特徴ブロック選択部１０は、４つ特徴ブロックを選択するようになっている。選択する特徴ブロックの数は、任意に設定できるようにすることも可能である。

図８に、図６例におけるブロックＢ１〜Ｂ８の８ブロックより、非直線的であって、かつ、面積のより大きいブロックを選択条件として、４つのブロックが選択された結果を示す。ここでは、ブロックＢ２、Ｂ３、Ｂ５、Ｂ６の４つのブロックが特徴ブロックとして選択されている。そして、選択された各特徴ブロックには、その大きさ順に従い、１番から４番までの順位が付される。この例では、最も大きいブロックＢ６が第１特徴ブロック、２番目に大きいブロックＢ５が第２特徴ブロック、３番目に大きいブロックＢ３が第３特徴ブロック、４番目に大きいブロックＢ２が第４特徴ブロックとなる。

なお、ここではブロックの大きさ順にて特徴ブロックに番号を付したが、ブロックの位置情報等によって、番号を割り振ることもできる。

このようにして特徴ブロック選択部１０にて特徴ブロックが選択されたファイリング画像及び識別画像は、特徴算出部１１へと送られる。

特徴算出部１１は、このように特徴ブロックが選択されたファイリング画像及び識別画像を基に、特徴ブロックの情報を、これら各画像の特徴として算出するものである。

特徴算出部１１は、各特徴ブロックに対し、ブロック中心の位置座標、ブロックの高さ（垂直方向の距離）、ブロックの幅（水平方向の距離）、ブロックの緊密度（Ｔｉｇｈｔｎｅｓｓ）、及びブロックの密度（Ｄｅｎｓｉｔｙ）の５つの値を求める。

ブロックの緊密度（Ｔｉｇｈｔｎｅｓｓ）は、ブロックの周長をブロックの面積で除した値である。また、密度（Ｄｅｎｓｉｔｙ）は、ブロックに含まれる黒画素の数をブロックの面積で除した値である。ここで、黒画素の数は、矩形画像Ｐに変換された入力画像ではなく、画像前処理２による処理後の画像について求められる。これにより、矩形画像Ｐにおいては、黒画素の数が相似する場合も、実際の画像が異なる場合は、相似度を小さくすることができる。

そして、特徴算出部１１は、４つの特徴ブロックそれぞれについて求めた５つの値より、画像の特徴を５項目算出する。

５項目の画像の特徴のうち、４つは、４つの特徴ブロックそれぞれの「ブロックの高さ、ブロックの幅、ブロックの周長をブロックの面積で除した値、及びブロックに含まれる黒画素の数をブロックの面積で除した値の４つの要素」よりなる。

つまり、上記４要素よりなる第１特徴ブロックの情報、上記４要素よりなる第２特徴ブロックの情報、上記４要素よりなる第３特徴ブロックの情報、及び上記４要素よりなる第４特徴ブロックの情報である。

そして、５つ目の画像の特徴は、各特徴ブロックのブロック中心の位置座標にて決まる四角形の情報である。

特徴ベクトル生成部７は、特徴算出部１１にて算出された５つの画像の特徴を、ファイリング画像及び識別画像の各特徴ベクトルに含める。もちろん、特徴ベクトルの要素が、これら５項目のみからなる構成であってもよい。

このように生成された特徴ベクトルには、画像の主要な特徴が統合されており、より全面的な画像文書の内容を表すことができ、画像文書の検索の精度が更に向上する。また、各特徴ブロックの情報を統合してできた特徴ベクトルは、従来の特徴抽出方法に比べて、より簡潔で直観的になり、計算量を減らすこともできる。

そして、特徴ベクトル生成部７は、ファイリング画像について生成した特徴ベクトルについては、特徴ベクトルデータベース１２に送り、識別画像について生成した特徴ベクトルについては、画像識別部１３に送る。

特徴ベクトルデータベース１２は、送られてくるファイリング画像の特徴ベクトルを、画像データベース１５に蓄積されるファイリング画像に対応つけて蓄積させていくものである。特徴ベクトル生成部７と、特徴ベクトルデータベース１２とで、ファイリング画像の特徴ベクトルを生成し、画像データベース１５に対応付けて蓄積していく特徴ベクトル蓄積部１６が構成されている。

また、画像識別部１３は、識別画像の特徴ベクトルを取得すると、特徴ベクトルデータベース１２を参照して格納されている特徴ベクトルと識別対象の特徴ベクトルとの比較を行い、適合度の高い特徴ベクトルの画像を目標画像の候補であると識別して画像データベース１５より抽出して、表示装置等からなる検索結果表示部１４に出力するものである。

本実施の形態においては、画像識別部１３は、適合度の高い順に画像を抽出し、相似する画像の集合を検索結果表示部１４に送るようになっている。特徴ベクトル生成部７と、画像識別部１３とで、識別画像の特徴ベクトルを生成し、画像データベース１５より目標画像を検出する検索部１７が構成される。

ここで、画像識別部１３は、識別画像と画像データベース１５内の蓄積されているファイリング画像に対して、特徴ブロックの対応関係を作る。具体的には、識別画像の各特徴ブロックを選択し、特徴ベクトルデータベース１２内の４つの特徴ブロックから、相似度が一番高い特徴ブロックをさがし、特徴ブロックの行列ペアを作る。最終的には、２つの画像の４つの特徴ブロックの行列ペアを作り、２つの画像の距離を計算する。

図９に、画像識別部１３にて行われる目標画像を識別する手順を示す。まず、特徴ベクトルデータベース１２より、特徴ベクトルを１つ取得する（Ｓ３１）。そして、図１０に示すように、まずは、識別画像１０２と画像データベース１５に格納されているファイリング画像１０３との間で、特徴ベクトルに含まれる５項目の画像の特徴のうちの四角形の情報を使用して、四角形１０４と四角形１０５とを比較し（Ｓ３２）、相似するかどうかを判断する（Ｓ３３）。ここで、相似しない場合は、Ｓ３７に移行する。

一方、四角形１０４と四角形１０５とが相似する場合は、Ｓ３４に進んで、特徴ベクトルに含まれる残りの４つ項目の画像の特徴を使用して、識別画像と画像データベース１５に格納されている画像との間で、４つの特徴ブロックそれぞれに対してブロック間の距離を求める。

残り４つのブロックの特徴とは、４つの特徴ブロックそれぞれにおける「ブロックの高さ（垂直方向の距離）、ブロックの幅（水平方向の距離）、ブロックの緊密度（Ｔｉｇｈｔｎｅｓｓ）、及びブロックの密度（Ｄｅｎｓｉｔｙ）」である。これら各要素について、特徴ブロック間の距離が算出される。ここで、ブロック間の距離を算出式は、下記の式にて表される。

式中、「ｉ」は、第ｉ番目の特徴ブロック、つまり第ｉ特徴ブロックであることを示している。この特徴ブロック間の距離が、相似度となる。

第ｉ特徴ブロック間のブロック間距離の算出式を、より具体的に記載すると、以下のようになる。

式中、（ｉ，ｉｎｐｕｔ）は、識別対象の入力画像の第ｉ特徴ブロックの値を示し、（ｉ，ｄａｔａｂａｓｅ）は、蓄積されている画像データベース１５に格納されている画像の第ｉ特徴ブロックの値を示す。

上記式を用いて、第１特徴ブロックから第４特徴ブロックまでの４つの特徴ブロックそれぞれについて、相似度であるブロック間の距離が算出される。

このように、画像識別部１３においては、識別画像と検索対象の画像文書との整合性を見るべく特徴ベクトル同士を比較する過程で、各特徴ブロック同士が比較されるので、画像の局部の情報偏差による整合不可という検索エラーを回避でき、検索誤差を低減させることができる。

また、画像の特徴の５つ目の項目として、４つの特徴ブロックの中心を結んだ四角形の情報を含め、４個の特徴ブロックの情報についての比較を行う前に、Ｓ３２、Ｓ３３の処理により、四角形が相似するかどうかで、特徴ベクトルデータベース１２に蓄積されている特徴ベクトルを（つまりが画像データベースに格納されている画像）を精度よく篩いにかけている。したがって、特徴ベクトル同士を比較して適合性を判断する処理の計算量を少なくできる。このような中心を結んだ形を利用した比較は、３つ以上の特徴ブロックを選択することで可能になる。なお、画像の特徴を、各特徴ブロックの情報にて現す上記した５項目は、好ましい一例であり、これに限られるものではない。

図１１に、以上のような構成を有する本実施の形態の画像文書検索装置における、ファイリング画像の特徴ベクトルを生成して特徴ベクトルデータベース１２に蓄積していく特徴ベクトル蓄積処理のフローを示す。

上述したように、入力されたファイリング画像に対し、まずは、図１に示す画像前処理部２が前処理を施す。前処理では、２値化処理部３が、画像をまず２値化し（Ｓ４１）、続いて、ノイズ除去部４がノイズを除去し（Ｓ４２）、傾き補正部５が傾きを補正する（Ｓ４３）。その後、エッジ除去部６が、上述したように、図２のフローに従い、図３（ａ）〜（ｅ）に示すように、画像のエッジを除去する（Ｓ４４）。

このような前処理が終了すると、図１に示す特徴ベクトル生成部３が、特徴ベクトルを生成する。まずは、矩形画像抽出部８が、テキスト領域の繋ぎ処理を行い、図４に示すような矩形画像Ｐよりなる画像とする（Ｓ４５）。続いて、ブロック分割部９が、１頁の幾何構造の分析を行い、図５（ａ）（ｂ）のフローを使用して、図６に示すように、１頁の画像を複数のブロックに分割する（Ｓ４６）。

次に、特徴ブロック選択部１０が、特徴ブロックの選択規則に従い、図８に示すように、４つの特徴ブロックを選択する（Ｓ４７）。このように特徴ブロックが選択されると、特徴算出部１１が、上述した５項目の画像の特徴を算出する（Ｓ４８）。

Ｓ４８にて算出された５項目の画像の特徴により、当該１頁のファイリング画像の特徴ベクトルが生成され、生成された特徴ベクトルは、特徴ベクトルデータベース１２に格納される（Ｓ４９）。

図１２に、以上のような構成を有する本実施の形態の画像文書検索装置における、識別画像の特徴ベクトルを生成して、特徴ベクトルデータベース１２を参照して蓄積されている特徴ベクトルと比較して目標画像を検索する検索処理のフローを示す。

画像入力部１より入力された識別画像に対し、図１２と同じＳ４１〜４８までの処理を施して、当該１頁の画像の特徴ベクトルが生成される。

検索処理では、生成された特徴ベクトルを用いて、図１に示す画像識別部１３が、上述したように、図９のフローに従い、特徴ベクトルデータベース１２を参照して、画像の識別を行い、目標画像候補を抽出する（Ｓ５０）。

検索結果表示部１４は、Ｓ５０にて抽出された目標画像候補を、相似度の高い順に表示する（Ｓ５１）。

最後に、画像文書検索装置の各ブロック、特に画像前処理部２、特徴ベクトル生成部７、画像識別部１３は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、画像文書検索装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像文書検索装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像文書検索装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、画像文書検索装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した実施形態（及び実施例）に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

また、発明の詳細な説明の項においてなされた具体的な実施態様または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する特許請求事項との範囲内で、種々変更して実施することができるものである。

文字と図表を主な内容とする画像である画像文書の検索に関するものであり、例えば、文書をイメージスキャナ等の画像入力装置で画像に変換して電子的に蓄積し、後から検索することを可能とする画像ファイリングシステム等の用途に利用できる。また、画像文書の検索システムとして独立に使用することで、ネットワーク情報の安全や、知的所有権の保護などの分野に応用できる。さらに、複合機や画像形成装置、プリンタに組み込んで、目標画像の検索を行うことなども可能である。

本発明の実施の一形態を示すものであり、画像文書検索装置の要部構成を示すブロック図である。 上記画像文書検索装置におけるエッジ除去部の処理を示すフローチャートである。 （ａ）〜（ｅ）共に、上記画像文書検索装置におけるエッジ除去部による効果を示す説明図である。 上記画像文書検索装置における矩形画像抽出部の処理を示す説明図である。 （ａ）（ｂ）共に、上記画像文書検索装置におけるブロック分割部の処理を示すフローチャートである。 上記画像文書検索装置におけるブロック分割部の分割結果を示す説明図である。 図６の分割結果におけるあるブロックの詳細を示す説明図である。 上記画像文書検索装置における特徴ブロック選択部の、図６の分割結果に対する選択結果を示す説明図である。 上記画像文書検索装置における画像識別部の処理を示すフローチャートである。 図９のフローチャートにおけるＳ３２の処理を示す説明図である。 ファイリング画像の特徴ベクトルを生成して特徴ベクトルデータベースに蓄積していく特徴ベクトル蓄積処理のフローチャートである。 識別画像の特徴ベクトルを生成して、特徴ベクトルデータベースを参照して蓄積されている特徴ベクトルと比較して目標画像を検索する検索処理のフローチャートである。

符号の説明

１ 画像入力部
２ 画像前処理部
３ ２値化処理部
４ ノイズ除去部
５ 傾き補正部
６ エッジ除去部
７ 特徴ベクトル生成部
８ 矩形画像抽出部
９ ブロック分割部
１０ 特徴ブロック選択部
１１ 特徴算出部
１２ 特徴ベクトルデータベース（特徴ベクトル蓄積部）
１３ 画像識別部）（画像文書識別部）
１４ 検索結果表示部
１５ 画像データベース（画像文書蓄積部）
１６ 特徴ベクトル蓄積部
１７ 検索部

Claims (8)

1. 文字と図表を主な内容とする画像文書の検索装置であって、
   頁画像文書の特徴ベクトルを生成する特徴ベクトル生成部と、
   前記特徴ベクトル生成部を用いて生成された、識別対象の頁画像文書の特徴ベクトルと検索対象に蓄積されている頁画像文書の特徴ベクトルとを比較し、検索対象より識別対象の頁画像文書に対応する頁画像文書を抽出する画像文書識別部とを備え、
   前記特徴ベクトル生成部は、
   頁画像文書における文字部分を連結して矩形画像を抽出する矩形画像抽出部と、
   前記矩形画像抽出部にて抽出された矩形画像の情報を基に、頁の幾何構造を分析して前記頁画像文書を複数のブロックに分割するブロック分割部と、
   前記ブロック分割部にて分割された複数のブロックの中から、当該頁画像文書の特徴を現す特徴ブロックを選択する特徴ブロック選択部と、
   前記特徴ブロック選択部にて選択された複数の特徴ブロックの情報を、当該頁画像文書の特徴として算出する特徴算出部とを有し、
   前記特徴算出部の算出結果を、当該頁画像文書の特徴ベクトルの要素に含めるようになっており、さらに、
   前記ブロック分割部は、矩形画像の情報を基に、垂直方向に投影し、矩形画像間の背景領域の水平方向の寸法が他の背景領域の同方向の寸法と類似しない箇所に垂直に分割線を引く操作と、水平方向に投影し、矩形画像間の背景領域の垂直方向の寸法が他の背景領域の同方向の寸法と類似しない箇所に水平に分割線を引く操作とを、分割線にて区分されたそれぞれの領域において、領域内における矩形画像間の各背景領域の水平方向の寸法が互いに類似すると共に、矩形画像間の各背景領域の垂直方向の寸法が互いに類似するまで交互に繰り返すことを特徴とする画像文書の検索装置。
2. 文字と図表を主な内容とする画像文書の検索装置であって、
   頁画像文書の特徴ベクトルを生成する特徴ベクトル生成部と、
   前記特徴ベクトル生成部を用いて生成された、識別対象の頁画像文書の特徴ベクトルと検索対象に蓄積されている頁画像文書の特徴ベクトルとを比較し、検索対象より識別対象の頁画像文書に対応する頁画像文書を抽出する画像文書識別部とを備え、
   前記特徴ベクトル生成部は、
   頁画像文書における文字部分を連結して矩形画像を抽出する矩形画像抽出部と、
   前記矩形画像抽出部にて抽出された矩形画像の情報を基に、頁の幾何構造を分析して前記頁画像文書を複数のブロックに分割するブロック分割部と、
   前記ブロック分割部にて分割された複数のブロックの中から、当該頁画像文書の特徴を現す特徴ブロックを選択する特徴ブロック選択部と、
   前記特徴ブロック選択部にて選択された複数の特徴ブロックの情報を、当該頁画像文書の特徴として算出する特徴算出部とを有し、
   前記特徴算出部の算出結果を、当該頁画像文書の特徴ベクトルの要素に含めるようになっており、さらに、
   前記特徴ブロック選択部は、ｎ（ｎは３以上の整数）個の特徴ブロックを選択し、
   前記特徴算出部は、当該頁画像文書の特徴として、ｎ個の特徴ブロックの情報に加えて、ｎ個の特徴ブロックの中心を頂点としたｎ角形（ｎは３以上の整数）の情報を算出し、
   前記画像文書識別部は、識別対象の頁画像文書の特徴ベクトルと検索対象に蓄積されている頁画像文書の特徴ベクトルとを比較するに際し、特徴ベクトルに含まれる頁画像文書の特徴のうちのｎ角形の情報を使用して、識別対象の頁画像文書のｎ角形と検索対象に蓄積されている頁画像文書のｎ角形とが相似するかどうかを判断し、相似する場合のみ、ｎ個の特徴ブロックの情報についての比較を行い、
   前記ブロック分割部は、矩形画像の情報を基に、垂直方向に投影し、矩形画像間の背景領域の水平方向の寸法が他の背景領域の同方向の寸法と類似しない箇所に垂直に分割線を引く操作と、水平方向に投影し、矩形画像間の背景領域の垂直方向の寸法が他の背景領域の同方向の寸法と類似しない箇所に水平に分割線を引く操作とを、分割線にて区分されたそれぞれの領域において、領域内における矩形画像間の各背景領域の水平方向の寸法が互いに類似すると共に、矩形画像間の各背景領域の垂直方向の寸法が互いに類似するまで交互に繰り返すことを特徴とする画像文書の検索装置。
3. 文字と図表を主な内容とする画像文書の検索装置であって、
   頁画像文書の特徴ベクトルを生成する特徴ベクトル生成部と、
   前記特徴ベクトル生成部を用いて生成された、識別対象の頁画像文書の特徴ベクトルと検索対象に蓄積されている頁画像文書の特徴ベクトルとを比較し、検索対象より識別対象の頁画像文書に対応する頁画像文書を抽出する画像文書識別部とを備え、
   前記特徴ベクトル生成部は、
   頁画像文書における文字部分を連結して矩形画像を抽出する矩形画像抽出部と、
   前記矩形画像抽出部にて抽出された矩形画像の情報を基に、頁の幾何構造を分析して前記頁画像文書を複数のブロックに分割するブロック分割部と、
   前記ブロック分割部にて分割された複数のブロックの中から、当該頁画像文書の特徴を現す特徴ブロックを選択する特徴ブロック選択部と、
   前記特徴ブロック選択部にて選択された複数の特徴ブロックの情報を、当該頁画像文書の特徴として算出する特徴算出部とを有し、
   前記特徴算出部の算出結果を、当該頁画像文書の特徴ベクトルの要素に含めるようになっており、さらに、
   前記特徴ブロック選択部は、ｎ（ｎは３以上の整数）個の特徴ブロックを選択し、
   前記特徴算出部は、当該頁画像文書の特徴として、ｎ個の特徴ブロックの情報に加えて、ｎ個の特徴ブロックの中心を頂点としたｎ角形（ｎは３以上の整数）の情報を算出し、
   前記画像文書識別部は、識別対象の頁画像文書の特徴ベクトルと検索対象に蓄積されている頁画像文書の特徴ベクトルとを比較するに際し、特徴ベクトルに含まれる頁画像文書の特徴のうちのｎ角形の情報を使用して、識別対象の頁画像文書のｎ角形と検索対象に蓄積されている頁画像文書のｎ角形とが相似するかどうかを判断し、相似する場合のみ、ｎ個の特徴ブロックの情報についての比較を行うことを特徴とする画像文書の検索装置。
4. 前記特徴算出部は、ｎ個の特徴ブロックの情報として、各特徴ブロックにおける、ブロックの高さ、ブロックの幅、ブロックの周長をブロックの面積で除した値、及びブロックに含まれる黒画素の数をブロックの面積で除した値の、４つの特性を算出することを特徴とする請求項３に記載の画像文書の検索装置。
5. 前記特徴ベクトル生成部の前段に、前記頁画像文書より外周部の影を除去するエッジ除去部が設けられていることを特徴とする請求項１〜４の何れか１項に記載の画像文書の検索装置。
6. 頁画像文書を蓄積させていく画像文書蓄積部と、
   前記特徴ベクトル生成部を用いて、前記画像文書蓄積部に蓄積される頁画像文書の特徴ベクトルを生成し、前記画像文書蓄積部に対応付けて蓄積させていく特徴ベクトル蓄積部とを備え、
   前記画像文書識別部は、識別対象の頁画像文書の特徴ベクトルと、前記特徴ベクトル蓄積部に蓄積されている特徴ベクトルとを比較し、前記画像文書蓄積部より識別対象の頁画像文書に対応する頁画像文書を抽出することを特徴とする請求項１〜５の何れか１項に記載の画像文書の検索装置。
7. 請求項１〜６の何れか１項に記載の検索装置の各部としてコンピュータを機能させるためのプログラム。
8. 請求項７に記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images