JP2004334337A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2004334337A JP2004334337A JP2003125815A JP2003125815A JP2004334337A JP 2004334337 A JP2004334337 A JP 2004334337A JP 2003125815 A JP2003125815 A JP 2003125815A JP 2003125815 A JP2003125815 A JP 2003125815A JP 2004334337 A JP2004334337 A JP 2004334337A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- similarity
- document
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
【課題】所望の画像を効率的に検索することができる画像処理技術を提供する。
【解決手段】検索クエリ画像のアスペクト比と、該検索クエリ画像を複数のメッシュブロックに分割した各メッシュブロックの画像特徴量の位置配列からなるレイアウト画像特徴量を抽出する。検索クエリ画像を少なくとも２種類の回転角で回転した場合に、各回転角におけるアスペクト比に基づいて、それぞれがアスペクト比とレイアウト画像特徴量とを対応付けた画像群を記憶している記憶媒体から検索対象画像を各回転角毎に選出する。選出された検索対象画像のレイアウト画像特徴量と、検索クエリ画像のレイアウト画像特徴量中の画像特徴量の位置配列を各回転角に応じて変更した場合のレイアウト画像特徴量との類似比較を各回転角毎に実行する。各回転角毎に得られる類似度の内の最大の類似度を、検索クエリ画像と検索対象画像の総合類似度として決定する。決定した総合類似度に対応する検索対象画像を検索結果画像として出力する。
【選択図】 図１３Ａ
【解決手段】検索クエリ画像のアスペクト比と、該検索クエリ画像を複数のメッシュブロックに分割した各メッシュブロックの画像特徴量の位置配列からなるレイアウト画像特徴量を抽出する。検索クエリ画像を少なくとも２種類の回転角で回転した場合に、各回転角におけるアスペクト比に基づいて、それぞれがアスペクト比とレイアウト画像特徴量とを対応付けた画像群を記憶している記憶媒体から検索対象画像を各回転角毎に選出する。選出された検索対象画像のレイアウト画像特徴量と、検索クエリ画像のレイアウト画像特徴量中の画像特徴量の位置配列を各回転角に応じて変更した場合のレイアウト画像特徴量との類似比較を各回転角毎に実行する。各回転角毎に得られる類似度の内の最大の類似度を、検索クエリ画像と検索対象画像の総合類似度として決定する。決定した総合類似度に対応する検索対象画像を検索結果画像として出力する。
【選択図】 図１３Ａ
Description
【０００１】
【発明の属する技術分野】
本発明は、検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理技術に関するものである。
【０００２】
【従来の技術】
従来、検索対象画像中の部分画像のレイアウトに基づいて、所望のレイアウトを有する画像を類似画像検索する場合には、検索条件となる検索クエリ画像を変倍してＭ×ＮあるいはＭ×Ｍのブロックに分割し、各ブロックに対して代表色を決定し、検索時には、その代表色と、検索対象画像のブロックの代表色の差異でもって、検索結果となる画像を決定するものがある。
【０００３】
一方で、画像中の文字行を抽出し、文字行画像を４方向回転した場合にそれぞれ得られる文字画像に対しＯＣＲ処理を施し、その尤度が最大となる方向を文書方向とする方向検知処理が、特許文献１や２で提案されている。そして、この方向検知処理を上述の画像中のレイアウトを利用した類似画像検索に適応した場合には、検索クエリ画像を適宜回転してその画像特徴量を算出した上で、検索対象画像の画像特徴量との類似比較を行い、その各回転した時における類似度の内、最大値となる時の回転角度における類似度を総合類似度として、検索クエリ画像の向きやレイアウトを有する画像を検出することが可能である。
【０００４】
【特許文献１】
特許第３１８６７１２号
【特許文献２】
特許第３１８６２４６号
【発明が解決しようとする課題】
しかしながら、上記従来の類似画像検索においては、検索クエリ画像を変倍した上で、類似画像検索を行うので、もともとの画像のアスペクト比が失われた状態で類似画像検索が実行されることになり、適切に所望の画像を検索できない場合があった。
【０００５】
また、本来の方向検知処理の処理対象である文字画像パターン辞書のような、そのパターン数が限定されている環境にこの方向検知処理を適応する場合には問題とはならないが、処理対象の画像の数が日々更新され変化するような環境で実現される類似画像検索に方向検知処理を適応する場合には、その処理時間が大きな問題となる。
更に、画像が文字を含まない場合には正しく方向検知処理を行うことはできず、たとえ登録画像が全て文字を含み方向検知処理により正しい向きに補正して検索のための情報を抽出していたとしても、クエリ画像が文字を含まない場合には必ず回転を考慮した検索を行わなければ所望の画像を検索できない。
【０００６】
更に、また、紙文書等の原稿から検索クエリ画像を生成して、類似画像検索を行う場合には、その生成時の原稿の向きによって検索クエリ画像のレイアウトが異なることになり、同一レイアウトでも向きによって検索精度が著しく異なってしまい、場合によっては、所望の画像を検索できない場合があった。
【０００７】
本発明は上記の課題を解決するためになされたものであり、所望の画像を効率的に検索することができる画像処理技術を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
検索条件となる検索クエリ画像と、その検索対象画像との類似度に基づいて、類似画像検索を行う画像処理装置であって、
前記検索クエリ画像のアスペクト比と、該検索クエリ画像を複数のメッシュブロックに分割した各メッシュブロックの画像特徴量の位置配列からなるレイアウト画像特徴量を抽出する抽出手段と、
前記検索クエリ画像を少なくとも２種類の回転角で回転した場合に、各回転角におけるアスペクト比に基づいて、それぞれがアスペクト比とレイアウト画像特徴量とを対応付けた画像群を記憶している記憶媒体から検索対象画像を前記各回転角毎に選出する選出手段と、
前記選出手段で選出された検索対象画像のレイアウト画像特徴量と、前記検索クエリ画像のレイアウト画像特徴量中の画像特徴量の位置配列を前記各回転角に応じて変更した場合のレイアウト画像特徴量との類似比較を前記各回転角毎に実行する比較手段と、
前記比較手段によって前記各回転角毎に得られる類似度の内の最大の類似度を、前記検索クエリ画像と前記検索対象画像の総合類似度として決定する決定手段と、
前記決定手段で決定した総合類似度に対応する検索対象画像を検索結果画像として出力する出力手段と
を備える。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００１０】
図１は本発明の実施形態の画像処理システムの構成を示すブロック図である。
【００１１】
この画像処理システムは、オフィス１０とオフィス２０とをインターネット等のネットワーク１０４で接続された環境で実現する。
【００１２】
オフィス１０内に構築されたＬＡＮ１０７には、複数種類の機能を実現する複合機であるＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ１０６及びそのデータベース１０５、及びプロキシサーバ１０３が接続されている。
【００１３】
オフィス１０内のＬＡＮ１０７及びオフィス２０内のＬＡＮ１０８は、双方のオフィスのプロキシサーバ１０３を介してネットワーク１０４に接続されている。
【００１４】
ＭＦＰ１００は、特に、紙文書を電子的に読み取る画像読取部と、画像読取部から得られる画像信号に対する画像処理を実行する画像処理部を有し、この画像信号はＬＡＮ１０９を介してマネージメントＰＣ１０１に送信することができる。
【００１５】
マネージメントＰＣ１０１は、通常のＰＣであり、内部に画像記憶部、画像処理部、表示部、入力部等の各種構成要素を有するが、その構成要素の一部はＭＦＰ１００に一体化して構成されている。
【００１６】
尚、ネットワーク１０４は、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、またはこれらの組み合わせにより実現されるいわゆる通信ネットワークであり、データの送受信が可能であれば良い。
【００１７】
また、マネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ等の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。
【００１８】
次に、ＭＦＰ１００の詳細構成について、図２を用いて説明する。
【００１９】
図２は本発明の実施形態のＭＦＰの詳細構成を示すブロック図である。
【００２０】
図２において、原稿台とオートドキュメントフィーダ（ＡＤＦ）を含む画像読取部１１０は、束状のあるいは１枚の原稿画像を光源（不図示）で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスタ状の画像読取信号を所定密度（６００ＤＰＩ等の）のラスタ画像として得る。
【００２１】
また、ＭＦＰ１００は、画像読取信号に対応する画像を印刷部１１２で記録媒体に印刷する複写機能を有し、原稿画像を１つ複写する場合には、この画像読取信号をデータ処理部１１５で画像処理して記録信号を生成し、これを印刷部１１２によって記録媒体上に印刷させる。一方、原稿画像を複数複写する場合には、記憶部１１１に一旦一つ分の記録信号を記憶保持させた後、これを印刷部１１２に順次出力して記録媒体上に印刷させる。
【００２２】
一方、クライアントＰＣ１０２から出力される記録信号は、ＬＡＮ１０７及びネットワークＩＦ１１４を介してデータ処理部１１５が受信し、データ処理部１１５は、その記録信号を印刷部１１２で記録可能なラスターデータに変換した後、印刷部１１２によって記録媒体上に印刷させる。
【００２３】
ＭＦＰ１００への操作者の指示は、ＭＦＰ１００に装備されたキー操作部とマネージメントＰＣ１０１に接続されたキーボード及びマウスからなる入力部１１３から行われ、これら一連の動作はデータ処理部１１５内の制御部（不図示）で制御される。また、操作入力の状態表示及び処理中の画像データの表示は、表示部１１６で行われる。
【００２４】
記憶部１１１は、マネージメントＰＣ１０１からも制御され、ＭＦＰ１００とマネージメントＰＣ１０１とのデータの送受信及び制御は、ネットワークＩＦ１１７及びＬＡＮ１０９を介して行われる。
【００２５】
尚、ＭＦＰ１００では、後述する各種処理を実行するための各種操作・表示をユーザに提供するユーザインタフェースを、表示部１１６及び入力部１１３によって実現している。このユーザインタフェースでは、例えば、登録対象の画像データを紙文書から登録するのか電子文書から登録するのかを選択的に指定することが可能である。
【００２６】
本発明による画像処理システムで実行する処理としては、大きく分けて画像データを登録する登録処理と、所望の画像データを検索する検索処理の２つがある。
【００２７】
尚、本実施形態では、画像処理システム全体の処理効率を向上するために、以下に説明する各種処理を、画像処理システムを構成する各種端末に分散させて実行するようにしているが、１つの端末（例えば、ＭＦＰ１００）上で実行するようにしても構わない。
【００２８】
まず、登録処理について説明する。
【００２９】
［登録処理］
登録対象の画像データの登録方法としては、紙文書をスキャン入力して生成した画像データを登録する場合と、文書作成アプリケーション等で作成された電子文書をラスタ画像に展開した画像データを登録する場合がある。
【００３０】
図３は本発明の実施形態の登録処理を示すフローチャートである。
【００３１】
まず、ステップＳ３０１で、ユーザによるユーザインタフェースの操作内容に基づいて、紙文書登録であるか否かを判定する。紙文書登録である場合（ステップＳ３０１でＹＥＳ）、ステップＳ３０２に進み、紙文書登録処理を行う。尚、この処理の詳細については後述する。一方、紙文書登録でない場合（ステップＳ３０１でＮＯ）、ステップＳ３０３に進む。
【００３２】
ステップＳ３０３で、電子文書登録であるか否かを判定する。電子文書登録である場合（ステップＳ３０３でＹＥＳ）、ステップＳ３０４に進み、電子文書登録処理を行う。尚、この処理の詳細については後述する。一方、電子文書登録でない場合（ステップＳ３０３でＮＯ）、処理を終了する。
【００３３】
次に、ステップＳ３０２の紙文書登録処理の詳細について、図４を用いて説明する。
【００３４】
図４は本発明の実施形態の紙文書登録処理の詳細を示すフローチャートである。
【００３５】
尚、この処理は、画像読取部１１０のＡＤＦに、登録対象の紙文書がセットされ、入力部１１３の登録ボタンが操作された時点で開始される。また、登録対象の紙文書は、１枚でも複数枚でも可能であるが、複数枚の場合は、その紙文書から得られる画像データ群（ページ画像群）を１つのファイルとして管理することになる。
【００３６】
まず、ステップＳ４０３で、登録ボタンが操作されると、画像読取部１１０で読み取る紙文書を特定するための文書ＩＤを発行する。
【００３７】
ステップＳ４０４で、ＡＤＦに紙文書があるか否かを判定する。紙文書がない場合（ステップＳ４０４でＮＯ）、ステップＳ４０９に進む。一方、紙文書がある場合（ステップＳ４０４でＹＥＳ）、ステップＳ４０５に進み、画像読取部１１０によってＡＤＦから紙文書を１枚スキャンする。
【００３８】
ステップＳ４０６で、スキャン画像を特定するためのページＩＤを追加発行して、記憶部１１１に記憶する。ステップＳ４０７で、スキャン画像数を示すページ数Ｍをカウントアップする。ステップＳ４０８で、ページＩＤでファイル名を生成してスキャン画像データを記憶装置１１１へ記憶する一方、記憶部１１１から順次スキャン画像データをＬＡＮ１０９経由でマネージメントＰＣ１０１へ転送する。
【００３９】
尚、このスキャン画像データは、例えば、ＪＰＥＧ形式の画像であるとするが、これに限定されるものではなく、色情報を保存しておくことが可能な画像形式（例えば、ＧＩＦ、ＢＭＰ）であればどのようなものでも良い。
【００４０】
一方、ステップＳ４０４において、ＡＤＦに紙文書がなくなった場合（ステップＳ４０４でＮＯ）、ステップＳ４０９で、マネージメントＰＣ１０１からＬＡＮ１０９を介して文書管理サーバ１０６へ全スキャン画像データファイルを送信して、そのスキャン画像データをマネージメントＰＣ１０１で一時記憶する。ステップＳ４１０で、文書管理サーバ１０６は、データベース１０５上で文書ＩＤとページＩＤを対応付けて記憶する。
【００４１】
ステップＳ４１１で、文書管理サーバ１０６で、画像検索インデックス生成処理を実行する。尚、この処理の詳細については後述する。ステップＳ４１２で、マネージメントＰＣ１０１上の一時記憶したスキャン画像データを消去し、登録処理を終了する。
【００４２】
ここで、データベース１０５のデータスキーマについて、図５及び図６を用いて説明する。
【００４３】
このデータスキーマは、文書ＩＤに関連付けた情報を管理する文書管理スキーマとページＩＤに関連付けた情報を管理するページ管理スキーマを少なくとも有している。
【００４４】
図５は本発明の実施形態のデータベースのデータスキーマの内、文書管理スキーマを示す図である。
【００４５】
図５に示す文書管理スキーマでは、文書ＩＤと、登録対象画像の登録日時と、その文書ＩＤに対応するスキャン画像群それぞれを特定するページＩＤを対応づけて記憶している。
【００４６】
また、電子文書による登録の場合には、その電子文書の存在場所を示すアドレス情報を、更に、文書ＩＤと対応づけて記憶している。逆に、紙文書による登録の場合には、アドレス情報は、ＮＵＬＬとなる。
【００４７】
ここで、アドレスとは、ＵＲＬや、サーバ名とディレクトリ、ファイル名からなる電子データの格納先を示すフルパス情報である。
【００４８】
図５の例では、文書ＩＤ００００００１の画像が、２００２年１２月１９日１０：００に登録を開始し、１ページの紙文書による登録であった場合を示している。同様に、文書ＩＤ００００００２の画像が、２００２年１２月２０日１０：００から登録を開始し、２ページの紙文書による登録であった場合を示している。
【００４９】
図６は本発明の実施形態のデータベースのデータスキーマの内、ページ管理スキーマを示す図である。
【００５０】
図６に示すページ管理スキーマでは、ページＩＤと、そのページＩＤが属する文書ＩＤと、文書管理サーバ１０６上におけるスキャン画像のファイル名からなるアドレス情報を対応づけて記憶している。
【００５１】
次に、ステップＳ３０４の電子文書登録処理の詳細について、図７を用いて説明する。
【００５２】
図７は本発明の実施形態の電子文書登録処理の詳細を示すフローチャートである。
【００５３】
尚、この処理は、クライアントＰＣ１０２からマネージメントＰＣ１０１へ電子文書を転送しておき、ユーザインタフェース上に提示される電子文書のリストから所望の電子文書が選択されて、入力部１１３の登録ボタンが操作された時点で開始される。
【００５４】
まず、ステップＳ５０３で、登録ボタンが操作されると、選択された電子文書を特定するための文書ＩＤを発行する。
【００５５】
ステップＳ５０４で、電子文書のラスタ画像に展開するラスタ化が終了したか否かを判定する。ラスタ化が終了した場合（ステップＳ５０４でＹＥＳ）、ステップＳ５０９に進む。一方、ラスタ化が終了していない場合（ステップＳ５０４でＮＯ）、ステップ５０５に進み、１ページ分の電子文書のラスタ画像（ページ画像）を生成する。
【００５６】
ステップＳ５０６で、ラスタ画像を特定するためのページＩＤを追加発行して、記憶部１１１に記憶する。ステップＳ５０７で、ラスタ画像数を示すページ数Ｍをカウントアップする。ステップＳ５０８で、ページＩＤでファイル名を生成してラスタ画像データを記憶装置１１１へ記憶する一方、記憶部１１１から順次ラスタ画像データをＬＡＮ１０９経由でマネージメントＰＣ１０１へ転送する。
【００５７】
尚、このラスタ画像データは、例えば、ＪＰＥＧ形式の画像であるとするが、これに限定されるものではなく、色情報を保存しておくことが可能な画像形式（例えば、ＧＩＦ、ＢＭＰ）であればどのようなものでも良い。
【００５８】
一方、ステップＳ５０４において、ラスタ化が終了した場合（ステップＳ５０４でＹＥＳ）、ステップＳ５０９で、マネージメントＰＣ１０１からＬＡＮ１０９を介して文書管理サーバ１０６へ全ラスタ画像データファイルを送信して、そのラスタ画像データをマネージメントＰＣ１０１で一時記憶する。ステップＳ５１０で、文書管理サーバ１０６は、データベース１０５上で文書ＩＤとページＩＤを対応付けて記憶する。
【００５９】
ステップＳ５１１で、文書管理サーバ１０６で、画像検索インデックス生成処理を実行する。尚、この処理の詳細については後述する。ステップＳ４１２で、マネージメントＰＣ１０１上の一時記憶したラスタ画像データを消去し、登録処理を終了する。
【００６０】
尚、この処理によって生成されるラスター画像データに関する文書ＩＤ及びページＩＤの関係を、図５の例で説明すると、文書ＩＤ００００００３の画像は、アドレス情報がＣ：￥Ｄｏｃ￥Ｗｅｂ．ｈｔｍｌであり、２００２年１２月２１日１０：００から登録を開始し、印刷した場合には３ページの紙原稿になる電子文書による登録であったことを示している。
【００６１】
尚、文書ＩＤ００００００３の画像は、そのオリジナルが電子文書であるため、図６に示したような、ページＩＤ毎のＪＰＥＧ画像を記憶管理しなくても、オリジナルの電子文書から任意のページのラスタ画像データを必要に応じて生成することが可能である。しかしながら、後述する検索処理を行う上では、オリジナルの電子文書とは別に、その電子文書の各ページに対するラスタ画像データを記憶管理しておくほうが、検索速度を向上する観点からは好ましい。
【００６２】
次に、ステップＳ４１１あるいはステップＳ５１１の画像検索インデックス生成処理の詳細について、図８を用いて説明する。
【００６３】
［画像検索インデックス生成処理］
図８は本発明の実施形態の画像検索インデックス生成処理の詳細を示すフローチャートである。
【００６４】
尚、この画像検索インデックス生成処理とは、登録されている文書の画像データを検索する場合の検索条件に用いる画像データの特徴量（画像検索インデックス）を生成する処理である。
【００６５】
まず、ステップＳ６０１で、以下の処理を行ったページの内、処理済のページ数を示すページカウンタＩを０にリセットする。ステップＳ６０２で、図４あるいは図５でページ数Ｍを参照して、Ｉ＜Ｍであるか否かを判定する。Ｉ＜Ｍでない場合（ステップＳ６０２でＮＯ）、即ち、未処理のページがない場合、処理を終了する。一方、Ｉ＜Ｍである場合（ステップＳ６０２でＹＥＳ）、ステップＳ６０３に進む。
【００６６】
ステップＳ６０３で、処理対象のページ画像から複数の部分領域画像を抽出し、また、その個数Ｎを取得する。
【００６７】
ここで、部分領域画像の抽出とは、例えば、図９（ａ）のラスタ画像を、図９（ｂ）のように、意味のあるブロック毎の塊として認識し、該ブロック各々の属性（文字（ＴＥＸＴ）／図画（ＰＩＣＴＵＲＥ）／写真（ＰＨＯＴＯ）／線（ＬＩＮＥ）／表（ＴＡＢＬＥ）等）を判定し、異なる属性を持つ部分領域画像を抽出する処理である。
【００６８】
この部分領域画像を抽出する処理の実施形態を以下に説明する。
【００６９】
まず、入力画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
【００７０】
このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つ部分領域へ分類していく。例えば、縦横比が１に近く、大きさが一定の範囲の部分領域は文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字部分領域、扁平な画素塊を線部分領域、一定大きさ以上でかつ矩形の白画素塊を整列よく内包する黒画素塊の占める範囲を表部分領域、不定形の画素塊が散在している領域を写真部分領域、それ以外の任意形状の画素塊を図画部分領域とする。
【００７１】
そして、部分領域画像を抽出する処理では、不定形の画素塊が散在している写真部分領域で、かつその領域が矩形状のものを部分領域画像として抽出する。
【００７２】
次に、ステップＳ６０４で、処理済の部分領域画像の個数を示すカウンタＪを０にリセットする。ステップＳ６０５で、Ｊ＜Ｎであるか否かを判定する。Ｊ＜Ｎでない場合（ステップＳ６０５でＮＯ）、つまり、未処理の部分領域画像がなくなった場合、カウンタＩをインクリメントして、ステップＳ６０２に戻る。
【００７３】
一方、Ｊ＜Ｎである場合（ステップＳ６０５でＹＥＳ）、つまり、未処理の部分領域画像がある場合、ステップＳ６０６に進み、部分領域画像のアスペクト比及びカラーレイアウト画像特徴量を算出する。
【００７４】
ここで、アスペクト比は、部分領域画像の横の画素数に対する縦の画素数の比と定義する。また、カラーレイアウト画像特徴量は、処理対象画像（部分領域画像）を複数のメッシュブロックに分割した各メッシュブロックに属する画素のＲＧＢの平均値（画像特徴量）である。
【００７５】
尚、本実施形態では、図１０に示すように、画像を縦横それぞれ、例えば、９メッシュブロックに分割し、図１１に示すような走査順で、各メッシュブロックにおけるＲＧＢの平均値の位置配列を、カラーレイアウト画像特徴量として保持する。
【００７６】
ステップ６０７で、処理対象の部分領域画像と特定するための画像ＩＤを発行する。ステップＳ６０８で、データベース１０５へ、処理対象の部分領域画像の画像ＩＤと、その部分領域画像が属するページのページＩＤとを対応づけ、更に、更に、アスペクト比とカラーレイアウト画像特徴量を対応付けて記憶する。その後、カウンタＪをインクリメントして、ステップＳ６０５に戻る。
【００７７】
ここで、ステップＳ６０７の処理によってデータベース１０５に管理される画像特徴量管理データスキーマの例を示すと、図１２のようになる。
【００７８】
次に、検索処理について説明する。
【００７９】
［検索処理］
この検索処理は、検索条件となる検索クエリ画像を有する紙文書を画像読取部１１０でスキャンして、検索クエリ画像を生成して、その検索クエリ画像に類似する画像を有する文書を検索する。そして、検索後の文書に対しては、各種後処理（例えば、印刷、配信、記憶等）を実行することができるが、以下の例では、文書を検索して印刷する場合の検索処理について、図１３Ａ、図１３Ｂおよび図１４を用いて説明する。
【００８０】
図１３Ａ及び図１３Ｂは本発明の実施形態の検索処理を示すフローチャートである。
【００８１】
尚、この処理は、画像読取部１１０のＡＤＦあるいは原稿台に、検索条件となる紙文書をセットした状態で、入力部１１３の「検索クエリ画像を含む文書のプリント」ボタンが操作された時点で開始される。また、検索条件となる紙文書は、１枚でも複数枚でも可能であるが、複数枚の場合には、それぞれの紙文書から得られる複数画像を検索クエリ画像群とし、その検索クエリ画像群を用いて検索された画像を共通に含む画像群を検索結果とする。更に、ＡＤＦあるいは原稿台にセットする紙文書の向きには、特に、制限は設けていない。
【００８２】
そのため、紙文書から得られる検索クエリ画像の向きは、様々な向きが存在する。そこで、本実施形態では、検索クエリ画像の向きを考慮した検索処理を実行することで、検索クエリ画像の向きに依存することなく、精度の良い検索クエリ画像を含む文書画像を検索することが可能となる。
【００８３】
ステップＳ１３０３で、「検索クエリ画像を含む文書のプリント」ボタンが操作された時点で、画像読取部１１０でセットされている紙文書をスキャンし、スキャンした画像を検索クエリ画像として、マネージメントＰＣ１０１へ転送する。
【００８４】
ステップＳ１３０４で、マネージメントＰＣ１０１で、検索クエリ画像から部分領域画像を抽出する。尚、この抽出は、図８のステップＳ６０３の処理と同様の方法で実行する。ステップＳ１３０５で、図８のステップＳ６０６と同様にして、抽出した部分領域画像のアスペクト比とカラーレイアウト画像特徴量を算出する。
【００８５】
ステップＳ１３０６で、部分領域画像のアスペクト比及びカラーレイアウト画像特徴量と、データベース１０５に登録されている画像のアスペクト比及びカラーレイアウト画像特徴量との類似比較を画像特徴量比較処理を実行する。尚、この処理の詳細については後述するが、特に、本実施形態では、画像特徴量として、画像のアスペクト比及びカラーレイアウト画像特徴量に加えて、その画像を回転した場合に得られる画像特徴量を考慮した、画像特徴量比較処理を行う。
【００８６】
そして、この画像特徴量比較処理によって、部分領域画像と第一閾値以上の類似度を有する画像の画像ＩＤ群を取得して、これを検索結果とする。
【００８７】
次に、ステップＳ１３０７で、データベース１０５中の図１２のデータスキーマを参照して、取得した画像ＩＤをページＩＤへ変換するとともに、その類似度をページＩＤに対応させてデータベース１０５に追加記憶する。
【００８８】
次に、ステップＳ１３０８で、未処理の部分領域画像があるか否かを判定する。未処理の部分領域画像がない場合（ステップＳ１３０８でＮＯ）、ステップＳ１３１３に進む。一方、未処理の部分領域画像がある場合（ステップＳ１３０８でＹＥＳ）、ステップＳ１３０９に進む。
【００８９】
尚、ステップＳ１３０９を含む、それ以降のステップＳ１３１１までの処理、つまり、ステップＳ１３０９〜ステップＳ１３１１の処理は、ステップＳ１３０５〜ステップＳ１３０７の処理に対応する。また、ステップＳ１３０８〜ステップＳ１３１２の処理は、部分領域画像が複数存在する場合に、各部分領域画像に対する処理となっている。
【００９０】
そして、ステップＳ１３１２で、ステップＳ１３１１で既に取得されている画像ＩＤに対応するページＩＤと、新たに取得された画像ＩＤに対応するページＩＤの論理積をとり、それによって得られるページＩＤ群と、複数の同一ページＩＤが存在する場合には、それぞれに対して算出された類似度の平均を算出して、これをそのページＩＤに対応させてデータベース１０５に追加記憶する。
【００９１】
ステップＳ１３０８において、未処理の部分領域画像がない場合（ステップＳ１３０８でＮＯ）、ステップＳ１３１３に進み、データベース１０５に記憶されている類似度の降順でページＩＤをソートする。ステップＳ１３１４で、データベース１０５中の図１２のデータスキーマを参照して、ソートされた各ページＩＤをそれぞれ文書ＩＤへ変換する。尚、ページＩＤの類似度は、変換後もそのまま文書ＩＤへ受け継がせる。
【００９２】
以上の処理が、検索クエリ画像に基づいて、データベース１０５から画像を検索する検索処理である。
【００９３】
次に、この検索処理によって得られる検索結果を利用して、ユーザが所望するクエリ画像を含む文書の印刷を効率的に行うための処理について、図１３Ｂを用いて説明する。
【００９４】
まず、ステップＳ１３１５において、検索ヒットした文書（文書ＩＤ）が１つであるか否かを判定する。即ち、検索クエリ画像との類似度が第一閾値以上である文書が１つであるか否かを判定する。検索ヒットした文書が１つである場合（ステップＳ１３１５でＹＥＳ）、ステップＳ１３１６に進み、データベース１０５の図５のデータスキーマを参照して、文書ＩＤに対応するアドレス情報があるか否か、つまり、文書が電子文書によって登録されたものであるか紙文書によって登録されたものであるか否かを確認する。
【００９５】
確認の結果に基づいて、ステップＳ１３１７で、文書ＩＤに対応する文書が電子文書であるか否かを判定する。電子文書である場合（ステップＳ１３１７でＹＥＳ）、ステップＳ１３１８に進み、その電子文書をレンダリングして印刷部１１２より印刷する。
【００９６】
尚、検索された文書が電子文書である場合には、その電子文書で直接印刷したほうが、高品位の印刷を実現することができるので、このような処理となる。
【００９７】
一方、ステップＳ１３１７で、電子文書でない場合（ステップＳ１３１７でＮＯ）、ステップＳ１３２４に進み、データベース１０５の図５のデータスキーマを参照して、文書ＩＤに対応するページＩＤ群を登録順に取得する。ステップＳ１３２５で、データベース１０５の図６のデータスキーマを参照して、取得したページＩＤ群に対応するアドレス情報を取得する。
【００９８】
そして、ステップＳ１３２６で、取得したアドレス情報が示す画像データを用いて印刷部１１２より印刷する。
【００９９】
一方、ステップＳ１３１５において、検索ヒットした文書が１つでない場合（ステップＳ１３１５でＮＯ）、ステップＳ１３１９に進み、第１番目と第２番目の候補となる文書の類似度の差が第二閾値以上であるか否かを判定する。第二閾値以上の場合（ステップＳ１３１９でＹＥＳ）、第２番目以下の文書はノイズとみなすことができるので、ステップＳ１３１６に進む。一方、第二閾値未満である場合（ステップＳ１３１９でＮＯ）、複数の候補の中からユーザが所望する候補を選択する必要があるので、その選択処理を行うためのステップＳ１３２０以降の処理に進む。
【０１００】
ステップＳ１３２０で、データベース１０５の図６のデータスキーマを参照して、ステップＳ１３１２で取得したページＩＤを対応するアドレス情報へ変換する。ステップＳ１３２１で、データベース１０５の図５のデータスキーマを参照して、ステップＳ１３１３で取得した文書ＩＤの登録日時情報を取得する。
【０１０１】
ステップＳ１３２２で、ステップＳ１３２０及びステップＳ１３２１で取得した情報に基づいて、検索結果一覧画面を生成し、表示部１１６に表示する。
【０１０２】
ここで、検索結果一覧画面の一例について、図１４を用いて説明する。
【０１０３】
図１４は本発明の実施形態の検索結果一覧画面の一例を示す図である。
【０１０４】
図１４に示すように、検索結果一覧画面は、検索ヒットした文書のサムネイル画像と、その類似度と登録日時情報を併記した画像一覧を、類似度の降順で表示画面の左上から順に表示する。
【０１０５】
尚、文書が複数頁で構成されている場合にも、その文書のサムネイル画像が表示され、その前後の頁の文書のサムネイル画像を参照するための頁スクロールキー（図中の「←」、「→」）が表示される。また、頁スクロールキーの中央にある円（○）は、文書の先頭に戻るためのキーである。
【０１０６】
また、この検索結果一覧画面に係る操作は、例えば、入力部１１３で構成されるボタンやキーを用いて実行しても良いし、例えば、表示部１１６上にタッチパネルが構成されている場合には、そのタッチ操作で実行しても良い。
【０１０７】
ステップＳ１３２３で、検索結果一覧画面を介して、ユーザからの文書の選択操作を受け付け、文書が選択されると、ステップＳ１３１６に進む。
【０１０８】
次に、ステップＳ１３０６の画像特徴量比較処理の詳細について、図１５を用いて説明する。
【０１０９】
図１５は本発明の実施形態の画像特徴量比較処理の詳細を示すフローチャートである。
【０１１０】
尚、上述したように、本実施形態の画像特徴量比較処理では、画像のアスペクト比及びカラーレイアウト画像特徴量との類似比較において、検索クエリ画像の向きを考慮した比較を行う。
【０１１１】
ここで、処理対象である矩形からなる画像の０度回転と１８０度回転におけるアスペクト比は同じ値であり、また９０度回転と２７０度回転におけるアスペクト比も同じ値であるので、画像特徴量比較処理では、これらの点を考慮して実行する。また、通常、画像特徴量比較の計算コストは、アスペクト比の比較の計算コストに比べて十分大きいことから、各回転角度におけるアスペクト比がある許容範囲に入った比較対象画像の画像特徴量だけを類似比較することが最も効率が良い。
【０１１２】
まず、ステップＳ１４０１で、検索クエリ画像の部分領域画像のアスペクト比とカラーレイアウト画像特徴量を取得する。ステップＳ１４０２で、画像特徴量比較を行う前に、データベース１０５の図１２のデータスキーマを参照して、０度回転と１８０度回転におけるアスペクト比が所定許容範囲内にある画像ＩＤ群を取得（選出）する。
【０１１３】
尚、この所定許容範囲内とは、アスペクト比の差が所定範囲内あるいはアスペクト比の比率が所定範囲内であることを示す。
【０１１４】
ステップＳ１４０３で、取得した画像ＩＤ群に対応する画像群を母集団として、各画像のカラーレイアウト画像特徴量と検索クエリ画像の部分領域画像のカラーレイアウト画像特徴量との類似比較を行い、得られた類似度を０度回転時の類似度としてデータベース１０５に記憶する。
【０１１５】
ステップＳ１４０４で、検索クエリ画像の部分領域画像のメッシュブロックの各位置における画像特徴量の位置を１８０度回転変換した１８０度回転カラーレイアウト画像特徴量を生成する。ステップＳ１４０５で、０度回転と１８０度回転におけるアスペクト比が所定許容範囲内にある画像を母集団として、各画像のカラーレイアウト画像特徴量と１８０度回転カラーレイアウト画像特徴量との類似比較を行い、得られた類似度を１８０度回転時の類似度としてデータベース１０５に記憶する。
【０１１６】
同様にして、部分領域画像のメッシュブロックの各位置における画像特徴量の位置を９０度、２７０度回転変換した９０度回転、２７０度回転カラーレイアウト画像特徴量での類似比較を、以下の処理で実行する。
【０１１７】
まず、ステップＳ１４０６で、データベース１０５の図１２のデータ好きｍーアを参照して、９０度回転と２７０度回転におけるアスペクト比の逆数と所定許容範囲にある画像ＩＤ群を取得する。ステップＳ１４０７で、検索クエリ画像の分領域画像のメッシュブロックの各位置における画像特徴量の位置を９０度回転変換した９０度回転カラーレイアウト画像特徴量を生成する。
【０１１８】
ステップＳ１４０８で、９０度回転と２７０度回転におけるアスペクト比の逆数と所定許容範囲内にある画像を母集団として、各画像のカラーレイアウト画像特徴量と９０度回転カラーレイアウト画像特徴量との類似比較を行い、得られた類似度を９０度回転時の類似度としてデータベース１０５に記憶する。
【０１１９】
ステップＳ１４０９で、検索クエリ画像のメッシュブロックの各位置における画像特徴量の位置を２７０度回転変換した２７０度回転カラーレイアウト画像特徴量を生成する。
【０１２０】
ステップＳ１４１０で、９０度回転と２７０度回転におけるアスペクト比の逆数と所定許容範囲内にある画像を母集団として、各画像のカラーレイアウト画像特徴量と２７０度回転カラーレイアウト画像特徴量との類似比較を行い、得られた類似度を２７０度回転時の類似度としてデータベース１０５に記憶する。
【０１２１】
ステップＳ１４１１で、各回転角度での類似比較で用いた母集団に属する画像ＩＤの論理和をとり、各画像の各回転角度における類似度の内、最も大きいものをその画像の総合類似度に決定する。ステップＳ１４１２で、総合類似度を降順でソートし、第一閾値以上の総合類似度の画像ＩＤとその総合類似度の対を検索結果に決定する。
【０１２２】
以上の処理によって、アスペクト比を用いた回転の性質を考慮した画像特徴量の類似比較を実行することで、効率良く回転を考慮した検索クエリ画像と類似した画像を検索することが可能となる。
【０１２３】
尚、図１５のステップＳ１４１１では、各回転角度における類似度の内、最も大きいものをその画像の総合類似度としているが、これに限定されない。例えば、０度回転と１８０度回転時のそれぞれの類似度の内、高いほうを第１総合類似度候補とし、９０度回転と２７０回転時のそれぞれの類似度の内、高いほうを第２総合類似度候補とし、この第１及び第２総合類似度候補の内、高いほうを最終的な総合類似度としても良い。
【０１２４】
ここで、ステップＳ１４０４、ステップＳ１４０５、ステップＳ１４０７及びステップＳ１４１０における回転変換の補足説明を行う。
【０１２５】
上述したように、本実施形態のカラーレイアウト画像特徴量は、処理対象画像を図１０のようにメッシュブロックに分割した場合の各メッシュブロックのＲＧＢチャネルの平均値を、図１１に示すような走査順の位置配列として構成したものである。
【０１２６】
そして、このようなカラーレイアウト画像特徴量に対し、ステップＳ１４０４、ステップＳ１４０５、ステップＳ１４０７及びステップＳ１４１０における回転変換を行ったカラーレイアウト画像特徴量を生成する場合には、図１１の走査順で示される番号に対応する各画像特徴量を、９０度回転の場合には図１６（ａ）、１８０度回転の場合には図１６（ｂ）、２７０度回転の場合には図１６（ｃ）の走査順となるように、各メッシュブロックの画像特徴量の位置を並び替える（変更する）。
【０１２７】
そして、比較の際には、この並び替えた画像特徴量からなるカラーレイアウト画像特徴量において、各メッシュブロック毎に比較対象の画像特徴量と比較する。
【０１２８】
ここで、比較元画像（検索クエリ画像の部分領域画像）の着目メッシュブロックの色平均値（Ｒ０，Ｇ０，Ｂ０）、比較先画像（データベース１０５に登録されている画像）の着目メッシュブロックの色平均値（Ｒ１，Ｇ１，Ｂ１）、着目メッシュブロック間の類似距離ｄとすると、
ｄ＝ｓｑｒｔ（（Ｒ０−Ｒ１）＊（Ｒ０−Ｒ１）＋（Ｇ０−Ｇ１）＊（Ｇ０−Ｇ１）＋（Ｂ０−Ｂ１）＊（Ｂ０−Ｂ１））
となる。この算出した類似距離ｄを全メッシュブロックについて算出し、各メッシュブロックの類似距離の総和である累積類似距離Ｄｓｕｍを算出する。この、累積類似距離Ｄｓｕｍから類似度Ｓｉｍを決定する。
【０１２９】
この類似度Ｓｉｍの決定は、例えば、図１７に示すような、Ｄｓｕｍが０の時に類似度Ｓｉｍが１００となるような、非線形特性を有する累積類似距離−類似度変換テーブルを参照することで決定することができる。
【０１３０】
以上説明したように、上記実施形態によれば、検索条件とする画像をどのような向きで入力しても、その向きを考慮した類似画像検索を実行することで、精度良く所望の画像を検索することができる。また、向きを考慮した類似画像検索においては、検索条件の画像のアスペクト比に基づいて、検索対象画像の絞り込みを行った上で行うので、より高速に類似画像検索を実行することができる。
【０１３１】
尚、上記実施形態では、検索した文書に対する処理の一例として、「検索クエリ画像を含む文書のプリント」を実行する場合を説明したが、これ以外にも検索した文書を利用した各種後処理を実行することができる。例えば、「検索クエリ画像を含む文書の送信」も実現することも可能であり、この場合、上記実施形態における「検索文書の印刷」を「検索文書をメールへの添付ファイルで送信」あるいは「検索文書の文書管理サーバ１０６上でのアドレス情報をメールのテキスト内容として送信」と読み替えることで実現することができる。
【０１３２】
具体的には、図１３Ｂのフローチャートにおいて、ステップＳ１３１８及びＳ１３２６で行う印刷処理を、「メールアドレスを指定して、メールアドレスへメールへの添付ファイルとして送信」あるいは「メールアドレスを指定し、その格納アドレスを予め指定されたメールアドレスへメールの本文に書き込み送信」する送信処理として実行すれば良い。
【０１３３】
また、図１４の検索結果一覧画面において、複数頁で構成されている文書の場合には、文書の各頁をスクロールしてユーザが確認できる構成を示したが、ユーザが選択した２文書の差異を強調した表示を行っても良い。
【０１３４】
また、図１４の画像特徴量比較処理においては、アスペクト比が同じ値となる０度回転と１８０度回転、９０度回転と２７０度回転を対にして処理を実行することが効率上重要であり、この対の関係が保持できるのであれば、その処理順序は制限されるものではない。
【０１３５】
また、処理対象画像の画像特徴量として、ＲＧＢの平均値を算出する例を示したが、これに限定されるものではなく、例えば、処理対象画像の最頻色を画像特徴量として抽出するようにしても良い。
【０１３６】
以上説明した実施形態における、画像処理装置は、パーソナルコンピュータ等の情報処理装置でもって実現できるし、その機能を実現する手順としての方法の発明として捉えることができる。また、コンピュータにより実現できるわけであるから、本発明はそれぞれの装置で実行されるコンピュータプログラム、更には、そのコンピュータプログラムを格納し、コンピュータが読み込めるＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体にも適用できるのは明らかであろう。
【０１３７】
従って、上記実施形態に係る実施態様を列挙すると、次の通りである。すなわち、画像処理装置及びその方法、プログラムは、次のようになる。
【０１３８】
＜実施態様１＞ 検索条件となる検索クエリ画像と、その検索対象画像との類似度に基づいて、類似画像検索を行う画像処理装置であって、
前記検索クエリ画像のアスペクト比と、該検索クエリ画像を複数のメッシュブロックに分割した各メッシュブロックの画像特徴量の位置配列からなるレイアウト画像特徴量を抽出する抽出手段と、
前記検索クエリ画像を少なくとも２種類の回転角で回転した場合に、各回転角におけるアスペクト比に基づいて、それぞれがアスペクト比とレイアウト画像特徴量とを対応付けた画像群を記憶している記憶媒体から検索対象画像を前記各回転角毎に選出する選出手段と、
前記選出手段で選出された検索対象画像のレイアウト画像特徴量と、前記検索クエリ画像のレイアウト画像特徴量中の画像特徴量の位置配列を前記各回転角に応じて変更した場合のレイアウト画像特徴量との類似比較を前記各回転角毎に実行する比較手段と、
前記比較手段によって前記各回転角毎に得られる類似度の内の最大の類似度を、前記検索クエリ画像と前記検索対象画像の総合類似度として決定する決定手段と、
前記決定手段で決定した総合類似度に対応する検索対象画像を検索結果画像として出力する出力手段と
を備えることを特徴とする画像処理装置。
【０１３９】
＜実施態様２＞ 前記２種類の回転角は、０度回転と１８０度回転からなる第１回転角グループと、９０度回転と２７０度回転からなる第２回転角グループである
ことを特徴とする実施態様１に記載の画像処理装置。
【０１４０】
＜実施態様３＞ 前記決定手段は、前記第１及び第２回転角グループそれぞれにおいて得られる類似度群の内、最大の類似度を第１及び第２総合類似度候補に決定し、この第１及び第２総合類似度候補の内、高いほうを前記総合類似度に決定する
ことを特徴とする実施態様２に記載の画像処理装置。
【０１４１】
＜実施態様４＞ 前記選出手段は、前記アスペクト比の差が所定範囲内にある画像を検索対象画像として前記記憶媒体から選出する
ことを特徴とする実施態様１に記載の画像処理装置。
【０１４２】
＜実施態様５＞ 前記抽出手段は、前記検索クエリ画像中の所定属性の部分領域画像毎に前記アスペクト比と前記レイアウト画像特徴量を抽出し、
前記比較手段による比較は、前記部分領域画像単位で実行する
ことを特徴とする実施態様１に記載の画像処理装置。
【０１４３】
＜実施態様６＞ 前記検索クエリ画像を入力する入力手段と、
前記入力手段で入力した検索クエリ画像に対応する前記検索結果画像に対する後処理を実行する実行手段と、
前記入力手段による入力と前記実行手段による後処理の実行指示を１回の操作で実現する操作手段と
を更に備えることを特徴とする実施態様１に記載の画像処理装置。
【０１４４】
＜実施態様７＞ 前記実行手段による後処理とは、前記検索結果画像の印刷、配信、記憶のいずれか、あるいはそれらの任意の組み合わせである
ことを特徴とする実施態様６に記載の画像処理装置。
【０１４５】
＜実施態様８＞ 前記記憶媒体に記憶される画像は、単数あるいは複数枚の紙文書をスキャン入力によって登録した画像、あるいは電子文書のラスタ画像をページ単位で登録した画像である
ことを特徴とする実施態様１に記載の画像処理装置。
【０１４６】
＜実施態様９＞ 前記出力手段は、前記総合類似度を降順で前記検索対象画像をソートし、前記総合類似度が第一閾値以上となる検索対象画像が１つ、あるいは前記第一閾値以上の検索対象画像が複数で、かつ第１番目と第２番目の検索対象画像の総合類似度の差が第二閾値以上である場合には、前記第１番目の検索対象画像を前記検索結果画像として出力する
ことを特徴とする実施態様１に記載の画像処理装置。
【０１４７】
＜実施態様１０＞ 前記出力手段は、前記第一閾値以上の検索対象画像が複数で、かつ第１番目と第２番目の検索対象画像の総合類似度の差が第二閾値未満である場合には、前記第一閾値以上の検索対象画像の一覧を検索結果一覧として表示する表示手段と
を備えることを特徴とする実施態様９に記載の画像処理装置。
【０１４８】
＜実施態様１１＞ 前記検索結果一覧は、検索対象画像と、その総合類似度及び登録日時を含む
ことを特徴とする実施態様１０に記載の画像処理装置。
【０１４９】
＜実施態様１２＞ 検索条件となる検索クエリ画像と、その検索対象画像との類似度に基づいて、類似画像検索を行う画像処理方法であって、
前記検索クエリ画像のアスペクト比と、該検索クエリ画像を複数のメッシュブロックに分割した各メッシュブロックの画像特徴量の位置配列からなるレイアウト画像特徴量を抽出する抽出工程と、
前記検索クエリ画像を少なくとも２種類の回転角で回転した場合に、各回転角におけるアスペクト比に基づいて、それぞれがアスペクト比とレイアウト画像特徴量とを対応付けた画像群を記憶している記憶媒体から検索対象画像を前記各回転角毎に選出する選出工程と、
前記選出工程で選出された検索対象画像のレイアウト画像特徴量と、前記検索クエリ画像のレイアウト画像特徴量中の画像特徴量の位置配列を前記各回転角に応じて変更した場合のレイアウト画像特徴量との類似比較を前記各回転角毎に実行する比較工程と、
前記比較工程によって前記各回転角毎に得られる類似度の内の最大の類似度を、前記検索クエリ画像と前記検索対象画像の総合類似度として決定する決定工程と、
前記決定工程で決定した総合類似度に対応する検索対象画像を検索結果画像として出力する出力工程と
を備えることを特徴とする画像処理方法。
【０１５０】
＜実施態様１３＞ 検索条件となる検索クエリ画像と、その検索対象画像との類似度に基づいて、類似画像検索を行う画像処理を実現するプログラムであって、
前記検索クエリ画像のアスペクト比と、該検索クエリ画像を複数のメッシュブロックに分割した各メッシュブロックの画像特徴量の位置配列からなるレイアウト画像特徴量を抽出する抽出工程のプログラムコードと、
前記検索クエリ画像を少なくとも２種類の回転角で回転した場合に、各回転角におけるアスペクト比に基づいて、それぞれがアスペクト比とレイアウト画像特徴量とを対応付けた画像群を記憶している記憶媒体から検索対象画像を前記各回転角毎に選出する選出工程のプログラムコードと、
前記選出工程で選出された検索対象画像のレイアウト画像特徴量と、前記検索クエリ画像のレイアウト画像特徴量中の画像特徴量の位置配列を前記各回転角に応じて変更した場合のレイアウト画像特徴量との類似比較を前記各回転角毎に実行する比較工程のプログラムコードと、
前記比較工程によって前記各回転角毎に得られる類似度の内の最大の類似度を、前記検索クエリ画像と前記検索対象画像の総合類似度として決定する決定工程のプログラムコードと、
前記決定工程で決定した総合類似度に対応する検索対象画像を検索結果画像として出力する出力工程のプログラムコードと
を備えることを特徴とするプログラム。
【０１５１】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１５２】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１５３】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１５４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１５５】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１５６】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１５７】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１５８】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１５９】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【０１６０】
【発明の効果】
以上説明したように、本発明によれば、所望の画像を効率的に検索することができる画像処理技術を提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態の画像処理システムの構成を示すブロック図である。
【図２】本発明の実施形態のＭＦＰの詳細構成を示すブロック図である。
【図３】本発明の実施形態の登録処理を示すフローチャートである。
【図４】本発明の実施形態の紙文書登録処理の詳細を示すフローチャートである。
【図５】本発明の実施形態のデータベースのデータスキーマの内、文書管理スキーマを示す図である。
【図６】本発明の実施形態のデータベースのデータスキーマの内、ページ管理スキーマを示す図である。
【図７】本発明の実施形態の電子文書登録処理の詳細を示すフローチャートである。
【図８】本発明の実施形態の画像検索インデックス生成処理の詳細を示すフローチャートである。
【図９】本発明の実施形態１の画像ブロック抽出の一例を示す図である。
【図１０】本発明の実施形態の画像メッシュブロック分割の一例を示す図である。
【図１１】本発明の実施形態の順序決定テーブルの一例を示す図である。
【図１２】本発明の実施形態のデータベースのデータスキーマの内、画像特徴量管理スキーマを示す図である。
【図１３Ａ】本発明の実施形態の検索処理を示すフローチャートである。
【図１３Ｂ】本発明の実施形態の検索処理を示すフローチャートである。
【図１４】本発明の実施形態の検索結果一覧画面の一例を示す図である。
【図１５】本発明の実施形態の画像特徴量比較処理の詳細を示すフローチャートである。
【図１６】本発明の実施形態のカラーレイアウト画像特徴量の変換を説明するための図である。
【図１７】本発明の実施形態の累積類似距離−類似度変換テーブルの一例を示す図である。
【符号の説明】
１００ ＭＦＰ
１０１ マネージメントＰＣ
１０２ クライアントＰＣ
１０３ プロキシサーバ
１０４ ネットワーク
１０５ データベース
１０６ 文書管理サーバ
１０７ ＬＡＮ
１１０ 画像読取部
１１１ 記憶部
１１２ 印刷部
１１３ 入力部
１１４、１１７ ネットワークＩ／Ｆ
１１５ データ処理部
１１６ 表示部
【発明の属する技術分野】
本発明は、検索条件となる比較元画像と、その比較先画像との類似度に基づいて、類似画像検索を行う画像処理技術に関するものである。
【０００２】
【従来の技術】
従来、検索対象画像中の部分画像のレイアウトに基づいて、所望のレイアウトを有する画像を類似画像検索する場合には、検索条件となる検索クエリ画像を変倍してＭ×ＮあるいはＭ×Ｍのブロックに分割し、各ブロックに対して代表色を決定し、検索時には、その代表色と、検索対象画像のブロックの代表色の差異でもって、検索結果となる画像を決定するものがある。
【０００３】
一方で、画像中の文字行を抽出し、文字行画像を４方向回転した場合にそれぞれ得られる文字画像に対しＯＣＲ処理を施し、その尤度が最大となる方向を文書方向とする方向検知処理が、特許文献１や２で提案されている。そして、この方向検知処理を上述の画像中のレイアウトを利用した類似画像検索に適応した場合には、検索クエリ画像を適宜回転してその画像特徴量を算出した上で、検索対象画像の画像特徴量との類似比較を行い、その各回転した時における類似度の内、最大値となる時の回転角度における類似度を総合類似度として、検索クエリ画像の向きやレイアウトを有する画像を検出することが可能である。
【０００４】
【特許文献１】
特許第３１８６７１２号
【特許文献２】
特許第３１８６２４６号
【発明が解決しようとする課題】
しかしながら、上記従来の類似画像検索においては、検索クエリ画像を変倍した上で、類似画像検索を行うので、もともとの画像のアスペクト比が失われた状態で類似画像検索が実行されることになり、適切に所望の画像を検索できない場合があった。
【０００５】
また、本来の方向検知処理の処理対象である文字画像パターン辞書のような、そのパターン数が限定されている環境にこの方向検知処理を適応する場合には問題とはならないが、処理対象の画像の数が日々更新され変化するような環境で実現される類似画像検索に方向検知処理を適応する場合には、その処理時間が大きな問題となる。
更に、画像が文字を含まない場合には正しく方向検知処理を行うことはできず、たとえ登録画像が全て文字を含み方向検知処理により正しい向きに補正して検索のための情報を抽出していたとしても、クエリ画像が文字を含まない場合には必ず回転を考慮した検索を行わなければ所望の画像を検索できない。
【０００６】
更に、また、紙文書等の原稿から検索クエリ画像を生成して、類似画像検索を行う場合には、その生成時の原稿の向きによって検索クエリ画像のレイアウトが異なることになり、同一レイアウトでも向きによって検索精度が著しく異なってしまい、場合によっては、所望の画像を検索できない場合があった。
【０００７】
本発明は上記の課題を解決するためになされたものであり、所望の画像を効率的に検索することができる画像処理技術を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
検索条件となる検索クエリ画像と、その検索対象画像との類似度に基づいて、類似画像検索を行う画像処理装置であって、
前記検索クエリ画像のアスペクト比と、該検索クエリ画像を複数のメッシュブロックに分割した各メッシュブロックの画像特徴量の位置配列からなるレイアウト画像特徴量を抽出する抽出手段と、
前記検索クエリ画像を少なくとも２種類の回転角で回転した場合に、各回転角におけるアスペクト比に基づいて、それぞれがアスペクト比とレイアウト画像特徴量とを対応付けた画像群を記憶している記憶媒体から検索対象画像を前記各回転角毎に選出する選出手段と、
前記選出手段で選出された検索対象画像のレイアウト画像特徴量と、前記検索クエリ画像のレイアウト画像特徴量中の画像特徴量の位置配列を前記各回転角に応じて変更した場合のレイアウト画像特徴量との類似比較を前記各回転角毎に実行する比較手段と、
前記比較手段によって前記各回転角毎に得られる類似度の内の最大の類似度を、前記検索クエリ画像と前記検索対象画像の総合類似度として決定する決定手段と、
前記決定手段で決定した総合類似度に対応する検索対象画像を検索結果画像として出力する出力手段と
を備える。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００１０】
図１は本発明の実施形態の画像処理システムの構成を示すブロック図である。
【００１１】
この画像処理システムは、オフィス１０とオフィス２０とをインターネット等のネットワーク１０４で接続された環境で実現する。
【００１２】
オフィス１０内に構築されたＬＡＮ１０７には、複数種類の機能を実現する複合機であるＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ１０６及びそのデータベース１０５、及びプロキシサーバ１０３が接続されている。
【００１３】
オフィス１０内のＬＡＮ１０７及びオフィス２０内のＬＡＮ１０８は、双方のオフィスのプロキシサーバ１０３を介してネットワーク１０４に接続されている。
【００１４】
ＭＦＰ１００は、特に、紙文書を電子的に読み取る画像読取部と、画像読取部から得られる画像信号に対する画像処理を実行する画像処理部を有し、この画像信号はＬＡＮ１０９を介してマネージメントＰＣ１０１に送信することができる。
【００１５】
マネージメントＰＣ１０１は、通常のＰＣであり、内部に画像記憶部、画像処理部、表示部、入力部等の各種構成要素を有するが、その構成要素の一部はＭＦＰ１００に一体化して構成されている。
【００１６】
尚、ネットワーク１０４は、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、またはこれらの組み合わせにより実現されるいわゆる通信ネットワークであり、データの送受信が可能であれば良い。
【００１７】
また、マネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ等の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。
【００１８】
次に、ＭＦＰ１００の詳細構成について、図２を用いて説明する。
【００１９】
図２は本発明の実施形態のＭＦＰの詳細構成を示すブロック図である。
【００２０】
図２において、原稿台とオートドキュメントフィーダ（ＡＤＦ）を含む画像読取部１１０は、束状のあるいは１枚の原稿画像を光源（不図示）で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスタ状の画像読取信号を所定密度（６００ＤＰＩ等の）のラスタ画像として得る。
【００２１】
また、ＭＦＰ１００は、画像読取信号に対応する画像を印刷部１１２で記録媒体に印刷する複写機能を有し、原稿画像を１つ複写する場合には、この画像読取信号をデータ処理部１１５で画像処理して記録信号を生成し、これを印刷部１１２によって記録媒体上に印刷させる。一方、原稿画像を複数複写する場合には、記憶部１１１に一旦一つ分の記録信号を記憶保持させた後、これを印刷部１１２に順次出力して記録媒体上に印刷させる。
【００２２】
一方、クライアントＰＣ１０２から出力される記録信号は、ＬＡＮ１０７及びネットワークＩＦ１１４を介してデータ処理部１１５が受信し、データ処理部１１５は、その記録信号を印刷部１１２で記録可能なラスターデータに変換した後、印刷部１１２によって記録媒体上に印刷させる。
【００２３】
ＭＦＰ１００への操作者の指示は、ＭＦＰ１００に装備されたキー操作部とマネージメントＰＣ１０１に接続されたキーボード及びマウスからなる入力部１１３から行われ、これら一連の動作はデータ処理部１１５内の制御部（不図示）で制御される。また、操作入力の状態表示及び処理中の画像データの表示は、表示部１１６で行われる。
【００２４】
記憶部１１１は、マネージメントＰＣ１０１からも制御され、ＭＦＰ１００とマネージメントＰＣ１０１とのデータの送受信及び制御は、ネットワークＩＦ１１７及びＬＡＮ１０９を介して行われる。
【００２５】
尚、ＭＦＰ１００では、後述する各種処理を実行するための各種操作・表示をユーザに提供するユーザインタフェースを、表示部１１６及び入力部１１３によって実現している。このユーザインタフェースでは、例えば、登録対象の画像データを紙文書から登録するのか電子文書から登録するのかを選択的に指定することが可能である。
【００２６】
本発明による画像処理システムで実行する処理としては、大きく分けて画像データを登録する登録処理と、所望の画像データを検索する検索処理の２つがある。
【００２７】
尚、本実施形態では、画像処理システム全体の処理効率を向上するために、以下に説明する各種処理を、画像処理システムを構成する各種端末に分散させて実行するようにしているが、１つの端末（例えば、ＭＦＰ１００）上で実行するようにしても構わない。
【００２８】
まず、登録処理について説明する。
【００２９】
［登録処理］
登録対象の画像データの登録方法としては、紙文書をスキャン入力して生成した画像データを登録する場合と、文書作成アプリケーション等で作成された電子文書をラスタ画像に展開した画像データを登録する場合がある。
【００３０】
図３は本発明の実施形態の登録処理を示すフローチャートである。
【００３１】
まず、ステップＳ３０１で、ユーザによるユーザインタフェースの操作内容に基づいて、紙文書登録であるか否かを判定する。紙文書登録である場合（ステップＳ３０１でＹＥＳ）、ステップＳ３０２に進み、紙文書登録処理を行う。尚、この処理の詳細については後述する。一方、紙文書登録でない場合（ステップＳ３０１でＮＯ）、ステップＳ３０３に進む。
【００３２】
ステップＳ３０３で、電子文書登録であるか否かを判定する。電子文書登録である場合（ステップＳ３０３でＹＥＳ）、ステップＳ３０４に進み、電子文書登録処理を行う。尚、この処理の詳細については後述する。一方、電子文書登録でない場合（ステップＳ３０３でＮＯ）、処理を終了する。
【００３３】
次に、ステップＳ３０２の紙文書登録処理の詳細について、図４を用いて説明する。
【００３４】
図４は本発明の実施形態の紙文書登録処理の詳細を示すフローチャートである。
【００３５】
尚、この処理は、画像読取部１１０のＡＤＦに、登録対象の紙文書がセットされ、入力部１１３の登録ボタンが操作された時点で開始される。また、登録対象の紙文書は、１枚でも複数枚でも可能であるが、複数枚の場合は、その紙文書から得られる画像データ群（ページ画像群）を１つのファイルとして管理することになる。
【００３６】
まず、ステップＳ４０３で、登録ボタンが操作されると、画像読取部１１０で読み取る紙文書を特定するための文書ＩＤを発行する。
【００３７】
ステップＳ４０４で、ＡＤＦに紙文書があるか否かを判定する。紙文書がない場合（ステップＳ４０４でＮＯ）、ステップＳ４０９に進む。一方、紙文書がある場合（ステップＳ４０４でＹＥＳ）、ステップＳ４０５に進み、画像読取部１１０によってＡＤＦから紙文書を１枚スキャンする。
【００３８】
ステップＳ４０６で、スキャン画像を特定するためのページＩＤを追加発行して、記憶部１１１に記憶する。ステップＳ４０７で、スキャン画像数を示すページ数Ｍをカウントアップする。ステップＳ４０８で、ページＩＤでファイル名を生成してスキャン画像データを記憶装置１１１へ記憶する一方、記憶部１１１から順次スキャン画像データをＬＡＮ１０９経由でマネージメントＰＣ１０１へ転送する。
【００３９】
尚、このスキャン画像データは、例えば、ＪＰＥＧ形式の画像であるとするが、これに限定されるものではなく、色情報を保存しておくことが可能な画像形式（例えば、ＧＩＦ、ＢＭＰ）であればどのようなものでも良い。
【００４０】
一方、ステップＳ４０４において、ＡＤＦに紙文書がなくなった場合（ステップＳ４０４でＮＯ）、ステップＳ４０９で、マネージメントＰＣ１０１からＬＡＮ１０９を介して文書管理サーバ１０６へ全スキャン画像データファイルを送信して、そのスキャン画像データをマネージメントＰＣ１０１で一時記憶する。ステップＳ４１０で、文書管理サーバ１０６は、データベース１０５上で文書ＩＤとページＩＤを対応付けて記憶する。
【００４１】
ステップＳ４１１で、文書管理サーバ１０６で、画像検索インデックス生成処理を実行する。尚、この処理の詳細については後述する。ステップＳ４１２で、マネージメントＰＣ１０１上の一時記憶したスキャン画像データを消去し、登録処理を終了する。
【００４２】
ここで、データベース１０５のデータスキーマについて、図５及び図６を用いて説明する。
【００４３】
このデータスキーマは、文書ＩＤに関連付けた情報を管理する文書管理スキーマとページＩＤに関連付けた情報を管理するページ管理スキーマを少なくとも有している。
【００４４】
図５は本発明の実施形態のデータベースのデータスキーマの内、文書管理スキーマを示す図である。
【００４５】
図５に示す文書管理スキーマでは、文書ＩＤと、登録対象画像の登録日時と、その文書ＩＤに対応するスキャン画像群それぞれを特定するページＩＤを対応づけて記憶している。
【００４６】
また、電子文書による登録の場合には、その電子文書の存在場所を示すアドレス情報を、更に、文書ＩＤと対応づけて記憶している。逆に、紙文書による登録の場合には、アドレス情報は、ＮＵＬＬとなる。
【００４７】
ここで、アドレスとは、ＵＲＬや、サーバ名とディレクトリ、ファイル名からなる電子データの格納先を示すフルパス情報である。
【００４８】
図５の例では、文書ＩＤ００００００１の画像が、２００２年１２月１９日１０：００に登録を開始し、１ページの紙文書による登録であった場合を示している。同様に、文書ＩＤ００００００２の画像が、２００２年１２月２０日１０：００から登録を開始し、２ページの紙文書による登録であった場合を示している。
【００４９】
図６は本発明の実施形態のデータベースのデータスキーマの内、ページ管理スキーマを示す図である。
【００５０】
図６に示すページ管理スキーマでは、ページＩＤと、そのページＩＤが属する文書ＩＤと、文書管理サーバ１０６上におけるスキャン画像のファイル名からなるアドレス情報を対応づけて記憶している。
【００５１】
次に、ステップＳ３０４の電子文書登録処理の詳細について、図７を用いて説明する。
【００５２】
図７は本発明の実施形態の電子文書登録処理の詳細を示すフローチャートである。
【００５３】
尚、この処理は、クライアントＰＣ１０２からマネージメントＰＣ１０１へ電子文書を転送しておき、ユーザインタフェース上に提示される電子文書のリストから所望の電子文書が選択されて、入力部１１３の登録ボタンが操作された時点で開始される。
【００５４】
まず、ステップＳ５０３で、登録ボタンが操作されると、選択された電子文書を特定するための文書ＩＤを発行する。
【００５５】
ステップＳ５０４で、電子文書のラスタ画像に展開するラスタ化が終了したか否かを判定する。ラスタ化が終了した場合（ステップＳ５０４でＹＥＳ）、ステップＳ５０９に進む。一方、ラスタ化が終了していない場合（ステップＳ５０４でＮＯ）、ステップ５０５に進み、１ページ分の電子文書のラスタ画像（ページ画像）を生成する。
【００５６】
ステップＳ５０６で、ラスタ画像を特定するためのページＩＤを追加発行して、記憶部１１１に記憶する。ステップＳ５０７で、ラスタ画像数を示すページ数Ｍをカウントアップする。ステップＳ５０８で、ページＩＤでファイル名を生成してラスタ画像データを記憶装置１１１へ記憶する一方、記憶部１１１から順次ラスタ画像データをＬＡＮ１０９経由でマネージメントＰＣ１０１へ転送する。
【００５７】
尚、このラスタ画像データは、例えば、ＪＰＥＧ形式の画像であるとするが、これに限定されるものではなく、色情報を保存しておくことが可能な画像形式（例えば、ＧＩＦ、ＢＭＰ）であればどのようなものでも良い。
【００５８】
一方、ステップＳ５０４において、ラスタ化が終了した場合（ステップＳ５０４でＹＥＳ）、ステップＳ５０９で、マネージメントＰＣ１０１からＬＡＮ１０９を介して文書管理サーバ１０６へ全ラスタ画像データファイルを送信して、そのラスタ画像データをマネージメントＰＣ１０１で一時記憶する。ステップＳ５１０で、文書管理サーバ１０６は、データベース１０５上で文書ＩＤとページＩＤを対応付けて記憶する。
【００５９】
ステップＳ５１１で、文書管理サーバ１０６で、画像検索インデックス生成処理を実行する。尚、この処理の詳細については後述する。ステップＳ４１２で、マネージメントＰＣ１０１上の一時記憶したラスタ画像データを消去し、登録処理を終了する。
【００６０】
尚、この処理によって生成されるラスター画像データに関する文書ＩＤ及びページＩＤの関係を、図５の例で説明すると、文書ＩＤ００００００３の画像は、アドレス情報がＣ：￥Ｄｏｃ￥Ｗｅｂ．ｈｔｍｌであり、２００２年１２月２１日１０：００から登録を開始し、印刷した場合には３ページの紙原稿になる電子文書による登録であったことを示している。
【００６１】
尚、文書ＩＤ００００００３の画像は、そのオリジナルが電子文書であるため、図６に示したような、ページＩＤ毎のＪＰＥＧ画像を記憶管理しなくても、オリジナルの電子文書から任意のページのラスタ画像データを必要に応じて生成することが可能である。しかしながら、後述する検索処理を行う上では、オリジナルの電子文書とは別に、その電子文書の各ページに対するラスタ画像データを記憶管理しておくほうが、検索速度を向上する観点からは好ましい。
【００６２】
次に、ステップＳ４１１あるいはステップＳ５１１の画像検索インデックス生成処理の詳細について、図８を用いて説明する。
【００６３】
［画像検索インデックス生成処理］
図８は本発明の実施形態の画像検索インデックス生成処理の詳細を示すフローチャートである。
【００６４】
尚、この画像検索インデックス生成処理とは、登録されている文書の画像データを検索する場合の検索条件に用いる画像データの特徴量（画像検索インデックス）を生成する処理である。
【００６５】
まず、ステップＳ６０１で、以下の処理を行ったページの内、処理済のページ数を示すページカウンタＩを０にリセットする。ステップＳ６０２で、図４あるいは図５でページ数Ｍを参照して、Ｉ＜Ｍであるか否かを判定する。Ｉ＜Ｍでない場合（ステップＳ６０２でＮＯ）、即ち、未処理のページがない場合、処理を終了する。一方、Ｉ＜Ｍである場合（ステップＳ６０２でＹＥＳ）、ステップＳ６０３に進む。
【００６６】
ステップＳ６０３で、処理対象のページ画像から複数の部分領域画像を抽出し、また、その個数Ｎを取得する。
【００６７】
ここで、部分領域画像の抽出とは、例えば、図９（ａ）のラスタ画像を、図９（ｂ）のように、意味のあるブロック毎の塊として認識し、該ブロック各々の属性（文字（ＴＥＸＴ）／図画（ＰＩＣＴＵＲＥ）／写真（ＰＨＯＴＯ）／線（ＬＩＮＥ）／表（ＴＡＢＬＥ）等）を判定し、異なる属性を持つ部分領域画像を抽出する処理である。
【００６８】
この部分領域画像を抽出する処理の実施形態を以下に説明する。
【００６９】
まず、入力画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
【００７０】
このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つ部分領域へ分類していく。例えば、縦横比が１に近く、大きさが一定の範囲の部分領域は文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字部分領域、扁平な画素塊を線部分領域、一定大きさ以上でかつ矩形の白画素塊を整列よく内包する黒画素塊の占める範囲を表部分領域、不定形の画素塊が散在している領域を写真部分領域、それ以外の任意形状の画素塊を図画部分領域とする。
【００７１】
そして、部分領域画像を抽出する処理では、不定形の画素塊が散在している写真部分領域で、かつその領域が矩形状のものを部分領域画像として抽出する。
【００７２】
次に、ステップＳ６０４で、処理済の部分領域画像の個数を示すカウンタＪを０にリセットする。ステップＳ６０５で、Ｊ＜Ｎであるか否かを判定する。Ｊ＜Ｎでない場合（ステップＳ６０５でＮＯ）、つまり、未処理の部分領域画像がなくなった場合、カウンタＩをインクリメントして、ステップＳ６０２に戻る。
【００７３】
一方、Ｊ＜Ｎである場合（ステップＳ６０５でＹＥＳ）、つまり、未処理の部分領域画像がある場合、ステップＳ６０６に進み、部分領域画像のアスペクト比及びカラーレイアウト画像特徴量を算出する。
【００７４】
ここで、アスペクト比は、部分領域画像の横の画素数に対する縦の画素数の比と定義する。また、カラーレイアウト画像特徴量は、処理対象画像（部分領域画像）を複数のメッシュブロックに分割した各メッシュブロックに属する画素のＲＧＢの平均値（画像特徴量）である。
【００７５】
尚、本実施形態では、図１０に示すように、画像を縦横それぞれ、例えば、９メッシュブロックに分割し、図１１に示すような走査順で、各メッシュブロックにおけるＲＧＢの平均値の位置配列を、カラーレイアウト画像特徴量として保持する。
【００７６】
ステップ６０７で、処理対象の部分領域画像と特定するための画像ＩＤを発行する。ステップＳ６０８で、データベース１０５へ、処理対象の部分領域画像の画像ＩＤと、その部分領域画像が属するページのページＩＤとを対応づけ、更に、更に、アスペクト比とカラーレイアウト画像特徴量を対応付けて記憶する。その後、カウンタＪをインクリメントして、ステップＳ６０５に戻る。
【００７７】
ここで、ステップＳ６０７の処理によってデータベース１０５に管理される画像特徴量管理データスキーマの例を示すと、図１２のようになる。
【００７８】
次に、検索処理について説明する。
【００７９】
［検索処理］
この検索処理は、検索条件となる検索クエリ画像を有する紙文書を画像読取部１１０でスキャンして、検索クエリ画像を生成して、その検索クエリ画像に類似する画像を有する文書を検索する。そして、検索後の文書に対しては、各種後処理（例えば、印刷、配信、記憶等）を実行することができるが、以下の例では、文書を検索して印刷する場合の検索処理について、図１３Ａ、図１３Ｂおよび図１４を用いて説明する。
【００８０】
図１３Ａ及び図１３Ｂは本発明の実施形態の検索処理を示すフローチャートである。
【００８１】
尚、この処理は、画像読取部１１０のＡＤＦあるいは原稿台に、検索条件となる紙文書をセットした状態で、入力部１１３の「検索クエリ画像を含む文書のプリント」ボタンが操作された時点で開始される。また、検索条件となる紙文書は、１枚でも複数枚でも可能であるが、複数枚の場合には、それぞれの紙文書から得られる複数画像を検索クエリ画像群とし、その検索クエリ画像群を用いて検索された画像を共通に含む画像群を検索結果とする。更に、ＡＤＦあるいは原稿台にセットする紙文書の向きには、特に、制限は設けていない。
【００８２】
そのため、紙文書から得られる検索クエリ画像の向きは、様々な向きが存在する。そこで、本実施形態では、検索クエリ画像の向きを考慮した検索処理を実行することで、検索クエリ画像の向きに依存することなく、精度の良い検索クエリ画像を含む文書画像を検索することが可能となる。
【００８３】
ステップＳ１３０３で、「検索クエリ画像を含む文書のプリント」ボタンが操作された時点で、画像読取部１１０でセットされている紙文書をスキャンし、スキャンした画像を検索クエリ画像として、マネージメントＰＣ１０１へ転送する。
【００８４】
ステップＳ１３０４で、マネージメントＰＣ１０１で、検索クエリ画像から部分領域画像を抽出する。尚、この抽出は、図８のステップＳ６０３の処理と同様の方法で実行する。ステップＳ１３０５で、図８のステップＳ６０６と同様にして、抽出した部分領域画像のアスペクト比とカラーレイアウト画像特徴量を算出する。
【００８５】
ステップＳ１３０６で、部分領域画像のアスペクト比及びカラーレイアウト画像特徴量と、データベース１０５に登録されている画像のアスペクト比及びカラーレイアウト画像特徴量との類似比較を画像特徴量比較処理を実行する。尚、この処理の詳細については後述するが、特に、本実施形態では、画像特徴量として、画像のアスペクト比及びカラーレイアウト画像特徴量に加えて、その画像を回転した場合に得られる画像特徴量を考慮した、画像特徴量比較処理を行う。
【００８６】
そして、この画像特徴量比較処理によって、部分領域画像と第一閾値以上の類似度を有する画像の画像ＩＤ群を取得して、これを検索結果とする。
【００８７】
次に、ステップＳ１３０７で、データベース１０５中の図１２のデータスキーマを参照して、取得した画像ＩＤをページＩＤへ変換するとともに、その類似度をページＩＤに対応させてデータベース１０５に追加記憶する。
【００８８】
次に、ステップＳ１３０８で、未処理の部分領域画像があるか否かを判定する。未処理の部分領域画像がない場合（ステップＳ１３０８でＮＯ）、ステップＳ１３１３に進む。一方、未処理の部分領域画像がある場合（ステップＳ１３０８でＹＥＳ）、ステップＳ１３０９に進む。
【００８９】
尚、ステップＳ１３０９を含む、それ以降のステップＳ１３１１までの処理、つまり、ステップＳ１３０９〜ステップＳ１３１１の処理は、ステップＳ１３０５〜ステップＳ１３０７の処理に対応する。また、ステップＳ１３０８〜ステップＳ１３１２の処理は、部分領域画像が複数存在する場合に、各部分領域画像に対する処理となっている。
【００９０】
そして、ステップＳ１３１２で、ステップＳ１３１１で既に取得されている画像ＩＤに対応するページＩＤと、新たに取得された画像ＩＤに対応するページＩＤの論理積をとり、それによって得られるページＩＤ群と、複数の同一ページＩＤが存在する場合には、それぞれに対して算出された類似度の平均を算出して、これをそのページＩＤに対応させてデータベース１０５に追加記憶する。
【００９１】
ステップＳ１３０８において、未処理の部分領域画像がない場合（ステップＳ１３０８でＮＯ）、ステップＳ１３１３に進み、データベース１０５に記憶されている類似度の降順でページＩＤをソートする。ステップＳ１３１４で、データベース１０５中の図１２のデータスキーマを参照して、ソートされた各ページＩＤをそれぞれ文書ＩＤへ変換する。尚、ページＩＤの類似度は、変換後もそのまま文書ＩＤへ受け継がせる。
【００９２】
以上の処理が、検索クエリ画像に基づいて、データベース１０５から画像を検索する検索処理である。
【００９３】
次に、この検索処理によって得られる検索結果を利用して、ユーザが所望するクエリ画像を含む文書の印刷を効率的に行うための処理について、図１３Ｂを用いて説明する。
【００９４】
まず、ステップＳ１３１５において、検索ヒットした文書（文書ＩＤ）が１つであるか否かを判定する。即ち、検索クエリ画像との類似度が第一閾値以上である文書が１つであるか否かを判定する。検索ヒットした文書が１つである場合（ステップＳ１３１５でＹＥＳ）、ステップＳ１３１６に進み、データベース１０５の図５のデータスキーマを参照して、文書ＩＤに対応するアドレス情報があるか否か、つまり、文書が電子文書によって登録されたものであるか紙文書によって登録されたものであるか否かを確認する。
【００９５】
確認の結果に基づいて、ステップＳ１３１７で、文書ＩＤに対応する文書が電子文書であるか否かを判定する。電子文書である場合（ステップＳ１３１７でＹＥＳ）、ステップＳ１３１８に進み、その電子文書をレンダリングして印刷部１１２より印刷する。
【００９６】
尚、検索された文書が電子文書である場合には、その電子文書で直接印刷したほうが、高品位の印刷を実現することができるので、このような処理となる。
【００９７】
一方、ステップＳ１３１７で、電子文書でない場合（ステップＳ１３１７でＮＯ）、ステップＳ１３２４に進み、データベース１０５の図５のデータスキーマを参照して、文書ＩＤに対応するページＩＤ群を登録順に取得する。ステップＳ１３２５で、データベース１０５の図６のデータスキーマを参照して、取得したページＩＤ群に対応するアドレス情報を取得する。
【００９８】
そして、ステップＳ１３２６で、取得したアドレス情報が示す画像データを用いて印刷部１１２より印刷する。
【００９９】
一方、ステップＳ１３１５において、検索ヒットした文書が１つでない場合（ステップＳ１３１５でＮＯ）、ステップＳ１３１９に進み、第１番目と第２番目の候補となる文書の類似度の差が第二閾値以上であるか否かを判定する。第二閾値以上の場合（ステップＳ１３１９でＹＥＳ）、第２番目以下の文書はノイズとみなすことができるので、ステップＳ１３１６に進む。一方、第二閾値未満である場合（ステップＳ１３１９でＮＯ）、複数の候補の中からユーザが所望する候補を選択する必要があるので、その選択処理を行うためのステップＳ１３２０以降の処理に進む。
【０１００】
ステップＳ１３２０で、データベース１０５の図６のデータスキーマを参照して、ステップＳ１３１２で取得したページＩＤを対応するアドレス情報へ変換する。ステップＳ１３２１で、データベース１０５の図５のデータスキーマを参照して、ステップＳ１３１３で取得した文書ＩＤの登録日時情報を取得する。
【０１０１】
ステップＳ１３２２で、ステップＳ１３２０及びステップＳ１３２１で取得した情報に基づいて、検索結果一覧画面を生成し、表示部１１６に表示する。
【０１０２】
ここで、検索結果一覧画面の一例について、図１４を用いて説明する。
【０１０３】
図１４は本発明の実施形態の検索結果一覧画面の一例を示す図である。
【０１０４】
図１４に示すように、検索結果一覧画面は、検索ヒットした文書のサムネイル画像と、その類似度と登録日時情報を併記した画像一覧を、類似度の降順で表示画面の左上から順に表示する。
【０１０５】
尚、文書が複数頁で構成されている場合にも、その文書のサムネイル画像が表示され、その前後の頁の文書のサムネイル画像を参照するための頁スクロールキー（図中の「←」、「→」）が表示される。また、頁スクロールキーの中央にある円（○）は、文書の先頭に戻るためのキーである。
【０１０６】
また、この検索結果一覧画面に係る操作は、例えば、入力部１１３で構成されるボタンやキーを用いて実行しても良いし、例えば、表示部１１６上にタッチパネルが構成されている場合には、そのタッチ操作で実行しても良い。
【０１０７】
ステップＳ１３２３で、検索結果一覧画面を介して、ユーザからの文書の選択操作を受け付け、文書が選択されると、ステップＳ１３１６に進む。
【０１０８】
次に、ステップＳ１３０６の画像特徴量比較処理の詳細について、図１５を用いて説明する。
【０１０９】
図１５は本発明の実施形態の画像特徴量比較処理の詳細を示すフローチャートである。
【０１１０】
尚、上述したように、本実施形態の画像特徴量比較処理では、画像のアスペクト比及びカラーレイアウト画像特徴量との類似比較において、検索クエリ画像の向きを考慮した比較を行う。
【０１１１】
ここで、処理対象である矩形からなる画像の０度回転と１８０度回転におけるアスペクト比は同じ値であり、また９０度回転と２７０度回転におけるアスペクト比も同じ値であるので、画像特徴量比較処理では、これらの点を考慮して実行する。また、通常、画像特徴量比較の計算コストは、アスペクト比の比較の計算コストに比べて十分大きいことから、各回転角度におけるアスペクト比がある許容範囲に入った比較対象画像の画像特徴量だけを類似比較することが最も効率が良い。
【０１１２】
まず、ステップＳ１４０１で、検索クエリ画像の部分領域画像のアスペクト比とカラーレイアウト画像特徴量を取得する。ステップＳ１４０２で、画像特徴量比較を行う前に、データベース１０５の図１２のデータスキーマを参照して、０度回転と１８０度回転におけるアスペクト比が所定許容範囲内にある画像ＩＤ群を取得（選出）する。
【０１１３】
尚、この所定許容範囲内とは、アスペクト比の差が所定範囲内あるいはアスペクト比の比率が所定範囲内であることを示す。
【０１１４】
ステップＳ１４０３で、取得した画像ＩＤ群に対応する画像群を母集団として、各画像のカラーレイアウト画像特徴量と検索クエリ画像の部分領域画像のカラーレイアウト画像特徴量との類似比較を行い、得られた類似度を０度回転時の類似度としてデータベース１０５に記憶する。
【０１１５】
ステップＳ１４０４で、検索クエリ画像の部分領域画像のメッシュブロックの各位置における画像特徴量の位置を１８０度回転変換した１８０度回転カラーレイアウト画像特徴量を生成する。ステップＳ１４０５で、０度回転と１８０度回転におけるアスペクト比が所定許容範囲内にある画像を母集団として、各画像のカラーレイアウト画像特徴量と１８０度回転カラーレイアウト画像特徴量との類似比較を行い、得られた類似度を１８０度回転時の類似度としてデータベース１０５に記憶する。
【０１１６】
同様にして、部分領域画像のメッシュブロックの各位置における画像特徴量の位置を９０度、２７０度回転変換した９０度回転、２７０度回転カラーレイアウト画像特徴量での類似比較を、以下の処理で実行する。
【０１１７】
まず、ステップＳ１４０６で、データベース１０５の図１２のデータ好きｍーアを参照して、９０度回転と２７０度回転におけるアスペクト比の逆数と所定許容範囲にある画像ＩＤ群を取得する。ステップＳ１４０７で、検索クエリ画像の分領域画像のメッシュブロックの各位置における画像特徴量の位置を９０度回転変換した９０度回転カラーレイアウト画像特徴量を生成する。
【０１１８】
ステップＳ１４０８で、９０度回転と２７０度回転におけるアスペクト比の逆数と所定許容範囲内にある画像を母集団として、各画像のカラーレイアウト画像特徴量と９０度回転カラーレイアウト画像特徴量との類似比較を行い、得られた類似度を９０度回転時の類似度としてデータベース１０５に記憶する。
【０１１９】
ステップＳ１４０９で、検索クエリ画像のメッシュブロックの各位置における画像特徴量の位置を２７０度回転変換した２７０度回転カラーレイアウト画像特徴量を生成する。
【０１２０】
ステップＳ１４１０で、９０度回転と２７０度回転におけるアスペクト比の逆数と所定許容範囲内にある画像を母集団として、各画像のカラーレイアウト画像特徴量と２７０度回転カラーレイアウト画像特徴量との類似比較を行い、得られた類似度を２７０度回転時の類似度としてデータベース１０５に記憶する。
【０１２１】
ステップＳ１４１１で、各回転角度での類似比較で用いた母集団に属する画像ＩＤの論理和をとり、各画像の各回転角度における類似度の内、最も大きいものをその画像の総合類似度に決定する。ステップＳ１４１２で、総合類似度を降順でソートし、第一閾値以上の総合類似度の画像ＩＤとその総合類似度の対を検索結果に決定する。
【０１２２】
以上の処理によって、アスペクト比を用いた回転の性質を考慮した画像特徴量の類似比較を実行することで、効率良く回転を考慮した検索クエリ画像と類似した画像を検索することが可能となる。
【０１２３】
尚、図１５のステップＳ１４１１では、各回転角度における類似度の内、最も大きいものをその画像の総合類似度としているが、これに限定されない。例えば、０度回転と１８０度回転時のそれぞれの類似度の内、高いほうを第１総合類似度候補とし、９０度回転と２７０回転時のそれぞれの類似度の内、高いほうを第２総合類似度候補とし、この第１及び第２総合類似度候補の内、高いほうを最終的な総合類似度としても良い。
【０１２４】
ここで、ステップＳ１４０４、ステップＳ１４０５、ステップＳ１４０７及びステップＳ１４１０における回転変換の補足説明を行う。
【０１２５】
上述したように、本実施形態のカラーレイアウト画像特徴量は、処理対象画像を図１０のようにメッシュブロックに分割した場合の各メッシュブロックのＲＧＢチャネルの平均値を、図１１に示すような走査順の位置配列として構成したものである。
【０１２６】
そして、このようなカラーレイアウト画像特徴量に対し、ステップＳ１４０４、ステップＳ１４０５、ステップＳ１４０７及びステップＳ１４１０における回転変換を行ったカラーレイアウト画像特徴量を生成する場合には、図１１の走査順で示される番号に対応する各画像特徴量を、９０度回転の場合には図１６（ａ）、１８０度回転の場合には図１６（ｂ）、２７０度回転の場合には図１６（ｃ）の走査順となるように、各メッシュブロックの画像特徴量の位置を並び替える（変更する）。
【０１２７】
そして、比較の際には、この並び替えた画像特徴量からなるカラーレイアウト画像特徴量において、各メッシュブロック毎に比較対象の画像特徴量と比較する。
【０１２８】
ここで、比較元画像（検索クエリ画像の部分領域画像）の着目メッシュブロックの色平均値（Ｒ０，Ｇ０，Ｂ０）、比較先画像（データベース１０５に登録されている画像）の着目メッシュブロックの色平均値（Ｒ１，Ｇ１，Ｂ１）、着目メッシュブロック間の類似距離ｄとすると、
ｄ＝ｓｑｒｔ（（Ｒ０−Ｒ１）＊（Ｒ０−Ｒ１）＋（Ｇ０−Ｇ１）＊（Ｇ０−Ｇ１）＋（Ｂ０−Ｂ１）＊（Ｂ０−Ｂ１））
となる。この算出した類似距離ｄを全メッシュブロックについて算出し、各メッシュブロックの類似距離の総和である累積類似距離Ｄｓｕｍを算出する。この、累積類似距離Ｄｓｕｍから類似度Ｓｉｍを決定する。
【０１２９】
この類似度Ｓｉｍの決定は、例えば、図１７に示すような、Ｄｓｕｍが０の時に類似度Ｓｉｍが１００となるような、非線形特性を有する累積類似距離−類似度変換テーブルを参照することで決定することができる。
【０１３０】
以上説明したように、上記実施形態によれば、検索条件とする画像をどのような向きで入力しても、その向きを考慮した類似画像検索を実行することで、精度良く所望の画像を検索することができる。また、向きを考慮した類似画像検索においては、検索条件の画像のアスペクト比に基づいて、検索対象画像の絞り込みを行った上で行うので、より高速に類似画像検索を実行することができる。
【０１３１】
尚、上記実施形態では、検索した文書に対する処理の一例として、「検索クエリ画像を含む文書のプリント」を実行する場合を説明したが、これ以外にも検索した文書を利用した各種後処理を実行することができる。例えば、「検索クエリ画像を含む文書の送信」も実現することも可能であり、この場合、上記実施形態における「検索文書の印刷」を「検索文書をメールへの添付ファイルで送信」あるいは「検索文書の文書管理サーバ１０６上でのアドレス情報をメールのテキスト内容として送信」と読み替えることで実現することができる。
【０１３２】
具体的には、図１３Ｂのフローチャートにおいて、ステップＳ１３１８及びＳ１３２６で行う印刷処理を、「メールアドレスを指定して、メールアドレスへメールへの添付ファイルとして送信」あるいは「メールアドレスを指定し、その格納アドレスを予め指定されたメールアドレスへメールの本文に書き込み送信」する送信処理として実行すれば良い。
【０１３３】
また、図１４の検索結果一覧画面において、複数頁で構成されている文書の場合には、文書の各頁をスクロールしてユーザが確認できる構成を示したが、ユーザが選択した２文書の差異を強調した表示を行っても良い。
【０１３４】
また、図１４の画像特徴量比較処理においては、アスペクト比が同じ値となる０度回転と１８０度回転、９０度回転と２７０度回転を対にして処理を実行することが効率上重要であり、この対の関係が保持できるのであれば、その処理順序は制限されるものではない。
【０１３５】
また、処理対象画像の画像特徴量として、ＲＧＢの平均値を算出する例を示したが、これに限定されるものではなく、例えば、処理対象画像の最頻色を画像特徴量として抽出するようにしても良い。
【０１３６】
以上説明した実施形態における、画像処理装置は、パーソナルコンピュータ等の情報処理装置でもって実現できるし、その機能を実現する手順としての方法の発明として捉えることができる。また、コンピュータにより実現できるわけであるから、本発明はそれぞれの装置で実行されるコンピュータプログラム、更には、そのコンピュータプログラムを格納し、コンピュータが読み込めるＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体にも適用できるのは明らかであろう。
【０１３７】
従って、上記実施形態に係る実施態様を列挙すると、次の通りである。すなわち、画像処理装置及びその方法、プログラムは、次のようになる。
【０１３８】
＜実施態様１＞ 検索条件となる検索クエリ画像と、その検索対象画像との類似度に基づいて、類似画像検索を行う画像処理装置であって、
前記検索クエリ画像のアスペクト比と、該検索クエリ画像を複数のメッシュブロックに分割した各メッシュブロックの画像特徴量の位置配列からなるレイアウト画像特徴量を抽出する抽出手段と、
前記検索クエリ画像を少なくとも２種類の回転角で回転した場合に、各回転角におけるアスペクト比に基づいて、それぞれがアスペクト比とレイアウト画像特徴量とを対応付けた画像群を記憶している記憶媒体から検索対象画像を前記各回転角毎に選出する選出手段と、
前記選出手段で選出された検索対象画像のレイアウト画像特徴量と、前記検索クエリ画像のレイアウト画像特徴量中の画像特徴量の位置配列を前記各回転角に応じて変更した場合のレイアウト画像特徴量との類似比較を前記各回転角毎に実行する比較手段と、
前記比較手段によって前記各回転角毎に得られる類似度の内の最大の類似度を、前記検索クエリ画像と前記検索対象画像の総合類似度として決定する決定手段と、
前記決定手段で決定した総合類似度に対応する検索対象画像を検索結果画像として出力する出力手段と
を備えることを特徴とする画像処理装置。
【０１３９】
＜実施態様２＞ 前記２種類の回転角は、０度回転と１８０度回転からなる第１回転角グループと、９０度回転と２７０度回転からなる第２回転角グループである
ことを特徴とする実施態様１に記載の画像処理装置。
【０１４０】
＜実施態様３＞ 前記決定手段は、前記第１及び第２回転角グループそれぞれにおいて得られる類似度群の内、最大の類似度を第１及び第２総合類似度候補に決定し、この第１及び第２総合類似度候補の内、高いほうを前記総合類似度に決定する
ことを特徴とする実施態様２に記載の画像処理装置。
【０１４１】
＜実施態様４＞ 前記選出手段は、前記アスペクト比の差が所定範囲内にある画像を検索対象画像として前記記憶媒体から選出する
ことを特徴とする実施態様１に記載の画像処理装置。
【０１４２】
＜実施態様５＞ 前記抽出手段は、前記検索クエリ画像中の所定属性の部分領域画像毎に前記アスペクト比と前記レイアウト画像特徴量を抽出し、
前記比較手段による比較は、前記部分領域画像単位で実行する
ことを特徴とする実施態様１に記載の画像処理装置。
【０１４３】
＜実施態様６＞ 前記検索クエリ画像を入力する入力手段と、
前記入力手段で入力した検索クエリ画像に対応する前記検索結果画像に対する後処理を実行する実行手段と、
前記入力手段による入力と前記実行手段による後処理の実行指示を１回の操作で実現する操作手段と
を更に備えることを特徴とする実施態様１に記載の画像処理装置。
【０１４４】
＜実施態様７＞ 前記実行手段による後処理とは、前記検索結果画像の印刷、配信、記憶のいずれか、あるいはそれらの任意の組み合わせである
ことを特徴とする実施態様６に記載の画像処理装置。
【０１４５】
＜実施態様８＞ 前記記憶媒体に記憶される画像は、単数あるいは複数枚の紙文書をスキャン入力によって登録した画像、あるいは電子文書のラスタ画像をページ単位で登録した画像である
ことを特徴とする実施態様１に記載の画像処理装置。
【０１４６】
＜実施態様９＞ 前記出力手段は、前記総合類似度を降順で前記検索対象画像をソートし、前記総合類似度が第一閾値以上となる検索対象画像が１つ、あるいは前記第一閾値以上の検索対象画像が複数で、かつ第１番目と第２番目の検索対象画像の総合類似度の差が第二閾値以上である場合には、前記第１番目の検索対象画像を前記検索結果画像として出力する
ことを特徴とする実施態様１に記載の画像処理装置。
【０１４７】
＜実施態様１０＞ 前記出力手段は、前記第一閾値以上の検索対象画像が複数で、かつ第１番目と第２番目の検索対象画像の総合類似度の差が第二閾値未満である場合には、前記第一閾値以上の検索対象画像の一覧を検索結果一覧として表示する表示手段と
を備えることを特徴とする実施態様９に記載の画像処理装置。
【０１４８】
＜実施態様１１＞ 前記検索結果一覧は、検索対象画像と、その総合類似度及び登録日時を含む
ことを特徴とする実施態様１０に記載の画像処理装置。
【０１４９】
＜実施態様１２＞ 検索条件となる検索クエリ画像と、その検索対象画像との類似度に基づいて、類似画像検索を行う画像処理方法であって、
前記検索クエリ画像のアスペクト比と、該検索クエリ画像を複数のメッシュブロックに分割した各メッシュブロックの画像特徴量の位置配列からなるレイアウト画像特徴量を抽出する抽出工程と、
前記検索クエリ画像を少なくとも２種類の回転角で回転した場合に、各回転角におけるアスペクト比に基づいて、それぞれがアスペクト比とレイアウト画像特徴量とを対応付けた画像群を記憶している記憶媒体から検索対象画像を前記各回転角毎に選出する選出工程と、
前記選出工程で選出された検索対象画像のレイアウト画像特徴量と、前記検索クエリ画像のレイアウト画像特徴量中の画像特徴量の位置配列を前記各回転角に応じて変更した場合のレイアウト画像特徴量との類似比較を前記各回転角毎に実行する比較工程と、
前記比較工程によって前記各回転角毎に得られる類似度の内の最大の類似度を、前記検索クエリ画像と前記検索対象画像の総合類似度として決定する決定工程と、
前記決定工程で決定した総合類似度に対応する検索対象画像を検索結果画像として出力する出力工程と
を備えることを特徴とする画像処理方法。
【０１５０】
＜実施態様１３＞ 検索条件となる検索クエリ画像と、その検索対象画像との類似度に基づいて、類似画像検索を行う画像処理を実現するプログラムであって、
前記検索クエリ画像のアスペクト比と、該検索クエリ画像を複数のメッシュブロックに分割した各メッシュブロックの画像特徴量の位置配列からなるレイアウト画像特徴量を抽出する抽出工程のプログラムコードと、
前記検索クエリ画像を少なくとも２種類の回転角で回転した場合に、各回転角におけるアスペクト比に基づいて、それぞれがアスペクト比とレイアウト画像特徴量とを対応付けた画像群を記憶している記憶媒体から検索対象画像を前記各回転角毎に選出する選出工程のプログラムコードと、
前記選出工程で選出された検索対象画像のレイアウト画像特徴量と、前記検索クエリ画像のレイアウト画像特徴量中の画像特徴量の位置配列を前記各回転角に応じて変更した場合のレイアウト画像特徴量との類似比較を前記各回転角毎に実行する比較工程のプログラムコードと、
前記比較工程によって前記各回転角毎に得られる類似度の内の最大の類似度を、前記検索クエリ画像と前記検索対象画像の総合類似度として決定する決定工程のプログラムコードと、
前記決定工程で決定した総合類似度に対応する検索対象画像を検索結果画像として出力する出力工程のプログラムコードと
を備えることを特徴とするプログラム。
【０１５１】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１５２】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１５３】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１５４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１５５】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１５６】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１５７】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１５８】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１５９】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【０１６０】
【発明の効果】
以上説明したように、本発明によれば、所望の画像を効率的に検索することができる画像処理技術を提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態の画像処理システムの構成を示すブロック図である。
【図２】本発明の実施形態のＭＦＰの詳細構成を示すブロック図である。
【図３】本発明の実施形態の登録処理を示すフローチャートである。
【図４】本発明の実施形態の紙文書登録処理の詳細を示すフローチャートである。
【図５】本発明の実施形態のデータベースのデータスキーマの内、文書管理スキーマを示す図である。
【図６】本発明の実施形態のデータベースのデータスキーマの内、ページ管理スキーマを示す図である。
【図７】本発明の実施形態の電子文書登録処理の詳細を示すフローチャートである。
【図８】本発明の実施形態の画像検索インデックス生成処理の詳細を示すフローチャートである。
【図９】本発明の実施形態１の画像ブロック抽出の一例を示す図である。
【図１０】本発明の実施形態の画像メッシュブロック分割の一例を示す図である。
【図１１】本発明の実施形態の順序決定テーブルの一例を示す図である。
【図１２】本発明の実施形態のデータベースのデータスキーマの内、画像特徴量管理スキーマを示す図である。
【図１３Ａ】本発明の実施形態の検索処理を示すフローチャートである。
【図１３Ｂ】本発明の実施形態の検索処理を示すフローチャートである。
【図１４】本発明の実施形態の検索結果一覧画面の一例を示す図である。
【図１５】本発明の実施形態の画像特徴量比較処理の詳細を示すフローチャートである。
【図１６】本発明の実施形態のカラーレイアウト画像特徴量の変換を説明するための図である。
【図１７】本発明の実施形態の累積類似距離−類似度変換テーブルの一例を示す図である。
【符号の説明】
１００ ＭＦＰ
１０１ マネージメントＰＣ
１０２ クライアントＰＣ
１０３ プロキシサーバ
１０４ ネットワーク
１０５ データベース
１０６ 文書管理サーバ
１０７ ＬＡＮ
１１０ 画像読取部
１１１ 記憶部
１１２ 印刷部
１１３ 入力部
１１４、１１７ ネットワークＩ／Ｆ
１１５ データ処理部
１１６ 表示部
Claims (1)
- 検索条件となる検索クエリ画像と、その検索対象画像との類似度に基づいて、類似画像検索を行う画像処理装置であって、
前記検索クエリ画像のアスペクト比と、該検索クエリ画像を複数のメッシュブロックに分割した各メッシュブロックの画像特徴量の位置配列からなるレイアウト画像特徴量を抽出する抽出手段と、
前記検索クエリ画像を少なくとも２種類の回転角で回転した場合に、各回転角におけるアスペクト比に基づいて、それぞれがアスペクト比とレイアウト画像特徴量とを対応付けた画像群を記憶している記憶媒体から検索対象画像を前記各回転角毎に選出する選出手段と、
前記選出手段で選出された検索対象画像のレイアウト画像特徴量と、前記検索クエリ画像のレイアウト画像特徴量中の画像特徴量の位置配列を前記各回転角に応じて変更した場合のレイアウト画像特徴量との類似比較を前記各回転角毎に実行する比較手段と、
前記比較手段によって前記各回転角毎に得られる類似度の内の最大の類似度を、前記検索クエリ画像と前記検索対象画像の総合類似度として決定する決定手段と、
前記決定手段で決定した総合類似度に対応する検索対象画像を検索結果画像として出力する出力手段と
を備えることを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003125815A JP2004334337A (ja) | 2003-04-30 | 2003-04-30 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003125815A JP2004334337A (ja) | 2003-04-30 | 2003-04-30 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004334337A true JP2004334337A (ja) | 2004-11-25 |
| JP2004334337A5 JP2004334337A5 (ja) | 2006-02-09 |
Family
ID=33502972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003125815A Pending JP2004334337A (ja) | 2003-04-30 | 2003-04-30 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004334337A (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007164648A (ja) * | 2005-12-16 | 2007-06-28 | Ricoh Co Ltd | 類似画像検索装置、類似画像検索方法、プログラム及び情報記録媒体 |
| JP2007334445A (ja) * | 2006-06-12 | 2007-12-27 | Fuji Xerox Co Ltd | 画像処理装置及びプログラム |
| JP2009277045A (ja) * | 2008-05-15 | 2009-11-26 | Sharp Corp | 画像処理装置、画像形成装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体 |
| CN101277368B (zh) * | 2007-03-28 | 2011-04-06 | 夏普株式会社 | 图像处理装置、***、方法、和图像形成装置 |
| CN103903249A (zh) * | 2012-12-27 | 2014-07-02 | 纽海信息技术（上海）有限公司 | 图像匹配***及方法 |
| JP2015060339A (ja) * | 2013-09-18 | 2015-03-30 | 株式会社プロフィールド | 書籍情報処理装置、書籍情報処理方法、およびプログラム |
| JP2015149078A (ja) * | 2012-03-06 | 2015-08-20 | アップル インコーポレイテッド | 画像を閲覧するためのアプリケーション |
| JP2018159970A (ja) * | 2017-03-22 | 2018-10-11 | シャープ株式会社 | 画像処理装置、制御プログラムおよび制御方法 |
| KR20190033451A (ko) * | 2017-09-21 | 2019-03-29 | 캐논 가부시끼가이샤 | 화상 처리 장치, 화상 처리 방법, 및 저장 매체 |
| US10282055B2 (en) | 2012-03-06 | 2019-05-07 | Apple Inc. | Ordered processing of edits for a media editing application |
| US10552016B2 (en) | 2012-03-06 | 2020-02-04 | Apple Inc. | User interface tools for cropping and straightening image |
| US10936173B2 (en) | 2012-03-06 | 2021-03-02 | Apple Inc. | Unified slider control for modifying multiple image properties |
-
2003
- 2003-04-30 JP JP2003125815A patent/JP2004334337A/ja active Pending
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007164648A (ja) * | 2005-12-16 | 2007-06-28 | Ricoh Co Ltd | 類似画像検索装置、類似画像検索方法、プログラム及び情報記録媒体 |
| JP2007334445A (ja) * | 2006-06-12 | 2007-12-27 | Fuji Xerox Co Ltd | 画像処理装置及びプログラム |
| CN101277368B (zh) * | 2007-03-28 | 2011-04-06 | 夏普株式会社 | 图像处理装置、***、方法、和图像形成装置 |
| JP2009277045A (ja) * | 2008-05-15 | 2009-11-26 | Sharp Corp | 画像処理装置、画像形成装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体 |
| JP4565015B2 (ja) * | 2008-05-15 | 2010-10-20 | シャープ株式会社 | 画像処理装置、画像形成装置、画像処理システム、画像処理プログラムおよびその記録媒体 |
| US8224095B2 (en) | 2008-05-15 | 2012-07-17 | Sharp Kabushiki Kaisha | Image processing apparatus, image forming apparatus, image processing system, and image processing method |
| US10936173B2 (en) | 2012-03-06 | 2021-03-02 | Apple Inc. | Unified slider control for modifying multiple image properties |
| US10942634B2 (en) | 2012-03-06 | 2021-03-09 | Apple Inc. | User interface tools for cropping and straightening image |
| JP2015149078A (ja) * | 2012-03-06 | 2015-08-20 | アップル インコーポレイテッド | 画像を閲覧するためのアプリケーション |
| US11481097B2 (en) | 2012-03-06 | 2022-10-25 | Apple Inc. | User interface tools for cropping and straightening image |
| US11119635B2 (en) | 2012-03-06 | 2021-09-14 | Apple Inc. | Fanning user interface controls for a media editing application |
| US10552016B2 (en) | 2012-03-06 | 2020-02-04 | Apple Inc. | User interface tools for cropping and straightening image |
| US10282055B2 (en) | 2012-03-06 | 2019-05-07 | Apple Inc. | Ordered processing of edits for a media editing application |
| US10545631B2 (en) | 2012-03-06 | 2020-01-28 | Apple Inc. | Fanning user interface controls for a media editing application |
| CN103903249A (zh) * | 2012-12-27 | 2014-07-02 | 纽海信息技术（上海）有限公司 | 图像匹配***及方法 |
| CN103903249B (zh) * | 2012-12-27 | 2017-10-13 | 北京京东尚科信息技术有限公司 | 图像匹配***及方法 |
| JP2015060339A (ja) * | 2013-09-18 | 2015-03-30 | 株式会社プロフィールド | 書籍情報処理装置、書籍情報処理方法、およびプログラム |
| JP2018159970A (ja) * | 2017-03-22 | 2018-10-11 | シャープ株式会社 | 画像処理装置、制御プログラムおよび制御方法 |
| KR20190033451A (ko) * | 2017-09-21 | 2019-03-29 | 캐논 가부시끼가이샤 | 화상 처리 장치, 화상 처리 방법, 및 저장 매체 |
| KR102403964B1 (ko) | 2017-09-21 | 2022-06-02 | 캐논 가부시끼가이샤 | 화상 처리 장치, 화상 처리 방법, 및 저장 매체 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4371965B2 (ja) | 画像処理装置、画像処理方法 | |
| US8203748B2 (en) | Image processing apparatus, control method therefor, and program | |
| US8174724B2 (en) | Image processing apparatus, control method therefor, and program | |
| JP4920928B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
| JP4533273B2 (ja) | 画像処理装置及び画像処理方法、プログラム | |
| US7551753B2 (en) | Image processing apparatus and method therefor | |
| US9710524B2 (en) | Image processing apparatus, image processing method, and computer-readable storage medium | |
| JP2004334336A (ja) | 画像処理装置 | |
| JP2004265384A (ja) | 画像処理システム及び情報処理装置、並びに制御方法及びコンピュータプログラム及びコンピュータ可読記憶媒体 | |
| JP2005159517A (ja) | 画像処理装置及びその制御方法、プログラム | |
| JP2004334337A (ja) | 画像処理装置 | |
| US8219594B2 (en) | Image processing apparatus, image processing method and storage medium that stores program thereof | |
| JP4541770B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
| JP2004348467A (ja) | 画像検索装置及びその制御方法、プログラム | |
| JP2006333248A (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
| JP2005149097A (ja) | 画像処理システム及び画像処理方法 | |
| JP2005149210A (ja) | 画像処理装置及びその制御方法、プログラム | |
| JP2005151455A (ja) | 画像処理装置、情報処理装置及びそれらの制御方法、プログラム | |
| JP4047222B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
| JP4405861B2 (ja) | 画像処理装置、情報処理装置及びそれらの制御方法、プログラム | |
| JP6012700B2 (ja) | 情報処理装置、情報処理方法、情報処理システム、コンピュータプログラム | |
| JP2010092141A (ja) | 画像処理システム、画像読取装置、画像処理装置および画像処理プログラム | |
| JP2006023946A (ja) | 画像処理装置及びその制御方法、プログラム | |
| JP5745010B2 (ja) | 情報処理装置、情報処理方法、情報処理システム、コンピュータプログラム | |
| JP5420032B2 (ja) | 情報処理装置、情報処理方法、情報処理システム、コンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051215 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090302 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090626 |