JP2002007413A

JP2002007413A - 画像検索装置

Info

Publication number: JP2002007413A
Application number: JP2000185226A
Authority: JP
Inventors: Atsuyoshi Andou; 淳禎安藤; Masatake Kikuchi; 正剛菊地
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2000-06-20
Filing date: 2000-06-20
Publication date: 2002-01-11

Abstract

(57)【要約】【課題】文字認識と画像認識との両側面から目的の画
像を高い確率で効率的に検索し得る画像検索装置の提
供。【解決手段】画像Ｉに含まれる文字を認識するＯＣＲ
部１と、画像特徴を抽出する画像特徴量計算部３と、文
字認識結果に基づき、検索キーの文字を含む画像候補を
検索するテキスト検索実行部５と、画像認識結果に基づ
き、検索キーと可及的に類似する画像特徴を有する画像
候補を検索する画像特徴検索実行部６と、文字認識結果
の画像候補と、画像認識結果の画像候補の検索キーとの
類似度をそれぞれ数値化して統合する統合部７とを設け
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文字、図形、表、
写真等の画像、又はこれらが混在した画像を蓄積してい
る電子図書館、電子博物館、ナレッジ・マネジメント・
システム等の画像の中から、これらの中の所定の画像又
は、文字、背景の色等の条件を指定した所定の画像を検
索キーとして目的の画像を検索する装置に関する。

【０００２】

【従来の技術】コンピュータの急速な普及によって、紙
文書を電子化して保存することが一般的になっている。
またインターネットのような通信ネットワークを利用
し、電子化した文書をネットワーク経由で閲覧できるシ
ステムを構築することにより、ナレッジ・マネジメント
等の知識共有基盤として活用することが可能になる。電
子化文書の量が増大するに従って、蓄積している大量の
電子化文書を活用するために、電子化文書に適切なイン
デックスを付与して検索可能な状態にすることが重要で
ある。

【０００３】また、文書作成ソフトウェアの機能向上に
伴い、テキストだけの文書だけでなく、例えばプレゼン
テーションでの訴求力向上を目的として、図、表、写真
等を多用したフルカラー文書を作成することが容易にな
ってきている。このような文書では、図、表、写真等の
情報が、文書の内容に対してテキスト情報と同等の重要
性を持っている。

【０００４】このように、テキストだけの文書、テキス
トと画像とが混在する文書が存在するようなシステムで
は、文書をイメージ・スキャナ等で読み取って蓄積して
おく方が一括管理が容易である。

【０００５】従来、テキストと、図、表、写真等の画像
とが混在する文書を検索する装置として、文書の画像化
データから、文書に含まれる画像を含む画像領域と、テ
キストを含む文字領域とを認識し、文字領域から文字認
識した文字列を画像領域の画像に関連付けて登録してお
き、この文字列を検索キーとして目的の画像を検索する
装置が開示されている（特開平１１−２５１１３号公
報）。

【０００６】また、テキストと画像とが混在する文書の
ファイリング装置として、文書の画像化データから、文
書に含まれるテキストを含む文字領域を認識し、文字領
域から文字列を文字認識するとともに各文字の大きさを
抽出し、各文字の大きさから得られた相対的文字サイズ
を文字列とともに記憶しておき、例えば相対的文字サイ
ズが大きい文字列はタイトルである確率が高く、タイト
ルの文字列が検索キーと一致した検索結果は目的とする
検索結果により近いであろうという推定に基づき、検索
結果の優先度を相対的文字サイズに従って算出し、検索
結果を優先度でランク付けして出力する装置が開示され
ている（特開平１０−１７７６４１号公報）。

【０００７】また、写真画像と文字情報とが記録され、
画像記録部と文字記録部が分離されたコマ画像に対し
て、文字記録部の文字列を文字認識し、文字認識した文
字を検索キーワードとして検索する装置が開示されてい
る（特開平８−１８５５０８号公報）。

【０００８】さらに、文字認識時の誤りに対処した装置
として、イメージデータのテキストデータ部分を文字認
識して検索に使用する場合で、文字認識誤りが発生した
場合に、検索ヒット率が低下することを解決するため
に、文字認識時に候補としてあがった第２候補以降の文
字も含めて格納し、検索する装置が開示されている（特
開平８−６９４７７号公報）。

【０００９】

【発明が解決しようとする課題】以上のように、従来の
装置では、文書の画像化データの中の文字列を含む領域
から文字認識した文字列を、文書に含まれる画像の検索
キーとしているため、文書に文字列を含む領域がない場
合、検索キーを付与することができない。

【００１０】また、建物の写真に含まれる看板の文字の
ように、画像の中に検索キーとして非常に有効な文字列
が存在していても、画像に含まれている文字列を検索キ
ーとして付与することができない。

【００１１】さらに、装置の認識精度が低かったり、画
像化した文字の一部が文字認識が不可能な程度まで欠け
ていること等が原因で文字列を誤って文字認識し、誤っ
た文字列が検索キーとして付与された場合、この画像
は、文字列を検索キーとした検索によって検索され得な
いという不具合が生じる。

【００１２】また、文書に含まれる図形の形、背景の色
等の画像の特徴が、文字列と同等又はそれ以上に文書の
特徴を良く表していたり、印象に残り易いような文書に
対しては、文書の画像特徴に基づいて検索する方が目的
の文書を検索し得る確率が高い。しかし、例えば同じ建
物を正面から撮影した場合と、下から仰いで撮影した場
合とでは建物の形が異なり、その結果、画像特徴が類似
しないため、画像特徴を検索キーとして目的の画像を検
索することができない。その他にも、照明条件、大気の
状態、撮影した季節、撮影機材の性能等、種々の条件に
よって画像特徴は大きく変動する。

【００１３】本発明はこのような問題点を解決するため
になされたものであって、文字、図形、表、写真等が混
在する画像の中から、いずれかの画像又は、文字、背景
の色等の条件を指定した所定の画像を検索キーとして目
的の画像を検索する際、文字認識によって画像候補を検
索するとともに、画像認識によっても画像候補を検索し
て文字認識による検索結果と画像認識による検索結果と
を統合することにより、文字認識と画像認識との両側面
から目的の画像を高い確率で効率的に検索し得る画像検
索装置の提供を目的とする。

【００１４】

【課題を解決するための手段】図１は本発明の検索の原
理の概念図である。画像に一意に付与されている識別番
号ＩＤ００１の画像は、文字列「ＡＡＡ」と書かれた紙
文書をイメージ・スキャナ等で読み取った画像（画像特
徴量０．５）であり、ＩＤ００２の画像は、紙文書の損
傷、過度の複写等により、文字列「ＡＡＡ」のうち、３
番目の「Ａ」の一部が、「Ａ」と文字認識することが不
可能な程度まで欠けている紙文書をイメージ・スキャナ
等で読み取った画像（画像特徴量０．５２）である。Ｉ
Ｄ００１とＩＤ００２の画像は、画像としての形状が近
いため、画像特徴量が近い値になっている。

【００１５】ＩＤ００３の画像は、文字列「ＣＣＣ」が
壁面に描かれた正面視正方形の建物を正面から撮影した
画像（画像特徴量０．１）、ＩＤ００４の画像は、同様
に文字列「ＣＣＣ」が壁面に描かれた正面視正方形の建
物を下から仰いで撮影した画像（画像特徴量０．９）で
ある。ＩＤ００３とＩＤ００４の画像は、被写体が同一
物であっても画像としての形状が大きく異なっているた
め（正方形と台形）、画像特徴量の差が大きくなってい
る。

【００１６】画像特徴量は、その他、照明条件、大気の
状態、撮影した季節、撮影機材等の条件の差異によって
も大きく変動する。なお、画像特徴量は、一般的にｎ次
元のベクトル情報で表現されるが、本例では、説明の簡
単のために一次元のスカラ値とする。

【００１７】上述のような画像に対して、ＩＤ００１の
画像を検索キーの画像として検索した場合、文字認識だ
けでは、ＩＤ００２〜ＩＤ００４のいずれの画像も、含
まれている文字列が検索キーの画像ＩＤ００１に含まれ
る文字列と一致しないため、検索結果が得られない。

【００１８】しかし、画像認識によって検索した場合、
文字認識だけでは検索されなかったＩＤ００２の画像
が、検索キーの画像ＩＤ００１の画像の画像特徴量と非
常に近い、即ち画像特徴が可及的に類似する目的の画像
として検索される。

【００１９】また、ＩＤ００３の画像を検索キーの画像
として検索した場合、画像認識だけでは、ＩＤ００１、
ＩＤ００２、ＩＤ００４のいずれの画像も、ＩＤ００３
の画像特徴量との差の絶対値がかなり大きく、画像特徴
量からだけでは、これらの中に目的の画像が存在しない
ことになる。

【００２０】しかし、文字認識によって検索した場合、
ＩＤ００４の画像が、検索キーの画像であるＩＤ００３
の画像に含まれている文字列「ＣＣＣ」と同一の文字列
を含むため、目的の画像として検索される。

【００２１】以上のように、本発明では、文字認識と画
像認識との両側面から画像候補を検索して両方の検索結
果を統合するので、ＩＤ００１の画像を検索キーの画像
として検索した場合、文字認識だけであれば検索されな
かったＩＤ００２の画像が、画像認識によって検索さ
れ、また逆に、ＩＤ００３の画像を検索キーの画像とし
て検索した場合、画像認識だけであれば検索されなかっ
たＩＤ００４の画像が、文字認識によって検索される。

【００２２】図２は本発明の統合の原理の概念図であ
る。図２の画像候補は、検索対象の画像の中から、文字
認識及び画像認識により検索された画像候補を示すもの
である。これらの画像候補は、例えば、当初、文字列
「ＣＣＣ」をテキスト検索条件として入力した文字認識
の検索結果の中から、画像ＩＤ００１を検索キーの画像
とする画像認識による検索の結果、得られた候補であ
る。

【００２３】ＩＤ００１は文字列「ＣＣＣ」が長方形の
図形の中に書かれた画像（画像特徴量０．５）、ＩＤ０
０２は文字列「ＣＣＣ」が楕円形の図形の中に書かれた
画像（画像特徴量０．３）、ＩＤ００３は文字列「ＣＣ
Ｃ」が正方形の図形の中に書かれた画像（画像特徴量
０．５５）、ＩＤ００４は文字列「ＣＣＣ」が台形の図
形の中に書かれた画像（画像特徴量０．９）である。

【００２４】画像候補ＩＤ００２〜ＩＤ００４に含まれ
る文字列「ＣＣＣ」は、検索キーの画像ＩＤ００１に含
まれる文字列と完全に一致しているので、文字認識にお
ける、検索キーの画像ＩＤ００１に対する画像候補ＩＤ
００２〜ＩＤ００４の類似度の順位は同列である。

【００２５】しかし、画像認識における類似度、即ち検
索キーの画像ＩＤ００１と画像候補ＩＤ００２〜ＩＤ０
０４との画像特徴量の差はそれぞれ異なっている。この
状態で、文字認識及び画像認識による検索結果を統合す
ると、画像特徴量の差の絶対値が小さい方から順（ＩＤ
００３→ＩＤ００２→ＩＤ００４）に、検索キーの画像
との類似度がより高い画像候補としてランク付けするこ
とができる。

【００２６】以上のように、文字認識の検索結果と画像
認識の検索結果とを統合することで、一致する／しない
といった二律背反の検索ではなく、所定範囲の類似度を
示す画像候補の検索が可能になり、目的の画像を高い確
率で効果的に検索することができる。また統合してラン
ク付けした画像候補を、ランク順に検索者に提示するこ
とで、検索者は目的の画像を早期に発見することができ
る。

【００２７】次に本発明の検索・統合の手順を図３のフ
ローチャートに基づいて説明する。なお、以下の説明で
は、画像を検索キーとして指定する場合について説明す
るが、検索キーは画像に限らず、文字列を指定するテキ
ストデータ、画像特徴を表現したテキストデータ等であ
ってもよい。また、検索キーの画像は検索対象の画像群
の中から選択しても、また予め用意されているサンプル
の中から選択してもよい。

【００２８】検索キーの画像のＯＣＲテキスト、及び画
像特徴量を抽出する（ステップＳ１）。全ての画像候補
のデータについて処理したか否かをチェックしながら
（ステップＳ２）、データベースに蓄積されている検索
対象の画像のＯＣＲテキスト及び画像特徴量を抽出する
（ステップＳ３）。

【００２９】検索キーの画像に対する、ＯＣＲテキスト
の類似度と画像特徴量の類似度とを統合した、画像候補
の統合類似度を計算する（ステップＳ４）。全てのデー
タについて処理したか否かをチェックしながら（ステッ
プＳ２）、ステップＳ３及びＳ４を繰り返す。

【００３０】全ての画像候補のデータについて処理が完
了すると、統合類似度の高い順番にソートしてランク付
けし、例えばディスプレイ表示等により、ランク順に検
索結果を出力する（ステップＳ５）。

【００３１】第１発明の画像検索装置は、検索対象の画
像の中から目的の画像を検索する装置において、画像に
含まれる文字を認識する文字認識手段と、画像の画像特
徴を抽出する画像認識手段と、文字認識手段の認識結果
に基づき、検索キーの文字を含む画像候補を検索する第
１の検索手段と、画像認識手段の認識結果に基づき、検
索キーの画像特徴と可及的に類似する画像特徴を有する
画像候補を検索する第２の検索手段と、第１及び第２の
検索手段の検索結果を統合する統合手段とを備えたこと
を特徴とする。

【００３２】第２発明の画像検索装置は、第１発明の前
記統合手段が、検索キーに対する第１及び第２の検索手
段の検索結果の画像候補の類似度をそれぞれ数値化する
手段を備え、画像候補を、第１及び第２の検索手段の該
類似度を統合した統合類似度が相対的に高い画像候補に
絞り込むべくなしたことを特徴とする。

【００３３】第３発明の画像検索装置は、第１発明の前
記統合手段が、検索キーに対する第１及び第２の検索手
段の検索結果の画像候補の類似度をそれぞれ数値化し、
該類似度に、第１及び第２の検索手段に対して定められ
た重み係数をそれぞれ乗じた重み付き類似度を算出する
手段を備え、画像候補を、該重み付き類似度を統合した
統合類似度が相対的に高い画像候補に絞り込むべくなし
たことを特徴とする。

【００３４】本発明では、検索対象の画像に含まれる文
字を認識するとともに、画像特徴を抽出し、文字認識の
認識結果に基づき、検索キーの文字を含む画像候補を検
索し、また画像認識の認識結果に基づき、検索キーと可
及的に類似する画像特徴を有する画像候補を検索して、
これらの検索結果を統合する。

【００３５】このとき、検索結果を統合する一つの方法
として、文字認識による検索結果の画像候補と、画像認
識による検索結果の画像候補の検索キーとの類似度をそ
れぞれ数値化し、文字認識による画像候補と画像認識に
よる画像候補との類似度を統合し、画像候補を、統合し
た統合類似度が相対的に高い画像候補に絞り込む。

【００３６】また検索結果を統合する他の方法として、
文字認識による検索結果の画像候補と、画像認識による
検索結果の画像候補の検索キーとの類似度をそれぞれ数
値化し、この類似度に、文字認識による検索結果及び画
像認識による検索結果に対して定められた重み係数をそ
れぞれ乗じた重み付き類似度を算出して統合し、画像候
補を、重み付き類似度を統合した統合類似度が相対的に
高い画像候補に絞り込む。

【００３７】従って、例えば紙文書の損傷、過度の複写
等により、文字列の一部が文字認識の不可能な程度まで
欠けている文書の画像、文字が描かれた建物を異なる角
度で撮影した写真の画像等のように、文字認識だけ、又
は画像認識だけでは検索され得ない画像が検索対象の画
像に含まれている場合でも、文字認識と画像認識との両
側面から目的の画像を高い確率で効率的に検索し得る。

【００３８】第４発明の画像検索装置は、第２又は第３
発明に加えて、統合類似度の高さ順に応じた順序で画像
候補の情報を提示する手段をさらに備えたことを特徴と
する。

【００３９】本発明では、統合類似度の高さ順に応じた
順序で、目的の画像により近い画像候補から先にその情
報を提示する。従って、検索結果として得られた画像候
補の数が膨大であっても、検索者は目的の画像を早期に
発見することができる。

【００４０】第５発明の画像検索装置は、第１乃至第４
発明のいずれかに加えて、第１又は第２の検索手段によ
る検索結果の画像候補のいずれかを検索キーとして、第
２又は第１の検索手段により、検索結果の画像候補の中
から画像候補を検索する手段をさらに備えたことを特徴
とする。

【００４１】本発明では、文字認識及び画像認識のいず
れか一方の認識手段で画像候補を一旦絞り込み、この検
索結果の画像候補の中のいずれかを検索キーとして、他
方の認識手段で画像候補を検索する。従って、一方の認
識手段による検索結果の画像候補をヒントとして、目的
の画像の検索に、より適した画像を検索条件として指定
することができる。

【００４２】

【発明の実施の形態】図４は本発明の画像検索装置（以
下、本発明装置という）の機能ブロック図である。上半
部は画像の登録処理に関連し、下半部は検索処理に関連
する。ＯＣＲ（光学式文字認識：ＯｐｔｉｃａｌＣｈ
ａｒａｃｔｅｒＲｅｃｏｇｎｉｔｉｏｎ）部１は、紙
文書をイメージ・スキャナ等で読み取った画像Ｉ、又は
既に電子化されている文書を画像化した画像Ｉに含まれ
ている文字を光学的に読み取る文字認識手段である。

【００４３】ＯＣＲ部１は、画像Ｉから抽出した文字列
から、検索ができるようにテキスト・インデックスを生
成し、画像Ｉに一意に付与した識別番号に関連付けてＯ
ＣＲテキスト・データベース（以下、ＯＣＲテキストＤ
Ｂと略記する）２に格納する。

【００４４】ＯＣＲの手法としては、「文字認識・文書
理解の最新動向〔Ｉ〕 −文字認識とは−」（電子情報
通信学会誌、平成１２年１月ＪＡＮＵＡＲＹＶＯ
Ｌ．８３Ｎｏ．１ｐｐ．６４−６８）、「文字認識
・文書理解の最新動向〔ＩＩ〕−文字認識手法−」（電
子情報通信学会誌、平成１２年２月ＦＥＢＲＵＡＲＹ
ＶＯＬ．８３Ｎｏ．２ｐｐ．１４３−１４８）等
のいずれを使用してもよい。

【００４５】画像特徴量計算部３は、上述の画像Ｉのエ
ッジ、色、濃淡等を検出して画像特徴量を計算する画像
認識手段である。画像特徴量計算部３は、計算した画像
特徴量から、検索ができるように画像インデックスを生
成し、画像Ｉに一意に付与した識別番号に対応付けて画
像特徴データベース（以下、画像特徴ＤＢと略記する）
４に格納する。

【００４６】画像認識の手法としては、例えば「画像を
キーとする類似画像検索システム」（村尾晃平、安藤淳
禎：１９９８年電子情報通信学会情報・システムソサイ
エティ大会Ｄ−１１−６０，ｐ．１７５，１９９８）
を使用することができる。

【００４７】テキスト処理では、図示しない入力手段
（キーボード、マウス等）により入力された検索キー
（テキストキー、画像キー）を受け付け、テキスト検索
実行部５は、ＯＣＲテキストＤＢ２を参照してテキスト
キーに基づくテキスト検索を実行し、画像検索実行部６
は、画像特徴ＤＢ４を参照して画像キーに基づく画像検
索を実行する。

【００４８】テキスト検索実行部５及び画像検索実行部
６は、検索キーに対する検索結果の画像候補の類似度を
それぞれ数値化して検索結果の画像候補の情報（例え
ば、縮小画像、ＯＣＲテキストデータ等）とともに統合
部７に渡す。

【００４９】統合部７は、テキスト検索実行部５及び画
像検索実行部６から渡された類似度を、後述するような
方法で統合し、統合後の類似度に基づいて画像候補をラ
ンク順にソーティングし、ランクの高い順に、画像候補
の情報をランキング情報とともに検索結果出力部８に渡
す。

【００５０】例えばディスプレイを有する検索結果出力
部８は、統合部７から渡されたランク順に応じた並び順
で、１ページに表示が可能な数ずつ、画像候補の情報を
出力して検索者に提示する（図７参照）。

【００５１】図５は本発明装置における統合例（その
１）の概念図である。テキスト検索実行部５による文字
認識の検索結果（Ａ）として画像候補ＩＤ００４、ＩＤ
００７、ＩＤ０１０、ＩＤ０４０が検索されている。全
ての画像候補に含まれる文字列が検索キーの文字列と一
致するため本例ではランキングしていない。なお、この
とき、同列のランクの画像候補に同一の類似度を与えて
もよい。

【００５２】画像特徴検索実行部６による画像認識の検
索結果（Ｂ）として上位から４つの画像候補ＩＤ００７
（類似度０．９）、ＩＤ０１０（類似度０．８）、ＩＤ
０４０（類似度０．７５）、ＩＤ０５１（類似度０．
７）が検索されている。なお、類似度は数値が大きいほ
ど高いものとする。

【００５３】統合部７は、検索結果（Ａ）と検索結果
（Ｂ）との論理積をとり、ＩＤ００４とＩＤ０５１の画
像を候補から外し、残りの画像候補ＩＤ００７、ＩＤ０
１０、ＩＤ０４０の画像特徴における類似度を統合類似
度として、これらをランク付けする。即ち、画像候補Ｉ
Ｄ００７が第一位、ＩＤ０１０が第２位、ＩＤ０４０が
第３位となる。

【００５４】また図６は本発明装置における統合例（そ
の２）の概念図である。テキスト検索実行部５による文
字認識の検索結果（Ａ）として画像候補ＩＤ００４（類
似度０．９）、ＩＤ００７（類似度０．８）、ＩＤ０１
０（類似度０．５）、ＩＤ０４０（類似度０．４）が検
索されている。前述と同様に、類似度は数値が大きいほ
ど高いものとする。なお、全ての画像候補に含まれる文
字列が検索キーの文字列と一致する場合、類似度は同一
値になる。

【００５５】画像特徴検索実行部６による画像認識の検
索結果（Ｂ）として上位から４つの画像候補ＩＤ００７
（類似度０．９）、ＩＤ０１０（類似度０．８）、ＩＤ
０４０（類似度０．７５）、ＩＤ０５１（類似度０．
７）が検索されている。

【００５６】統合部７は、検索結果（Ａ）と検索結果
（Ｂ）との論理積をとり、ＩＤ００４とＩＤ０５１の画
像を候補から外す。残りの画像候補ＩＤ００７、ＩＤ０
１０、ＩＤ０４０に対して、テキスト検索実行部５によ
る検索結果（Ａ）のそれぞれの類似度に、文字認識の重
み付け係数として定めた「５」を乗じ、また画像特徴検
索実行部６による検索結果（Ｂ）の画像候補のそれぞれ
の類似度に、画像認識の重み付け係数として定めた「１
０」を乗じ、重み付けした類似度を統合した統合類似度
に基づいて画像候補をランク付けする。

【００５７】即ち、画像候補ＩＤ００７が（５×０．８
＋１０×０．９＝１３．０）で第一位、ＩＤ０１０が
（５×０．５＋１０×０．８＝１０．５）で第２位、Ｉ
Ｄ０４０が（５×０．４＋１０×０．７５＝９．５）で
第３位となる。

【００５８】なお、検索結果（Ａ）（Ｂ）の統合に用い
るブール演算は論理積に限らず、論理和、否定等であっ
てもよい。

【００５９】また、ネットワーク上のサーバ装置に本発
明装置の機能を持たせ、このサーバ装置にアクセスが可
能な複数のクライアント装置から検索を行う構成とする
こともできる。この場合のユーザ・インタフェースは市
販のブラウザが使用できる環境であれば、クライアント
装置の機種には依存せずに検索結果をクライアント装置
から閲覧することができる。

【００６０】図７は本発明装置における検索結果の画面
表示例の図である。統合部７によるランク付けに応じた
順位で、第１位から第３位までの画像候補の画像（縮小
画像）が表示され、それぞれのランキング情報、テキス
ト検索における類似度、画像特徴検索における類似度、
これらを統合した総合の類似度、文字認識したテキスト
本文、例えばクライアント装置からサーバ装置へ検索を
依頼した場合等に機能する一括ダウンロード用ボタン等
が提示される。

【００６１】また「画像で検索」ボタンを選択すると、
検索結果の画像候補を検索キーの画像として、さらなる
検索が連鎖的に実行される。

【００６２】

【発明の効果】以上のように、本発明装置は、文字、図
形、表、写真等が混在する画像の中から、いずれかの画
像、又は文字と背景の色を指定したような所定の画像を
検索キーとして目的の画像を検索する際、文字認識によ
って画像候補を検索するとともに、画像認識によっても
画像候補を検索し、文字認識による検索結果と画像認識
による検索結果とを統合するので、文字認識と画像認識
との両側面から目的の画像を高い確率で効率的に検索し
得るという優れた効果を奏する。

【図面の簡単な説明】

【図１】本発明の検索の原理の概念図である。

【図２】本発明の統合の原理の概念図である。

【図３】本発明の検索・統合手順のフローチャートであ
る。

【図４】本発明装置の機能ブロック図である。

【図５】本発明装置における統合例（その１）の概念図
である。

【図６】本発明装置における統合例（その２）の概念図
である。

【図７】本発明装置における検索結果の画面表示例の図
である。

【符号の説明】

１ＯＣＲ部２ＯＣＲテキストＤＢ３画像特徴量計算部４画像特徴ＤＢ５テキスト検索実行部６画像特徴検索実行部７統合部８検索結果出力部Ｉ画像

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 1/00 ２００Ｇ０６Ｔ 1/00 ２００Ｅ 7/00 ３００ 7/00 ３００ＦＦターム(参考） 5B050 BA16 BA20 EA04 EA18 GA08 5B064 AA10 BA01 5B075 ND06 NK02 NK06 PP02 PP03 PP04 PQ02 PQ36 PQ74 PR06 QM08 5L096 FA06 FA14 GA38 HA08 JA03 JA11

Claims

【特許請求の範囲】

【請求項１】検索対象の画像の中から目的の画像を検
索する装置において、画像に含まれる文字を認識する文字認識手段と、画像の画像特徴を抽出する画像認識手段と、文字認識手段の認識結果に基づき、検索キーの文字を含
む画像候補を検索する第１の検索手段と、画像認識手段の認識結果に基づき、検索キーの画像特徴
と可及的に類似する画像特徴を有する画像候補を検索す
る第２の検索手段と、第１及び第２の検索手段の検索結果を統合する統合手段
とを備えたことを特徴とする画像検索装置。
【請求項２】前記統合手段は、検索キーに対する第１
及び第２の検索手段の検索結果の画像候補の類似度をそ
れぞれ数値化する手段を備え、画像候補を、第１及び第
２の検索手段の該類似度を統合した統合類似度が相対的
に高い画像候補に絞り込むべくなしたことを特徴とする
請求項１記載の画像検索装置。
【請求項３】前記統合手段は、検索キーに対する第１
及び第２の検索手段の検索結果の画像候補の類似度をそ
れぞれ数値化し、該類似度に、第１及び第２の検索手段
に対して定められた重み係数をそれぞれ乗じた重み付き
類似度を算出する手段を備え、画像候補を、該重み付き
類似度を統合した統合類似度が相対的に高い画像候補に
絞り込むべくなしたことを特徴とする請求項１記載の画
像検索装置。
【請求項４】統合類似度の高さ順に応じた順序で画像
候補の情報を提示する手段をさらに備えたことを特徴と
する請求項２又は３に記載の画像検索装置。
【請求項５】第１又は第２の検索手段による検索結果
の画像候補のいずれかを検索キーとして、第２又は第１
の検索手段により、検索結果の画像候補の中から画像候
補を検索する手段をさらに備えたことを特徴とする請求
項１乃至４のいずれかに記載の画像検索装置。