JP3660943B2 - Image search apparatus and image search method - Google Patents
Image search apparatus and image search method Download PDFInfo
- Publication number
- JP3660943B2 JP3660943B2 JP25607898A JP25607898A JP3660943B2 JP 3660943 B2 JP3660943 B2 JP 3660943B2 JP 25607898 A JP25607898 A JP 25607898A JP 25607898 A JP25607898 A JP 25607898A JP 3660943 B2 JP3660943 B2 JP 3660943B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- recorded
- feature
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は画像の検索技術に関し、特に、描画入力した画像イメージを基に記録画像を検索する画像検索技術に関する。
【0002】
【従来の技術】
デジタルカメラで撮像された被写体像は、CCDによる光電変換、信号変換及び信号処理等を経て画像データとして記憶媒体に記録される。この場合、画像データは記録媒体上に撮像した順番に記録されてゆく。
【0003】
また、デジタルカメラの多くは液晶ディスプレイ等からなる表示装置を備えており、撮像後に記録媒体から読み出した再生画像を表示することもできる。しかし、このようなデジタルカメラで再生画像を表示する場合には、画像データは撮像した順序で記録媒体から読み出されるので、表示装置の画面上にも撮像順に表示される。
【0004】
そして、記録画像の中から所望の画像を探し出そうとする場合には所望の画像が現われるまで再生画像をコマ送りしたり、サイズの小さい簡易画像(サムネイル画像)を1画面に複数枚表示(マルチ画面表示)してコマ送りし、所望の簡易画像が表示された場合にそれを指定して元の画像を再生して表示していた。
【0005】
【発明が解決しようとする課題】
上記従来の検索方法は記録されている画像が少ない場合にはともかく、大量の画像が記録されている場合には所望の画像を探し出すためのコマ送りが煩わしいという問題点があった。また、これに加えて所望の画像を複数枚探し出す場合(所望の画像が記録画像の最後に有った場合)には記録画像を全て再生してコマ送りして探し出さなければならないという問題点があった。
【0006】
コマ送りによる画像検索の他に、キーワードによって画像を検索することもできるが、この場合には予め画像に対応させてキーワードを登録する必要があり、画像入力時にキーワードを付加する必要がある他、画像とキーワードの対応付けをユーザが記憶したりメモしたりしておかなければならないという問題点があった。
【0007】
本発明は、上記問題点を解決するためになされたものであり、検索用画像を基に所望の記録画像を検索する画像検索装置および画像検索方法の提供を目的とする。
【0008】
【課題を解決するための手段】
上記目的を達成するために、第1の発明の画像検索装置は、複数の画像を記録する画像記録手段と、検索用描画図を取得する描画図取得手段と、画像中の位置を指定する位置指定手段と、この位置指定手段により画像中の位置が指定されている場合、前記描画図取得手段により取得された検索用描画図と前記画像記録手段に記録されている前記各画像とを比較して、前記検索用描画図と類似度の高い部分画像を含み、且つ該部分画像の画像中の位置と前記位置指定手段により指定された位置との接近度が高い記録画像を検索する第1の画像検索手段と、前記位置指定手段により画像中の位置が指定されていない場合、前記描画図取得手段により取得された検索用描画図と前記画像記録手段に記録されている前記各画像とを比較して、前記検索用描画図と類似度の高い部分画像が画像中のどこかに含まれている記録画像を検索する第2の画像検索手段と、を有することを特徴とする。
【0009】
また、第2の発明は上記第1の発明の画像検索装置において、前記描画図取得手段は、絵または図形を所定領域に描画入力する描画入力手段を含み、前記位置指定手段は、前記描画入力手段により描画入力された絵または図形の前記所定領域中の描画位置を画像中の位置として指定する手段を含み、前記第1の画像検索手段は、前記描画入力手段により描画入力された絵または図形と類似度の高い部分画像を含み、且つ該部分画像の画像中の位置と前記描画入力手段により描画入力された絵または図形の所定領域中の描画位置との接近度が高い記録画像を検索し、前記第2の画像検索手段は、前記描画入力手段により描画入力された絵または図形と類似度の高い部分画像が画像中のどこかに含まれている記録画像を検索することを特徴とする。
【0015】
また、第3の発明の画像検索方法は、検索用描画図を取得する工程と、画像中の位置を指定する工程と、画像中の位置が指定されている場合、前記取得された検索用描画図と画像メモリに記録されている各画像とを比較して、前記検索用描画図と類似度の高い部分画像を含み、且つ該部分画像の画像中の位置と前記指定された位置との接近度が高い記録画像を検索する工程と、画像中の位置が指定されていない場合、前記取得された検索用描画図と前記画像メモリに記録されている各画像とを比較して、前記検索用描画図と類似度の高い部分画像が画像中のどこかに含まれている記録画像を検索する工程と、を有することを特徴とする。
【0023】
【発明の実施の形態】
<実施形態(1)>
図1は本発明の描画入力による画像検索方法の概要説明図である。本実施の形態では、画像検索装置100は指やタッチペン3A等で手書きされた検索用描画図(検索したい画像の全体像または部分像を描いた図をいう)501,502,503(図1(a))の特徴要素と記録画像の部分画像501’,502’,503’、・・(図1(b))の特徴要素との比較により特徴要素の一致度の高い記録画像を抽出して、候補画像111,112,113,114,・・として表示し(図1(c))、表示された候補画像の中からユーザがイメージした画像(図1(c)の例では画像111)を選択することにより、キーワード入力やコマ送りなしに所望の画像を容易に検索できる。
【0024】
ここで、比較する特徴要素の例としては検索用描画図の輪郭特徴と記録画像の輪郭特徴(図8)や、検索用描画図の輪郭内部に施された色彩と部分画像の色彩(図9)、または検索用描画図の配置と部分画像の配置等(図10)を挙げることができるがこれらに限定されない。
【0025】
[回路構成例]
図2はデジタルカメラの構成例を示すブロック図であり、画像検索装置100は撮像部1、描画入力部2、操作部3、制御部4、画像認識部5、作業用メモリ6,画像記録用メモリ7、画像再生部8、表示部9および液晶ディスプレイ(LCD)10を備えている。
【0026】
撮像部1は撮像レンズやレンズ駆動機構、絞り機構等の光学系と撮像レンズを介して集光された光学像を電気信号に変換する撮像素子と、撮像素子駆動部および得られた電気信号をデジタルデータに変換する信号変換部を有している。
【0027】
操作部2は電源スイッチや処理選択ボタン等を備えている。ユーザが操作部2の電源スイッチや処理選択ボタン等を操作すると操作内容に対応した電気信号(コード)が制御部4に送られる。これにより、ユーザは制御部4に画像検索装置100の起動や画像検索動作上必要な指示を与えることができる。
【0028】
描画入力部3はペンまたは指で絵や線を描くとその結果が電気信号に変換される部材から構成されている。
描画入力部3として、本実施例では液晶ディスプレイ10の上に設けた透明な感圧入力板(プラスチック等の材料からなる透明板に圧力を検知して電気信号を出力する複数の圧電素子を配設したもの)、タッチペンや指による描画やポイントがなされると電気信号とタッチ位置の座標値(x,y)を出力するよう構成したが、感圧素子を配設した平板(入力タブレット)を用いてタッチペンや指による描画やポイントがなされると電気信号とタッチ位置の座標値(x,y)を出力するようにしてもよい。
また、液晶ディスプレイ10の上に熱線を検知して電気信号を出力する感熱素子を複数配設した透明板(感熱透明板)を設け、指で描画やポイントがなされるとユーザの指から出る熱線を検知して電気信号とタッチ位置の座標値(x,y)を出力するようにしてもよい。
また、光線を出す入力ペンと液晶ディスプレイ10の上に特定波長の光線を検知して電気信号を出力する光線検知素子を複数配設した透明板を設け、入力ペンでポイントがなされると入力ペンから出る特定波長の光線を検知して電気信号とタッチ位置の座標値(x,y)を出力するようにしてもよい。
なお、描画入力部3を設けずに、例えば、LCD10上にカーソルを表示させ、これをマウス或いはカーソルキー等で任意に移動させることにより描画するようにしてもよい。
【0029】
制御部4はCPU,プログラム格納用メモリおよび一時記憶用メモリ(図示せず)を備え、画像検索装置100の制御および本発明の画像検索処理の実行制御を行なう。プログラム格納用メモリはROM等の不揮発性メモリからなり制御プログラムの他、画像検索処理プログラム群が格納されている。また、一時記憶用メモリはRAMからなり、プログラムやデータを一時的に記憶する。そして、画像検索装置100の起動時にプログラム格納用メモリから作業用メモリに制御プログラムと画像検索プログラム等が一時的に記憶され、CPUにより実行制御されて画像検索処理を実行する。
【0030】
画像認識部5は描画入力した検索用描画図および記録画像の特徴要素の抽出を行なって両者の特徴の一致度を調べて認識処理を行なう。また、予め記録画像の特徴要素を用いて画像検索を行なうようにした場合には図12に示したような特徴リストを記録する領域が確保される。
【0031】
作業用メモリ6はDRAM等からなり、画像認識等の際の画像データの記憶等に用いられる。
【0032】
画像記録用メモリ7はフラッシュメモリやメモリカードまたは磁気ディスクや光ディスク等の記録媒体からなり、圧縮処理された撮影画像データが記録される。
【0033】
画像再生部8は、読み出された記録画像データ(圧縮データ)の伸張処理を行なうため圧縮画像データを圧縮前の画像と同じ大きさで且つ同じ密度の画像に伸張する第1の伸張部と、圧縮画像データを圧縮前の画像と同じ大きさで且つ元の画像より密度が粗い画像に伸張する第2の伸張部と、圧縮画像データを元の画像より小さなサイズの画像に伸張し、縮小画像を再生する画像縮小部を有している。
【0034】
上記第1の伸張部では画像は元通りに復元(再生)されるが、記録されている画像の数が多い場合には検索時間がかかるので、本実施例では、後述する画像の特徴抽出時(図3,図4)には第2の伸張部を用いて画素密度を粗にして伸張を行なうようにして、再生速度を迅速化している。
【0035】
また、画像縮小部は、画像認識部5で認識処理した画像のうちで一致度が所定範囲の画像が複数枚ある場合にそれらを1画面上に9画像(3×3)、16画像(4×4)といったようにマルチ画像表示する場合に、表示する再生画像のサイズを縮小(1画面上に9画像の場合には1/9のサイズ、16画像の場合には1/16のサイズ、・・)するように伸張する。
【0036】
なお、マルチ画像表示するように構成した場合で、画像検索装置100がメモリ容量が十分に大きい画像記録用メモリを備えている場合には、上述のような画像縮小部を設けることなく画像の記録時に予め画像を複数のサイズに縮小して各画像と関連づけて記憶させておき、表示の際に必要なサイズの縮小画像を抽出できるようにしてもよい。
【0037】
表示部9はビデオエンコーダおよびVRAM等の画像メモリを有し、画像データや描画入力されたデータをイメージデータに変換してVRAMにビットマップイメージで展開して、液晶ディスプレイ(LCD)9上に画像表示させる。
【0038】
[実施例1−1] 描画入力による画像検索動作(画像特徴の抽出を伴う例)図3は本発明の画像検索方法に基づく画像検索装置100の動作例を示すフローチャートであり、図4は図3のステップS6の描画図の特徴抽出処理の一実施例を示すフローチャートであり、図5は図3のステップS8の記録画像の特徴抽出処理の一実施例を示すフローチャートであり、図6は図3のステップS10の画像認識処理の一実施例を示すフローチャートである。
また、図7は描画用選択画面の例を示す図であり、図8は輪郭のみの描画入力による画像検索例の説明図であり、図9は色彩付の描画による画像検索例の説明図であり、図10は描画図の位置指定による画像検索例の説明図である。
【0039】
また、本実施例では描画入力部3として液晶ディスプレイ10上に設けた、感圧素子を配置した透明なパネル(以下、画面110)を用いているが前述したようにこれに限定されない。ユーザはタッチペン3Aを用いて画面110にタッチして輪郭図を入力したり色彩や表示位置を指定できる。
【0040】
ステップS1:(描画方法の選択)
図3で、画像検索処理が起動されると液晶ディスプレイ10の画面はクリアされ、白色表示される。また、図7(a)の例に示すように色なし描画指定アイコン91および色彩見本911(白),912(緑),913(黄),914(茶),・・,919(黒)等の複数の色見本指定コマからなる帯状の色標本92(図7(b))が表示される。なお、図7(b)の例では色見本92を9色としたがこれに限定されず混合色を含む多数の色見本としてよい。また、色標本を個々の色見本で区分せずに白→暖色→中間色→寒色→黒色に至る色分布からなる帯としてもよい。また、色見本の形状を円グラフ状にしてもよい。
【0041】
ユーザが色なし描画指定アイコン91を選択(本実施例ではタッチペンでポイント)するとS2に遷移し、色指定アイコン92を選択するとS3に遷移する。また、ポイント結果(どのアイコンを指定したか)はRAMに(例えば、ポイントされた場合にアイコンに対応するフラグをオンにする等の方法により)記憶される。
【0042】
ステップS2:(描画(色指定なし))
ユーザが画像検索装置100の画面110にタッチペン3Aを接触させながら輪郭図を描くと(図8(a))、描画入力部3によってその接触軌跡が電気信号に変換されて制御部4を介して表示部9のVRAMに送られると共に、画像認識部5に送られる。表示部9では受取った電気信号をラスタデータに変換してVRAMにビットマップイメージで展開し、検索用描画図のイメージを黒色(または黒色以外の単一色)で表示する。図8(a)の例はユーザが大きな山501、小さな山502および家503のイメージを検索用描画図として描いた例であり、描画された大きな山501、小さな山502および家503の検索用描画図が電気信号に変換される。なお、画面には位置指定アイコン93と描画終了アイコン94が表示される。
【0043】
ステップS3:(描画(色彩指定あり))
ユーザが画像検索装置100の画面110にタッチペン3Aを接触させながら検索用描画図を描いたり、輪郭内部を塗り潰したり、斜線を引くと(図9(a))、描画入力部3によってそのイメージが電気信号に変換されて制御部4を介して表示部9のVRAMに送られると共に、画像認識部5に送られる。表示部9では受取った電気信号をR,G,Bのラスタデータに変換してVRAMにビットマップイメージで展開し描画イメージ(輪郭または輪郭および内部色で表現されたイメージ)を指定色で表示する。画面には、色標本92,位置指定アイコン93および描画終了アイコン94が表示される。
【0044】
なお、輪郭と内部の色を別にする場合には画面110に表示されている色標本92をポイントして次の色を選択する。図9(a)の例はユーザが図8の大きな山501、小さな山502および家503のイメージに色彩(山501には緑色912を、山502には茶色914を、家503には黄色913)を施した例である。
また、ポイント結果は制御部4の記憶用メモリ(以下、RAM)に記憶される。また、検索用描画図について指定色データ(コード)と輪郭および輪郭内部との対応づけを行ない、その結果をRAMに記憶する。
【0045】
対応付けは、例えば、検索用描画図の番号を「1」、輪郭コードを「1」、内部コードを「2」とし、輪郭および内部の指定色を同じ緑とし、緑の色コードを「08」とした場合には、「1108208」として記憶するようにし、輪郭の指定色を青(コード=「03」)、内部の指定色を青(コード=06)とした場合には、「1103206」として記憶するようにして行なうことができる。
【0046】
ステップS4:(位置指定)
また、画面110に表示されている位置指定アイコン93がポイントされた場合には、RAMに確保された位置指定フラグのうちその検索用描画図に対応する位置指定フラグをオン(=1)とする。なお、画面には描画追加アイコン95と全描画終了アイコン96が表示される。
【0047】
ステップS5:(追加描画入力判定)
また、画面110に表示されている全描画終了アイコン94(96)がポイントされた場合には、制御部4は描画終了と判定してS6の特徴抽出処理に遷移する。また、検索用描画を追加する場合(図8(a),図9(a))には描画追加アイコン95をポイントすると追加描画入力のために、ステップS1でポイントした結果に応じてS2またはS3に戻る。
【0048】
ステップS6:(描画図の特徴抽出)
画像認識部5は検索用描画図の特徴データを抽出する。なお、特徴データとして本実施例では輪郭特徴、輪郭特徴と色彩特徴、輪郭特徴と配置、輪郭特徴,色彩特徴および配置のいずれかを抽出する(図5:ステップS6−1〜S6−4)がこれらに限定されないことは前述したとおりである。
特徴データとしてどの組合せを抽出するかは、上記ステップS1〜S4でアイコン91〜93のどの組合せが選択されているかによる。以下、本ステップについて図4のフローチャートを基に説明する。なお、検索用描画図が複数描かれている場合(図8(a),図9(a))には各描画図単位に特徴抽出が行なわれる(すなわち、描画毎に切出し、順次特徴抽出を行なう)。
【0049】
・ステップS6−1;図4で、画像認識部5はDRAM6に展開されたラスタデータからに示すように矩形枠内の検索用描画図の輪郭を切出す。なお、検索用描画図として複数の図を描いた場合には描画単位に切出して記憶する(図8(b),図9(b))。また、切出した検索用描画図の数iをカウントすると共に検索用描画図に大きさの順に番号を付けるか記憶位置を大きさの順に入替える(逆順にソートする)。また、検索用描画図の大きさの比較基準は本実施例では外接枠の大きさ(外接枠の対角線の長さ)としたがこれに限定されない。
【0050】
・ステップS6−2;切出した検索用描画図の特徴ベクトル(方向と線分の始点および長さの組で表される)を抽出し、輪郭特徴データとしてRAMに記憶する。
輪郭特徴は、本実施例では、例えば、山501では山裾a(始点)から頂上bまでの線分の長さとその角度で現わされるベクトルA1と、頂上b(始点)から山裾cまでの線分の長さとその角度で現わされるベクトルA2の組として与えられる。なお、山のピークが幾つもある場合にはそのピークを終点(または始点)としてベクトル成分を抽出する。また、家503のように輪郭が不連続の場合には節点p1,p2,・・を終点(または始点)としてベクトル成分を抽出する。また、輪郭が曲線や円弧を含んでいる場合には曲線を現わす関数の係数と初期値や円弧の曲率半径等を抽出する。
【0051】
・ステップS6−3:ステップS1〜S3でアイコン92が選択された場合(色指定があった場合)には、画像認識部5は検索用描画図(図9(b))の色特徴を抽出する。検索用描画図の色特徴は後述の記録画像の色特徴を抽出する場合と同様に色分布から求めることもできるが、本実施例では上記ステップS3で色彩ありの描画を行なった場合にRAMに記憶した指定色データ(コード)と輪郭および輪郭内部との対応づけの結果(色データ)を色特徴として画像認識部5に与える。なお、本実施例では色特徴を当該検索用描画図に含まれる画素数とそれぞれの色画素R(赤),G(緑),B(青)との比率としているがこれに限定されない。ステップS1〜S3でアイコン92が選択されなかった場合には、S6−4に遷移する。
【0052】
・ステップS6−4:RAMに確保された位置指定フラグを調べ、検索用描画図に対応する位置指定フラグがオンの場合には、画像認識部5は画面上での検索用描画図の中心座標を抽出してRAMに記憶する。中心座標は図9(a)の例に示すように切出された検索用描画図に外接する枠の中心点の座標(a,b)として得ることができる。図10(a)の例では検索用描画図701(家)に外接する枠701Aとその中心が示されている。また、検索用描画図に対応する位置指定フラグがオフの場合には、S6−5に遷移する。
【0053】
・スップS6−5:上記ステップS6−1で切出した検索用描画図について上記ステップS6−2〜S6−4の特徴抽出処理を繰り返し、切出した全ての検索用描画図について特徴抽出処理が終了するとS7に遷移する。
【0054】
ステップS7:(画像データの簡易伸張)
上記ステップS7の検索用描画図の特徴抽出処理が終了したあと、制御部4は画像記録用メモリ7に記録されている1画像分の画像データ(圧縮画像データ)を読み出して画像再生部8の第2の伸張部で圧縮画像データを圧縮前の画像と同じ大きさで且つ元の画像より粗密度の画像に伸張して作業用メモリ(以下、DRAM)5に記憶する。
【0055】
ステップS8:(記録画像の特徴抽出)
画像認識部5はDRAM6に記憶された1フレーム分の画像の特徴データを抽出する。なお、抽出する特徴データはステップS6の描画図の特徴抽出の場合と同様の特徴を抽出する。以下、本ステップについて図5のフローチャートを基に説明する。なお、画像中に複数の部分画像が含まれている場合には矩形枠が所定の大きさ以上の部分画像を切出し、大きい順に検索用描画図と同じ数になるまで部分画像単位に特徴抽出を行なう(すなわち、大きな部分画像順に検索用描画図と同じ数になるまで順次切出しおよび特徴抽出を行なう)。
【0056】
・ステップS8−1;画像認識部5はDRAM6展開されたラスタデータから図8(c)に示すように矩形枠内の画像の輪郭を切出す。
また、1フレームの画像に部分画像が複数含まれている場合には矩形枠が所定の大きさ以上の部分画像を切出してDRAM6に記憶する。なお、切出した部分画像の数がステップ6−1で切出した検索用描画図の数iを超える場合には大きい順にi個記憶する。なお、部分画像の大きさの比較基準は本実施例では外接枠の大きさ(外接枠の対角線の長さ)としたがこれに限定されない。
【0057】
・ステップS8−2;切出した部分画像501’、502’、503’の特徴ベクトル(方向と線分の始点および長さの組で表される)や曲線を現わす関数の係数と初期値や曲率半径等を抽出して輪郭特徴データとしてRAMに記憶する。なお、輪郭特徴の抽出方法は検索画像の抽出方法と同じでよい。
【0058】
・ステップS8−3:ステップS1〜S3でアイコン92が選択された場合(色指定があった場合)には、画像認識部5は部分画像の色特徴を抽出してRAMに記憶する。検索用描画図の色特徴は切出した部分画像の色分布から求めることができる。なお、本実施例では色特徴を当該部分画像に含まれる画素数とそれぞれの色画素R,G,Bとの比率としているがこれに限定されない。
【0059】
図9(c)の例はカラー画像の部分画像である山501’、502’および家503’の色分布の山501’は緑色成分が80%以上、山502’には茶色成分が90%、家503’には灰色成分70%、黄色成分30%)の例である。また、色特徴の抽出結果はその輪郭特徴データと関連付けられてRAMに記憶される。また、ステップS1〜S3でアイコン92が選択されなかった場合には、S8−4に遷移する。
【0060】
・ステップS8−4:RAMに確保された位置指定フラグを調べ、検索用描画図(図10(b))に対応する位置指定フラグがオンの場合には、画像認識部5は画面上での部分画像の中心座標を抽出してRAMに記憶する。中心座標は図10(c),(d)の例に示すように部分画像701’に外接する枠の中心点の座標(c,d)または部分画像701”に外接する枠の中心点の座標(e,f)として得ることができる。また、検索用描画図に対応する位置指定フラグがオフの場合には、S8−5に遷移する。
【0061】
・スップS8−5:上記ステップS8−1で切出した部分画像について上記ステップS8−2〜S8−4の特徴抽出処理を繰り返し、切出した全ての部分画像について特徴抽出処理が終了するとS9に遷移する。
【0062】
ステップS9:(記録画像の特徴抽出繰り返し)
記録画像の全てについて特徴抽出が終るまで上記ステップS7,S8を繰り返す。
【0063】
ステップS10:(画像認識処理)
記録画像の特徴抽出が終ると制御部4は、検索用描画図の特徴データと各画像の特徴データを順次比較して一致率を算出する。そして、一致率が所定の閾値以上の画像について類似画像として認識し(一致率が100%なら一致)、その画像を候補画像としてその画像番号をRAMに記憶する。なお、検索用描画図が複数ある場合には、大きさの順に順次その特徴データと各部分画像の特徴データを比較し、総合一致率(検索用描画図画1つの場合には一致率と等しい)が所定の閾値以上の画像について類似画像として認識し、その画像を候補画像としてその画像番号をRAMに記憶する。以下、本ステップについて図6のフローチャートを基に説明する。
【0064】
・ステップS10−1;
RAMに記憶したj(j=1〜n)番目の検索用描画図(図8(b),図9(b)または図10(b))の輪郭特徴データと、RAMに記憶した1フレーム分の画像の各部分画像(図8(c),図9(c),図10(c)または図10(d)で枠線で囲まれた画像)の輪郭特徴データを比較して輪郭特徴の一致率Γを求める。
【0065】
輪郭特徴の一致率(以下、輪郭一致率)は本実施例では、切出した検索用描画図と部分画像の線分ベクトルや、曲線を現わす関数の係数と初期値や、円弧の曲率半径の一致率を求め、次に夫々の一致率の自乗平均を計算して輪郭一致率Γとしている。
具体的には、図11に示すように、切出した検索用描画図501の原点を左下とした場合に検索用ベクトルを形成する各部分ベクトル(特徴データ)のうち右廻りにみて原点に最も近い部分ベクトル(図11の例ではベクトルA1)の線分長A1Lと(図11(a))、部分画像501’の原点を左下とした場合に部分画像501’を形成する各部分ベクトルのうち右廻りにみて原点に最も近い部分ベクトル(実施例ではベクトルB1)の線分長B1L(図11(b))との比率Lr1(r1=B1L/A1L)を求め、次に、ベクトルA1とベクトルB1の方向A1θ,B1θの比率θr1を求める。そして、γ1=(1−|1−Lr1|)×(1−|1−θr1|)>ρとして線分ベクトルA1の一致率γ1を求める。
【0066】
また、原点に最も近い輪郭成分が曲線或いは円弧の場合には、曲線を現わす関数の係数の比率と初期値の比率、或いは曲率半径の比率を算出し、上述したベクトル成分の一致率算出と同様の方法で一致率γ1を求める。
この場合、一致率が1に近いほど類似度が高くγ1=1で完全一致となる。ここで一致率γが0に近いほど類似度が低い。
【0067】
次に、γ1>ρのとき、検索用描画図501のベクトルA1の右隣の線分ベクトルA2の線分長A2Lと、部分画像501’のベクトルA1の右隣の線分ベクトルB2の線分長B2Lとの比率Lr2(r2=B2L/A2L)を求め、次に、ベクトルA2とベクトルB2の方向A2θ,B2θの比率θr2を求めて線分ベクトルA2の一致率γ2を求める。
【0068】
また右隣の輪郭成分が曲線或いは円弧の場合には、曲線を現わす関数の係数の比率と初期値の比率、或いは曲率半径の比率等を算出し、上述したベクトル成分の一致率算出と同様の方法で一致率γ2を求める。
【0069】
また、図11の例では検索用描画図501を山としたため線分ベクトルがA1,A2の2つしか示されていないが、図8(a)の家503のように線分ベクトルや曲線或いは円弧が多い複雑な検索用描画図の場合には各線分について同様に一致率γ3,γ4,・・・,γm(mは線分ベクトルおよび曲線の数の和)を求める。
【0070】
・ステップS10−2;
次に、部分ベクトルの一致率γ1,γ2,γ3,・・・,γmの自乗平均を求めて部分画像の輪郭一致率Γとし、f番目の部分画像とj番目の検索用描画図との一致率Γfjが閾値ρを超えているか否かを判定し、Γfj≧ρの場合にはS10−3に遷移し、Γfj<ρの場合にはS10−4に遷移する。
【0071】
・ステップS10−3;
上記ステップS10−2でΓfj≧ρの場合には輪郭類似と認識して部分画像の部分画像番号f、検索用描画図番号jおよび輪郭一致率ΓfjをRAMに一時記憶する。なお、この場合、輪郭一致率Γ11,Γ12,・・・,Γfj,・・・,Γkjの中から一致率の高い順に所定数の輪郭一致率(但し、輪郭一致率が閾値ρ以上のものが所定数に満たない場合には輪郭一致率が閾値ρ以上のもののみ)を抽出し、対応する部分画像番号および検索用描画図番号jと共にRAMに記憶される(所定数以上の場合には一致率が低いものからリジェクトしていく)。
【0072】
なお、本実施例では、線分長±80%(=誤差±20%)、方向±80%(=誤差±20%)の範囲を類似とし、閾値ρを0.64(0.8×0.8=0.64)としたがこれに限定されない。
【0073】
・ステップS10−4;
そして、k個の部分画像とj番目の検索用画像の輪郭一致率Γ11,Γ12,・・・,Γfj,・・・,Γkjを得るまで上記S10−1〜S10−3の動作を繰り返し、k個の部分画像について上記処理が終るとS10−5に遷移する。
【0074】
また、本実施例では上述した方法により輪郭一致率を求め類似、非類似を判定(認識)しているがこれに限定されず、検索用描画図と記録画像の部分画像の輪郭イメージそのものを抽出して比較するようにしてもよく、また、公知の輪郭認識方法を用いてもよい。
【0075】
・ステップS10−5;
ステップS2でRAMに記憶された指定色データ(コード)と輪郭および輪郭内部との対応づけの結果(アイコン92が選択されたていたか否か(色指定があった場合))を調べ、色指定がされていた場合にはS10−6に遷移し、色指定がされていなかった場合にはS10−11に遷移する。
【0076】
・ステップS10−6;
画像認識部5は上記ステップS10−4でRAMに記憶された部分画像番号の部分画像について、ステップS6−3でRAMに記憶したj番目の検索用描画図の色特徴データとステップS8−3でRAMに記憶した色特徴データとを比較して色彩一致率RGBΓjを求める。
【0077】
具体的には、本実施例ではステップS6−3およびステップS8−3で述べたようにj番目の検索用描画図の色特徴を当該検索用描画図に含まれる画素数とそれぞれの色画素R,G,Bとの比率(c1j、c2j、c3j):(j=1〜n)とし、各部分画像の色特徴を当該部分画像に含まれる画素数とそれぞれの色画素R,G,Bとの比率(C1f、C2f、C3f:(f=j1〜k))としているので、
f番目の部分画像tとj番目の検索用描画図のR,G,Bの色特徴一致率、 Rγfj=C1f/c1j、Gγ=C2f/c2j、Bγ=C3f/c3j を求め、Rγfj,GγfjおよびBγfjの最小自乗平均をその部分画像fとj番目の検索用描画図の色彩一致率RGBΓfjとする。
【0078】
・ステップS10−7;
次に、色彩一致率が極端に低い場合にその部分画像番号等をRAMから削除する(すなわち、部分画像をリジェクトする)ために、色彩一致率RGBΓfjと閾値ρ’を比較し、RGBΓfj<ρ’のときにはS10−8に遷移し、RGBΓfj≧ρ’のときにはS10−8に遷移する。
【0079】
・ステップS10−8;
RAMに記憶した輪郭一致率Γのうちからその部分画像番号に対応する輪郭一致率を削除してS10−10に遷移する。
【0080】
例えば、図9で(b)の検索用描画図503の色彩は茶色成分が多く、(c)の部分画像503’は灰色成分が多くて色彩が異なり色彩一致率RGBγが閾値ρ’以下となるので非類似としてリジェクトされる(この場合、仮に、検索用描画図(部分画像)503と部分画像503’の輪郭一致率が高くても部分画像503’は非類似としてリジェクトされる。なお、本実施例ではρ’=0.5としたがこれに限定されない。
・ステップS10−9;
色彩一致率RGBΓfjをその部分画像番号fと対応づけてRAMに記憶する。
【0081】
・ステップS10−10;
そして、k個の部分画像とj番目の検索用画像の色彩一致率RGBΓ11,RGBΓ12,・・・,RGBΓfj,・・・,RGBΓkjを得るまで上記S10−6〜S10−8またはS10−9の動作を繰り返し、k個の部分画像について上記処理が終るとS10−11に遷移する。
【0082】
・ステップS10−11;
RAMに確保された位置指定フラグを調べ、j番目の検索用描画図に対応する位置指定フラグがオンの場合には位置指定ありとしてS10−12に遷移し、オフの場合には位置指定なしとしてS10−17に遷移する。
【0083】
・ステップS10−12;
画像認識部5はステップS6−4でRAMに記憶した検索用描画図の中心座標と、ステップS8−4でRAMに記憶した各部分画像の中心座標を比較し、f番目の部分画像との位置一致率XΓfjを求める。
位置一致率は、本実施例では座標値の自乗平均の比率(すなわち、原点からの距離の比率)としている。
【0084】
例えば、図10(a)の検索用描画図701の中心座標(a,b)と図10(c) の部分画像701’の位置一致率は、
XΓ701’=(a2+b2)1/2/(c2+d2)1/2
で与えられ、検索用描画図701の中心座標(a,b)と図10(d)の部分画像701”の位置一致率は、
XΓ701”=(a2+b2)1/2/(e2+f2)1/2
で与えられる。
【0085】
・ステップS10−13;
位置一致率XΓfjと閾値ρ”を比較し、XΓfj<ρ”のときにはS10−14に遷移し、XΓfj≧ρ”のときにはS10−15に遷移する。
【0086】
・ステップS10−14;
位置一致率XΓfjが閾値ρ”以下の場合にはその部分画像番号fに関連する輪郭一致率および色彩一致率等をRAMから削除して(すなわち、部分画像をリジェクトして)S10−16に遷移する。
【0087】
例えば、図10で閾値をXρ(=0.8)としたとき、図10(c)の部分画像701’は位置がほぼ一致(XΓ701’>ρ”)しているが、図10(d)の部分画像701”は位置が異なる(XΓ701”<ρ”)ので部分画像はリジェクトされる(結果として、部分画像701”を含む記録画像は検索用描画図701の認識対象外となる)。
【0088】
・ステップS10−15;
位置一致率XΓfjが閾値ρ”以上の場合にはその位置一致率XΓfjを部分画像番号fに対応づけてRAMに記憶する。
【0089】
・ステップS10−16;
k個の部分画像とj番目の検索用画像の位置一致XΓ11,XΓ12,・・・,XΓfj,・・・,XΓkjを得るまで上記S10−12〜S10−14またはS10−15の動作を繰り返し、k個の部分画像について上記処理が終るとS10−17に遷移する。
【0090】
・ステップS10−17;
検索用描画図の全てについて一致率による比較が終るまで上記ステップS10−1〜S10−16を繰り返し、検索用描画図の全てについて比較が終るとS10−17に遷移する。
【0091】
・ステップS10−18;
ここではRAMに記憶されている部分画像番号の数(=類似部分画像の数)を調べ、それが0の場合にはS10−6に遷移する。
【0092】
・ステップS10−19;
また、RAMに記憶されている部分画像番号の数が1以上の場合には、下記a〜dのいずれかのケースにより総合一致率を求める。
a:色指定および位置指定がない場合にはRAMに記憶されている輪郭一致率の自乗平均値を総合一致率Ξγとする。
b:色指定があった場合にはRAMに記憶されている輪郭一致率および色彩一致率の自乗平均値を総合一致率Ξγとする。
c:位置指定があった場合にはRAMに記憶されている輪郭一致率および位置一致率の自乗平均値を総合一致率Ξγとする。
d:色彩指定および位置指定があった場合にはRAMに記憶されている輪郭一致率,色彩一致率および位置一致率の自乗平均値を総合一致率Ξγとする。
【0093】
・ステップS10−20;
下記a〜dのいずれかのケースにより閾値を決定し、総合一致率Ξγと閾値を比較し、総合一致率Ξγ<閾値の場合にはこの画像をリジェクトしてS10−22に遷移し、総合一致率Ξγ≧閾値の場合にはS10−21に遷移する。
【0094】
a:色指定および位置指定がない場合には閾値=ρ(輪郭一致率の閾値)
b:色指定があった場合には閾値=ρ’(色彩一致率の閾値)
c:位置指定があった場合には閾値=ρ”(位置指定の閾値)
d:色彩指定および位置指定があった場合には閾値ρ,ρ’,ρ”のうちの最大のものを閾値とする。
なお、本実施例では閾値ρ,ρ’,ρ”のうちの最大のものを閾値としたがこれに限定されず、ρ,ρ’,ρ”のいずかかか新たな閾値Ρを閾値としてもよい。
【0095】
・ステップS10−21;
総合一致率Ξγが閾値を超える場合にその画像を候補画像として、その画像番号をRAMに記憶する。
【0096】
ステップS10−22;
RAMに記録されている記録画像の特徴データについて上記ステップS1−1〜S1−5の認識処理を繰り返し、全ての記録画像について認識処理が終了するとS11に遷移する。
【0097】
ステップS11:(候補画像の表示方法決定)
RAMに記憶されている候補画像の画像番号を調べ、それが1個の場合にはS12に遷移する。また、候補画像が複数の場合にはS13に遷移する。候補画像がない場合にはS14に遷移する。
【0098】
ステップ12:(1フレームの大きさの検索画像表示)
当該画像番号の画像データを画像記録用メモリ7から読み出して、画像再生部8の第1の伸張部で1フレーム分の画像データに伸張して検索画像イメージを再生して表示部9に送って液晶ディスプレイ10に表示する。この場合、図8(c)の例に示すように検索用描画図による認識対象となった部分画像(501’、502’、503’)を囲む枠線を表示するようにしてもよい。
【0099】
ステップS13:(検索画像マルチ表示)
候補画像が複数個の場合には検索画像番号の画像データを順次画像記録用メモリ7から読み出して、画像再生部8の画像縮小部で画像を縮小して表示部8に送り検索画像イメージを再生して液晶ディスプレイ10にマルチ表示する。この場合、図8(d)に示すように候補画像が2〜4個の場合には縮小サイズを1/4として表示し、5〜9個の場合には縮小サイズを1/9、10〜16個の場合には縮小サイズを1/16、といったように自動的に縮小サイズを選択する。
【0100】
また、縮小サイズを1/4(または1/9)に固定し、候補画像が多くて1画面のマルチ表示では間に合わない場合には、次の画面にスクロールできるようにしてもよい。
【0101】
マルチ表示された画像の中からユーザが所望の画像を指またはタッチペンでポイントするとS12に遷移してその画像を1フレームの大きさの画像として表示する。
【0102】
また、候補画像が複数個の場合にマルチ表示せず、1フレーム分のサイズの画像として1つずつ表示するようにしてもよい。この場合は、総合一致率の大きな画像から並べて(総合一致率で逆順ソートして)おき、ユーザのポイントにより順次、スクロール表示可能にすることが望ましい。
【0103】
ステップS14:(検索画像なしのメッセージ表示)
候補画像がなかった場合にはその旨のメッセージを表示して検索用描画図の入力(すなわち、描画のやり直し)を促す。
上記画像検索方法によれば、手書きの描画図と記録画像の類似性を認識して画像記録メモリをいわゆる曖昧検索するので、早送りの手間やキーワード入力の煩わしさなしに画像記録メモリに記録された大量の画像の中からユーザのイメージに合った画像を探し出すことができる。また、色彩や位置を検索要素とした場合には、検索の精度が向上する。
【0104】
なお、図3のフローチャートでは全ての描画図および記録画像の特徴抽出処理(S6〜S8)を行なった後にまとめて画像認識処理(S10)を行なうようにしたが、これに限定されず、例えば、画像認識処理中に順次必要に応じて特徴抽出処理を行なうようにしてもよい(すなわち、図3のフローでS6〜S8を行なわず、S6〜S8の処理をS10の中で行なうようにする。
【0105】
また、図3のフローチャートでは画像認識を描画図および記録画像の特徴要素の比較結果により認識を行なうようにしたが、これ以外の方法(例えば、描画図と記録画像のイメージ同士の比較処理や、公知の方法)により画像認識を行なってもよい(この場合、S6〜S8の特徴抽出処理は行なわない)。
【0106】
[実施例1−2] 描画入力による画像検索動作(予め抽出した画像の特徴要素を用いた例)
上記実施例1では描画図による検索のたびに描画図と記録画像の特徴を抽出して画像認識を行なったが、本実施例は記録画像の特徴を(記録画像の記録時等に)予め抽出して画像記録用メモリ7に確保した特徴リストに記録しておき、描画検索の際には描画図の特徴だけを抽出して、特徴リストに登録されている記録画像の特徴とを比較して画像認識を行なう例である。
【0107】
図12は記録画像の特徴リストの一実施例の構造図であり、記録画像の特徴リスト80は記録画像の画像番号を格納する画像番号欄81と、当該画像の部分画像の特徴データを格納する部分画像特徴欄82−1,82−2,・・・,82−nを備えている。また、各部分画像特徴欄82は複数の輪郭特徴(例えば、線分の長さおよび方向によって規定される特徴ベクトル値,部分曲線の係数等や円弧の曲率半径)や、色彩特徴(例えば、部分画像の画素数に対する色画素(R,G,B)比率)や、部分画像の中心座標(xi,yj)を格納する細分欄を有している。
【0108】
これら特徴値は画像記録用メモリ7への記録画像の入力時(撮像や外部画像処理装置からの受信画像の記録時)に自動的に格納することができる。
図13は特徴リストへの画像の特徴データ登録処理時の動作例を示すフローチャートである。
図13のステップT1では、撮像がなされた場合や(画像検索装置がデジタルカメラのような撮像部を備えている場合)或いは外部画像処理装置からの画像を受信した場合のように画像データ(通常は圧縮されている)の入力があるとそれを画像記録用メモリ7に記録する(画像データが圧縮されていない場合には圧縮処理を施して記録する)。
次に、ステップT2では当該画像の特徴抽出処理を行なう。ここでの特徴抽出処理はDRAM6に記憶されている入力画像データについて行なうが、前述した図3の画像の特徴抽出処理(ステップS8(図5のS8−1〜S8−5))と同様の手順によって行なうことができる。但し、本実施例では色特徴および位置特徴を自動的に特徴リスト80に登録するので、図5のステップS8−3での色指定の有無の判定およびステップS8−4での位置指定の有無の判定動作は行なわない(T2ではこれらの手順を削除する)。
【0109】
ステップT3では上記ステップT2で得た特徴データを各部分画像毎に部分画像特徴欄82−1,82−2,・・・,82−iに格納すると共に画像番号欄81に当該画像の画像番号を格納して、1画像分の特徴データを登録する。
【0110】
ステップT4では入力画像の数だけ上記ステップT1〜T3を繰り返す。
【0111】
図14は特徴リストを備えた画像検索装置の画像検索動作例を示すフローチャートである。
図14のステップU1ではユーザによる描画入力、色指定(任意)、位置指定(任意)等の描画入力処理を行なう。なお、描画入力処理は前述した図3のステップS1〜S5と同様の手順によって行なうことができる。
ステップU2では、ユーザが描いた検索用描画図の特徴抽出処理を行なう。なお、特徴抽出処理は前述した図3の画像のステップS6(=図4のステップS6−1〜S6−5)と同様の手順によって行なうことができる。
ステップU3では、処理速度を向上させるために画像記録用メモリ7の特徴リスト80をRAMに一時記憶する。
ステップU4ではステップU2で抽出した検索用描画図の特徴と特徴リスト80に登録された各画像の特徴とを比較して画像認識処理を行ない、候補画像を求める。なお、画像認識処理は前述した図3の画像のステップS10(=図6のステップS10−1〜S10−22)と同様の手順によって行なうことができる。
【0112】
ステップU5では候補画像の数に応じて画像表示処理を行なう。なお、画像表示処理は前述した図3の画像のステップS11〜S14と同様の手順によって行なうことができる。
上述したように、本実施例では描画図による検索時には記録画像の特徴抽出を行なわないので高速検索が可能となる。また、色彩や位置を検索要素とした場合でも高速検索ができるので、高速且つ精度の高い検索が可能となる。
【0113】
<実施形態(2)> 一次抽出画像による画像検索
本実施形態では、画像検索装置は前述した実施形態1と同様に指やタッチペン3A等で手書き入力した検索用描画図の特徴要素と記録画像の特徴要素との比較により特徴要素の一致度の高い記録画像を候補画像として抽出するが、認識精度の高精度化と検索速度の高速化のために、実施形態1のように全ての画像について特徴要素の認識を行なわず、検索用描画図により検索された画像の一つを用いてその特徴要素と記録画像の特徴要素を比較して、一致率の高い画像を候補画像とし、表示した候補画像の中からユーザがイメージした画像を選択することによりキーワード入力やコマ送りなしに所望の画像を検索する。
【0114】
なお、本実施形態では画像検索装置の回路構成は説明上、図2の例と同様とし、 比較する特徴要素についても実施形態(1)の例と同様とするがそれらに限定されない。また、その他の説明図(図1,図7〜図10、図12,図13)についても同様とする。
【0115】
[実施例2−1]
図15は一次抽出画像による画像検索例の説明図である。
図15で、(a)はユーザによって手書き入力された検索用描画図501、503の例であり、(b)は検索用描画図501、503の特徴要素を基に検索された画像(画像105)の例であり、(c)は画像105はユーザの所望の画像ではなかったが、検索画像に類似した部分像501’、503’があるのでユーザが検索用画像として指定した結果、検索された複数の画像(画像151〜154)をマルチ表示した例である。
【0116】
図16は一次抽出画像を用いた画像検索装置の動作例を示すフローチャートである。
ステップV1:(描画入力処理)
ここではユーザによる描画入力、色指定(任意)、位置指定(任意)等の描画入力処理を行なう。なお、描画入力処理は前述した図3のステップS1〜S5と同様の手順によって行なうことができる。
ステップV2:(検索用描画図の特徴抽出処理)
次に、ユーザが描いた検索用描画図の特徴抽出処理を行なう。なお、特徴抽出処理は前述した図3の画像のステップS6(=図4のステップS6−1〜S6−5)と同様の手順によって行なうことができる。
ステップV3:(画像データの簡易伸張)
上記ステップV2での検索用描画図の特徴抽出処理が終了したあと、制御部4は画像記録用メモリ7に記録されている1画像分の画像データ(圧縮画像データ)を読み出して画像再生部8の第2の伸張部で圧縮画像データを圧縮前の画像と同じ大きさで且つ元の画像より粗密度の画像に伸張してDRAM6に記憶する。
【0117】
ステップV4:(画像データの特徴抽出処理)
次に、DRAM6に記憶された伸張済み画像データについて特徴抽出処理を行なう。この特徴抽出処理は前述した図3の画像の特徴抽出処理(ステップS8(図5のS8−1〜S8−5))と同様の手順によって行なうことができる。
【0118】
ステップV5:(記録画像の特徴抽出繰り返し)
記録画像の全てについて特徴抽出が終るまで上記ステップV3,V4を繰り返す。
【0119】
ステップV6:(一次抽出処理)
ステップV2で抽出した検索用描画図の特徴とステップV4で抽出した画像の特徴とを比較して画像認識処理を行ない、候補画像を求める。なお、画像認識処理は前述した図3の画像のステップS10のうち、図6のステップS10−1〜S10−21までと同様の手順によって行なうことができる(ステップS10−22はこの場合不要)。
【0120】
ステップV7:(画像終了判定)
上記V6で候補画像がみつかった場合にはそれを一次抽出画像としてV9に遷移する。また、候補画像がみつからなかった場合には記録画像の終了判定を行ない、記録画像がまだある場合にはV6に戻ってつぎの候補画像の認識処理を行なう。
【0121】
ステップV8:(一次抽出画像がない場合)
上記ステップV7で記録画像が終了したと判定された場合は一次抽出画像がみつからなかったものと判定して「一次抽出画像がない」旨のメッセージを液晶ディスプレイ10に表示して描画図の再入力を促しV1に戻る。
【0122】
ステップV9:(一次抽出画像の表示)
ステップV6で抽出した候補画像をユーザに確認させるために、1フレーム分の大きさに伸張して液晶ディスプレイ10に表示する。また、この際画面上に確認用アイコン(OKアイコンとNOアイコン(図示せず))を表示する。
【0123】
ステップV10:(一次抽出画像の確認)
ユーザがOKアイコンをポイントすると、表示された一次抽出画像を検索用画像として用いるものとしてV11に遷移する。また、NOアイコンがポイントされると次の抽出画像をヒットするためにV6に戻る。
【0124】
ステップV11:(一次抽出画像による画像認識処理)
ステップV6で抽出した一次抽出画像の特徴データはステップV4で求めてあるので、RAMに記憶されている一次抽出画像の特徴データとステップV4で抽出した画像の特徴とを比較して画像認識処理を行ない、候補画像を求める。
なお、画像認識処理は前述した図3の画像のステップS10(=図6のステップS10−1〜S10−22まで)と同様の手順によって行なうことができる。但し、検索用描画図の特徴データの代りに一次抽出画像の特徴データを用いる。
【0125】
ステップV12:(候補画像表示処理)
記録画像の検索が全て終ると、候補画像の数に応じて画像表示処理を行なう。なお、画像表示処理は前述した図3の画像のステップS11〜S14と同様の手順によって行なうことができる。
【0126】
上記方法によれば、2枚目以降の検索画像は手書きされたイメージ(描画図)よりもあいまいでない(すなわち、より正確な)像をもとにした特徴データを用いて検索できるので、実施形態1(実施例1−1)の場合よりも検索精度が向上する。また、検索スピードも早くなる。なお、上記ステップV9およびV10は省略してもよい。
【0127】
[実施例2−2]
なお、本実施形態で実施例1−2のように予め抽出した画像特徴を用いて認識処理を行なうようにすることもできる。この場合は予め記録画像の特徴を登録した特徴リスト(図12)を画像記録用メモリ7に記録しておき、上記図16のステップV10を図17のステップV10−1、V10−2で置き換えればよく、さらにステップV3〜V5が不要となるので検索精度が向上するだけでなく、高速検索が可能となる。
【0128】
図17に一次抽出画像および予め抽出した画像特徴を用いて認識処理を行う場合のフローチャートを示す。
図17ではステップV10−1で、処理速度を向上させるために画像記録用メモリ7の特徴リストをRAMに一時記憶する。
ステップV10−2ではステップV6で抽出した一次抽出画像の特徴と特徴リストに登録された各画像の特徴とを比較して画像認識処理を行ない、候補画像を求める。なお、画像認識処理は前述した図3の画像のステップS10(=図6のステップS10−1〜S10−22)と同様の手順によって行なうことができる。また、その他のステップの動作は図16の場合と同様である。
【0129】
[実施例2−3]
上記実施例では手書の検索用描画図を用いて記録画像から候補画像を抽出し、それを用いてさらに記録画像から候補画像を検索したが、早送り等の公知の画像検索方法を含む検索方法によって得た画像を用いて記録画像を検索することもできる。すなわち、図16または図17のステップV1で早送り等の公知の検索方法を含む検索を行ない、ステップV2で検索された画像の特徴抽出処理を行なうようにし、ステップV6〜V9を削除する。なお、特徴抽出処理は前述した図3の画像の特徴抽出処理(ステップS8(図5のS8−1〜S8−5))と同様の手順によって行なうことができる。これにより、正確で迅速な画像検索が実現できる。
【0130】
[実施例2−4] 不要部分の消去機能の付加
また、図16、図17で検索用に用いる一次抽出画像が人物の場合(例えば、他の記録画像に記録されている人物と同一人物で顔は同じであっても服装や姿勢が異なることが多い、このような場合には認識効率が低下することが予想されるので、変化の少ない特定の部分(人物の場合には顔)だけを検索用画像とすると認識効率が向上し、しかも、検索に不都合な点は生じない。
【0131】
そこで、上記ステップV8で表示される一次抽出画像のうちの不要な像を消すことができるように、消去選択ボタンを設けて(或いは画面に消去指定アイコンを表示して)、ボタン操作をしたあと(或いはアイコンをポイントしたあと)、カーソルまたは指やタッチペンで消去範囲を指定するとその部分が消去できるようにする。
これにより不要な部分の特徴要素を検索に用いないので、検索速度が更に向上するとともに、検索精度がより向上する。
【0132】
<実施形態(3)>
本実施形態では撮像した画像を用いて記録画像を検索する。また、画像検索装置としてデジタルカメラのように撮像部および表示部を有する撮像装置を用いる。
すなわち、撮像の特徴要素と記録画像の特徴要素との比較により特徴要素の一致率の高い記録画像を候補画像とし、表示された候補画像の中からユーザがイメージした画像(図1(c)の例では画像111)を選択することにより、キーワード入力やコマ送りなしに所望の画像を検索可能とする。
なお、本実施形態では比較する特徴要素についても実施形態(1)の例と同様とするが、それらに限定されない。
【0133】
[回路構成例]
図18は、本発明を適用したデジタルカメラの回路構成例を示すブロック図であり、デジタルカメラ200は、撮像部11、操作部12、制御部13、画像認識部14、DRAM15、画像記録用メモリ16、画像処理部17,表示部18、液晶ディスプレイ(LCD)19を備えている。
【0134】
撮像部11は撮像レンズやレンズ駆動機構、絞り機構等の光学系と撮像レンズを介して集光された光学像を電気信号に変換する撮像素子と、撮像素子駆動部および得られた電気信号をデジタルデータに変換する信号変換部を有している。
【0135】
操作部12は電源スイッチや処理モード選択ボタン等の他、シャッターボタン等の撮像用ボタンまたスイッチほかを備えている。ユーザが操作部12のスイッチやボタン等を操作すると操作内容に対応した電気信号(コード)が制御部13に送られる。これにより、ユーザは制御部13にデジタルカメラ200の起動や処理動作上必要な指示を与えることができる。
【0136】
制御部13はCPU,プログラム格納用メモリ(ROM)および一時記憶用メモリ(ROM)(図示せず)を備え、デジタルカメラ200全体の動作制御と、各処理モードでの処理の実行制御、例えば、撮像や画像の記録、再生、表示の他、本発明の画像検索処理を含む各種処理モードの実行制御を行なう。なお、画像検索処理モードではプログラム格納用メモリからRAMに画像検索プログラムを一時的にロードし、画像検索処理の実行を制御する。
【0137】
画像認識部14は、画像検索処理モードで撮像した画像の特徴要素の抽出を行なってRAMに記憶し、記録画像の特徴要素との一致度を調べて認識処理を行なう。
【0138】
DRAM15は撮像部11によって取込まれた画像データの一時記憶や、再生された画像データの一時記憶、画像認識等の際の画像データの記憶等の他、処理に作業用バッファとして用いられる。
【0139】
画像記録用メモリ16はフラッシュメモリ或いはメモリカード等の記録媒体からなり、圧縮処理された撮影画像データが記録される。また、撮影画像よりサイズや記録密度の小さな簡易画像(サムネイル画像)データを記録することもできる。また、予め記録画像の特徴要素を用いて画像検索を行なうようにした場合には図12に示したような特徴リストを記録する領域が確保される。また、画像データに画像管理を行なうようにした場合には画像データに加えて画像データをファイル単位に管理する画像ファイル管理リスト領域が確保される。
【0140】
画像処理部17は、画像データ伸張/データ圧縮部、カラープロセッサインターフェイス、通信インターフェイス、表示制御用インターフェイス等の回路で構成され、CPUによって動作制御されてデジタルカメラ200の主要な動作、例えば、画像の取込み、撮像処理、画像データの圧縮、圧縮データの記録、再生(圧縮画像データの取り出し、圧縮画像データの伸張)等の画像処理動作を実行する。
【0141】
また、画像データ伸張/圧縮部は画像データを圧縮する画像圧縮部と、図2の画像再生部と同様に圧縮画像データを圧縮前の画像と同じ大きさで且つ同じ密度の画像に伸張する第1の伸張部と、圧縮画像データを圧縮前の画像と同じ大きさで且つ元の画像より粗密度(密度が粗いことをいう)の画像に伸張する第2の伸張部と、圧縮画像データを元の画像より小さなサイズの画像に伸張且つ縮小して再生する画像縮小部を有している。
【0142】
なお、マルチ表示するように構成した場合で、デジタルカメラ200がメモリ容量が十分に大きい画像記録用メモリを備えている場合には、上述のような画像縮小部を設けることなく画像の記録時に予め画像を複数のサイズに縮小して各画像と関連づけて記憶させておき、表示の際に必要なサイズの縮小画像を抽出することもできる。
【0143】
表示部18はビデオエンコーダおよびVRAM等の画像メモリを有し、画像データや描画入力されたデータをイメージデータに変換してVRAMにビットマップ展開して、液晶ディスプレイ(LCD)19上に画像表示する。
【0144】
[実施例3−1]
図19は撮影画像による画像検索例の説明図である。図19で、(a)に示す画像191は、1年前にデジタルカメラ200で撮影した子供(幼児)の画像を記録画像の中から検索するために、検索用画像として撮像した幼児の画像である。
【0145】
デジタルカメラ200で幼児を撮像した後、処理モードを画像検索処理モードにすると、いま撮った乳児の画像191の特徴要素を抽出して記録画像の特徴要素と比較し、認識処理する。(b)に示す子供の画像192と(c)に示す母親と一緒の画像193は乳児の画像191の特徴要素をもとに検索され、表示された画像の例である。
【0146】
図20は撮影画像によるデジタルカメラの画像検索動作例を示すフローチャートである。
【0147】
ステップW1:(撮像)
RECモード(撮像/記録モード)で検索に用いる画像としたい被写体を撮像する。すなわち、ユーザが操作部2のシャッターボタンを押すと、被写体像が撮像部11によって電気信号に変換され、被写体像が画像データとしてDRAM15に取込まれる。DRAM15に取込まれた画像データは画像処理部17でカラー処理の画像処理を施されて映像信号として表示部18に送られて液晶ディスプレイ19に静止画表示される。
【0148】
ステップW2:(画像検索処理モードの選択)
ここで、ユーザが操作部12の機能選択ボタンに割当てられた画像検索処理モード選択ボタン(画面に画像検索処理モード選択アイコンを表示してもよい)を操作すると、画像検索処理モードとなりステップW3に遷移する(所定時間内に画像検索処理モード選択がなされない場合には画像記録処理に移行する)。なお、画像検索処理モードの選択をステップW1で行ない、撮像をステップW2で行なうようにしてもよい。この場合、ステップW2で撮像を行なった後に直ちにステップW3に移行してもよいが、撮像後、所定キーを操作するとステップW4に移行するようにしてもよい。
【0149】
ステップW3:(撮像の特徴抽出処理)
次に、今撮像した画像の特徴抽出処理を行なう。なお、撮像した画像の特徴抽出処理は前述した図3の画像のステップS10(=図5のステップS8−1〜S8−5)までと同様の手順によって行なうことができる。但し、ステップS8−3での色指定の判定およびステップ8−4での位置指定の判定を行なわない。
【0150】
ステップW4:(画像データの簡易伸張)
上記ステップW3での撮像の特徴抽出処理が終了したあと、制御部13は画像記録用メモリ16に記録されている1画像分の画像データ(圧縮画像データ)を読み出して画像処理部17の第2の伸張部で圧縮画像データを圧縮前の画像と同じ大きさで且つ元の画像より粗密度の画像に伸張してDRAM15に記憶する。
【0151】
ステップW5:(画像データの特徴抽出処理)
次に、DRAM15に記憶された伸張済み画像データについて特徴抽出処理を行なう。この特徴抽出処理は前述した図3の画像の特徴抽出処理(ステップS8(図5のS8−1〜S8−5))と同様の手順によって行なうことができる。但し、ステップS8−3での色指定の判定およびステップ8−4での位置の判定確認を行なわない。
【0152】
ステップW6:(記録画像の特徴抽出繰り返し)
記録画像の全てについて特徴抽出が終るまで上記ステップW4,W5を繰り返す。
【0153】
ステップW7:(撮像画像による画像認識処理)
ステップW3で抽出してRAMに記憶した撮像画像の特徴データとステップW5で抽出した記録画像の特徴とを比較して画像認識処理を行ない、候補画像を求める。なお、画像認識処理は前述した図3の画像のステップS10(=図6のステップS10−1〜S10−22まで)と同様の手順によって行なうことができる。但し、検索用描画図の特徴データの代りに撮像画像の特徴データを用いるものとし、また、ステップS10−5〜S10−10での色指定の判定およびステップ10−11〜S10−16での位置指定の判定を行なわない。
【0154】
ステップW8:(検索画像表示処理)
記録画像の検索が全て終ると、検索された候補画像の数に応じて画像表示処理を行なう。なお、画像表示処理は前述した図3の画像のステップS11〜S14と同様の手順によって行なうことができる。
上記画像検索方式により、実施形態1,2の場合と比較してより正確な検索ができる。また、迅速な画像検索が可能となる。
【0155】
[実施例3−2] 特徴リストを用いた例
また、本実施形態で実施例1−2のように予め抽出した画像特徴を用いて認識処理を行なうようにすることもできる。この場合は予め記録画像の特徴を登録した特徴リスト(図12)を画像記録用メモリ16に記録しておき、上記図20のステップW7を図21のステップW7−1、W7−2で置き換えればよく、ステップW4〜W6が不要となるので検索精度が向上するだけでなく、更に高速検索が可能となる。
【0156】
図21に撮像画像および予め抽出した画像特徴を用いて認識処理を行う場合のフローチャートを示す。
図21ではステップW7−1で、処理速度を向上させるために画像記録用メモリ16の特徴リストをRAMに一時記憶する。
ステップW7−2ではステップW3で抽出した一次抽出画像の特徴と特徴リストに登録された各記録画像の特徴とを比較して画像認識処理を行ない、検索候補画像を求める。なお、画像認識処理は前述した図3の画像のステップS10(=図6のステップS10−1〜S10−22)と同様の手順によって行なうことができる。また、その他のステップの動作は図20の場合と同様である。
【0157】
[実施例3−3] 不要部分の消去機能の付加
また、図20、図21で検索用に用いる被写体が人物の場合(例えば、図19(a)の幼児191)は記録画像に記録されている人物(例えば、図19(b)の乳児192)と同一人物で顔は同じであっても服装や姿勢が異なることが多い。このような場合には認識効率が低下することが予想されるので、変化の少ない特定の部分(人物の場合には顔)だけを検索用画像とすると認識効率が向上し、しかも、検索に不都合な点は生じない。
【0158】
そこで、上記ステップW1で表示される撮像画像のうち不要部分を消すことができるように、消去選択ボタンを設けて(或いは画面に消去指定アイコンを表示して)、ボタン操作がなされると(或いはアイコンがポイントされる)、カーソルまたは指やタッチペンで消去範囲を指定するとその部分が消去できるようにし、上記ステップW2での撮像からの特徴抽出を消去後の特定部分(例えば、顔)から行なう。
これにより不要な部分の特徴要素を検索に用いないので、検索速度が更に向上するとともに、検索精度がより向上する。
【0159】
以上本発明のいくつかの実施例について説明したが、本発明は上記実施例に限定されるものではなく種々の変形実施が可能であることはいうまでもない。
【0160】
【発明の効果】
以上説明したように、描画したイメージと記録画像を比較していわゆる曖昧検索を行なうので、早送りの手間やキーワード入力の煩わしさなしに画像記録メモリに記録された大量の画像の中からユーザのイメージに合った画像を探し出すことができる。また、色彩や位置を検索要素とした場合には、検索の精度が向上する。
【0161】
また、最初に描画のイメージで記録画像を検索してから、検索で得た画像でさらに検索を行なうので、2枚目以降の検索画像は描画されたイメージ(描画図)よりも明確な像をもとにして検索できるので、検索精度が向上する。また、検索スピードも早くなる。
【0162】
また、所望の記録画像を検索用の像として記録画像を検索するので簡単で正確且つ迅速な画像検索が実現できる。
【0163】
また、撮影像で記録画像を検索するので簡単で正確且つ撮影現場での迅速な画像検索が実現できる。
【0164】
また、輪郭を比較要素とすることにより画像認識が容易になる。また、色彩および/または位置を比較要素とすることにより認識精度が向上する。
【0165】
また、記録画像の比較要素を予めメモリに登録しておき、検索時にそれを基に画像認識を行なえるので検索精度が向上するだけでなく、より高速な検索が可能となる。
【0166】
また、候補画像が複数ある場合にマルチ表示できるので、ユーザは所望の画像をマルチ表示画面から即時に選ぶことができる。
【0167】
また、検索用画像のうちの検索に適した部分画像だけで検索を行なえるので検索速度が更に向上するとともに、検索精度がより向上する。
【0168】
また、イメージの入力を手書き入力で行なうのでイメージ入力が簡単でユーザにイメージ入力操作上の負担を与えない。
【0169】
また、入力イメージ或いは画像の特徴要素と記録画像の特徴要素を比較するので、検索精度が高い。
【0170】
また、認識結果の報知を液晶ディスプレイ等の画面への表示により行なうので、ユーザが一見して認識結果を知ることができる。また、画像検索装置による認識順位が高くてもユーザの所望する結果でない場合や、認識順位が低くてもユーザの所望する結果である場合があるが、認識結果を表示することによりユーザが真に所望する結果を得るチャンスがより増大する。
【図面の簡単な説明】
【図1】本発明の描画入力による画像検索方法の概要説明図である。
【図2】画像検索装置の構成例を示すブロック図である。
【図3】本発明の画像検索方法に基づく画像検索装置の動作例を示すフローチャートである。
【図4】描画図の特徴抽出処理の一実施例を示すフローチャートである。
【図5】記録画像の特徴抽出処理の一実施例を示すフローチャートである。
【図6】画像認識処理の一実施例を示すフローチャートである。
【図7】描画用選択画面の例を示す図である。
【図8】輪郭のみの描画入力による画像検索例の説明図である。
【図9】色彩付描画による画像検索例の説明図である。
【図10】描画図の位置指定による画像検索例の説明図である。
【図11】線分ベクトルの一例を示す説明図である。
【図12】記録画像の特徴リストの一実施例の構造図である。
【図13】特徴リストへの画像の特徴データ登録処理時の動作例を示すフローチャートである。
【図14】 特徴リストを備えた画像検索装置の画像検索動作例を示すフローチャートである。
【図15】一次抽出画像による画像検索例の説明図である。
【図16】一次抽出画像を用いた画像検索装置の動作例を示すフローチャートである。
【図17】一次抽出画像および予め抽出した画像特徴を用いて認識処理を行う場合のフローチャートである。
【図18】本発明を適用したデジタルカメラの回路構成例を示すブロック図である。
【図19】撮影画像による画像検索例の説明図である。
【図20】撮影画像によるデジタルカメラの画像検索動作例を示すフローチャートである。
【図21】撮影画像および予め抽出した画像特徴を用いて認識処理を行う場合のフローチャートである。
【符号の説明】
3 描画入力部(描画入力手段)
5,14 画像認識部(描画特徴抽出手段、一次画像抽出手段、画像特徴抽出手段、画像認識手段、一次画像抽出手段)
7,16 画像記録用メモリ(画像記録手段)
9,18 表示部(報知手段)
10,19 液晶ディスプレイ(報知手段)
100,200 デジタルカメラ(電子スチルカメラ;画像検索装置)
191 撮影像
501,502,503,701 検索用描画図(描画図;イメージ)[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image search technique, and more particularly to an image search technique for searching a recorded image based on a drawn and input image image.
[0002]
[Prior art]
A subject image picked up by a digital camera is recorded in a storage medium as image data through photoelectric conversion, signal conversion, signal processing, and the like by a CCD. In this case, the image data is recorded on the recording medium in the order of imaging.
[0003]
Many digital cameras are provided with a display device such as a liquid crystal display and can display a reproduced image read from a recording medium after imaging. However, when displaying a reproduced image with such a digital camera, the image data is read from the recording medium in the order of imaging, and therefore displayed on the screen of the display device in the order of imaging.
[0004]
When trying to find a desired image from the recorded images, the playback image is advanced frame by frame until the desired image appears, or a plurality of simple images (thumbnail images) having a small size are displayed on one screen (multi-screen). When a desired simple image is displayed, the original image is reproduced and displayed when the desired simple image is displayed.
[0005]
[Problems to be solved by the invention]
The conventional search method has a problem that frame feeding for searching for a desired image is troublesome when a large number of images are recorded, regardless of whether the number of recorded images is small. In addition to this, when searching for a plurality of desired images (when the desired image is at the end of the recorded image), all the recorded images must be reproduced and frame-by-frame searched. was there.
[0006]
In addition to image search by frame advance, it is also possible to search for an image by keyword. In this case, it is necessary to register a keyword in advance corresponding to the image, and it is necessary to add a keyword when inputting an image. There was a problem that the user had to memorize and write down the correspondence between images and keywords.
[0007]
The present invention has been made to solve the above problems, and is an image search device for searching for a desired recorded image based on a search image.PlaceAnd an image retrieval method.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, an image search device according to a first aspect of the present invention includes an image recording means for recording a plurality of images,Drawing for searchTo getDrawing drawing acquisition meansAnd position specifying means for specifying a position in the image, and when the position in the image is specified by the position specifying means,Drawing drawing acquisition meansObtained byDrawing for searchAnd the respective images recorded in the image recording means,Drawing for searchA first image search unit that searches for a recorded image that includes a partial image having a high degree of similarity and has a high degree of proximity between the position in the image of the partial image and the position specified by the position specifying unit; If the position in the image is not specified by the specifying means,Drawing drawing acquisition meansObtained byDrawing for searchAnd the respective images recorded in the image recording means,Drawing for searchAnd second image search means for searching for a recorded image in which a partial image having a high degree of similarity is included somewhere in the image.
[0009]
The second invention is the image search device of the first invention, whereinDrawing drawing acquisition meansIncludes drawing input means for drawing and inputting a picture or figure in a predetermined area, and the position specifying means uses the drawing position in the predetermined area of the picture or figure drawn and input by the drawing input means as a position in the image. The first image search means includes a partial image having a high similarity to the picture or figure drawn and input by the drawing input means, and the position of the partial image in the image and the drawing input A recorded image having a high degree of proximity to a drawing position in a predetermined area of a picture or figure drawn and inputted by the means is searched, and the second image search means and the picture or figure drawn and inputted by the drawing input means A search is made for a recorded image in which a partial image having a high degree of similarity is included somewhere in the image.
[0015]
Also,Third inventionThe image search method forDrawing for searchIf the position in the image is specified, the step of specifying the position in the image, the step of specifying the position in the imageDrawing for searchAnd each image recorded in the image memoryDrawing for searchAnd a step of searching for a recorded image that includes a partial image having a high degree of similarity and a high degree of proximity between the position of the partial image in the image and the designated position, and a position in the image is not designated, ObtainedDrawing for searchAnd each image recorded in the image memoryDrawing for searchAnd a step of searching for a recorded image in which a partial image having a high degree of similarity is included somewhere in the image.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
<Embodiment (1)>
FIG. 1 is a schematic explanatory diagram of an image search method by drawing input according to the present invention. In the present embodiment, the
[0024]
Here, examples of feature elements to be compared include the contour feature of the drawing for search and the contour feature of the recorded image (FIG. 8), the color applied to the inside of the contour of the search drawing, and the color of the partial image (FIG. 9). ), Or the arrangement of the drawing for search and the arrangement of the partial images (FIG. 10), but are not limited thereto.
[0025]
[Circuit configuration example]
FIG. 2 is a block diagram illustrating a configuration example of a digital camera. The
[0026]
The
[0027]
The
[0028]
The
In the present embodiment, the
In addition, a transparent plate (heat-sensitive transparent plate) provided with a plurality of heat-sensitive elements that detect heat rays and output electrical signals on the
In addition, an input pen that emits light and a transparent plate on which a plurality of light detection elements that detect light of a specific wavelength and output an electric signal are provided on the
Instead of providing the drawing
[0029]
The
[0030]
The
[0031]
The
[0032]
The
[0033]
The
[0034]
In the first decompression unit, the image is restored (reproduced) to the original state. However, when the number of recorded images is large, it takes a search time. In FIGS. 3 and 4, the second decompression unit is used to roughen the pixel density and perform the decompression, thereby speeding up the reproduction speed.
[0035]
In addition, when there are a plurality of images having a predetermined degree of coincidence among the images recognized by the
[0036]
Note that when the multi-image display is configured and the
[0037]
The
[0038]
[Example 1-1] Image search operation by drawing input (example with image feature extraction) FIG. 3 is a flowchart showing an operation example of the
FIG. 7 is a diagram showing an example of a drawing selection screen, FIG. 8 is an explanatory diagram of an image search example by drawing input of only the contour, and FIG. 9 is an explanatory diagram of an image search example by drawing with coloring. FIG. 10 is an explanatory diagram of an example of image search based on the position designation of the drawing.
[0039]
In this embodiment, a transparent panel (hereinafter referred to as a screen 110) provided with a pressure sensitive element provided on the
[0040]
Step S1: (Drawing method selection)
In FIG. 3, when the image search process is activated, the screen of the
[0041]
If the user selects the colorless drawing designation icon 91 (points with the touch pen in this embodiment), the process proceeds to S2, and if the
[0042]
Step S2: (draw (no color specified))
When the user draws a contour drawing while bringing the
[0043]
Step S3: (drawing (with color designation))
When the user draws a drawing for search while touching the
[0044]
When the outline and the internal color are separated, the next color is selected by pointing to the
The point result is stored in a storage memory (hereinafter referred to as RAM) of the
[0045]
For example, the number of the drawing for search is “1”, the contour code is “1”, the internal code is “2”, the contour and the designated internal color are the same green, and the green color code is “08”. ”Is stored as“ 1108208 ”, and when the contour designated color is blue (code =“ 03 ”) and the internal designated color is blue (code = 06),“ 1103206 ” Can be stored.
[0046]
Step S4: (Position designation)
When the
[0047]
Step S5: (Additional drawing input determination)
Further, when the all drawing end icon 94 (96) displayed on the
[0048]
Step S6: (drawing drawing feature extraction)
The
Which combination is extracted as feature data depends on which combination of
[0049]
Step S6-1: In FIG. 4, the
[0050]
Step S6-2: A feature vector (represented by a set of a direction, a starting point of a line segment, and a length) of the extracted drawing for retrieval is extracted and stored in the RAM as contour feature data.
In this embodiment, for example, in the case of the
[0051]
Step S6-3: When the
[0052]
Step S6-4: The position designation flag secured in the RAM is checked, and if the position designation flag corresponding to the drawing drawing for search is on, the
[0053]
Step S6-5: The feature extraction process in steps S6-2 to S6-4 is repeated for the drawing drawing for retrieval extracted in step S6-1, and the feature extraction process is completed for all the drawing drawings for retrieval. Transition to S7.
[0054]
Step S7: (Simple decompression of image data)
After the feature drawing process for the drawing for retrieval in step S7 is completed, the
[0055]
Step S8: (feature extraction of recorded image)
The
[0056]
Step S8-1: The
When a plurality of partial images are included in one frame image, a partial image whose rectangular frame is a predetermined size or larger is cut out and stored in the
[0057]
Step S8-2: feature vectors (represented by a set of direction and line segment start point and length) of the clipped
[0058]
Step S8-3: When the
[0059]
In the example of FIG. 9 (c), the
[0060]
Step S8-4: The position designation flag secured in the RAM is checked, and if the position designation flag corresponding to the search drawing (FIG. 10B) is on, the
[0061]
Step S8-5: The feature extraction process in steps S8-2 to S8-4 is repeated for the partial image extracted in step S8-1. When the feature extraction process is completed for all the extracted partial images, the process proceeds to S9. .
[0062]
Step S9: (Repeated feature extraction of recorded image)
Steps S7 and S8 are repeated until feature extraction is completed for all the recorded images.
[0063]
Step S10: (Image recognition processing)
When the feature extraction of the recorded image is completed, the
[0064]
Step S10-1;
The contour feature data of the j (j = 1 to n) th drawing for retrieval (FIG. 8B, FIG. 9B, or FIG. 10B) stored in the RAM, and one frame stored in the RAM The contour feature data of each partial image (images surrounded by a frame line in FIG. 8C, FIG. 9C, FIG. 10C, or FIG. 10D) The matching rate Γ is obtained.
[0065]
In this embodiment, the contour feature matching rate (hereinafter referred to as the contour matching rate) is the line vector of the extracted drawing for retrieval and partial image, the coefficient and initial value of the function that expresses the curve, and the radius of curvature of the arc. The matching rate is obtained, and then the mean square of each matching rate is calculated to obtain the contour matching rate Γ.
Specifically, as shown in FIG. 11, when the origin of the extracted drawing for
[0066]
When the contour component closest to the origin is a curve or an arc, the ratio of the coefficient of the function representing the curve and the ratio of the initial value or the ratio of the radius of curvature are calculated, and the above-described vector component coincidence ratio calculation is performed. The coincidence rate γ1 is obtained by the same method.
In this case, the closer the match rate is to 1, the higher the degree of similarity is, and γ1 = 1 is a perfect match. Here, the closer the match rate γ is to 0, the lower the similarity.
[0067]
Next, when γ1> ρ, the line segment length A2L of the line segment vector A2 on the right side of the vector A1 in the drawing for
[0068]
When the contour component on the right is a curve or arc, the ratio of the coefficient of the function that expresses the curve and the ratio of the initial value, the ratio of the radius of curvature, and the like are calculated. The coincidence rate γ2 is obtained by the above method.
[0069]
In the example of FIG. 11, only two line segments A1 and A2 are shown because the search drawing 501 is a mountain. However, as in the
[0070]
-Step S10-2;
Next, the square average of partial vector coincidence rates γ1, γ2, γ3,..., Γm is obtained as the partial image contour coincidence rate Γ, and the coincidence between the f-th partial image and the j-th drawing for search. It is determined whether the rate Γfj exceeds the threshold ρ. If Γfj ≧ ρ, the process proceeds to S10-3, and if Γfj <ρ, the process proceeds to S10-4.
[0071]
Step S10-3;
If Γfj ≧ ρ in step S10-2, it is recognized that the contour is similar, and the partial image number f, the drawing drawing number j for search, and the contour matching rate Γfj are temporarily stored in the RAM. In this case, a predetermined number of contour matching rates from the contour matching rates Γ11, Γ12,..., Γfj,. If it is less than the predetermined number, only the contour matching rate with the threshold value ρ or higher is extracted and stored in the RAM together with the corresponding partial image number and the drawing drawing number j for search (if it is higher than the predetermined number, it matches) Reject from the lowest rate).
[0072]
In this embodiment, the line segment length ± 80% (= error ± 20%) and the direction ± 80% (= error ± 20%) are similar, and the threshold ρ is 0.64 (0.8 × 0). .8 = 0.64), but is not limited to this.
[0073]
-Step S10-4;
Then, the operations of S10-1 to S10-3 are repeated until the contour coincidence rates Γ11, Γ12,..., Γfj,. When the above processing is completed for the partial images, the process proceeds to S10-5.
[0074]
In this embodiment, the contour matching rate is obtained by the above-described method to determine (recognize) similarity or dissimilarity. However, the present invention is not limited to this, and the contour image itself of the drawing drawing for search and the partial image of the recorded image is extracted. These may be compared, and a known contour recognition method may be used.
[0075]
-Step S10-5;
In step S2, the result of associating the designated color data (code) stored in the RAM with the outline and the inside of the outline is checked (whether or not the
[0076]
-Step S10-6;
For the partial image having the partial image number stored in the RAM in step S10-4, the
[0077]
Specifically, in this embodiment, as described in step S6-3 and step S8-3, the color feature of the jth drawing for search is represented by the number of pixels included in the drawing for search and each color pixel R. , G, B ratio (c1j, c2j, c3j): (j = 1 to n), and the color characteristics of each partial image are the number of pixels included in the partial image and the respective color pixels R, G, B (C1f, C2f, C3f: (f = j1 to k))
R, G, and B color feature coincidence ratios of the f-th partial image t and the j-th drawing for retrieval, Rγfj = C1f / c1j, Gγ = C2f / c2j, Bγ = C3f / c3j are obtained, and Rγfj, Gγfj, and Let the least mean square of Bγfj be the color matching rate RGBΓfj of the partial image f and the jth drawing for search.
[0078]
-Step S10-7;
Next, when the color matching rate is extremely low, the partial image number or the like is deleted from the RAM (that is, the partial image is rejected), and the color matching rate RGBΓfj is compared with the threshold ρ ′, and RGBΓfj <ρ ′. The process transitions to S10-8 at the time of, and the process transitions to S10-8 when RGBΓfj ≧ ρ ′.
[0079]
-Step S10-8;
The contour matching rate corresponding to the partial image number is deleted from the contour matching rate Γ stored in the RAM, and the process proceeds to S10-10.
[0080]
For example, in FIG. 9B, the color of the drawing for
-Step S10-9;
The color matching rate RGBΓfj is stored in the RAM in association with the partial image number f.
[0081]
-Step S10-10;
Then, the operations of S10-6 to S10-8 or S10-9 are performed until the color matching rates RGBΓ11, RGBΓ12,..., RGBΓfj,..., RGBΓkj of the k partial images and the jth search image are obtained. When the above processing is completed for k partial images, the process proceeds to S10-11.
[0082]
Step S10-11;
The position designation flag secured in the RAM is checked. If the position designation flag corresponding to the jth drawing for search is on, the process proceeds to S10-12 with position designation, and if it is off, the position designation is not performed. Transition to S10-17.
[0083]
-Step S10-12;
The
In this embodiment, the position coincidence rate is a ratio of the mean square of coordinate values (that is, a distance ratio from the origin).
[0084]
For example, the position coincidence ratio between the center coordinates (a, b) of the drawing for
XΓ701 ′ = (a2+ B2)1/2/ (C2+ D2)1/2
The position coincidence ratio between the center coordinates (a, b) in the drawing for
XΓ701 ”= (a2+ B2)1/2/ (E2+ F2)1/2
Given in.
[0085]
-Step S10-13;
The position coincidence rate XΓfj is compared with the threshold value ρ ″. When XΓfj <ρ ″, the process proceeds to S10-14, and when XΓfj ≧ ρ ″, the process proceeds to S10-15.
[0086]
-Step S10-14;
If the position coincidence rate XΓfj is equal to or less than the threshold ρ ″, the contour coincidence rate and the color coincidence rate associated with the partial image number f are deleted from the RAM (that is, the partial image is rejected) and the process proceeds to S10-16. To do.
[0087]
For example, when the threshold value is Xρ (= 0.8) in FIG. 10, the positions of the
[0088]
-Step S10-15;
If the position matching rate XΓfj is equal to or greater than the threshold ρ ″, the position matching rate XΓfj is stored in the RAM in association with the partial image number f.
[0089]
-Step S10-16;
The operations of S10-12 to S10-14 or S10-15 are repeated until the position matching XΓ11, XΓ12,..., XΓfj,. When the above process is completed for k partial images, the process proceeds to S10-17.
[0090]
-Step S10-17;
Steps S10-1 to S10-16 are repeated until the comparison based on the matching rate is completed for all the drawing drawings for search. When the comparison is completed for all the drawing drawings for search, the process proceeds to S10-17.
[0091]
-Step S10-18;
Here, the number of partial image numbers (= number of similar partial images) stored in the RAM is checked, and if it is 0, the process proceeds to S10-6.
[0092]
-Step S10-19;
Further, when the number of partial image numbers stored in the RAM is 1 or more, the total matching rate is obtained in any of the following cases a to d.
a: When there is no color designation or position designation, the square average value of the contour coincidence rate stored in the RAM is set as the total coincidence rate Ξγ.
b: When a color is designated, the mean square value of the contour coincidence rate and the color coincidence rate stored in the RAM is set as an overall coincidence rate Ξγ.
c: When the position is designated, the contour coincidence rate and the square mean value of the position coincidence rate stored in the RAM are set as the overall coincidence rate Ξγ.
d: When there is a color designation and a position designation, the mean square value of the contour coincidence rate, the color coincidence rate and the position coincidence rate stored in the RAM is set as the total coincidence rate Ξγ.
[0093]
-Step S10-20;
The threshold is determined according to any of the following cases a to d, and the overall match rate Ξγ is compared with the threshold value. When rate Ξγ ≧ threshold, the process proceeds to S10-21.
[0094]
a: When there is no color designation and position designation, threshold = ρ (threshold for contour matching rate)
b: When color is designated, threshold = ρ ′ (threshold of color matching rate)
c: threshold value when position is specified = ρ ″ (position specifying threshold value)
d: When color designation and position designation are made, the maximum one of the threshold values ρ, ρ ′, ρ ″ is set as the threshold value.
In the present embodiment, the maximum threshold value ρ, ρ ′, ρ ″ is set as the threshold value, but the present invention is not limited to this. It is good.
[0095]
-Step S10-21;
When the overall matching rate Ξγ exceeds the threshold, the image is set as a candidate image, and the image number is stored in the RAM.
[0096]
Step S10-22;
The recognition process of steps S1-1 to S1-5 is repeated for the feature data of the recorded image recorded in the RAM, and when the recognition process is completed for all the recorded images, the process proceeds to S11.
[0097]
Step S11: (Determination of candidate image display method)
The image number of the candidate image stored in the RAM is checked, and if there is one, the process proceeds to S12. If there are a plurality of candidate images, the process proceeds to S13. If there is no candidate image, the process proceeds to S14.
[0098]
Step 12: (Search image display of one frame size)
The image data of the image number is read from the
[0099]
Step S13: (Search image multi-display)
When there are a plurality of candidate images, the image data of the search image number is sequentially read out from the
[0100]
Further, the reduction size may be fixed to 1/4 (or 1/9), and if there are many candidate images and the single screen multi-display cannot keep up, scrolling to the next screen may be performed.
[0101]
When the user points to a desired image from the multi-displayed images with a finger or a touch pen, the process proceeds to S12, and the image is displayed as an image having a size of one frame.
[0102]
In addition, when there are a plurality of candidate images, the images may be displayed one by one as an image having a size for one frame instead of being displayed in multiple. In this case, it is desirable to arrange images that have a large overall match rate (sorted in reverse order based on the overall match rate), and sequentially enable scroll display according to the user's points.
[0103]
Step S14: (message display without search image)
If there is no candidate image, a message to that effect is displayed to prompt the user to input a drawing drawing for search (that is, redo drawing).
According to the above image search method, the image recording memory is so-called fuzzy search by recognizing the similarity between the handwritten drawing and the recorded image, so that it is recorded in the image recording memory without the hassle of fast-forwarding and the trouble of inputting keywords. An image that matches the user's image can be found from a large number of images. In addition, when the color and position are used as search elements, the search accuracy is improved.
[0104]
In the flowchart of FIG. 3, the image recognition process (S10) is performed collectively after performing the feature extraction process (S6 to S8) of all the drawing diagrams and the recorded image. However, the present invention is not limited to this. The feature extraction process may be sequentially performed as necessary during the image recognition process (that is, S6 to S8 are not performed in the flow of FIG. 3 and the process of S6 to S8 is performed in S10).
[0105]
In the flowchart of FIG. 3, the image recognition is performed based on the comparison result of the feature elements of the drawing diagram and the recorded image. However, other methods (for example, the comparison process between the drawing diagram and the image of the recording image, Image recognition may be performed by a known method (in this case, the feature extraction process of S6 to S8 is not performed).
[0106]
[Example 1-2] Image search operation by drawing input (example using pre-extracted image feature elements)
In the first embodiment, the features of the drawing and the recorded image are extracted for each search by the drawing, and the image recognition is performed. However, in this embodiment, the feature of the recorded image is extracted in advance (when the recorded image is recorded). Then, it is recorded in the feature list secured in the
[0107]
FIG. 12 is a structural diagram of an embodiment of a recorded image feature list. A recorded
[0108]
These feature values can be automatically stored when a recorded image is input to the image recording memory 7 (when an image is captured or a received image is recorded from an external image processing apparatus).
FIG. 13 is a flowchart showing an operation example during the process of registering image feature data in the feature list.
In step T1 in FIG. 13, image data (usually when an image is taken (when the image search device includes an image pickup unit such as a digital camera) or when an image is received from an external image processing device) Is input), it is recorded in the image recording memory 7 (when the image data is not compressed, it is compressed and recorded).
Next, in step T2, a feature extraction process for the image is performed. The feature extraction processing here is performed on the input image data stored in the
[0109]
In step T3, the feature data obtained in step T2 is stored in the partial image feature columns 82-1, 82-2,..., 82-i for each partial image, and the image number of the image is stored in the image number column 81. And the feature data for one image is registered.
[0110]
In step T4, the above steps T1 to T3 are repeated by the number of input images.
[0111]
FIG. 14 is a flowchart showing an image search operation example of the image search apparatus provided with the feature list.
In step U1 of FIG. 14, drawing input processing such as drawing input by the user, color designation (arbitrary), position designation (arbitrary) and the like is performed. The drawing input process can be performed in the same procedure as steps S1 to S5 in FIG.
In step U2, feature extraction processing is performed on the drawing for search drawn by the user. It should be noted that the feature extraction process can be performed by the same procedure as step S6 (= steps S6-1 to S6-5 in FIG. 4) of the image in FIG.
In step U3, the
In step U4, the feature of the drawing for search extracted in step U2 is compared with the feature of each image registered in the
[0112]
In step U5, image display processing is performed according to the number of candidate images. Note that the image display process can be performed in the same procedure as steps S11 to S14 of the image shown in FIG.
As described above, according to the present embodiment, the feature extraction of the recorded image is not performed at the time of the search by the drawing diagram, so that the high-speed search is possible. In addition, even when colors and positions are used as search elements, high-speed search can be performed, so that high-speed and high-precision search is possible.
[0113]
<Embodiment (2)> Image retrieval using primary extracted images
In the present embodiment, the image search apparatus has a high degree of matching between the feature elements by comparing the feature elements of the drawing drawing for search input by handwriting with a finger or the
[0114]
In this embodiment, the circuit configuration of the image search apparatus is the same as that in the example of FIG. 2 for the sake of explanation, and the feature elements to be compared are also the same as those in the embodiment (1), but are not limited thereto. The same applies to other explanatory diagrams (FIGS. 1, 7 to 10, FIG. 12, and FIG. 13).
[0115]
[Example 2-1]
FIG. 15 is an explanatory diagram of an image search example using a primary extracted image.
15A is an example of search drawing diagrams 501 and 503 input by handwriting by the user, and FIG. 15B is an image (image 105) searched based on the characteristic elements of the search drawing diagrams 501 and 503. (C) shows that the
[0116]
FIG. 16 is a flowchart illustrating an operation example of the image search apparatus using the primary extracted image.
Step V1: (Drawing input process)
Here, drawing input processing such as drawing input by the user, color designation (arbitrary), position designation (arbitrary), etc. is performed. The drawing input process can be performed in the same procedure as steps S1 to S5 in FIG.
Step V2: (Characteristic extraction process for search drawing)
Next, the feature extraction process of the drawing for search drawn by the user is performed. It should be noted that the feature extraction process can be performed by the same procedure as step S6 (= steps S6-1 to S6-5 in FIG. 4) of the image in FIG.
Step V3: (Simple decompression of image data)
After the feature drawing process of the drawing for search in step V2 is completed, the
[0117]
Step V4: (Image data feature extraction processing)
Next, feature extraction processing is performed on the expanded image data stored in the
[0118]
Step V5: (Repeated feature extraction of recorded image)
Steps V3 and V4 are repeated until feature extraction is completed for all the recorded images.
[0119]
Step V6: (Primary extraction process)
The feature of the drawing for search extracted in step V2 is compared with the feature of the image extracted in step V4, image recognition processing is performed, and a candidate image is obtained. The image recognition process can be performed by the same procedure as steps S10-1 to S10-21 in FIG. 6 in step S10 of the image in FIG. 3 described above (step S10-22 is unnecessary in this case).
[0120]
Step V7: (Image end determination)
If a candidate image is found in V6, the transition is made to V9 as a primary extracted image. If no candidate image is found, the end of the recorded image is determined. If there is still a recorded image, the process returns to V6 and the next candidate image is recognized.
[0121]
Step V8: (When there is no primary extraction image)
If it is determined in step V7 that the recorded image has been completed, it is determined that the primary extraction image has not been found, and a message “No primary extraction image” is displayed on the
[0122]
Step V9: (Display of primary extracted image)
In order to make the user confirm the candidate image extracted in step V6, the image is expanded to the size of one frame and displayed on the
[0123]
Step V10: (Confirmation of primary extracted image)
When the user points to the OK icon, the process proceeds to V11 on the assumption that the displayed primary extracted image is used as a search image. When the NO icon is pointed, the process returns to V6 to hit the next extracted image.
[0124]
Step V11: (Image recognition process using primary extracted image)
Since the feature data of the primary extraction image extracted in step V6 is obtained in step V4, the feature data of the primary extraction image stored in the RAM and the feature of the image extracted in step V4 are compared to perform image recognition processing. To find a candidate image.
Note that the image recognition processing can be performed by the same procedure as step S10 (= steps S10-1 to S10-22 in FIG. 6) of the image in FIG. However, the feature data of the primary extracted image is used instead of the feature data of the drawing for search.
[0125]
Step V12: (Candidate image display processing)
When the search for all recorded images is completed, image display processing is performed according to the number of candidate images. Note that the image display process can be performed in the same procedure as steps S11 to S14 of the image shown in FIG.
[0126]
According to the above method, the second and subsequent search images can be searched using feature data based on an image that is less ambiguous (that is, more accurate) than a handwritten image (drawing diagram). The search accuracy is improved as compared with the case of 1 (Example 1-1). Also, the search speed is increased. The steps V9 and V10 may be omitted.
[0127]
[Example 2-2]
In this embodiment, it is also possible to perform recognition processing using image features extracted in advance as in Example 1-2. In this case, if a feature list (FIG. 12) in which features of recorded images are registered in advance is recorded in the
[0128]
FIG. 17 shows a flowchart when the recognition process is performed using the primary extracted image and the image feature extracted in advance.
In FIG. 17, in step V10-1, the feature list of the
In step V10-2, the feature of the primary extraction image extracted in step V6 is compared with the feature of each image registered in the feature list, image recognition processing is performed, and a candidate image is obtained. Note that the image recognition process can be performed by the same procedure as step S10 (= steps S10-1 to S10-22 in FIG. 6) of the image in FIG. The other steps are the same as in FIG.
[0129]
[Example 2-3]
In the above embodiment, a candidate image is extracted from a recorded image using a drawing for searching for a handwriting, and a candidate image is further searched from the recorded image using the extracted image. A search method including a known image search method such as fast-forwarding is used. The recorded image can be searched using the image obtained by the above. That is, a search including a known search method such as fast-forwarding is performed in step V1 of FIG. 16 or FIG. 17, the feature extraction processing of the image searched in step V2 is performed, and steps V6 to V9 are deleted. Note that the feature extraction processing can be performed by the same procedure as the feature extraction processing (step S8 (S8-1 to S8-5 in FIG. 5)) of FIG. 3 described above. Thereby, an accurate and quick image search can be realized.
[0130]
[Example 2-4] Addition of an unnecessary portion erasing function
16 and 17, when the primary extraction image used for search is a person (for example, even if the person is the same person as the person recorded in the other recorded images and the face is the same, the clothes and posture may be different. In many cases, the recognition efficiency is expected to decrease. Therefore, if only a specific part (face in the case of a person) with little change is used as a search image, the recognition efficiency is improved. There are no disadvantages.
[0131]
Therefore, after an erasure selection button is provided (or an erasure designation icon is displayed on the screen) and the button is operated so that an unnecessary image of the primary extracted image displayed in step V8 can be erased. (Or, after pointing the icon), if you specify the erase range with the cursor or your finger or touch pen, you can erase that part.
As a result, unnecessary feature elements are not used for the search, so that the search speed is further improved and the search accuracy is further improved.
[0132]
<Embodiment (3)>
In this embodiment, the recorded image is searched using the captured image. In addition, an image capturing device having an image capturing unit and a display unit, such as a digital camera, is used as the image search device.
That is, a recorded image with a high matching rate of feature elements is set as a candidate image by comparing the characteristic elements of the captured image with the characteristic elements of the recorded image, and an image (FIG. 1C) imaged by the user from among the displayed candidate images. In the example, by selecting an image 111), a desired image can be searched without inputting a keyword or frame advance.
In the present embodiment, the feature elements to be compared are the same as in the example of the embodiment (1), but are not limited thereto.
[0133]
[Circuit configuration example]
FIG. 18 is a block diagram illustrating a circuit configuration example of a digital camera to which the present invention is applied. The
[0134]
The
[0135]
The
[0136]
The
[0137]
The
[0138]
The
[0139]
The
[0140]
The
[0141]
Also, the image data expansion / compression unit compresses the image data into an image compression unit that compresses the image data, and expands the compressed image data to an image having the same size and the same density as the image before compression in the same manner as the image reproduction unit in FIG. A first decompression unit, a second decompression unit that decompresses the compressed image data into an image having the same size as the uncompressed image and a coarser density (which means that the density is coarser) than the original image, and the compressed image data It has an image reduction unit that reproduces an image that has been expanded and reduced to a smaller size than the original image.
[0142]
If the
[0143]
The
[0144]
[Example 3-1]
FIG. 19 is an explanatory diagram of an image search example based on a photographed image. In FIG. 19, an
[0145]
After the infant is imaged by the
[0146]
FIG. 20 is a flowchart showing an example of an image search operation of the digital camera based on a photographed image.
[0147]
Step W1: (Imaging)
A subject to be used as an image to be used for search in the REC mode (imaging / recording mode) is captured. That is, when the user presses the shutter button of the
[0148]
Step W2: (Selection of image search processing mode)
Here, when the user operates an image search processing mode selection button (an image search processing mode selection icon may be displayed on the screen) assigned to the function selection button of the
[0149]
Step W3: (Imaging feature extraction processing)
Next, a feature extraction process is performed on the image that has just been captured. Note that the feature extraction processing of the captured image can be performed by the same procedure as the above-described step S10 (= steps S8-1 to S8-5 in FIG. 5) of FIG. However, the color designation determination in step S8-3 and the position designation determination in step 8-4 are not performed.
[0150]
Step W4: (Simple decompression of image data)
After the imaging feature extraction process in step W3 is completed, the
[0151]
Step W5: (Image data feature extraction processing)
Next, a feature extraction process is performed on the expanded image data stored in the
[0152]
Step W6: (Repeated feature extraction of recorded image)
Steps W4 and W5 are repeated until feature extraction is completed for all the recorded images.
[0153]
Step W7: (Image recognition process using captured image)
The feature data of the captured image extracted in step W3 and stored in the RAM is compared with the feature of the recorded image extracted in step W5, and image recognition processing is performed to obtain a candidate image. Note that the image recognition processing can be performed by the same procedure as step S10 (= steps S10-1 to S10-22 in FIG. 6) of the image in FIG. However, the feature data of the picked-up image is used instead of the feature data of the drawing for search, and the color designation determination in steps S10-5 to S10-10 and the positions in steps 10-11 to S10-16 are used. Do not make the specified judgment.
[0154]
Step W8: (Search image display process)
When the search for all recorded images is completed, an image display process is performed in accordance with the number of searched candidate images. Note that the image display process can be performed in the same procedure as steps S11 to S14 of the image shown in FIG.
By the above image search method, more accurate search can be performed as compared with the first and second embodiments. In addition, a quick image search is possible.
[0155]
[Example 3-2] Example using feature list
Further, in the present embodiment, the recognition process may be performed using image features extracted in advance as in Example 1-2. In this case, if a feature list (FIG. 12) in which features of recorded images are registered in advance is recorded in the
[0156]
FIG. 21 shows a flowchart in the case of performing recognition processing using a captured image and image features extracted in advance.
In FIG. 21, in step W7-1, the feature list of the
In step W7-2, the feature of the primary extraction image extracted in step W3 is compared with the feature of each recorded image registered in the feature list, and image recognition processing is performed to obtain a search candidate image. Note that the image recognition process can be performed by the same procedure as step S10 (= steps S10-1 to S10-22 in FIG. 6) of the image in FIG. The other steps are the same as in FIG.
[0157]
[Embodiment 3-3] Addition of an unnecessary portion erasing function
20 and 21, when the subject used for the search is a person (for example, the
[0158]
Therefore, an erasure selection button is provided (or an erasure designation icon is displayed on the screen) so that an unnecessary portion of the captured image displayed in step W1 can be erased, and a button operation is performed (or When an erasing range is designated with a cursor or a finger or a touch pen, the portion can be erased, and feature extraction from the imaging in step W2 is performed from a specific portion (for example, a face) after erasure.
As a result, unnecessary feature elements are not used for the search, so that the search speed is further improved and the search accuracy is further improved.
[0159]
Although several embodiments of the present invention have been described above, it is needless to say that the present invention is not limited to the above-described embodiments and various modifications can be made.
[0160]
【The invention's effect】
As explained aboveDrawingSince the so-called fuzzy search is performed by comparing the drawn image with the recorded image, an image that matches the user's image is searched from among a large number of images recorded in the image recording memory without the hassle of fast-forwarding and the input of keywords. be able to. In addition, when the color and position are used as search elements, the search accuracy is improved.
[0161]
AlsoThe mostFirst, the recorded image is searched with the drawn image, and further searching is performed with the image obtained by the search. Therefore, the second and subsequent search images are based on a clearer image than the drawn image (drawing diagram). Search accuracy is improved. Also, the search speed is increased.
[0162]
Also, PlaceSince the recorded image is searched using the desired recorded image as a search image, a simple, accurate and quick image search can be realized.
[0163]
Also, ShootingSince the recorded image is searched by the image, it is possible to realize a simple, accurate and quick image search at the shooting site.
[0164]
Also,ringImage recognition is facilitated by using the contour as a comparison element. Further, the recognition accuracy is improved by using the color and / or position as a comparison element.
[0165]
Also,RecordSince comparison elements of recorded images are registered in the memory in advance and image recognition can be performed based on the registered elements, not only the search accuracy is improved but also a higher speed search is possible.
[0166]
AlsoThe weatherSince the multi-display can be performed when there are a plurality of complementary images, the user can immediately select a desired image from the multi-display screen.
[0167]
Also, InspectionSince the search can be performed only with the partial image suitable for the search in the search image, the search speed is further improved and the search accuracy is further improved.
[0168]
Also, LeeSince image input is performed by handwriting input, image input is easy, and the user is not burdened with image input operations.
[0169]
Also, EnterSince the feature element of the force image or image is compared with the feature element of the recorded image, the search accuracy is high.
[0170]
Also,Since the recognition result is notified by display on a screen such as a liquid crystal display, the user can know the recognition result at a glance. In addition, even if the recognition order by the image search device is high, the result may not be the result desired by the user, or the result may be the result desired by the user even if the recognition order is low. The chance of obtaining the desired result is further increased.
[Brief description of the drawings]
FIG. 1 is a schematic explanatory diagram of an image search method by drawing input according to the present invention.
FIG. 2 is a block diagram illustrating a configuration example of an image search device.
FIG. 3 is a flowchart showing an operation example of the image search apparatus based on the image search method of the present invention.
FIG. 4 is a flowchart illustrating an example of a feature extraction process of a drawing diagram.
FIG. 5 is a flowchart illustrating an example of a feature extraction process of a recorded image.
FIG. 6 is a flowchart illustrating an example of image recognition processing.
FIG. 7 is a diagram illustrating an example of a drawing selection screen.
FIG. 8 is an explanatory diagram of an image search example based on a drawing input of only a contour.
FIG. 9 is an explanatory diagram of an image search example by drawing with colors.
FIG. 10 is an explanatory diagram of an image search example by position designation of a drawing diagram.
FIG. 11 is an explanatory diagram illustrating an example of a line segment vector.
FIG. 12 is a structural diagram of an example of a feature list of recorded images.
FIG. 13 is a flowchart illustrating an example of an operation when registering image feature data in a feature list.
FIG. 14 is a flowchart illustrating an image search operation example of an image search apparatus including a feature list.
FIG. 15 is an explanatory diagram of an image search example using a primary extracted image.
FIG. 16 is a flowchart illustrating an operation example of an image search apparatus using a primary extracted image.
FIG. 17 is a flowchart in a case where recognition processing is performed using a primary extracted image and a previously extracted image feature.
FIG. 18 is a block diagram illustrating a circuit configuration example of a digital camera to which the present invention is applied.
FIG. 19 is an explanatory diagram of an image search example based on a photographed image.
FIG. 20 is a flowchart illustrating an example of an image search operation of the digital camera based on a captured image.
FIG. 21 is a flowchart in a case where recognition processing is performed using a photographed image and image features extracted in advance.
[Explanation of symbols]
3 Drawing input section (drawing input means)
5,14 Image recognition unit (drawing feature extraction means, primary image extraction means, image feature extraction means, image recognition means, primary image extraction means)
7,16 Image recording memory (image recording means)
9, 18 Display section (notification means)
10, 19 Liquid crystal display (notification means)
100,200 Digital camera (electronic still camera; image search device)
191 Image
501, 502, 503, 701 Search drawing for drawing (drawing diagram; image)
Claims (3)
検索用描画図を取得する描画図取得手段と、
画像中の位置を指定する位置指定手段と、
この位置指定手段により画像中の位置が指定されている場合、前記描画図取得手段により取得された検索用描画図と前記画像記録手段に記録されている前記各画像とを比較して、前記検索用描画図と類似度の高い部分画像を含み、且つ該部分画像の画像中の位置と前記位置指定手段により指定された位置との接近度が高い記録画像を検索する第1の画像検索手段と、
前記位置指定手段により画像中の位置が指定されていない場合、前記描画図取得手段により取得された検索用描画図と前記画像記録手段に記録されている前記各画像とを比較して、前記検索用描画図と類似度の高い部分画像が画像中のどこかに含まれている記録画像を検索する第2の画像検索手段と、
を有することを特徴とする画像検索装置。Image recording means for recording a plurality of images;
A drawing drawing acquisition means for acquiring a drawing for search ;
A position specifying means for specifying a position in the image;
When the position in the image is specified by the position specifying unit, the search drawing obtained by the drawing drawing obtaining unit is compared with each image recorded in the image recording unit, and the search is performed. First image search means for searching for a recorded image that includes a partial image having a high degree of similarity to the drawing for drawing and has a high degree of proximity between the position of the partial image in the image and the position specified by the position specifying means; ,
When the position in the image is not specified by the position specifying unit, the search drawing obtained by the drawing drawing obtaining unit is compared with each image recorded in the image recording unit, and the search is performed. Second image search means for searching for a recorded image in which a partial image having a high similarity to the drawing for drawing is included somewhere in the image;
An image search apparatus comprising:
前記位置指定手段は、前記描画入力手段により描画入力された絵または図形の前記所定領域中の描画位置を画像中の位置として指定する手段を含み、
前記第1の画像検索手段は、前記描画入力手段により描画入力された絵または図形と類似度の高い部分画像を含み、且つ該部分画像の画像中の位置と前記描画入力手段により描画入力された絵または図形の所定領域中の描画位置との接近度が高い記録画像を検索し、
前記第2の画像検索手段は、前記描画入力手段により描画入力された絵または図形と類似度の高い部分画像が画像中のどこかに含まれている記録画像を検索することを特徴とする請求項1記載の画像検索装置。The drawing drawing acquisition means includes drawing input means for drawing and inputting a picture or figure in a predetermined area,
The position specifying means includes means for specifying a drawing position in the predetermined area of the picture or figure drawn and input by the drawing input means as a position in the image,
The first image search means includes a partial image having a high degree of similarity to the picture or figure drawn and inputted by the drawing input means, and the drawing position of the partial image in the image and the drawing input means Search for a recorded image that has a high degree of proximity to the drawing position in a predetermined area of a picture or figure,
The second image retrieval unit retrieves a recorded image in which a partial image having a high degree of similarity to a picture or a figure drawn and input by the drawing input unit is included somewhere in the image. Item 2. The image search device according to Item 1.
画像中の位置を指定する工程と、
画像中の位置が指定されている場合、前記取得された検索用描画図と画像メモリに記録されている各画像とを比較して、前記検索用描画図と類似度の高い部分画像を含み、且つ該部分画像の画像中の位置と前記指定された位置との接近度が高い記録画像を検索する工程と、
画像中の位置が指定されていない場合、前記取得された検索用描画図と前記画像メモリに記録されている各画像とを比較して、前記検索用描画図と類似度の高い部分画像が画像中のどこかに含まれている記録画像を検索する工程と、
を有することを特徴とする画像検索方法。 Obtaining a drawing for search ;
Specifying a position in the image;
When the position in the image is designated, the acquired drawing for searching is compared with each image recorded in the image memory, and includes a partial image having a high degree of similarity with the drawing for searching , And searching for a recorded image having a high degree of proximity between the position of the partial image in the image and the designated position;
When the position in the image is not designated, the obtained drawing for retrieval is compared with each image recorded in the image memory, and a partial image having a high degree of similarity with the drawing for retrieval is an image. A process of searching for a recorded image included somewhere,
Image retrieval method characterized by having a.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25607898A JP3660943B2 (en) | 1998-08-27 | 1998-08-27 | Image search apparatus and image search method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25607898A JP3660943B2 (en) | 1998-08-27 | 1998-08-27 | Image search apparatus and image search method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004332647A Division JP3674633B2 (en) | 2004-11-17 | 2004-11-17 | Image search device, electronic still camera, and image search method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000076302A JP2000076302A (en) | 2000-03-14 |
JP3660943B2 true JP3660943B2 (en) | 2005-06-15 |
Family
ID=17287593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25607898A Expired - Fee Related JP3660943B2 (en) | 1998-08-27 | 1998-08-27 | Image search apparatus and image search method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3660943B2 (en) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100451649B1 (en) * | 2001-03-26 | 2004-10-08 | 엘지전자 주식회사 | Image search system and method |
JP4552100B2 (en) * | 2001-04-27 | 2010-09-29 | ソニー株式会社 | Product search system, product search device, and product search method for product search device |
JP2003016086A (en) * | 2001-07-02 | 2003-01-17 | Sony Corp | System for information processing, server, terminal device and method for providing of advertising service |
JP2005025566A (en) * | 2003-07-03 | 2005-01-27 | Sharp Corp | Handwriting input device, method and program, and program recording medium |
US7911510B2 (en) | 2004-06-10 | 2011-03-22 | Canon Kabushiki Kaisha | Imaging apparatus using a key image in image retrieval or reading out |
US7773128B2 (en) | 2004-06-10 | 2010-08-10 | Canon Kabushiki Kaisha | Imaging apparatus |
JP4557610B2 (en) * | 2004-06-10 | 2010-10-06 | キヤノン株式会社 | Image recording apparatus and control method thereof |
JP4533008B2 (en) * | 2004-06-10 | 2010-08-25 | キヤノン株式会社 | Image recording apparatus and control method thereof |
JP4565617B2 (en) * | 2004-06-10 | 2010-10-20 | キヤノン株式会社 | Image recording apparatus and control method thereof |
JP4423131B2 (en) | 2004-08-02 | 2010-03-03 | キヤノン株式会社 | Information management device |
JP4498071B2 (en) * | 2004-09-01 | 2010-07-07 | キヤノン株式会社 | Imaging device, control method of the imaging device, control program, and storage medium |
JP2007241370A (en) * | 2006-03-06 | 2007-09-20 | Nikon Corp | Portable device and imaging device |
WO2008018398A1 (en) * | 2006-08-10 | 2008-02-14 | Nec Corporation | Object region extracting device |
JP2010176346A (en) * | 2009-01-29 | 2010-08-12 | Sony Corp | Imaging device, retrieval method, and program |
JP5496119B2 (en) * | 2011-01-21 | 2014-05-21 | 三菱電機株式会社 | Screen data editing device for programmable display |
CN103870516B (en) | 2012-12-18 | 2019-10-25 | 北京三星通信技术研究有限公司 | Retrieve the method for image, paint in real time reminding method and its device |
WO2019106735A1 (en) * | 2017-11-29 | 2019-06-06 | 株式会社オプティム | Computer system, hand-drawn object identification method, and program |
US11514696B2 (en) | 2019-12-17 | 2022-11-29 | Ricoh Company, Ltd. | Display device, display method, and computer-readable recording medium |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08194716A (en) * | 1995-01-17 | 1996-07-30 | Canon Inc | Picture processing method and its device |
JPH09179878A (en) * | 1995-12-27 | 1997-07-11 | Toshiba Corp | Image data controller and image display method |
JPH09262212A (en) * | 1996-03-29 | 1997-10-07 | Canon Inc | Ophthalmological image searching method and apparatus therefor |
JP3609225B2 (en) * | 1996-11-25 | 2005-01-12 | 日本電信電話株式会社 | Similar object retrieval device |
-
1998
- 1998-08-27 JP JP25607898A patent/JP3660943B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000076302A (en) | 2000-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3660943B2 (en) | Image search apparatus and image search method | |
US8983229B2 (en) | Method, medium, and system with a combinational photograph thumbnail | |
US9805064B2 (en) | System, apparatus, method, program and recording medium for processing image | |
US8379103B2 (en) | Digital camera that uses object detection information at the time of shooting for processing image data after acquisition of an image | |
JP3361587B2 (en) | Moving image search apparatus and method | |
US20040120606A1 (en) | Imaging method and system for determining an area of importance in an archival image | |
KR100862939B1 (en) | Image recording and playing system and image recording and playing method | |
JP6203188B2 (en) | Similar image search device | |
JP3674633B2 (en) | Image search device, electronic still camera, and image search method | |
US8405754B2 (en) | Image processing apparatus and control method for image processing apparatus | |
JP3332166B2 (en) | Video search device | |
JP2003288601A (en) | Imaging apparatus, image processing apparatus, image processing method, and method of image information classification service | |
CN113225451B (en) | Image processing method and device and electronic equipment | |
CN112822394B (en) | Display control method, display control device, electronic equipment and readable storage medium | |
JPH104533A (en) | Information processor | |
JP4371219B2 (en) | Digital camera | |
JP3358692B2 (en) | Video block classification method and apparatus | |
KR100567575B1 (en) | Digital Still Cameras and Their Control Methods_ | |
JP5181935B2 (en) | Image processing apparatus, program, and subject detection method | |
JP4842232B2 (en) | Imaging apparatus and image reproduction apparatus | |
KR101477535B1 (en) | Method and apparatus for searching an image, digital photographing apparatus using thereof | |
JP4379745B2 (en) | Electronic camera and information processing apparatus | |
JP4591038B2 (en) | Electronic camera, image classification device, and program | |
JP2005094810A (en) | Photographic image management unit, photographic image management method, and photographic image management program | |
JP2000276489A (en) | Information processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040727 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041221 |
|
R155 | Notification before disposition of declining of application |
Free format text: JAPANESE INTERMEDIATE CODE: R155 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050103 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090401 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100401 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110401 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120401 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120401 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130401 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130401 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140401 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |