JP5259315B2 - 画像検索装置、デジタルカメラ、画像検索方法および画像検索用プログラム - Google Patents

Description

本発明は、画像検索装置、デジタルカメラ、画像検索方法および画像検索用プログラムに関するものである。

最近は、画像用メモリが大容量化され、かつ、非常に安価に入手できるようになってきている。普通のデジタルカメラに使用されるメモリでも、その記録できる枚数が、従来は１００枚程度であったものが１０００枚以上蓄積可能になっている。記録可能な枚数が増えたことは、撮影時にメモリ容量を気にせずに撮影できる環境を提供できる点は大きなメリットであるが、逆に、再生時には膨大な撮影画像を取り扱わなくてはならない。デジタルカメラで再生を楽しむ場合に、希望する画像を探すために、従来は、デジタルカメラの表示部に、例えば４×４サムネイル画像からなるインデックス画面を切り替え表示させる方法が利用されている。しかし、上記のように撮影画像の蓄積枚数が数百枚から１０００枚以上になると、このようなインデックス画面を１枚１枚見ながら探すような探し方では、あまりに時間がかかりすぎて効率の悪いものである。

解決策の一つとして、画像の記録時にキーワードを付与しておき、このキーワードや撮影画像に基づいて、希望の画像を検索する方法がある（例えば、特許文献１参照）。

一方、最近は、撮影された画像そのものを解析し、それが、人物や建物であることを検出し、さらにその人物や建物を特定する画像技術も格段に進歩している。そして、このような画像解析を利用して、その被写体と類似する被写体を有する画像を検索する、いわゆる類似画像検索の技術が進展している（例えば、特許文献２参照）。

特開２００５−３５４１３４号公報 特開２００１−１１７９２８号公報

上述したように最近のデジタルカメラ等は、サイズこそ小さいが、優に数百枚以上の撮影画像を記録できるので、上述したような類似画像検索の機能を搭載することが望ましい。しかしながら、デジタルカメラは、ＰＣ機器（Ｐｅｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）のように大型の表示部やマウス等の便利な操作部を備えていないため、表示面積や操作機能上で大きな制限が存在する。また、デジタルカメラは、幅広い年齢層のユーザに使用され、ＰＣ機器に不慣れなユーザも対象としなればならない。小型の画像ビュワやカメラ付き携帯電話の場合もデジタルカメラと事情は同じである。

つまり、デジタルカメラのような携帯型画像機器において、類似画像の検索機能を搭載してこれを有効に活用できるようにするためには、小型の機器に適した、簡単かつ分かりやすい操作が実現できる画面表示とその操作手順とを実現できる画像検索機能を開発する必要がある。

本発明は、上記に鑑みてなされたものであって、類似画像検索に際してユーザに快適な検索環境を提示できる、優れた類似画像検索用のユーザインタフェースを提供できる画像検索装置、デジタルカメラ、画像検索方法および画像検索用プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像検索装置は、選択された検索条件で指定された基準画像に類似する画像を検索する類似画像検索部と、該類似画像検索部による検索のための検索画面を表示する表示部とを備える画像検索装置であって、前記検索画面に対するユーザの操作を検出する操作検出部と、前記検索画面の表示を制御する表示制御部と、前記検索画面に対するユーザの操作に基づいて指定された基準画像と選択された検索条件で、対応する類似画像を検索するように前記類似画像検索部を制御する検索制御部と、を備え、前記表示制御部は、前記検索画面の一部の領域を前記基準画像を指定するための基準画像領域として画像記憶部に記憶された画像を指定自在に表示させ、さらに、該基準画像領域に隣接する領域を前記検索条件を選択するための検索条件領域としてアイコン化された条件アイコンを選択自在に表示させ、さらに、該検索条件領域に隣接する領域を類似画像領域として前記基準画像と前記検索条件で前記類似画像検索部により検索された類似画像を表示させることを特徴とする。

また、本発明にかかる画像検索装置は、上記発明において、前記表示制御部は、前記基準画像領域に対するユーザ操作により前記基準画像が指定され、前記検索条件領域に対するユーザ操作により前記検索条件が選択された場合に、該指定された基準画像を該選択された条件アイコンに重ねて表示させることを特徴とする。

また、本発明にかかる画像検索装置は、上記発明において、前記表示制御部は、さらに、検索された類似画像の表示後にさらにユーザ操作により検索条件が追加された場合には、前回の検索条件と追加された検索条件との関係を選択するためのメニュー画面を前記検索画面に表示させることを特徴とする。

また、本発明にかかる画像検索装置は、上記発明において、前記表示制御部は、さらに、検索された類似画像の表示後にさらにユーザ操作により同じ検索条件で新たな基準画像が指定された場合には、前回の基準画像に加えて新たな基準画像も条件アイコンに重ねて表示させることを特徴とする。

また、本発明にかかる画像検索装置は、上記発明において、前記検索画面を表示する前記表示部に重ねて配設されたタッチパネルをさらに備え、前記操作検出部は、前記タッチパネルに対するユーザの操作を検出し、前記表示制御部は、前記タッチパネルに対するユーザの操作に応じて、前記検索画面に同時に表示される前記基準画像領域の画像と前記検索条件領域の条件アイコンとをそれぞれ独立した移動により切換えることを特徴とする。

また、本発明にかかる画像検索装置は、上記発明において、前記表示制御部は、前記基準画像領域と前記検索条件領域と前記類似画像領域とのうちの少なくとも隣接する２つの領域を同時に前記検索画面に表示させることを特徴とする。

また、本発明にかかる画像検索装置は、上記発明において、前記表示制御部は、前記類似画像領域に表示させる類似画像と、前記検索条件領域の中で前記類似画像の検索のために選択された前記条件アイコンとの関連を示す区分け表示を行なわせることを特徴とする。

また、本発明にかかる画像検索装置は、上記発明において、前記表示制御部は、前記類似画像検索部による検索結果の利用用途を選択するためのメニュー画面を前記検索画面に表示させることを特徴とする。

また、本発明にかかる画像検索装置は、上記発明において、前記検索制御部は、前記表示制御部によって表示される複数の検索条件を用意し、該検索条件として、色、人物の顔、撮影時刻、撮影シーン、撮影構図または撮影場所の少なくとも一つを含むことを特徴とする。

また、本発明にかかるデジタルカメラは、上記いずれかに記載の画像検索装置を搭載したことを特徴とする。

また、本発明にかかる画像検索方法は、選択された検索条件で指定された基準画像に類似する画像を検索する類似画像検索部と、該類似画像検索部による検索のための検索画面を表示する表示部と、前記検索画面に対するユーザの操作を検出する操作検出部と、前記検索画面の表示を制御する表示制御部と、前記検索画面に対するユーザの操作に基づいて指定された基準画像と選択された検索条件で、対応する類似画像を検索するように前記類似画像検索部を制御する検索制御部と、を備える画像検索装置における画像検索方法であって、画像検索に際して、前記検索画面の一部の領域を前記基準画像を指定するための基準画像領域として画像記憶部に記憶された画像を指定自在に表示させ、さらに、該基準画像領域に隣接する領域を前記検索条件を選択するための検索条件領域としてアイコン化された条件アイコンを選択自在に表示させ、さらに、該検索条件領域に隣接する領域を類似画像領域として前記基準画像と前記検索条件で前記類似画像検索部により検索された類似画像を表示させるようにしたことを特徴とする。

また、本発明にかかる画像検索用プログラムは、検索のための検索画面を表示する表示部を備える画像検索装置のコンピュータに、選択された検索条件で指定された基準画像に類似する画像を検索する類似画像検索機能と、前記検索画面に対するユーザの操作を検出する操作検出機能と、前記検索画面の表示を制御する表示制御機能と、前記検索画面に対するユーザの操作に基づいて指定された基準画像と選択された検索条件で、対応する類似画像を検索するように前記類似画像検索機能を制御する検索制御機能と、を実行させ、前記表示制御機能は、前記検索画面の一部の領域を前記基準画像を指定するための基準画像領域として画像記憶部に記憶された画像を指定自在に表示させ、さらに、該基準画像領域に隣接する領域を前記検索条件を選択するための検索条件領域としてアイコン化された条件アイコンを選択自在に表示させ、さらに、該検索条件領域に隣接する領域を類似画像領域として前記基準画像と前記検索条件で前記類似画像検索機能により検索された類似画像を表示させることを特徴とする。

本発明によれば、類似画像検索に際してユーザに快適な検索環境を提示できる、優れた類似画像検索用のユーザインタフェースを提供できる画像検索装置、デジタルカメラ、画像検索方法および画像検索用プログラムを提供することができる。

以下、図面を参照して、本発明を実施するための最良の形態について説明する。

（実施の形態１）
図１は、本発明の画像検索装置を備えるデジタルカメラの概略構成例を示す背面図である。本実施の形態１のデジタルカメラ１は、カメラ本体の上面に配設されて撮影タイミングを指示するためのレリーズ操作部１３ａや、カメラ本体の背面に配設されたズーム操作部１３ｂ、撮影モード、再生モード、さらには再生モード中の検索モード等のモード設定を行うためのモード設定操作部１３ｃ、上下左右の方向を指示するための方向操作部１３ｄ等の各種操作ボタンを備えている。これらレリーズ操作部１３ａ，ズーム操作部１３ｂ、モード設定操作部１３ｃ、方向操作部１３ｄ等により操作部１３（図２参照）が構成されている。また、デジタルカメラ１は、カメラ本体の背面の大半の領域を占める表示部２３を備えている。この表示部２３は、撮影画像やライブビュー画像の他に、検索画面を含め、各種設定情報等を表示するためのものであり、ＬＣＤやＥＬＤ等の薄型表示装置で実現されている。また、デジタルカメラ１は、特に図示しないが、カメラ本体の前面側に撮影レンズ等の撮像光学系を備え、カメラ本体に内蔵の撮像素子に被写体像を結像可能に構成されている。

図２は、画像検索装置を備えるデジタルカメラ１のシステム構成例を示すブロック図である。本実施の形態１のデジタルカメラ１は、デジタルカメラ１を構成する各部に対する指示やデータ転送等を行い、デジタルカメラ１の動作を統括的に制御するためのＣＰＵからなる制御部１１を備える。また、デジタルカメラ１は、内部データ記憶部１２、カメラ部１５、撮像処理部１６、ＲＡＭ１７、画像処理部１８、圧縮伸長部１９、記録・再生部２０、表示駆動部２２、類似画像検索部２５、外部ＩＦ部２６の各部を備える。これら各部は、制御部１１に対してバスライン３０によって接続されている。

内部データ記憶部１２は、例えばフラッシュメモリ等の電気的に書換えが可能な不揮発性メモリである。この内部データ記憶部１２は、デジタルカメラ１を動作させ、このデジタルカメラ１が備える種々の機能を実現するためのＣＰＵ用のプログラム（例えば、画像検索用プログラム）や、このプログラムの実行中に使用されるデータ、例えば、後述する検索画面に表示させる条件アイコン、その他の表示用アイコンや文字などのデータが予め格納されている。

カメラ部１５は、デジタルカメラ１が被写体像を撮像するためのものであり、撮影レンズ、撮像素子、絞り、シャッタ、ＡＦ機構、ＡＦ駆動回路、ズーム機構、ズーム駆動機構等からなる。ここで、撮像素子は、例えばＣＣＤやＣＭＯＳセンサ等の２次元固体撮像素子からなり、撮影レンズを含む撮影光学系を通して入射する被写体像を光電変換し、アナログ電気信号として出力する。撮像処理部１６は、撮像素子駆動回路を含む他、撮像素子から出力されるアナログ電気信号に対してＡＧＣ、ＣＤＲＳ等のアナログ信号処理を施した後、Ａ／Ｄコンバータでデジタル電気信号に変換して出力させるためのものである。撮像部２７は、これらカメラ部１５と撮像処理部１６とによって構成されている。

ＲＡＭ１７は、例えばＳＤＲＡＭからなり、一時記憶メモリやワーキングエリアとして利用されるメモリであり、撮像処理部１６から出力されるデジタル電気信号や、画像処理部１８による処理中の画像データ等を一時的に記憶する。

画像処理部１８は、撮像処理部１６から出力されるデジタル電気信号に対して画素補間処理、色補正処理、ガンマ処理等の各種の画像処理を施すとともに、記録用、表示用等に適した画像データに変換する処理を行う。すなわち、画像処理部１８は、記録時（撮影時）には、記録画像に対しては記録用の画像処理を施し、表示用のライブビュー画像に対しては表示用の簡易な画像処理を施す。また、画像処理部１８は、電子ズームが指示された場合には、電子ズーム処理も行う。

圧縮伸長部１９は、撮影画像の画像データを画像記憶部２１に記録する際、あるいは画像記憶部２１に記録されている画像データを表示する際等において、周知のＪＰＥＧ方式等に基づく画像データの圧縮処理や伸長処理を行う。

記録・再生部２０は、画像記憶部２１に対する画像データの書き込みや画像記憶部２１からの画像データの読出しを行うためのものであり、画像記憶部２１の種類に応じたものが用いられる。ここで、画像記憶部２１は、例えばｘＤ−ピクチャーカード（登録商標）やコンパクトフラッシュ（登録商標）カード等のカメラ本体に着脱自在な記録媒体や、ＨＤＤであり、撮影画像の蓄積枚数が数百枚から１０００枚以上のものが用いられている。

表示駆動部２２は、エンコーダやＤ／Ａコンバータ等を有して、表示部２３に対する各種情報の表示を行わせるためのドライバである。また、類似画像検索部２５は、ユーザにより選択された検索条件でユーザにより指定された基準画像に類似する画像を検索するための検索エンジンである。さらに、外部ＩＦ部２６は、例えばＵＳＢ等の規格によってデジタルカメラ１を、例えばパソコン、プリンタ、携帯電話等の外部機器と接続するためのインタフェースであり、ＵＳＢ端子を備えている。

ここで、本実施の形態の制御部１１は、画像検索用プログラムにより実行される機能として、検索制御部１１ａと表示制御部１１ｂと操作検出部１１ｃの各機能部を備える。操作検出部１１ｃは、画像検索時に表示部２３に表示される検索画面に対するユーザの操作や、操作部１３に対するユーザの操作を検出するための機能部である。ここで、本実施の形態では、検索画面を表示する表示部２３に重ねて配設されたタッチパネル１４を備えており、操作検出部１１ｃは、このタッチパネル１４に対するユーザの操作を検出することで、検索画面に対するユーザ操作の検出動作を実行する。また、表示制御部１１ｂは、表示部２３に対する検索画面の表示を制御するとともに、この検索画面の表示に関する後述のような各種制御処理を実行するための機能部である。さらに、検索制御部１１ａは、検索画面に対するユーザの操作に基づいて指定された基準画像と選択された検索条件で、対応する類似画像を検索するように類似画像検索部２５を制御するための機能部である。

つぎに、モード設定操作部１３ｃの操作により検索モードが設定された場合に、表示制御部１１ｂによる検索画面２３ａの表示制御の概要を説明する。図３は、検索画面２３ａに関する各種情報の表示領域の関係を模式的に示す説明図である。表示制御部１１ｂは、検索モードに設定された場合、検索画面２３ａに表示させ得る表示内容として、基準画像領域Ｒａと検索条件領域Ｒｂと検索画像領域Ｒｃとの上下方向３列に分けられた領域を用意する。そして、表示制御部１１ｂは、デジタルカメラ１における検索画面２３ａのサイズと各領域Ｒａ，Ｒｂ，Ｒｃの適正な表示サイズの関係上、少なくとも２つの領域を同時に検索画面２３ａに表示させるように制御する。

まず、最上位の基準画像領域Ｒａは、画像記憶部２１に記憶された多数枚の画像ａを複数枚（例えば、８枚程度）ずつ順次指定自在に表示させるための領域である。類似画像検索部２５による検索処理に用いる基準画像Ｐａをユーザに指定させるためである。図３に示す例では、撮影済みの画像ａが２列のサムネイル形式で表示される。「１，２，３，・・」は、画像番号で、例えば時系列順（撮影日時順）に付与される。表示される画像ａはスクロール操作によって検索画面２３ａ内で左右方向に移動自在とされている。ここで、基本的には、検索画面２３ａ内に表示されている画像ａ中でユーザが所望の画像にタッチすることで検索に用いる基準画像Ｐａが指定される。このため、検索画面２３ａに表示される各画像ａは、ある程度の枚数を同時に表示できるとともに画像内容を判読でき、かつ、ユーザの指等によるタッチ操作に支障ない程度の大きさに設定されている。

また、基準画像領域Ｒａに隣接させて中段に位置する検索条件領域Ｒｂは、類似画像検索部２５による検索処理に用いられる検索条件を表示させるための領域である。検索条件をユーザに選択させるためである。本実施の形態では、複数の検索条件をそれぞれアイコン化した条件アイコンｂとして表示させるように設定されている。図３に示す例では、例えば複数の条件アイコンｂが１列に表示され、表示される条件アイコンｂはスクロール操作によって検索画面２３ａ内で左右方向に移動自在とされている。ここで、検索に用いる検索条件を規定する条件アイコンＰｂは、基本的には、検索画面２３ａ内に表示されている条件アイコンｂ中でユーザが所望のアイコンにタッチすることで選択可能とされている。このため、検索画面２３ａに表示される各条件アイコンｂは、複数のアイコンを同時に表示できるとともにアイコン内容を判読でき、かつ、ユーザの指等によるタッチ操作に支障ない程度の大きさに設定されている。本実施の形態では、条件アイコンｂは、画像ａよりも若干大きめに設定されている。

さらに、検索条件領域Ｒｂに隣接させて最下位に位置する類似画像領域Ｒｃは、類似画像検索部２５により検索された類似画像Ｐｃを検索結果として表示させるための領域である。指定された基準画像Ｐａと選択された条件アイコンＰｂに対応する検索条件で検索された類似画像が表示される。図３に示す例では、検索された類似画像Ｐｃが１列のサムネイル形式で表示され、表示される類似画像Ｐｃはスクロール操作によって検索画面２３ａ内で左右方向に移動自在とされている。ここで、類似画像Ｐｃは、基本的には、画像ａや基準画像Ｐａと同じ大きさで表示されるように設定されている。

ここで、表示制御部１１ｂは、例えば画像検索に際して、基準画像Ｐａの指定や検索条件の選択を行わせる段階では、検索画面２３ａに基準画像領域Ｒａと検索条件領域Ｒｂとの２つの領域を同時に表示させるように制御する。そして、画像検索の開始後には、図３中に模式的に示すように、表示部のサイズが許せば、検索画面２３ａに基準画像領域Ｒａの一部と検索条件領域Ｒｂと類似画像領域Ｒｃとが同時に表示されるよう制御されるのが望ましい。

このような検索画面２３ａの表示制御の下に、本実施の形態の検索モード時の検索画面２３ａの表示例について説明する。図４は、検索モードにおける検索画面２３ａの基本的な表示例を示す説明図である。まず、図４（ａ）は、検索モードに入った状態の検索画面２３ａの一表示例を示す。表示制御部１１ｂは、基準画像領域Ｒａに画像記憶部２１から読み出した複数枚の画像ａを２列のサムネイル形式で表示させるとともに、検索条件領域Ｒｂに複数の条件アイコンｂを１列で表示させる。なお、各画像ａの画像番号は省略するものとする。また、各条件アイコンｂには、その条件アイコンｂの意味を示す文字表記の条件タイトルｔを併せて表示させる。

また、表示制御部１１ｂは、検索画面２３ａ内において基準画像領域Ｒａ、検索条件領域Ｒｂの左右両側（または、片側）に、左右のスクロールアイコンＩａ，Ｉｂを表示させる。スクロールアイコンＩａにユーザがタッチしたことが、タッチパネル１４、操作検出部１１ｃを通じて検出されると、表示制御部１１ｂは、基準画像領域Ｒａに表示される画像ａを左または右方向にスクロール移動させる。同様に、スクロールアイコンＩｂにユーザがタッチしたことが、タッチパネル１４、操作検出部１１ｃを通じて検出されると、表示制御部１１ｂは、検索条件領域Ｒｂに表示される条件アイコンｂを左または右方向にスクロール移動させる。また、基準画像領域Ｒａの下部には、位置ゲージＧａを表示させる。位置ゲージＧａは、検索対象となる全選択画像に対して現選択画像の表示位置を示すものである。

ここで、類似画像を検索するための検索条件について説明する。本実施の形態では、検索制御部１１ａにより、複数の検索条件として、例えば撮影時刻、色、人物の顔、撮影シーン、撮影場所、撮影構図の６種類の条件が予め用意されている。表示制御部１１ｂによって、これら複数の検索条件が表示される。「撮影時刻」は、基準画像の撮影日時を条件とするものであり、同じ日時か近傍日時のものを検索させるためのものであり、条件アイコンｂとしては時計をイメージしたアイコンを表示させ、条件タイトルｔとしては「あの時間」と表示させる。「色」は、基準画像の特徴的または支配的な色を条件とするものであり、条件アイコンｂとしては複数色の色付き市松模様をイメージしたアイコンを表示させ、条件タイトルｔとしては「あの色」と表示させる。

また、「人物の顔」は、基準画像の人物を条件とするものであり、条件アイコンｂとしては笑顔をイメージしたアイコンを表示させ、条件タイトルｔとしては「あの人」と表示させる。「撮影シーン」は、基準画像が夜景である、夕焼け画像である等の状況を条件とするものであり、条件アイコンｂとしては山、星、月をイメージしたアイコンを表示させ、条件タイトルｔとしては「あのシーン」と表示させる。「撮影場所」は、基準画像を撮影した位置を条件とするものであり、条件アイコンｂとしては日本地図をイメージしたアイコンを表示させ、条件タイトルｔとしては「あの場所」と表示させる。「撮影構図」は、基準画像の構図を条件とするものであり、条件アイコンｂとしては人が２人並んだ様子をイメージしたアイコンを表示させ、条件タイトルｔとしては「あの構図」と表示させる。

これらの検索条件中、色や人物の顔なる条件は、画像記憶部２１に格納されている各画像自体が有する特徴量の一つに対応するものである。また、撮影時刻、撮影シーン、撮影場所、撮影構図なる条件に関しては、各画像の撮影時に付与される複数の情報中に含まれるものである。

まず、図４（ａ）に示すような検索画面２３ａの表示により、ユーザは、検索のための基準画像の指定と検索条件の選択が可能となる。ここで、検索画面２３ａ中に基準画像として指定すべき所望の画像ａが表示されていない場合には、スクロールアイコンＩａ部分にタッチされることで、基準画像領域Ｒａの表示画像ａが独立した移動により切換えられる。同様に、検索画面２３ａ中に検索条件として選択すべき所望の条件アイコンｂが表示されていない場合には、スクロールアイコンＩｂ部分にタッチされることで、検索条件領域Ｒｂの条件アイコンｂが独立した移動により切換えられる。そして、基準画像領域Ｒａ中の所望の画像ａ部分に指などでタッチされることで、基準画像Ｐａが指定される。また、検索条件領域Ｒｂ中の所望の条件アイコンｂ部分に指などでタッチされることで、検索条件Ｐｂが選択される。

ここで、本実施の形態では、所望の画像ａを基準画像Ｐａとして指定する場合、図４（ｂ）に示すように、指定した基準画像Ｐａをそのまま選択された検索条件Ｐｂの条件アイコンｂ部分まで、ドラッグ＆ドロップ操作されることで、基準画像Ｐａの指定と検索条件Ｐｂの選択とを行わせる。このようにして基準画像Ｐａの指定と検索条件Ｐｂの選択が行われると、検索制御部１１ａは、指定された基準画像Ｐａと選択された検索条件Ｐｂで、類似画像検索部２５による類似画像の検索処理を開始させる。

この際、ドラッグ＆ドロップ操作が行われたことが、タッチパネル１４を通じて操作検出部１１ｃで検出されると、表示制御部１１ｂは、図４（ｃ）に示すように、ユーザの操作により指定された基準画像Ｐａを選択された検索条件Ｐｂの条件アイコンｂに重ねて表示させる。すなわち、選択された条件アイコンｂ上に指定された基準画像Ｐａを上書き状態で貼り付けることで、条件アイコンｂの表示を基準画像Ｐａの表示に置き換える。これにより、現在検索に使用されている検索条件と基準画像が具体的にユーザに明示される。

そして、類似画像検索部２５による類似画像の検索処理が進むと、表示制御部１１ｂは、図４（ｃ）に示すように、その検索結果として得られた類似画像Ｐｃを類似画像領域Ｒｃに１列のサムネイル形式で表示させる。ここで、類似画像領域Ｒｃが出現するように検索画面２３ａは下方向にシフトされるよう表示される。また、類似画像領域Ｒｃの検索画面２３ａ内の左右両側（または、片側）に、左右のスクロールアイコンＩｃを表示させる。スクロールアイコンＩｃにユーザがタッチしたことが、タッチパネル１４、操作検出部１１ｃを通じて検出されると、表示制御部１１ｂは、類似画像領域Ｒｃに表示される類似画像Ｐｃを左または右方向にスクロール移動させる。

また、表示制御部１１ｂは、類似画像領域Ｒｃの下部には、位置ゲージＧｃを表示させる。位置ゲージＧｃは、検索結果となる全類似画像に対して、現在表示されている類似画像の相対位置を示すものである。さらに、表示制御部１１ｂは、区切り線Ｌによって区分け表示を行なわせる。区切り線Ｌは、類似画像領域Ｒｃと検索条件領域Ｒｂの一部とを一体化した領域と見せるような所定パターン形状である。区切り線Ｌの表示により、検索された類似画像Ｐｃとその検索の条件である条件アイコンｂ（置き換えられた基準画像Ｐａ）の関連が明瞭に示される。

なお、図４（ｃ）に示す例では、検索された類似画像Ｐｃを例えば撮影日時による時系列順に表示させるようにしているが、これに限らない。例えば、検索結果において基準画像Ｐａとの類似度が高い類似度順に表示させるようにしてもよく、さらには、時系列順と類似度順との表示を切換え可能としてもよい。

つづいて、図４（ｃ）以降の操作例および表示例について、数例挙げて説明する。まず、図５は、図４（ｃ）に示すような検索された類似画像Ｐｃの表示後に、さらにユーザにより同じ検索条件で新たな基準画像が指定される場合の表示例を示す説明図である。まず、図５（ａ）は、図４（ｃ）に示すような検索画面２３ａの表示状態において、ユーザにより２つ目の基準画像Ｐａ２が指定されて、検索条件領域Ｒｂ中の前回と同じ検索条件の部分にドラッグ＆ドロップ操作が行われた場合を示している。このような操作が行われた場合、検索制御部１１ａは、今回の基準画像Ｐａ２と選択されている検索条件とに従い、類似画像検索部２５による類似画像の検索処理を開始させる。

このような検索処理と並行して、表示制御部１１ｂは、図５（ｂ）に示すように、前回の基準画像Ｐａ１と今回の基準画像Ｐａ２との関係を選択するためのメニュー画面Ｍ１を検索画面２３ａ中に表示させる。このメニュー画面Ｍ１は、前回の基準画像Ｐａ１と関係のない検索を行わせる「新規検索」と、両基準画像Ｐａ１，Ｐａ２のＯＲをとる「ＯＲ検索」と、両基準画像Ｐａ１，Ｐａ２のＡＮＤをとる「ＡＮＤ検索」とを選択自在に表示する。図５（ｂ）は、例えば「ＯＲ検索」が選択された様子を示している。

メニュー画面Ｍ１において、ユーザの操作により「ＯＲ検索」が選択されたことがタッチパネル１４を通じて操作検出部１１ｃにより検出されると、表示制御部１１ｂは、図５（ｃ）に示すように、前回の基準画像Ｐａ１に加えて今回の新たな基準画像Ｐａ２も選択された条件アイコンｂ部分に重ねて表示させるとともに、両者の関係を示す文字（ここでは、ＯＲ）を表示させる。

そして、類似画像検索部２５による類似画像の検索処理が進むと、表示制御部１１ｂは、図４（ｃ）の場合と同様にして、図５（ｃ）中に示すように、両基準画像Ｐａ１，Ｐａ２のＯＲによる検索結果として得られた類似画像Ｐｃを類似画像領域Ｒｃに１列のサムネイル形式で表示させる。

ここで、図５（ｃ）中に示すように、類似画像領域Ｒｃの所望の類似画像Ｐｃ部分をユーザがシングルタッチしたことがタッチパネル１４を通じて操作検出部１１ｃにより検出されると、表示制御部１１ｂは、図５（ｄ）に示すように、タッチ指定された類似画像Ｐｃを検索画面２３ａの全域に拡大表示させる。この際、表示制御部１１ｂは、検索画面２３ａの左右両側にスクロールアイコンＩｄを併せて表示させる。スクロールアイコンＩｄにユーザがタッチしたことが、タッチパネル１４、操作検出部１１ｃを通じて検出されると、表示制御部１１ｂは、類似画像領域Ｒｃ中の左右に隣接する類似画像Ｐｃを１コマずつ拡大表示させる。一方、スクロールアイコンＩｄ以外の部分にタッチした場合には、表示制御部１１ｂは、図５（ｃ）に示す元のサムネイル表示に戻す。

また、図６は、図４（ｃ）に示すような検索された類似画像Ｐｃの表示後に、さらにユーザにより検索条件が追加される場合の表示例を示す説明図である。まず、図６（ａ）は、図４（ｃ）に示すような検索画面２３ａの表示において、ユーザにより検索条件領域ＲｂのスクロールアイコンＩｂが操作され、条件アイコンｂをスクロール移動させて変更させている様子を示している。

図６（ｂ）は、ユーザにより基準画像領域Ｒａおよび検索条件領域ＲｂのスクロールアイコンＩａ，Ｉｂがそれぞれ操作され、画像ａや条件アイコンｂをスクロール移動により変更させた状態を示している。

図６（ｃ）は、基準画像領域Ｒａ中から新たな基準画像Ｐａ２が指定され、検索条件領域Ｒｂ中から新たな検索条件（条件アイコン）Ｐｂ２が選択された状態を示している。ここで、本実施の形態では、前述した場合と同様に、所望の画像ａを基準画像Ｐａ２として指定する場合、指定した基準画像Ｐａ２をそのまま選択された検索条件Ｐｂ２の条件アイコン部分まで、ドラッグ＆ドロップ操作することで、基準画像Ｐａ２の指定と検索条件Ｐｂ２の選択とを行わせる。このようにして基準画像Ｐａ２の指定と検索条件Ｐｂ２の選択が行われると、検索制御部１１ａは、指定された基準画像Ｐａ２と選択された検索条件Ｐｂ２で、類似画像検索部２５による類似画像の検索処理を開始させる。

このような検索処理と並行して、表示制御部１１ｂは、図６（ｄ）に示すように、前回の検索条件Ｐｂ１と今回の検索条件Ｐｂ２との関係を選択するためのメニュー画面Ｍ１を検索画面２３ａ中に表示させる。このメニュー画面Ｍ１は、前回の検索条件Ｐｂ１と関係のない検索を行わせる「新規検索」と、前回と今回の検索条件のＯＲをとる「ＯＲ検索」と、前回と今回の検索条件のＡＮＤをとる「ＡＮＤ検索」とを選択自在に表示する。図６（ｄ）は、例えば「ＡＮＤ検索」が選択された様子を示している。

メニュー画面Ｍ１において、ユーザの操作により「ＡＮＤ検索」が選択されたことがタッチパネル１４を通じて操作検出部１１ｃにより検出されると、検索制御部１１ａは、前回と今回の検索条件のＡＮＤをとる検索処理を実行させる。そして、類似画像検索部２５による類似画像のＡＮＤ検索処理が進むと、表示制御部１１ｂは、図６（ｅ）中に示すように、両検索条件のＡＮＤによる検索結果として得られた類似画像Ｐｃを類似画像領域Ｒｃに１列のサムネイル形式で表示させる。さらに、表示制御部１１ｂは、区切り線Ｌによって区分け表示を行なわせる。区切り線Ｌの表示により、類似画像領域Ｒｃに表示させる類似画像Ｐｃと、検索条件領域Ｒｂの中で類似画像Ｐｃの検索のために選択された検索条件Ｐｂ１，Ｐｂ２（置き換えられた基準画像Ｐａ１，Ｐａ２）の関連が明瞭に示される。

さらに、図７は、図４（ｃ）に示すような検索された類似画像Ｐｃの表示後に、さらにユーザにより新規検索が選択される場合の表示例を示す説明図である。まず、図７（ａ）は、図４（ｃ）に示すような検索画面２３ａの表示において、新たな基準画像の指定や検索条件の選択を行なう前の様子を示している。

図７（ｂ）は、ユーザにより基準画像領域Ｒａおよび検索条件領域ＲｂのスクロールアイコンＩａ，Ｉｂがそれぞれ操作され、画像ａや条件アイコンｂをスクロール移動により変更させた状態を示している。さらに、基準画像領域Ｒａ中から新たな基準画像Ｐａ２が指定され、検索条件領域Ｒｂ中から新たな検索条件（条件アイコン）Ｐｂ２が選択された状態を示している。ここで、本実施の形態では、前述した場合と同様に、所望の画像ａを基準画像Ｐａ２として指定する場合、指定した基準画像Ｐａ２をそのまま選択された検索条件Ｐｂの条件アイコン部分まで、ドラッグ＆ドロップ操作することで、基準画像Ｐａ２の指定と検索条件Ｐｂ２の選択とを行わせる。このようにして基準画像Ｐａ２の指定と検索条件Ｐｂ２の選択が行われると、検索制御部１１ａは、指定された基準画像Ｐａ２と選択された検索条件Ｐｂ２で、類似画像検索部２５による類似画像の検索処理を開始させる。

このような検索処理と並行して、表示制御部１１ｂは、図７（ｃ）に示すように、前回の検索条件Ｐｂ１と今回の検索条件Ｐｂ２との関係を選択するためのメニュー画面Ｍ１を検索画面２３ａ中に表示させる。このメニュー画面Ｍ１は、前回の検索条件Ｐｂ１と関係のない検索を行わせる「新規検索」と、両検索条件のＯＲをとる「ＯＲ検索」と、両検索条件のＡＮＤをとる「ＡＮＤ検索」とを選択自在に表示する。図７（ｃ）は、例えば「新規検索」が選択された様子を示している。

メニュー画面Ｍ１において、ユーザの操作により「新規検索」が選択されたことがタッチパネル１４を通じて操作検出部１１ｃにより検出されると、今回の検索条件Ｐｂ２のみによる検索処理となる。そして、類似画像検索部２５による類似画像の検索処理が進むと、表示制御部１１ｂは、図７（ｄ）中に示すように、検索条件Ｐｂ２による検索結果として得られた類似画像Ｐｃ２を類似画像領域Ｒｃに１列のサムネイル形式で表示させる。さらに、表示制御部１１ｂは、区切り線Ｌによって区分け表示を行なわせる。区切り線Ｌの表示により、類似画像領域Ｒｃに表示させる類似画像Ｐｃ２と、検索条件領域Ｒｂの中で類似画像Ｐｃの検索のために選択された検索条件Ｐｂ２（置き換えられた基準画像Ｐａ２）の関連が明瞭に示される。

また、図８は、検索結果の利用メニューの表示例を示す説明図である。図４（ｃ）に示すような検索結果が表示された検索画面２３ａにおいて、ユーザにより所定方向の方向操作部１３ｄが操作されたことが操作検出部１１ｃにより検出されると、表示制御部１１ｂは、図８に示すように、検索画面２３ａに検索結果の利用用途を選択するためのメニュー画面Ｍ２を表示させる。このメニュー画面Ｍ２の選択肢としては、「保存する」「印刷する」「削除する」「転送する」「リセットする」の５種類が用意されている。「保存する」がタッチ選択された場合には、検索結果は、例えば画像記憶部２１に格納される。「印刷する」がタッチ選択された場合には、検索結果は、例えば外部ＩＦ部２６に接続されたプリンタにより印刷される。「削除する」がタッチ選択された場合には、検索結果は削除される。「転送する」がタッチ選択された場合には、例えば外部ＩＦ部２６に接続されたＰＣや携帯電話等に転送される。「リセットする」がタッチ選択された場合には、表示されている検索結果はリセットされる。ここで、検索結果のデータには、検索条件と検索された類似画像あるいは検索した日時等が含まれる。

なお、前述の説明では、小型携帯機器であるデジタルカメラ１の検索画面２３ａのサイズと各領域Ｒａ，Ｒｂ，Ｒｃの適正な表示サイズの関係上、２つの領域を同時に検索画面２３ａに表示させるように制御したが、検索画面２３ａのサイズや各領域Ｒａ，Ｒｂ，Ｒｃの適正な表示サイズにおいて特に支障がなければ、図９に示すように、検索画面２３ａに３つの領域Ｒａ，Ｒｂ，Ｒｃを同時に表示させるようにしてもよいのは勿論である。

つづいて、上述したような表示制御を実現するための制御部１１による動作制御例について説明する。図１０は、制御部１１により実行される検索処理の動作制御例を示すメインフローチャートである。本実施の形態で対象とする類似画像検索処理は、モード設定操作部１３ｂによって再生モード中の検索モードが指定されることにより実行される。まず、再生モードにおいて、検索モードが指定されているか否かを判定する（ステップＳ１）。検索モードが指定されていなければ（ステップＳ１：Ｎｏ）、通常の再生処理を実行する（ステップＳ２）。一方、検索モードが指定されていれば（ステップＳ１：Ｙｅｓ）、検索モードの処理を実行する（ステップＳ３）。そして、いずれの処理にしても、所定のＯＦＦ指示があるまで（ステップＳ４：Ｙｅｓ）、処理を繰り返す。

図１１は、制御部１１により実行されるステップＳ３の検索モードの動作制御例を示すフローチャートである。まず、検索モードが指定されると、表示制御部１１ｂによって表示部２３に検索画面２３ａを表示させる（ステップＳ１１）。この場合の検索画面２３ａは、例えば図４（ａ）に示したようなものである。

ついで、基準画像領域Ｒａや検索条件領域ＲｂのスクロールアイコンＩａ，Ｉｂに対してユーザのタッチ操作によるスクロール指示があったか否かを操作検出部１１ｃの検出結果により判定する（ステップＳ１２）。スクロール指示があった場合には（ステップＳ１２：Ｙｅｓ）、表示制御部１１ｂは、検索画面２３ａにおいてスクロール処理を実行する（ステップＳ１３）。すなわち、スクロールアイコンＩａによるスクロール指示の場合であれば、画像ａを独立してスクロール移動させ、スクロールアイコンＩｂによるスクロール指示の場合であれば、条件アイコンｂを独立してスクロール移動させる。

そして、基準画像Ｐａが指定され、条件アイコンＰｂが選択されたか否かを操作検出部１１ｃの検出処理により判定する（ステップＳ１４）。ここでは、例えば図４（ｂ）等に示したように、指定された基準画像Ｐａが、選択された条件アイコンＰｂに対してドラッグ＆ドロップされることにより、基準画像Ｐａと検索条件（条件アイコン）Ｐｂとが確定したか否かを判定する。基準画像Ｐａの指定および条件アイコンＰｂの選択がない場合には（ステップＳ１４：Ｎｏ）、停止等の指示があるか否かを判定し（ステップＳ１５）、特に停止等の指示がなければ（ステップＳ１５：Ｎｏ）、ステップＳ１２に戻り、スクロール指示や基準画像の指定等を待つ。

基準画像Ｐａの指定および条件アイコン（検索条件）Ｐｂの選択を意味するドラッグ＆ドロップ操作があった場合には（ステップＳ１４：Ｙｅｓ）、表示制御部１１ｂは、検索画面２３ａの表示処理を実行する（ステップＳ１６）。この表示処理は、例えば図４（ｃ）中に示したような条件アイコンＰｂに対してドラッグ＆ドロップ操作された基準画像Ｐａの上書き貼り付けによる表示の変更等の処理である。そして、検索制御部１１ａは、類似画像検索部２５に対して検索処理を実行させる（ステップＳ１７）。

図１２は、類似画像検索部２５により実行される検索実行処理例を示すフローチャートである。この処理は、例えば特開２００１−１１７９２８号公報に示される処理に準じて行えばよく、ここでは、概略を示す。まず、選択された条件アイコンｂにより検索条件を設定する（ステップＳ４１）。次いで、指定された基準画像Ｐａを画像記憶部２１から読み出す（ステップＳ４２）。そして、設定された検索条件Ｐｂに応じて、基準画像Ｐａの特徴量を算出し、特徴ベクトルを作成する（ステップＳ４３）。

一方、画像記憶部２１に記憶されている多数の画像ａを比較画像として１枚ずつ順次読み出す（ステップＳ４４）。そして、検索条件に応じて、比較画像の特徴量を算出し、特徴ベクトルを作成する（ステップＳ４５）。ついで、基準画像Ｐａおよび比較画像ａの特徴ベクトルを比較し（ステップＳ４６）、比較の結果、類似度が一定以上であるか否かを判定する（ステップＳ４７）。類似度が一定以上であれば（ステップＳ４７：Ｙｅｓ）、比較画像ａにつき類似画像である旨の類似設定を行い（ステップＳ４８）、類似度が一定以上でなければ（ステップＳ４７：Ｎｏ）、比較画像ａにつき非類似画像である旨の非類似設定を行う（ステップＳ４９）。そして、中止の指示があれば（ステップＳ５０：Ｙｅｓ）、検索実行処理を途中で中止してリターンするが、中止の指示がなければ（ステップＳ５０：Ｎｏ）、画像記憶部２１に格納された最後の画像ａが比較画像となるまで（ステップＳ５１：Ｙｅｓ）、ステップＳ４４〜Ｓ４９の処理を繰り返し実行する。

そして、図１１に戻り、検索実行処理を終了すると、この処理が１回目であるか否かを判定する（ステップＳ１８）。１回目であった場合には（ステップＳ１８：Ｙｅｓ）、表示制御部１１ｂは、検索結果として得られた類似画像Ｐｃを検索画面２３ａの類似画像領域Ｒｃに表示させる（ステップＳ１９）。ここで、表示される類似画像Ｐｃは、ステップＳ４８の処理で類似設定された比較画像であり、図４（ｃ）に示したように表示される。

一方、検索実行処理が、１回目ではなく、２回目以降であった場合には（ステップＳ１８:Ｎｏ）、表示制御部１１ｂは、図５（ｂ）、図６（ｄ）、図７（ｃ）に示したように、検索画面２３ａにメニュー画面Ｍ１を表示させる（ステップＳ２０）。そして、このメニュー画面Ｍ１の表示に対して、いずれの処理がユーザによりタッチ指示されたかを操作検出部１１ｃの検出結果により判定する（ステップＳ２１）。ここで、図５（ｂ）に示したようにＯＲ検索の指示があった場合には、図５（ｃ）に示したように、ＯＲ検索処理を実行させる（ステップＳ２２）。また、図６（ｄ）に示したようにＡＮＤ検索の指示があった場合には、図６（ｅ）に示したように、ＡＮＤ検索処理を実行させる（ステップＳ２３）。さらに、図７（ｃ）に示したように新規検索の指示があった場合には、図７（ｄ）に示したように、前回結果をリセットする処理を実行させる（ステップＳ２４）。そして、いずれの場合も、表示制御部１１ｂは、検索結果を検索画面２３ａの類似画像領域Ｒｃに表示させる（ステップＳ１９）。

その後、ユーザによる方向操作部１３ｄの操作に伴う検索結果の利用メニューの表示指示があったか否かを判定する（ステップＳ２５）。利用メニューの表示指示があった場合には（ステップＳ２５：Ｙｅｓ）、表示制御部１１ｂは、図８に示したように、検索画面２３ａにメニュー画面Ｍ２を表示させる（ステップＳ２６）。そして、このメニュー画面Ｍ２上で利用項目のタッチ指定があった場合には（ステップＳ２７：Ｙｅｓ）、指定された利用項目に応じた処理を実行させる（ステップＳ２８）。各利用項目の処理の詳細については省略する。

また、このような利用メニューの表示指示がなく（ステップＳ２５：Ｎｏ）、あるいは、利用項目の指定がない場合には（ステップＳ２７：Ｎｏ）、あるいは、各利用項目の処理が終了すると、図５（ｃ）に模式的に示したように、類似画像領域Ｒｃに対してユーザによるシングルタッチ指示があったか否かを操作検出部１１ｃの検出結果により判定する（ステップＳ２９）。特に、シングルタッチ指示がない場合には（ステップＳ２９：Ｎｏ）、ステップＳ１２に戻る。

一方、シングルタッチ指示があった場合には（ステップＳ２９：Ｙｅｓ）、指示された類似画像Ｐｃが現在拡大表示中であるか否かを判定する（ステップＳ３０）。現在拡大表示中でない場合には（ステップＳ３０：Ｎｏ）、表示制御部１１ｂは、シングルタッチ指示された類似画像Ｐｃを検索画面２３ａ全体に拡大表示させる（ステップＳ３１）。すなわち、図５（ｃ）に示したような表示から図５（ｄ）に示したような表示に変更させる。また、現在拡大表示中であった場合には（ステップＳ３０：Ｙｅｓ）、表示制御部１１ｂは、通常の検索画面２３ａの表示に戻す処理を実行する（ステップＳ３２）。すなわち、図５（ｄ）に示したような表示から図５（ｃ）に示したような表示に戻す。

このように、本実施の形態１によれば、検索画面２３ａが、画像記憶部２１に格納されている画像中から基準画像を指定するための基準画像領域Ｒａと、複数の検索条件中から所望の検索条件を選択するための検索条件領域Ｒｂと、検索結果として類似画像を表示するための類似画像領域Ｒｃとに分けられて隣接表示されるので、類似画像検索に際してユーザに快適な検索環境を提示できる、優れた類似画像検索用のユーザインタフェースを提供することができる。特に、検索条件は、条件アイコンｂとしてアイコン化されて表示されるので、文字だけによる場合よりも、少ない表示エリアでも検索条件の内容を容易に理解させることができ、デジタルカメラ１用の小型の表示部２３に適した表示形態となる。さらには、選択された条件アイコンＰｂ上に指定された基準画像Ｐａを貼り付けることで、条件アイコンＰｂの表示を基準画像Ｐａの表示に置き換えるようにしているので、検索条件を、条件アイコンｂによる一般的なものでなく、基準画像Ｐａを利用した画像により具体的にユーザに明示させることができる。

また、本実施の形態１によれば、検索された類似画像の表示後にさらにユーザ操作により検索条件が追加された場合には、前回の検索条件と追加された検索条件との関係を選択するためのメニュー画面Ｍ１を検索画面２３ａに表示させるので、検索条件を変えた複数回の検索を簡単に行わせることができ、１回だけの検索では類似画像数を絞り切れなかったような場合に利便性の高いものとなる。

また、本実施の形態１によれば、検索された類似画像の表示後にさらにユーザ操作により同じ検索条件で新たな基準画像が指定された場合には、前回の基準画像に加えて新たな基準画像も条件アイコンに重ねて表示させるようにしたので、複数回の検索を行う場合に、２つの基準画像が表示されることとなり、ユーザは、前後の検索の関係を容易に理解することができる。

さらには、本実施の形態１によれば、検索画面２３ａを表示する表示部２３に重ねて配設されたタッチパネル１４に対するユーザの操作を操作検出部１１ｃで検出し、タッチパネル１４に対するユーザの操作に応じて、検索画面２３ａに同時に表示される基準画像領域Ｒａの画像ａと検索条件領域Ｒｂの条件アイコンｂとをそれぞれ独立した移動により切換えるようにしたので、直感的な操作で検索のための操作を行うことができ、不慣れな初心者であっても類似検索を容易に行うことができる。

また、本実施の形態１によれば、基準画像領域Ｒａと検索条件領域Ｒｂと類似画像領域Ｒｃとのうちの少なくとも隣接する２つの領域を同時に検索画面２３ａに表示させるようにしたので、対比が容易となる。さらには、本実施の形態１によれば、類似画像領域Ｒｃに表示させる類似画像Ｐｃと、検索条件領域Ｒｂの中で類似画像Ｐｃの検索のために選択された条件アイコンＰｂとの関連を示す区分け表示を行なわせるようにしたので、選択された検索条件と検索結果としての類似画像との関係が明瞭となる。

さらには、本実施の形態１によれば、類似画像検索部２５による検索結果の利用用途を選択するためのメニュー画面Ｍ２を検索画面２３ａに表示させるようにしたので、単に類似画像を見つけるだけでなく、見つけた類似画像をその後有効に利用することも簡単にできる。

（実施の形態２）
つづいて、本発明の実施の形態２について説明する。実施の形態１で示した部分と同一部分は、同一符号を用いて示し、説明も省略する。本実施の形態２も、図１および図２に示したような構成のデジタルカメラ１への適用例を示す。本実施の形態２では、検索用の基準画像をライブビュー画像によって指定させる点を特徴としている。つまり、デジタルカメラ１の有する撮像機能に基づき、カメラ部１５中の撮像素子に結像される被写体像がライブビュー画像として動画的にリアルタイムで表示部２３に表示させるが、本実施の形態２ではこのライブビュー機能を検索に利用する。

すなわち、本実施の形態２における撮像部２７は、撮影モード時に表示部２３にライブビュー画像を出力することに加えて、検索モード時にあっても、表示部２３に表示するライブビュー画像を出力するよう制御される。また、本実施の形態２における表示制御部１１ｂは、概略的には、ライブビュー画像から検索用の基準画像を指定させ、かつ、予め複数用意された検索条件から少なくとも一の検索条件を選択させるための検索画面を表示部２３に表示させる機能を有する。また、本実施の形態２における操作検出部１１ｃは、検索画面（タッチパネル）または当該デジタルカメラ１の操作部１３に対するユーザの操作を検出する機能を有する。さらに、本実施の形態２における検索制御部１１ａは、検索画面に対するユーザの操作に基づいて選択された検索条件と、ライブビュー画像表示中のユーザの操作に基づいて指定された基準画像で、対応する類似画像を検索するように類似画像検索部２５を制御する機能を有する。

ここで、モード設定操作部１３ｃにより検索モードが設定された場合の本実施の形態２の表示制御部１１ｂによる検索画面２３ｂの表示制御例の概要について説明する。図１３は、検索画面２３ｂの表示制御例を模式的に示す説明図である。この図１３は、前方にある特定の被写体と、その被写体を検索モードで表示しているデジタルカメラ１を背面から見た図である。再生モード中の一つのモードである検索モードに設定された場合、本実施の形態２では、撮像部２７が起動し、撮像部２７から被写体３１を撮像したライブビュー画像が出力される。そこで、本実施の形態２の表示制御部１１ｂは、検索モードに設定された場合、検索画面２３ｂに表示させる表示内容として、撮像部２７から出力されるライブビュー画像Ｐｒを含む。このライブビュー画像Ｐｒは、撮影範囲枠３２に従い検索画面２３ｂの中央部の大半を占めて見やすいように表示される。

また、撮影範囲枠３２の一隅、例えば左上には、検索条件をアイコン化して示す条件アイコンＰｂを表示させ、その右横には、条件アイコンＰｂの意味を示す文字表記の条件タイトルｔを併せて表示させる。ここで、本実施の形態２でも、検索条件として実施の形態１の場合と同様に、例えば撮影時刻、色、人物の顔、撮影シーン、撮影場所、撮影構図の６種類が予め用意され、それぞれ条件アイコンが用意されている。そして、このような検索条件の数に対応させて、条件アイコンが左右方向に１列で仮想されており、検索画面２３ｂの左右両側のスクロールアイコンＩｂにタッチ操作して条件アイコンＰｂを左方向または右方向にスクロール移動させることで、検索条件の切換えが可能とされている。

例えば、図１３に示す例では、「この色」なる条件アイコンＰｂ１１の撮影範囲枠３２が中央に表示され、その右側に「この人」なる条件アイコンＰｂ１２の撮影範囲枠３２の一部が表示されている様子を示している。そこで、例えば左側のスクロールアイコンＩｂにタッチ操作すると、「この人」なる条件アイコンＰｂ１２がアニメ的に動いて中央に表示され、検索条件が「この人」なる条件アイコンＰｂ１２に切り換わる。この際、ライブビュー画像Ｐｒ自体の表示は変わらない。

本実施の形態２の場合、類似画像検索に際して、所望の検索条件の情報を有する基準画像となり得る被写体３１を探し、この被写体３１をライブビュー画像として検索画面２３ｂに撮像表示させて検索に関する条件を設定することとなる。ここで、本実施の形態２では、本来の撮影時と同様に、ユーザによるレリーズ操作部１３ａのレリーズ操作に基づきライブビュー画像を基準画像として指定して、類似画像の検索処理を実行させるように制御する。なお、レリーズ操作部１３ａには、レリーズ操作として第１段階のレリーズ操作（１ｓｔレリーズ）と、第２段階のレリーズ操作（２ｎｄレリーズ）とがある。そこで、検索制御部１１ａは、１ｓｔレリーズ操作ではライブビュー画像を仮の基準画像として類似画像の検索処理を開始させ、２ｎｄレリーズ操作がなされることでライブビュー画像を基準画像として固定し、類似画像の検索処理を実行させるように制御する。

このような概要の下、レリーズ操作を伴う本実施の形態２の表示制御例について図１４を参照して説明する。図１４（ａ）は、図１３に示すようなライブビュー画像Ｐｒの表示状態では被写体像のターゲット部分が小さすぎるため、ズーム操作部１３ｂの操作によりライブビュー画像Ｐｒ中の目的とする被写体像をズームアップさせながら、レリーズ操作部１３ａが１ｓｔレリーズ操作されている状態を示している。

このような１ｓｔレリーズ操作が操作検出部１１ｃにより検出されると、検索制御部１１ａは、この１ｓｔレリーズ操作のタイミングで検索画面２３ｂに表示されているライブビュー画像Ｐｒを仮の基準画像Ｐａとして指定し、かつ、選択されている条件アイコンＰｂ１１の検索条件で、類似画像検索部２５による類似画像の検索動作を開始させる。この際、表示制御部１１ｂは、ライブビュー画像Ｐｒの中で、選択された検索条件（条件アイコンＰｂ１１）に使用する部分を示す検索用部分特定マークＰｍをこのライブビュー画像Ｐｒに重畳させて表示させる。ここで、検索用部分が、選択された検索条件に応じて被写体の中で自動的に特定されるが、その特定された位置に検索用部分特定マークＰｍが表示される。例えば、検索条件として「この色」が選択されていれば、画面内の主要色が選択され、その主要色の領域に検索用部分特定マークＰｍが表示される。また、検索条件として「この人」が選択されていれば、画面内の人物の顔が選択され、その顔の部分に検索用部分特定マークＰｍが表示される。

図１４（ａ）に示す例は、図１３の状態からズームアップされた画像である。ライブビュー画像Ｐｒの中で中央にあるりんごの領域を大きくして、りんごの色を主要色に指定するためである。りんごの色が選択されると、中央部に円形の検索用部分特定マークＰｍが表示され、検索条件Ｐｂ１１の「この色」がリンゴの赤色を示していることがわかる。なお、検索用部分としては、画面中央に近い部分や画面内での相対サイズが大きい部分が、優先的に指定される。

また、検索画面２３ｂにおいて、ライブビュー画像Ｐｒの表示部分の下部には、検索結果として得られる類似画像Ｐｃを表示するための類似画像領域Ｒｃが用意されている。そこで、表示制御部１１ｂは、検索動作の開始とともに得られる類似画像Ｐｃを検索画面２３ｂにおいてライブビュー画像Ｐｒとともにこの類似画像領域Ｒｃに表示させる。類似画像Ｐｃは、例えば検索された順番（時系列順）に表示される。なお、図１４（ａ）は、類似画像領域Ｒｃにおける類似画像Ｐｃの表示が途中である状態を示している。検索対象となる画像が多ければ、全ての画像について検索が終了するには時間がかかり、瞬時には類似画像が表示できないからである。また、類似画像領域Ｒｃの検索画面２３ｂ内の左右両側（または、片側）に、左右のスクロールアイコンＩｃを表示させる。スクロールアイコンＩｃにユーザがタッチしたことが、タッチパネル１４、操作検出部１１ｃを通じて検出されると、表示制御部１１ｂは、類似画像領域Ｒｃに表示される類似画像Ｐｃを左または右方向にスクロール移動させる。

ところで、図１４（ａ）に示すような１ｓｔレリーズ操作が継続されていることが操作検出部１１ｃによって検出されている間は、基準画像が仮に指定されているだけであり、デジタルカメラ１の画角が変わることでライブビュー画像Ｐｒが変化する。このようにライブビュー画像Ｐｒが変化すると、検索制御部１１ａは、その変化に応じて仮の基準画像Ｐａを変更（更新）して、類似画像検索部２５による新たな類似画像の検索を同様に行わせる。

つづいて、図１４（ｂ）は、図１４（ａ）に示す状態からズーム操作部１３ｂのズーム操作によりライブビュー画像Ｐｒ中の目的とする被写体像をさらにズームアップさせ、かつ、レリーズ操作部１３ａが２ｎｄレリーズ操作された状態を示している。図１４（ｂ）に示す例では、ライフビュー画像Ｐｒとして被写体３１のリンゴがズームアップされ、撮影範囲枠３２内全体が赤色画像となって状態を示している。そして、２ｎｄレリーズ操作されたことが操作検出部１１ｃにより検出されると、検索制御部１１ａは、２ｎｄレリーズ操作のタイミングで表示されているライブビュー画像Ｐｒを基準画像Ｐａとして固定し、類似画像検索部２５による最終的な類似画像の検索を行わせる。また、表示制御部１１ｂは、検索結果として得られた類似画像Ｐｃを検索画面２３ｂにおいて類似画像領域Ｒｃに１列で表示させる。類似画像Ｐｃは、例えば検索された順番（時系列順）に表示される。

図１４（ｃ）は、図１４（ｂ）に示す表示状態で、所定方向の方向操作部１３ｄが操作されることにより、類似画像領域Ｒｃにおける類似画像Ｐｃの表示順を類似度順に切換えた場合を示している。表示制御部１１ｂは、基準画像Ｐｃが固定されて類似画像Ｐｃの検出結果が得られた後、所定方向の方向操作部１３ｄが操作されたことを操作検出部１１ｃにより検出されると、類似画像領域Ｒｃにおける類似画像Ｐｃの表示順を時系列順から類似度順に切換える。なお、所定方向の方向操作部１３ｄが再度操作されると、類似画像領域Ｒｃにおける類似画像Ｐｃの表示順は類似度順から時系列順に再度切換えられる。

また、表示制御部１１ｂは、２ｎｄレリーズ操作によってライブビュー画像Ｐｒの中から基準画像Ｐａが指定（固定）された後は、この基準画像ＰａがＲＡＭ１７に記憶され、図１４（ｂ）や図１４（ｃ）に示すように、ライブビュー画像に代えてＲＡＭ１７に記憶された基準画像Ｐａを固定的に表示させる。

また、図１４（ｄ）は、検索結果の利用メニューの表示例を示す説明図である。図１４（ｃ）に示すような検索結果が表示された検索画面２３ｂの状態において、ユーザにより所定方向の方向操作部１３ｄが操作されたことが操作検出部１１ｃにより検出されると、表示制御部１１ｂは、図１４（ｄ）に示すように、検索画面２３ｂに検索結果の利用用途を選択するためのメニュー画面Ｍ２を表示させる。これは、図８に示した場合と同様であり、説明を省略する。

なお、図１４（ｂ）では、２ｎｄレリーズ操作により固定された基準画像Ｐａを、類似画像の検索完了後もライブビュー画像Ｐｒの大きさで表示させるようにしたが、基準画像に変動がない検索完了後には、図１５（ａ）に示すように、表示制御部１１ｂによる制御によって、自動的に、基準画像Ｐａのサイズを小さくし、類似画像領域Ｒｃの表示領域を広くして、より多くの類似画像Ｐｃを同時に表示させるようにしてもよい。

また、図１５（ａ）中に示すように、類似画像領域Ｒｃの所望の類似画像Ｐｃ部分をユーザがシングルタッチしたことがタッチパネル１４を通じて操作検出部１１ｃにより検出されると、表示制御部１１ｂは、図１５（ｂ）に示すように、タッチ指定された類似画像Ｐｃを検索画面２３ｂの全域に拡大表示させる。また、図１５（ｂ）に示すように拡大表示された類似画像Ｐｃのいずれかの部分にタッチした場合には、表示制御部１１ｂは、図１５（ａ）に示す元のサムネイル表示に戻す。このような拡大表示は、図１４（ｂ）または図１４（ｃ）に示す表示の場合でも同様である。

次に、図１６を参照して別の検索条件に変更した場合の表示制御例について説明する。図１６（ａ）は、図１３の場合に対して、基準画像となり得る被写体３１を変更するとともに、スクロールアイコンＩｂの操作によって検索条件を条件アイコンＰｂ１１から条件アイコンＰｂ１２に変更した場合の表示例を示す説明図である。この際、表示制御部１１ｂは、ライブビュー画像Ｐｒの中で、選択された検索条件（条件アイコンＰｂ１２）に使用する部分を示す検索用部分特定マークＰｍをこのライブビュー画像Ｐｒに重畳させて表示させる。

図１６（ｂ）は、図１６（ａ）に示すようなライブビュー画像Ｐｒの表示状態において、被写体像のターゲット部分が小さすぎるため、ズーム操作部１３ｂの操作によりライブビュー画像Ｐｒ中の目的とする被写体像のターゲット部分をズームアップさせながら、レリーズ操作部１３ａが１ｓｔレリーズ操作されている状態を示している。

このような１ｓｔレリーズ操作が操作検出部１１ｃにより検出されると、検索制御部１１ａは、この１ｓｔレリーズ操作のタイミングで検索画面２３ｂに表示されているライブビュー画像Ｐｒを仮の基準画像Ｐａとして指定し、かつ、選択されている条件アイコンＰｂ１２の検索条件で、類似画像検索部２５による類似画像の検索動作を行わせる。この際、表示制御部１１ｂは、検索用部分特定マークＰｍも被写体像に合わせてズームアップさせる。

また、表示制御部１１ｂは、検索動作の開始とともに得られる類似画像Ｐｃを検索画面２３ｂにおいてライブビュー画像Ｐｒとともに類似画像領域Ｒｃに１列で表示させる。類似画像Ｐｃは、例えば検索された順番（時系列順）に表示される。また、類似画像領域Ｒｃの検索画面２３ｂ内の左右両側（または、片側）に、左右のスクロールアイコンＩｃを表示させる。スクロールアイコンＩｃにユーザがタッチしたことが、タッチパネル１４、操作検出部１１ｃを通じて検出されると、表示制御部１１ｂは、類似画像領域Ｒｃに表示される類似画像Ｐｃを左または右方向にスクロール移動させる。

つづいて、図１６（ｃ）は、図１６（ｂ）に示す状態からズーム操作部１３ｂのズーム操作によりライブビュー画像Ｐｒ中の被写体像のターゲット部分をさらにズームアップさせ、レリーズ操作部１３ａが２ｎｄレリーズ操作された状態を示している。このような２ｎｄレリーズ操作されたことが操作検出部１１ｃにより検出されると、検索制御部１１ａは、２ｎｄレリーズ操作のタイミングで表示されているライブビュー画像Ｐｒを基準画像Ｐａとして固定し、類似画像検索部２５による最終的な類似画像の検索を行わせる。また、表示制御部１１ｂは、検索結果として得られた類似画像Ｐｃを検索画面２３ｂにおいて類似画像領域Ｒｃに１列で表示させる。類似画像Ｐｃは、例えば検索された順番（時系列順）に表示される。この場合の表示も、図１５（ａ）に示したように、基準画像Ｐａのサイズを小さくし、類似画像領域Ｒｃを広くするようにしてもよい。

つづいて、上述したような表示制御を実現するための本実施の形態２の制御部１１による動作制御例について説明する。図１７は、制御部１１により実行される検索処理の動作制御例を示すメインフローチャートである。本実施の形態で対象とする画像検索処理は、モード設定操作部１３ｂによって再生モード中の検索モードが指定されることにより実行されるものであり、まず、再生モードにおいて、検索モードが指定されているか否かを判定する（ステップＳ１０１）。検索モードが指定されていなければ（ステップＳ１０１：Ｎｏ）、通常の再生処理を実行する（ステップＳ１０２）。一方、検索モードが指定されていれば（ステップＳ１０１：Ｙｅｓ）、検索モードの処理を実行する（ステップＳ１０３）。そして、いずれの処理にしても、所定のＯＦＦ指示があるまで（ステップＳ１０４：Ｙｅｓ）、処理を繰り返す。

図１８および図１９は、制御部１１により実行されるステップＳ１０３の検索モードの動作制御例を示すフローチャートである。まず、検索モードが指定されると、再生モードでは本来使用しない撮像部２７を起動させる（ステップＳ１１１）。基準画像を指定するためのライブビュー画像を表示させるためである。そして、表示制御部１１ｂによって表示部２３に検索画面２３ｂを表示させる（ステップＳ１１２）。この場合の検索画面２３ｂは、例えば図１３に示したようなものであり、ライブビュー画像表示状態となる。

ついで、スクロールアイコンＩｂに対するユーザのタッチ操作による条件アイコンＰｂのスクロール指示があったか否かを操作検出部１１ｃの検出結果により判定する（ステップＳ１１３）。スクロール指示があった場合には（ステップＳ１１３：Ｙｅｓ）、表示制御部１１ｂは、検索画面２３ｂにおいてスクロール処理を実行する（ステップＳ１１４）。すなわち、条件アイコンＰｂを左または右にスクロール移動させる。これにより、ライブビュー画像Ｐｒが表示される撮影範囲枠３２部分に位置させた条件アイコンＰｂに合わせて検索条件を変更する（ステップＳ１１５）。

このようなライブビュー画像Ｐｒの表示状態において、ズーム操作部１３ｂが押下されたか否かを操作検出部１１ｃの検出結果により判定する（ステップＳ１１６）。ズーム操作部１３ｂが押下された場合には（ステップＳ１１６：Ｙｅｓ）、その操作量に応じてライブビュー画像Ｐｒの大きさが変わるようにズームの切換えを行う（ステップＳ１１７）。ズーム操作部１３ｂが押下されない場合には（ステップＳ１１６：Ｎｏ）、ステップＳ１１７の処理をジャンプする。

さらに、ライブビュー画像Ｐｒの表示状態において、レリーズ操作部１３ａが１ｓｔレリーズ操作されたか否かを操作検出部１１ｃの検出結果により判定する（ステップＳ１１８）。１ｓｔレリーズ操作されていない場合には（ステップＳ１１８：Ｎｏ）、停止等の指示があるか否かを判定し（ステップＳ１１５）、停止等の指示がなければ（ステップＳ１１５：Ｎｏ）、ステップＳ１１３に戻り、ライブビュー画像Ｐｒの表示状態を継続する。

一方、１ｓｔレリーズ操作された場合には（ステップＳ１１８：Ｙｅｓ）、検索制御部１１ａは、１ｓｔレリーズ操作のタイミングで表示されているライブビュー画像Ｐｒを仮の基準画像Ｐａとして、類似画像検索部２５に類似画像の検索処理を実行させる（ステップＳ１１９）。この場合の検索実行処理は、図１２の場合と同様である。この検索処理が開始されると、図１４（ａ）等に示したように、検索結果の表示も併せて開始される。

さらに、レリーズ操作部１３ａが２ｎｄレリーズ操作されたか否かを操作検出部１１ｃの検出結果により判定する（ステップＳ１２０）。２ｎｄレリーズ操作がされていない場合には（ステップＳ１２０：Ｎｏ）、レリーズ操作部１３ａの１ｓｔレリーズ操作が解除されたか否かを操作検出部１１ｃの検出結果により判定する（ステップＳ１２１）。

１ｓｔレリーズ操作が解除されていない場合には（ステップＳ１２１：Ｎｏ）、１ｓｔレリーズ操作が継続されている状態にあり、検索制御部１１ａは、ステップＳ１１９に戻って検索実行処理を行わせる。すなわち、１ｓｔレリーズ操作が継続されていることが操作検出部１１ｃによって検出されている間は、ライブビュー画像Ｐｒの変化に応じて、仮の基準画像Ｐａを変更して類似画像の検索を行なわせる。

一方、２ｎｄレリーズ操作がされた場合には（ステップＳ１２０：Ｙｅｓ）、検索制御部１１ａは、２ｎｄレリーズ操作のタイミングで表示されているライブビュー画像Ｐｒを基準画像Ｐａとして指定するとともに、表示制御部１１ｂは、ライブビュー画像Ｐｒのライブビュー表示を停止させて基準画像Ｐａを固定表示させる（ステップＳ１３０）。さらに、表示制御部１１ｂは、図１５（ａ）に示したように、類似画像の検索結果として得られる類似画像Ｐｃを表示するための類似画像領域Ｒｃを拡大表示させる（ステップＳ１３１）。なお、このステップＳ１３１による拡大表示に代えて、図１４（ｂ）または図１４（ｃ）に示したような検索画面２３ｂの表示としてもよい。

その後、ユーザによる何らかの指示操作があったか否かを操作検出部１１ｃの検出結果により判定する（ステップＳ１３２）。例えば、所定方向の方向操作部１３ｄの操作による類似画像表示順番変更指示があった場合には（ステップＳ１３３：Ｙｅｓ）、表示制御部１１ｂは、類似画像領域Ｒｃにおける類似画像Ｐｃの表示順番を変更して表示させる（ステップＳ１３４）。すなわち、時系列順の表示であった場合には、類似度順の表示に変更し、類似度順の表示であった場合には、時系列順の表示に変更させる。

その後、ユーザによる方向操作部１３ｄの所定の操作に伴う検索結果の利用メニューの表示指示があったか否かを判定する（ステップＳ１３５）。利用メニューの表示指示があった場合には（ステップＳ１３５：Ｙｅｓ）、表示制御部１１ｂは、図１４（ｄ）に示したように、検索画面２３ｂにメニュー画面Ｍ２を表示させる（ステップＳ１３６）。そして、このメニュー画面Ｍ２上で利用項目のタッチ指定があった場合には（ステップＳ１３７：Ｙｅｓ）、タッチ指定された利用項目に応じた処理を実行させる（ステップＳ１３８）。各利用項目の処理の詳細については省略する。

また、このような利用メニューの表示指示がなく（ステップＳ１３５：Ｎｏ）、あるいは、利用項目のタッチ指定がない場合には（ステップＳ１３７：Ｎｏ）、あるいは、各利用項目の処理が終了すると、図１５（ａ）に模式的に示したように、類似画像領域Ｒｃに対してユーザによるシングルタッチ指示があったか否かを操作検出部１１ｃの検出結果により判定する（ステップＳ１４０）。特に、シングルタッチ指示がない場合には（ステップＳ１４０：Ｎｏ）、ステップＳ１４４に移行する。

一方、シングルタッチ指示があった場合には（ステップＳ１４０：Ｙｅｓ）、指示された類似画像Ｐｃが現在拡大表示中であるか否かを判定する（ステップＳ１４１）。現在拡大表示中でない場合には（ステップＳ１４１：Ｎｏ）、表示制御部１１ｂは、シングルタッチ指示された類似画像Ｐｃを検索画面２３ｂ全体に拡大表示させる（ステップＳ１４２）。すなわち、図１５（ａ）に示したような表示から図１５（ｂ）に示したような表示に変更させる。また、現在拡大表示中であった場合には（ステップＳ１４１：Ｙｅｓ）、表示制御部１１ｂは、通常の検索画面２３ｂの表示に戻す処理を実行する（ステップＳ１４３）。すなわち、図１５（ｂ）に示したような表示から図１５（ａ）に示したような表示に戻す。

また、ステップＳ１４４では、再度、レリーズ操作部１３ａが１ｓｔレリーズ操作されたか否かを操作検出部１１ｃの検出結果により判定する。１ｓｔレリーズ操作されていなければ（ステップＳ１４４：Ｎｏ）、ステップＳ１３２に戻り、何らかのユーザ操作を待つ。再度１ｓｔレリーズ操作された場合には（ステップＳ１４４：Ｙｅｓ）、検索結果をリセットして（ステップＳ１４５）、ステップＳ１１３に戻り、ライブビュー画像表示状態となる。

このように、本実施の形態２によれば、ライブビュー画像Ｐｒで検索の対象となる基準画像Ｐａを指定できるようにしたので、画像記憶部２１中に格納された画像中から適当な基準画像を見つける手間を省いて、類似画像検索に際して検索用の基準画像の入手・設定を容易に行なうことができる。また、各検索条件をアイコン化された条件アイコンで検索画面２３ｂに表示させるようにしたので、文字だけによる場合よりも、少ない表示エリアでも検索条件の内容を容易に理解させることができ、デジタルカメラ１用の小型の表示部２３に適した表示形態となる。

また、本実施の形態２によれば、ライブビュー画像Ｐｒの中で選択された検索条件に使用する部分を示す検索用部分特定マークＰｍをそのライフビュー画像Ｐｒに重畳して表示させるようにしたので、選択された条件によっては、ライブビュー画像を見るだけでも検索条件の内容がわかることとなり、検索条件の選択間違えの可能性を低減させることができる。

さらには、本実施の形態２によれば、検出されたレリーズ操作のタイミングで表示されているライブビュー画像を指定された基準画像として、類似画像検索部に類似画像の検索を行なわせるものとし、撮影と似たような動作である基準画像の指定の操作を、撮影操作と同様に行えるようにしたので、使い勝手のよいものとなる。また、ライフビュー画像の仮の基準画像としての指定と、最終的な基準画像としての指定を、レリーズ操作部１３ａの第１段階のレリーズ操作と第２段階のレリーズ操作とで区別して行えるようにしたので、撮影動作時の第１段階のレリーズ操作と第２段階のレリーズ操作と同様な操作となり、戸惑いなく操作することができる。

さらに、本実施の形態２によれば、第２段階のレリーズ操作によってライブビュー画像の中から基準画像が指定された後は、ライブビュー画像に代えて指定された基準画像を連続的に表示させるようにしたので、最終的に指定した基準画像で表示が固定されることとなり、指示の内容を確実に確認することができる。

また、本実施の形態２によれば、類似画像検索部２５によって検索された類似画像をライブビュー画像とともに表示させるので、両画像の比較が簡単であり、検索された類似画像が狙いとする画像と一致しないとユーザが感じた場合であっても、次の基準画像の指定に役立てることができる。

本発明は、上述した実施の形態に限らず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能であり、それらを本発明の範囲から排除するものではない。

例えば、実施の形態１，２における図１０〜図１２、図１７〜図１９に示すような各処理機能について、図２に示すブロック図では、画像検索については類似画像検索部２５によるハードウェア、表示制御等については制御部１１によるソフトウェアによって処理するように説明したが、構成の具体例はこれに限るものではない。これらの処理を、ハードウェア処理とソフトウェア処理のいずれか一方あるいは適宜組み合わせて行なうことは設計事項である。

そして、実施の形態の全てあるいは一部がソフトウェア処理で処理が実行される場合には、制御部１１がフラッシュメモリ等の内部データ記憶部１２に格納された検索用プログラムを読み出して実行されることで、かかるソフトウェア処理が実現されるので、このようなソフトウェア処理に関する検索用プログラムも本発明となる。また、このような検索用プログラムが記録された記録媒体も本発明となる。なお、プログラムを格納する記録媒体としては、フラッシュメモリに限定されるものではなく、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の光学記録媒体、ＭＤ等の磁気記録媒体、テープ媒体、ＩＣカードなどの半導体メモリであってもよい。さらに、検索用プログラムとしては、ネットワークを介して外部の記録媒体から入手されるもの、例えば、ホームページからダウンロードされるものも当然含まれる。このような場合には、ユーザに対してダウンロードさせるＷＷＷサーバやｆｔｐサーバ等も本発明の範囲に含まれるものである。

また、上記実施の形態１及び２では、当該画像検索装置をデジタルカメラに搭載した例で説明したが、当然これに限られるものではない。上記実施の形態１の画像検索装置は、携帯電話あるいは画像表示装置（画像ビュワー）等に適用してもよい。また上記実施の形態２のカメラは、パソコンのカメラ部や携帯電話のカメラ部等に適用してもよい。

本発明の実施の形態１，２の画像検索装置を備えるデジタルカメラの概略構成例を示す背面図である。 本発明の実施の形態１，２の画像検索装置を備えるデジタルカメラのシステム構成例を示すブロック図である。 本発明の実施の形態１の検索画面に関する各種情報の表示領域の関係を模式的に示す説明図である。 検索モードにおける検索画面の基本的な表示例を示す説明図である。 検索された類似画像の表示後に、さらにユーザにより同じ検索条件で新たな基準画像が指定された場合の表示例を示す説明図である。 検索された類似画像の表示後に、さらにユーザにより検索条件が追加される場合の表示例を示す説明図である。 検索された類似画像の表示後に、さらにユーザにより新規検索が選択される場合の表示例を示す説明図である。 検索結果の利用メニューの表示例を示す説明図である。 検索画面の表示例の変形例を示す説明図である。 制御部により実行される検索処理の動作制御例を示すメインフローチャートである。 制御部により実行される検索モードの動作制御例を示すフローチャートである。 類似画像検索部により実行される検索実行処理例を示すフローチャートである。 本発明の実施の形態２の検索画面の表示制御例を模式的に示す説明図である。 レリーズ操作を伴う表示制御例を示す説明図である。 表示制御の変形例を示す説明図である。 検索条件を変更した場合の表示制御例を示す説明図である。 制御部により実行される検索処理の動作制御例を示すメインフローチャートである。 制御部により実行される検索モードの動作制御例の前半部分を示すフローチャートである。 制御部により実行される検索モードの動作制御例の後半部分を示すフローチャートである。

符号の説明

１ デジタルカメラ
１１ａ 検索制御部
１１ｂ 表示制御部
１１ｃ 操作検出部
１４ タッチパネル
２１ 画像記憶部
２３ 表示部
２３ａ 検索画面
２５ 類似画像検索部
Ｒａ 基準画像領域
Ｒｂ 検索条件領域
Ｒｃ 類似画像領域
ａ 画像
Ｐａ 指定された基準画像
ｂ 条件アイコン
Ｐｂ 選択された条件アイコン（検索条件）
Ｐｃ 検索された類似画像
Ｍ１ メニュー画面
Ｍ２ メニュー画面

Claims (11)

1. 選択された検索条件に基づいて、基準画像に類似する類似画像を検索する類似画像検索部と、該類似画像検索部による検索のための検索画面を表示する表示部とを備える画像検索装置であって、
   撮影光学系を介して入射する被写体像を受光して光電変換を行うことによってデジタル電気信号を出力する撮像部と、
   前記検索画面に対するユーザの操作を検出する操作検出部と、
   前記検索画面の表示を制御するとともに、前記撮像部が出力した前記デジタル電気信号に対応するライブビュー画像を動画的にリアルタイムで前記表示部に表示させる表示制御部と、
   前記検索画面に対するユーザの操作によって指定された前記基準画像としての前記ライブビュー画像と選択された検索条件とに基づいて、前記類似画像を検索するように前記類似画像検索部を制御する検索制御部と、
   を備え、
   前記表示制御部は、前記検索画面の一部の領域を、前記基準画像を指定するための基準画像領域とし、該基準画像領域に前記ライブビュー画像を表示させ、さらに、該基準画像領域に隣接する領域を、前記検索条件を選択するための検索条件領域としてアイコン化された条件アイコンを選択自在に表示させ、さらに、該検索条件領域に隣接する領域を類似画像領域として前記基準画像と前記検索条件で前記類似画像検索部により検索された前記類似画像を表示させることを特徴とする画像検索装置。
2. 前記表示制御部は、前記基準画像領域に対するユーザ操作により前記基準画像として前記ライブビュー画像が指定された場合において、前記検索条件領域に対するユーザ操作により前記検索条件が選択されたとき、該指定された前記ライブビュー画像上に該選択された条件アイコンを重ねて表示させることを特徴とする請求項１に記載の画像検索装置。
3. 前記表示制御部は、検索された類似画像の表示後にさらにユーザ操作により検索条件が追加された場合には、前回の検索条件と追加された検索条件との関係を選択するためのメニュー画面を前記検索画面に表示させることを特徴とする請求項１に記載の画像検索装置。
4. 前記検索画面を表示する前記表示部に重ねて配設されたタッチパネルをさらに備え、
   前記操作検出部は、前記タッチパネルに対するユーザの操作を検出し、
   前記表示制御部は、前記タッチパネルに対するユーザの操作に応じて、前記検索画面に同時に表示される前記基準画像領域の画像と前記検索条件領域の条件アイコンとをそれぞれ独立した移動により切換えることを特徴とする請求項１に記載の画像検索装置。
5. 前記表示制御部は、前記基準画像領域と前記検索条件領域と前記類似画像領域とのうちの少なくとも隣接する２つの領域を同時に前記検索画面に表示させることを特徴とする請求項１に記載の画像検索装置。
6. 前記表示制御部は、前記類似画像領域に表示させる類似画像と、前記検索条件領域の中で前記類似画像の検索のために選択された前記条件アイコンとの関連を示す区分け表示を行なわせることを特徴とする請求項１に記載の画像検索装置。
7. 前記表示制御部は、前記類似画像検索部による検索結果の利用用途を選択するためのメニュー画面を前記検索画面に表示させることを特徴とする請求項１に記載の画像検索装置。
8. 前記検索制御部は、前記表示制御部によって表示される複数の検索条件を用意し、該検索条件として、色、人物の顔、撮影時刻、撮影シーン、撮影構図または撮影場所の少なくとも一つを含むことを特徴とする請求項１に記載の画像検索装置。
9. 請求項１〜８のいずれか一つに記載の画像検索装置を搭載したことを特徴とするデジタルカメラ。
10. 選択された検索条件に基づいて、基準画像に類似する類似画像を検索する類似画像検索部と、該類似画像検索部による検索のための検索画面を表示する表示部とを備える画像検索装置が実行する画像検索方法であって、
    撮影光学系を介して入射する被写体像を受光して光電変換を行うことによってデジタル電気信号を出力する撮像ステップと、
    前記検索画面に対するユーザの操作を検出する操作検出ステップと、
    前記検索画面の表示を制御するとともに、前記撮像ステップで出力された前記デジタル電気信号に対応するライブビュー画像を動画的にリアルタイムで前記表示部に表示させる表示制御ステップと、
    前記検索画面に対するユーザの操作によって指定された前記基準画像としてのライブビュー画像と選択された検索条件とに基づいて、前記類似画像を検索するように前記類似画像検索部を制御する検索制御ステップと、
    を含み、
    前記表示制御ステップは、前記検索画面の一部の領域を、前記基準画像を指定するための基準画像領域とし、該基準画像領域に前記ライブビュー画像を表示させ、さらに、該基準画像領域に隣接する領域を、前記検索条件を選択するための検索条件領域としてアイコン化された条件アイコンを選択自在に表示させ、さらに、該検索条件領域に隣接する領域を類似画像領域として前記基準画像と前記検索条件で前記類似画像検索部により検索された前記類似画像を表示させることを特徴とする画像検索方法。
11. 選択された検索条件で指定された基準画像に類似する類似画像を検索する類似画像検索部と、該類似画像検索部による検索のための検索画面を表示する表示部とを備える画像検索装置のコンピュータに、
    撮影光学系を介して入射する被写体像を受光して光電変換を行うことによってデジタル電気信号を出力する撮像ステップと、
    前記検索画面に対するユーザの操作を検出する操作検出ステップと、
    前記検索画面の表示を制御するとともに、前記撮像ステップで出力された前記デジタル電気信号に対応するライブビュー画像を動画的にリアルタイムで前記表示部に表示させる表示制御ステップと、
    前記検索画面に対するユーザの操作によって指定された前記基準画像としてのライブビュー画像と選択された検索条件とに基づいて、前記類似画像を検索するように前記類似画像検索部を制御する検索制御ステップと、
    を実行させ、
    前記表示制御ステップは、前記検索画面の一部の領域を、前記基準画像を指定するための基準画像領域とし、該基準画像領域に前記ライブビュー画像を表示させ、さらに、該基準画像領域に隣接する領域を、前記検索条件を選択するための検索条件領域としてアイコン化された条件アイコンを選択自在に表示させ、さらに、該検索条件領域に隣接する領域を類似画像領域として前記基準画像と前記検索条件で前記類似画像検索部により検索された前記類似画像を表示させることを特徴とする画像検索用プログラム。

Images