JP2012058952A - 類似画像検索装置、カメラ、類似画像検索方法、およびプログラム - Google Patents

Abstract

【課題】簡単な操作で被写体の選択を行うことができる類似画像検索装置、カメラ、類似画像検索方法、およびプログラムを提供する。
【解決手段】画面に表示される被写体の中で検索の基準の候補となる候補被写体ｑ１〜ｑ３を選択して、当該候補被写体の画像にカーソルｃ１〜ｃ３を表示し、候補被写体の中で画面の中央に存在する被写体を基準被写体として選択する被写体選択部と、被写体選択部によって選択された基準被写体に類似する被写体を有する画像を記録媒体から検索する類似画像検索部を有する。
【選択図】図２

Description

本発明は、画像を解析し、類似画像を検索する類似画像検索装置、カメラ、類似画像検索方法、およびプログラムに関する。

撮影画像を解析し、被写体が、例えば、人物、建物、山、海等であることを特定する技術が進歩してきており、この技術を利用し、画像の自動検索が実用化されている。特に、顔画像から特定の人物を認識する技術の進歩は著しい。顔画像による認証技術として、例えば、特許文献１および特許文献２がある。

また、撮影画像の被写体の種類やシーン、あるいは写っている人物と類似する他の画像、いわゆる類似画像を検索する類似画像検索に関する技術も種々提案されている。従来、カメラやパソコンで画像を検索する場合には、インデックス画像再生を利用し、サムネイル画像を表示させて行っていた。しかし、類似画像検索を利用すれば、検索条件を適当に設定することによって、目的に近い画像を検索することができる。例えば、特許文献３には、画面に表示された特定検索のための属性項目（色相分布、撮影日時、撮影場所、構図、被写体人物）を選択することで、指定された属性項目で検索を行う検索装置が開示されている。

特開２００８−２３３９５９号公報 特開２００８−２３７３９９号公報 特開２００７−２２６５３６号公報

カメラのような携帯機器でも、類似画像検索の機能があれば、記録媒体から現在の被写体に類似する撮影画像を素早く探したり、あるいは、類似画像に類似する画像を表示させ、撮影画像の鑑賞を楽しむことができ、従来にない新たなカメラの利用を提案できる。しかし、多く場合、複数の被写体が混在する実際のカメラの画面で、検索が実行されると、現在、画面に表示されている複数の被写体にそれぞれ類似する類似画像が検索され、結果としてまとまりのない画像が多数、検索されることになる。

したがって、カメラのような携帯機器に類似画像検索機能を搭載するためには、検索の基準となる被写体（例えば、人物・ペット・風景等）を、その都度、画面の中で的確に選択することが求められる。特に、カメラを構えた状態でも、簡単な操作で被写体の選択ができることが望ましい。

本発明は、このような事情を鑑みてなされたものであり、簡単な操作で被写体の選択を行うことができる類似画像検索装置、カメラ、類似画像検索方法、およびプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係わる類似画像検索装置は、画面に表示される被写体の中で検索の基準の候補となる候補被写体を選択して、上記候補被写体の中で画面の中央に存在する被写体を、若しくは上記候補被写体の中で画面上で所定以上のサイズになる被写体を、基準被写体として選択する被写体選択部と、上記被写体選択部によって選択された基準被写体に類似する被写体を有する画像を記録媒体から検索する類似画像検索部と、を有する。

第２の発明に係わるカメラは、上記第１の発明の類似画像検索装置を備え、上記被写体選択部は、ライブビュー画像の中から上記候補被写体を選択し、当該ライブビュー画像上の候補被写体にマークを表示する。
第３の発明に係わるカメラは、上記第２の発明において、表示部に画像を表示する表示制御部を備え、上記表示制御部は、上記類似画像検索部によって記録媒体から検索された類似画像を、上記ライブビュー画像と共に表示する。
第４の発明に係わるカメラは、上記第３の発明において、上記表示制御部は、上記類似画像と共に表示される上記ライブビュー画像として、ライブビュー画像を固定して表示する。

第５の発明に係わる類似画像検索方法は、画面に表示される被写体の中で検索の基準の候補となる候補被写体を選択し、当該候補被写体の画像にマークを表示し、上記マークが表示された上記候補被写体の中で画面の中央に存在する被写体を、若しくは上記候補被写体の中で画面上で所定以上のサイズになる被写体を、基準被写体として選択し、上記選択された基準被写体に類似する被写体を有する画像を記録媒体から検索する。

第６の発明に係わるプログラムは、画面に表示される被写体の中で検索の基準の候補となる候補被写体を選択し、当該候補被写体の画像にマークを表示し、上記マークが表示された上記候補被写体の中で画面の中央に存在する被写体を、若しくは上記候補被写体の中で画面上で所定以上のサイズになる被写体を、基準被写体として選択し、上記選択された基準被写体に類似する被写体を有する画像を記録媒体から検索する。

第１、第５、および第６の発明によれば、簡単な操作で被写体の選択を行うことができる類似画像検索装置、カメラ、類似検索方法、およびプログラムを提供することができる。また、第２発明によれば、ライブビュー画像に対して、画角移動やズームにより基準被写体を選択できるので、基準被写体の設定を容易に行うことができる。また、第３の発明によれば、記録媒体に記録された画像の再生を行う際にも簡単な操作で被写体の選択を行うことができる。また、第４の発明によれば、カメラの向きを変えたりしても、検索画像が一定であるので、安心して検索画像を鑑賞することができる。

本発明の一実施形態に係わるカメラの主として電気回路の構成を示すブロック図である。 本発明の一実施形態に係わるカメラにおいて、画面の中心に存在する候補被写体を基準被写体として選択する場合を説明する図である。 本発明の一実施形態に係わるカメラにおいて、画面上に所定以上のサイズで存在する候補被写体を基準被写体として選択する場合を説明する図である。 本発明の一実施形態に係わるカメラの撮影モードの動作を示すフローチャートである。 本発明の一実施形態に係わるカメラの類似画像表示処理の動作を示すフローチャートである。 本発明の一実施形態に係わるカメラの基準被写体選択の動作を示すフローチャートである。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

図１は、本発明の一実施形態に係わるカメラの構成を示すブロック図である。制御部（ＣＰＵ：Central Processing Unit）１１は、プログラム／データ記憶部１２に記憶された制御プログラムに従って動作し、カメラの全体制御を行う。制御部１１内には、被写体選択部１１ａ、類似画像検索部１１ｂ、および操作検出部１１ｃが設けられている。制御部１１内の１１ａ、１１ｂ、１１ｃは、制御プログラムにより実行される処理の一部であるので、制御部１１に含まれる機能部として説明する。

被写体選択部１１ａは、類似画像を検索するための候補被写体や基準被写体の選択を行う。被写体選択部１１ａは、候補被写体として、プログラム／データ記憶部１２に記憶されているデータベースを用いて、画面の中から人物、動物、風景、食べ物、色の被写体を検出する。また、基準被写体の選択は、画面の中央にある候補被写体を選択する方法と、画面の中で所定サイズ以上の候補被写体を選択する方法と２種類用意してある。

類似画像検索部１１ｂは、被写体選択部１１ａによって選択された基準被写体と類似する画像を、後述する画像記憶部２２に記憶されている画像の中から選択する。類似画像の検索は、公知の画像マッチング法等を用いる。操作検出部１１ｃは、後述する操作部１３に接続され、十字釦やＯＫ釦等の各種操作部材の操作状態を検出する。

制御部１１には、プログラム／データ記憶部１２、操作部１３、およびバス３０が接続されている。プログラム／データ記憶部１２には前述したように制御部１１において実行するプログラムが記憶されており、各種データも記憶されている。また、候補被写体検索用や、また類似画像検索用のデータベースも格納されている。

プログラム／データ記憶部１２は、上述の候補被写体検索用や類似画像検索用のデータベースとして、次のようなパターンを記憶している。まず、人物用のデータベースとして、
顔の男女別特徴パターン、
ロング、ショート、お下げ、ポニー等の髪型パターン
幼児、子供、青年、中年、老年等の世代別の顔のパターン
髭、眼鏡、垂れ目、つり目等の顔パーツの特徴
を記憶している。

また、動物用のデータベースとして、犬、猫、ウサギ、ネズミ等の動物の種類の形状パターンを記憶している。風景用のデータベースとして、山のみ、山＋川、山＋海等の風景のパターンを記憶している。食べ物用データベースとして、りんご、ミカン、バナナ等の食べ物の種類のパターンを記憶している。色用データベースとして、赤色、青色、黄色、緑色等、色の種類を記憶している。

操作部１３は、ユーザがカメラに指示を与えるための各種操作部材を有する。各種操作部材としては、電源釦、レリーズ釦、メニュー釦、ＯＫ釦、十字釦、再生釦等を有し、各種操作部材の操作状態の検出結果を制御部１１に出力する。なお、後述する検索モードは、メニュー釦によってメニュー画面を表示させ、このメニュー画面の中で設定する。

バス２５には、前述の制御部１１の他に、撮像部１５、ＳＤＲＡＭ（Dynamic Random Access Memory）１６、画像処理部１７、表示制御部１８、圧縮伸張部２０、記録再生部２１が接続されている。撮像部１５は、被写体像を結像させるための撮影レンズ、被写体像を画像データに変換するための撮像素子、及びこれらの処理回路、撮影レンズの光路中に介挿された絞り及びシャッタ等を含む。撮像部１５によって生成された画像データはバス２５に出力される。

ＳＤＲＡＭ１６は電気的に書き換え可能な揮発性の一時記憶メモリであり、撮像部１５から出力される画像データの一時記憶に用いられる。画像処理部１７は、デジタル画像データのデジタル的増幅（デジタルゲイン調整処理）、ホワイトバランス、色補正、ガンマ（γ）補正、コントラスト補正、ライブビュー表示用画像生成、動画画像生成等の各種の画像処理を行なう。

圧縮伸張部２０はＳＤＲＡＭ１６に一時記憶された静止画や動画の画像データをＪＰＥＧやＴＩＦＦ等の圧縮方式により圧縮し、また表示等のために伸張するための回路である。なお、画像圧縮はＪＰＥＧやＴＩＦＦに限らず、他の圧縮方式も適用できる。

表示制御部１８は、撮影時にはライブビュー表示を、レリーズ時にはレックビュー表示を、再生時には再生画像を、表示部１９に表示させる。また、被写体選択部１１ａからの指示に基づき、表示中の候補画像を示すカーソルの表示を行う。さらに、類似画像検索部１１ｂによって検索された類似画像の表示も行う。表示部１９は、表示制御部１８に接続されており、カメラ１０の本体の背面等に配置された液晶モニタや有機ＥＬ等のディスプレイを有し、表示制御部１８の制御によりディスプレイの画面に所定の画像が表示される。

記録・再生部２１は、圧縮伸張部２０において圧縮された画像データを画像記憶部２２に記憶し、また、画像記憶部２２に記憶された撮影画像の画像データを読み出す。この読み出された画像データは、圧縮伸張部２０において伸張され、この伸張された画像データに基づいて、表示部１９に画像が再生表示される。画像記憶部２２は、記録・再生部２１に接続されており、デジタルカメラ本体に内蔵、または装填可能な画像データの記録媒体である。この画像記憶部２２に、撮影画像が記録されている。

次に、図２および図３を用いて、本実施形態において検索モードが設定された場合において、候補被写体の中から基準被写体を選択する方法について説明する。前述したように候補被写体から基準被写体を選択する方法としては、本実施形態においては２種類用意してある。第１の方法は、画面の中心にある候補被写体を基準被写体として選択する方法である。第２の方法は、画面の中で所定以上のサイズの候補被写体を基準被写体として選択する方法である。

図２は、第１の方法による選択、すなわち、画面中心の候補画像を基準被写体とする場合の画面を順番に示す図である。図２（ａ）は表示部１９に表示されたライブビュー画像であり、画面１００の左上には、カメラモード５１が表示され、この例においてはライブビュー画像を表示中であることを示す「Ｌｉｖｅ」が表示されている。

図２（ａ）の画面１００には、被写体として、人物（子供）ｐ１、動物（犬）ｐ２、車ｐ３が、候補被写体として認識されている。なお、車ｐ３は、色彩があるものとして（この例では、青色）認識され、候補被写体の一つとなっている。この候補被写体は、被写体選択部１１ａがプログラム／データ記憶部１２に記憶されている被写体用のデータベースに基づいて判定する。また、被写体選択部１１ａが、これらのｐ１〜ｐ３を認識すると、画面１００上のこれらの位置にカーソルｃ１〜ｃ３を表示する。すなわち、人物ｐ１を表示するためのカーソルｃ１、動物ｐ２を表示するカーソルｃ２、車ｐ３を表示するカーソルｃ３が、表示される。また、画面１００の略中央には、画面中央であることを示すセンタマーク５４が表示される。

図２（ａ）に示す画面１００では、センタマーク５４上には、候補被写体（ｐ１〜ｐ３）は位置していない。この状態で、ユーザがカメラを左に移動させていくと、図２（ｂ）に示すように、人物（子供）ｐ１のカーソルｃ１の位置をセンタマーク５４と略一致させることができる。略一致させると、人物ｐ１が基準被写体に選択され、この時ライブビュー画像は固定され、基準画像となる。

基準被写体が決まると、類似画像検索部１１ｂは、画像記憶部２２に記憶されている撮影画像の中から、類似画像を検索する。図２に示す例では、人物ｐ１が基準被写体となっていることから、「顔」基準で類似画像を検索する。この検索された類似画像５６は、図２（ｃ）に示すように、サムネイル画像で示され類似画像列５５として、画面の下側に列状に表示される。図２（ｃ）に示される類似画像５６に記載の数字は、コマ番号を示す。また、類似画像列５５上には、カーソル５７を表示し、このカーソル５７は、十字釦によって左右にスライド可能である。

カーソル５７をスライドさせ、類似画像を５６のいずれかを選択して、ＯＫ釦等により、指定すると、図２（ｄ）に示すように、ライブビュー表示が中断され、指定された類似画像が画面１００に拡大表示される。ライブビュー表示が中断され、再生モードに変わることから、カメラモード５１としては再生モードであることを示す「Ｐｌａｙ」が表示される。また、画面１００の右上には、コマ番号５８が表示される。図２（ｄ）に示す例では、コマ番号「５３」が表示されている。

また、被写体選択部１１ａは、現在表示中の再生画像の中から候補被写体を認識してカーソルを表示する。すなわち、図２（ｄ）の例では、大人ｑ１、ｑ２を示すカーソルｃ１、ｃ２と、太陽ｑ３を示すカーソルｃ３、食べ物ｑ４を示すカーソルｃ４が、表示される。なお、太陽ｑ３は、色彩があるものとして（この例では、赤色）認識され、候補被写体の一つとなっている。

また、類似画像列５５には、図２（ｃ）での検索画像と同じ、顔基準の検索画像が表示される。画面中央にポインタ６０が表示される。

図２（ｄ）の表示において、ポインタ６０が操作部１３の十字釦によって食べ物ｑ４を示すカーソルｃ４が移動されると、基準被写体が食べ物ｑに代わる。図２（ｅ）は、類似画像検索部１１ｂが、「食べ物」基準類似画像を検索した表示を示す。この状態では、コマ番号「５３」が再生表示され、類似画像列５５には、食べ物基準で検索された類似画像が表示される。

このように、検索モードを設定することにより、図２（ｃ）〜（ｆ）に示すような類似画像を次から次へと検索し、検索結果の画像を楽しむことができる。この検索表示は、あたかもインターネット上でのネットサーフィンと似ていることから、本明細書ではフォトサーフィンと称する。

ユーザは、検索モードを終了する場合には、１ｓｔレリーズ、すなわち、レリーズ釦の半押しを行えばよく、これにより、図２（ｆ）に示すように、通常のライブビュー表示を行う撮影モードに戻り、ライブビュー画面の固定も解除される。ライブビュー表示を再開すると、類似画像列５５には、ライブビュー表示中に表示していた類似画像を表示する。図２（ｆ）の例では、ライブビュー表示を中断する直前の図２（ｃ）における類似画像列５５の類似画像を表示する。

このように第１の方法は、ライブビュー表示中であっても、カメラの向きを変え、画面の中央に候補被写体を位置させるだけで、簡単に基準被写体を選択することができる。特に、タッチパネルのない機器であっても、基準被写体を選択することができる。また、基準被写体を選択すると、ライブビュー画像を固定することにより、カメラの向きを変えても検索画像が一定となり、安心して検索画像を鑑賞することができる。

次に、候補被写体の選択の第２の方法、すなわち、画面の中で所定以上のサイズの候補被写体を基準被写体として選択する方法について、図３を用いて説明する。図３（ａ）は、図２（ａ）と同じく、ライブビュー表示を行っている様子を示す。この状態で、ユーザが人物（子供）ｐ１に近づくか、またはズームアップを行うと、図３（ｂ）に示すように、人物ｐ１は大きくなり、またカーソルｃ１も大きくなる。

候補被写体としての人物ｐ１の画面上のサイズが所定以上に大きくなると、人物ｐ１が基準被写体として指定され、類似画像検索部１１ｂは、「顔」基準で、画像記憶部２２に記憶されている撮影画像の中から類似画像を検索する。検索された類似画像５６は、図３（ｃ）に示すように、類似画像列５７として、画面１００の下側に表示される。前述した図２（ｃ）と同様に、ライブビュー画像（基準画像）は固定される。

類似画像列５５上には、カーソル５７が表示され、十字釦とＯＫ釦を操作することにより、類似画像の指定を行うことができる。類似画像が指定されると、ライブビュー表示は中断され、画面１００には、その類似画像が、図２（ｄ）と同様に、大きく再生表示される。以下の動作は、第１の方法により基準被写体を選択した場合と同様であることから、詳しい説明を省略する。この第２の方法においても、レリーズ釦の半押しにより、撮影モードに戻り、固定が解除され、ライブビュー表示を再開する。

このように、第２の方法では、ライブビュー画像に対して、被写体に近づいて画角を変えることにより、またはズーミングにより、被写体のサイズを大きくすることができ、簡単な方法で基準被写体を選択することができる。特に、タッチパネルのない機器であっても、基準被写体を選択することができる。また、第１の方法と同様に、基準被写体を選択すると、ライブビュー画像が固定されるので、カメラの向きを変えても検索画像が一定となり、安心して検索画像を鑑賞することができる。

次に、本実施形態における動作を図４ないし図６に示すフローチャートを用いて説明する。図４に示す撮影モードのフローに入ると、まず、ライブビュー画像の表示を行う（Ｓ１）。ここでは、撮像部１５によって取得した画像データに基づいて、表示制御部１８は表示部１９にライブビュー表示を行う。ユーザはこのライブビュー表示観察することにより、構図やシャッタチャンスを決定することができる。

ライブビュー画像表示を行うと、次に、検索モードが選択されているか否かの判定を行う（Ｓ３）。前述したように、検索モードは、メニュー画面上で設定しており、このステップでは、この検索モードが設定されたか否かを判定する。

ステップＳ３における判定の結果、検索モードが選択されていた場合には、次に、類似画像表示処理を行う（Ｓ５）。ここでは、候補被写体を選択し、この候補被写体の中から基準被写体を選択し、選択された基準被写体に基づいて類似画像を検索し、検索結果を類似画像列５５として表示する。この類似画像表示処理の詳しい動作については、図５を用いて後述する。

類似画像表示処理を行うと、またはステップＳ３における判定の結果、検索モードが選択されていなかった場合には、次に、電源オフ操作がなされたか否かを判定する（Ｓ７）。ここでは、操作部１３の内の１つである電源釦の操作状態を操作検出部１１ｃが判定する。この判定の結果、電源オフ操作がなされていた場合には、電源オフ処理を行った後、撮影モードを終了する。

ステップ７における判定の結果、電源オフ操作がなされていなかった場合には、次に、レリーズ操作がなされたか否かを判定する（Ｓ９）。ここでは、操作部１３内の１つであるレリーズ釦の操作状態を操作検出部１１ｃが判定する。この判定の結果、レリーズ操作がなされていなかった場合には、ステップＳ１に戻る。一方、レリーズ操作がなされた場合には、撮影処理を行う（Ｓ１１）。ここでは、ＡＥ処理、ＡＦ処理、撮像と画像データの記録等の種々の撮影動作を実行する。撮影処理を行うと、ステップＳ１に戻る。

次に、ステップＳ５における類似画像表示処理について、図５に示すフローチャートを用いて説明する。類似画像表示処理のフローに入ると、まず、類似画像表示の最初か否かを判定する（Ｓ２１）。ここでは、図４に示した撮影モードのフローにおいて、ステップＳ５の類似画像表示処理を始めて実行するか否かを判定する。撮影モードのスタート時には、ここではＹｅｓと判定される。

ステップＳ２１における判定の結果、類似画像表示が最初でなかった場合、すなわち２回目以降であれば、次に、基準画像はライブビュー画像か否かの判定を行う（Ｓ４１）。図２（ｃ）で示した例では、ライブビュー画像の中から基準被写体を選択し、このときのライブビュー画像を基準画像として扱っている。ステップＳ４１においては、再生画像ではなく、図２（ｃ）に示したようにライブビュー画像中から基準被写体を選択し、このときのライブビュー画像を基準画像としたか否かを判定する。

ステップＳ４１における判定の結果、基準画像がライブビュー画像であった場合には、次に、ライブビュー画像に変化があったか否かを判定する（Ｓ４３）。ここでは、撮像部１５によって取得された画像データに基づくライブビュー画像と、ライブビュー画像に基づく基準画像とを比較し、変化があったか否かを判定する。

ステップＳ４３における判定の結果、ライブビュー画像に変化があった場合、またはステップＳ２１における判定の結果、類似画像表示の最初であった場合には、次に、基準被写体選択を行う（Ｓ２３）。ここでは、画像の中から候補被写体を検索し、候補被写体が存在した場合には、カーソルｃ１〜ｃ３を表示すると共に、基準被写体が存在するか否かを判定し、存在した場合には基準被写体として選択する。この基準被写体選択の詳しい動作は、図６を用いて後述する。

ステップＳ２３において基準被写体の選択を行うと、次に、基準被写体に類似する画像を検索する（Ｓ２５）。ここでは、類似画像検索部１１ｂが、画像記憶部２２に記憶された画像の中から、選択された基準被写体と類似する画像を、検索基準に従って検索する。

ステップＳ２５において類似画像の検索を行うと、次に、類似画像ありか否かの判定を行う（Ｓ２７）。ここでは、ステップＳ２５における類似画像検索の結果に基づいて判定する。この判定の結果、類似画像が検索されなかった場合には、基準画像のみを画面１００に表示する（Ｓ３７）。基準画像を表示すると、元のフローに戻る。

一方、ステップＳ２７における判定の結果、類似画像が検索された場合には、次に、基準画像はライブビュー画像か否かを判定する（Ｓ２９）。前述したように、基準画像はライブビュー画像の場合と、画像記憶部２２に記憶された画像の再生画像の場合があり、このステップでは、何れの画像であるかを判定する。

ステップＳ２９における判定の結果、基準画像がライブビュー画像であった場合には、次に、基準画像を固定する（Ｓ４５）。ここでは、類似画像が検索された時点でライブビュー画像を固定し、ライブビュー画像の更新を中断する。固定のタイミングは、これに限ることなく、基準被写体を選択した時点や、類似画像を表示するタイミングでもよい。

ステップＳ４５において基準画像を固定すると、またはステップＳ２９における判定の結果、基準画像がライブビュー画像でなかった場合には、次に、基準画像および類似画像を表示する（Ｓ３１）。ここでは、例えば、図２（ｃ）に示したように、基準画像を画面１００に大きく表示するとともに、基準画像の下側に類似画像列５５を表示する。

ステップＳ３１において基準画像及び類似画像を表示すると、またはステップＳ４１またはステップＳ４３における判定の結果がＮｏであった場合には、次に、画面で類似画像が選択されたか否かを判定する（Ｓ３３）。ユーザは、カーソル５３を移動させながら鑑賞を望む類似画像を選択することができので、このステップでは、ＯＫ釦等の操作により類似画像を選択したか否かを判定する。

ステップＳ３３における判定の結果、類似画像が選択されなかった場合には、次に、１ｓｔレリーズ操作がなされたか否かを判定する（Ｓ３５）。撮影者が撮影準備動作を行う場合には、１ｓｔレリーズ操作、すなわち、レリーズ釦の半押し操作を行うので、このステップでは、レリーズ釦の半押し操作によってオンとなる１ｓｔレリーズスイッチの状態に基づいて判定する。

ステップＳ３５における判定の結果、１ｓｔレリーズ操作がなされなかった場合には、ステップＳ３１に戻る。一方、１ｓｔレリーズ操作がなされた場合には、検索モードを終了し、元のフローに戻り、図２（ｆ）において説明したように、通常の撮影モードを実行する。

ステップＳ３３における判定の結果、類似画像が選択された場合には、次に、選択された類似画像を拡大表示する（Ｓ４７）。ここでは、選択された類似画像を、画像記憶部２２から読み出し、例えば、図２（ｄ）に示すように、画面１００に拡大表示する。

類似画像の拡大表示を行うと、次に、候補被写体が検出されたか否かを判定する（Ｓ４９）。ステップＳ４７において類似画像が拡大表示されると、被写体選択部１１ａは、この拡大表示された類似画像の中に候補被写体を検出する。このステップでは、被写体選択部１１ａが候補被写体を検出したか否かを判定する。この判定の結果、候補被写体を検出することがなかった場合には、ステップＳ３３に戻る。

一方、ステップＳ４９における判定の結果、候補被写体が検出された場合には、候補被写体の表示を行う（Ｓ５１）。ここでは、例えば、図２（ｄ）に示すように、候補被写体であることを示すカーソルｃ１〜ｃ４の表示を行う。

候補被写体の表示を行うと、次に、基準被写体が選択されたか否かを判定する（Ｓ５３）。ここでは、画像がライブビュー画像の場合には、前述の第１の方法もしくは第２の方法によって、基準被写体が選択されたかを判定する。また、画像が再生画像の場合には、いずれかの候補被写体にポインタが移動されたかによって、基準被写体が選択されたかを判定する。この判定の結果、基準被写体が選択された場合には、ステップＳ２５に戻り、類似画像の検索を行い、図２（ｅ）に示すように、類似画像の表示を行う。一方、基準被写体が選択されなかった場合には、ステップＳ３３に戻る。

次に、ステップＳ２３における基準被写体選択の詳しい動作について、図６に示すフローチャートを用いて説明する。基準被写体選択のフローに入ると、まず、画面内の形状や色を抽出してデータベースと対比する（Ｓ６１）。ここでは、被写体選択部１１ａが、画面内の画像を解析し、形状や色を抽出し、プログラム／データ記憶部１２のデータに記憶されている被写体検索用のデータベースと対比を行う。

続いて、候補被写体の検出を行う（Ｓ６３）。ここでは、データベースに記憶されている人物、動物、風景、色、食べ物の５種類について、これらのパターンと一致する被写体が存在しているかを検出する。例えば、図２（ａ）に示す例では、ライブビュー画像から、人物（子供）、青色（図２（ａ）では車の青色）、動物（犬）が候補被写体として検出されている。また、図２（ｄ）に示す例では、再生画像から、人物（男女）、風景（太陽）、食べ物（リンゴ）が、候補被写体として検出されている。

候補被写体検出を行うと、次に、候補被写体有りか否かの判定を行う（Ｓ６５）。ここでは、ステップＳ６３における検出結果に基づいて判定する。この判定の結果、候補被写体がなかった場合には、ステップＳ７（図４参照）に戻る。

一方、ステップＳ６５における判定の結果、候補被写体が有った場合には、次に、候補被写体にカーソルを重畳表示する（Ｓ６７）ここでは、例えば、図２（ａ）に示すように、検出された候補被写体の位置に、候補被写体のサイズに合わせてカーソルｃ１〜ｃ３を表示する。次に、表示画像がライブビュー画像かを判定する（Ｓ６８）。ライブビュー画像である場合には（Ｓ６８Ｙｅｓ）、ステップＳ６９に進む。

候補被写体にカーソルを重畳表示すると、次に、画面のセンタ領域に候補被写体が有るか否かを判定する（Ｓ６９）。前述したように基準被写体の判定方法としては、第１及び第２の方法があり、ここでは第１の方法による基準被写体判定を行う。例えば、図２（ｂ）に示すように、センタマーク５４の位置に、候補被写体ｐ１〜ｐ３があるか否かを判定する。

ステップＳ６９における判定の結果、画面のセンタ領域に候補被写体が有った場合には、次に、画面センタにある候補被写体を基準被写体に選択する（Ｓ７１）。ここでは、例えば、図２（ｂ）に示すように、人物（子供）ｐ１を基準被写体として選択する。基準被写体の選択を行うと、元のフローに戻る。

ステップＳ６９における判定の結果、画面のセンタ領域に候補被写体がなかった場合には、次に、所定サイズ以上の候補被写体が有るか否かを判定する（Ｓ７３）。ここでは、第２の方法により基準被写体の判定を行う。例えば、図３（ｂ）に示すように、被写体が所定以上のサイズか否かを判定する。所定以上のサイズとしては、例えば、面積で画面サイズの５％以上程度の大きさとする。しかし、これに限らず、主被写体といえる程度のサイズであれば、これよりも大きくても小さくてもよい。

ステップＳ７３における判定の結果、所定サイズ以上の候補被写体が有った場合には、次に、その候補被写体が複数有るか否かの判定を行う（Ｓ７５）。基準被写体の選択基準として、所定以上のサイズとした場合、複数の候補被写体が選択される場合がある。ここでは、複数、候補被写体が選択されたかを判定する。

ステップＳ７５における判定の結果、複数有った場合には、サイズ最大の候補被写体を基準被写体として選択する（Ｓ７７）。一方、判定の結果、複数なかった場合には、当該候補被写体を基準被写体として選択する（Ｓ７９）。したがって、所定サイズ以上の候補被写体があった場合には、その中で一番大きい候補被写体を基準被写体とし、所定サイズ以上の候補被写体が１つしかなかった場合には、その候補被写体を基準被写体とする。ステップＳ７７、Ｓ７９において、基準被写体を選択すると、元のフローに戻る。

一方、ステップＳ６８で表示画像がライブビュー画像でない場合（Ｓ６８Ｎｏ）、つまり、表示画像が再生画像の場合には、ポインタが候補被写体に移動されたかを判定する（Ｓ８１）。この判定の結果、移動されたら（Ｓ８１Ｙｅｓ）、ポインタが移動された候補被写体を基準被写体として選択する（Ｓ８３）。その後、元のフローに戻る。ポインタが移動されない場合には（Ｓ８１Ｎｏ）、ステップＳ８３をジャンプして、元のフローに戻る。

以上説明したように、本発明の一実施形態においては、被写体像中の候補被写体の中で画面の中央に存在する被写体を、若しくは候補被写体の中で画面上で所定以上のサイズになる被写体を、基準被写体として選択するようにしている。このため、簡単な操作で被写体の選択を行うことができる。特に、複数の被写体が混在する画面で検索を実行しても、的確に基準被写体が選択されることから、結果としてまとまりのある類似画像を、検索することができ、フォトサーフィンを楽しむことができる。

特に、画面中央に存在する被写体を基準被写体として選択する場合には、例えばカメラの向きを調整するという簡単な操作で基準被写体を選択することができる。また、画面で所定以上のサイズの候補被写体を基準被写体として選択する場合には、例えばカメラのズーム等の簡単な操作で基準被写体を選択できる。いずれの方法であっても、タッチパネルのない機器であっても、基準被写体の選択を容易に行うことができる。

なお、本発明の一実施形態においては、基準被写体の選択方法として、画面中央にある候補被写体、または所定サイズ以上の候補被写体を選択したが、類似画像の検索を行うにあたって、基準となる被写体を選択できる方法であれば、これに限らない。また、本発明の一実施形態においては、候補被写体検索用や類似画像検索にあたって、人物、動物、風景、食べ物、色の５種類のパターンを、データベースとして記憶していた。しかし、このパターンはこれに限らず、例えば、花、雑貨等、他のものでもかまわない。

また、本発明の一実施形態においては、類似画像検索装置をカメラに搭載した例を説明したが、これに限らず、パーソナルコンピュータ等に画像を記憶し、これらの画像を再生して楽しむ場合にも適用することができる。また、本発明の一実施形態においては、ライブビュー表示の際と再生表示の際の両方のモードにおいて、類似画像の検索と表示を行うようにしていたが、いずれか一方だけでもよい。

さらに、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１１・・・制御部、１１ａ・・・被写体選択部、１１ｂ・・・類似画像検索部、１１ｃ・・・操作検出部、１２・・・プログラム／データ記憶部、１３・・・操作部、１５・・・撮像部、１６・・・ＳＤＲＡＭ、１７・・・画像処理部、１８・・・表示制御部、１９・・・表示部、２０・・・圧縮伸張部、２１・・・記録・再生部、２２・・・画像記憶部、５１・・・カメラモード、５４・・・センタマーク、５５・・・類似画像列、５６・・・類似画像、
５７・・・カーソル、５８・・・コマ番号、１００・・・画面

Claims (6)

1. 画面に表示される被写体の中で検索の基準の候補となる候補被写体を選択して、上記候補被写体の中で画面の中央に存在する被写体を、若しくは上記候補被写体の中で画面上で所定以上のサイズになる被写体を、基準被写体として選択する被写体選択部と、
   上記被写体選択部によって選択された基準被写体に類似する被写体を有する画像を記録媒体から検索する類似画像検索部と、
   を有することを特徴とする類似画像検索装置。
2. 上記請求項１に記載の類似画像検索装置を備え、
   上記被写体選択部は、ライブビュー画像の中から上記候補被写体を選択し、当該ライブビュー画像上の候補被写体にマークを表示することを特徴とするカメラ。
3. 表示部に画像を表示する表示制御部を備え、
   上記表示制御部は、上記類似画像検索部によって記録媒体から検索された類似画像を、上記ライブビュー画像と共に表示することを特徴とする請求項２に記載のカメラ。
4. 上記表示制御部は、上記類似画像と共に表示される上記ライブビュー画像として、ライブビュー画像を固定して表示することを特徴とする請求項３に記載のカメラ。
5. 画面に表示される被写体の中で検索の基準の候補となる候補被写体を選択し、当該候補被写体の画像にマークを表示し、
   上記マークが表示された上記候補被写体の中で画面の中央に存在する被写体を、若しくは上記候補被写体の中で画面上で所定以上のサイズになる被写体を、基準被写体として選択し、
   上記選択された基準被写体に類似する被写体を有する画像を記録媒体から検索する、
   ことを特徴とする類似画像検索方法。
6. 画面に表示される被写体の中で検索の基準の候補となる候補被写体を選択し、当該候補被写体の画像にマークを表示し、
   上記マークが表示された上記候補被写体の中で画面の中央に存在する被写体を、若しくは上記候補被写体の中で画面上で所定以上のサイズになる被写体を、基準被写体として選択し、
   上記選択された基準被写体に類似する被写体を有する画像を記録媒体から検索する、
   ことをコンピュータに実行させるプログラム。