JP2008103850A - カメラ及び画像検索システム並びに画像検索方法 - Google Patents

Abstract

【課題】撮影した被写体がどのような形状であっても、その被写体の大きさの情報等を加味して、その被写体が何であるかの検索を容易にすることのできるカメラ及び画像検索システム並びに画像検索方法を提供することである。
【解決手段】カメラによって撮影された画像のテーマと、上記画像内の主要被写体の大きさがＭＰＵ４１によって判定される。そして、この判定された情報は、上記画像に関連付けて画像検索用のデータベース５６ａに記録されている。
【選択図】 図１

Description

本発明は、画像検索を応用することによって、迅速に写真を検索するためのシステム、サービス並びに画像検索方法、また、そのような写真を撮影可能としたカメラに関するものである。

膨大な画像から必要な画像を検索するために様々な工夫がなされているが、その多くは、写真の日付、キーワード等によって検索されるものであった。また、画像そのものに電子透かしを入れて、それを参考にして検索するような技術も知られている（例えば、下記特許文献１参照）。

更に、画面上でカーソルを動かして、画像に大きさ情報を添付するものも知られている（例えば、下記特許文献２参照）。
特開２００２−７３６１８号公報 特開２００４−４０６８９号公報

しかしながら、上記特許文献１に記載されているように、画像に検索用のデータが電子透かしで入っているようなものは、それを前提とした所定のシステムでしか使えないうえ、電子透かしの形式で入れ込むデータをどのようにするかという問題も有している。

また、上述した特許文献２のように、撮影のたびに画面上にカーソルを表示させていては、速写性に欠けるものであった。加えて、単に大きさを測定することだけではなく、こうした情報を有効利用して、更に画像鑑賞の世界を広げていくという、本発明のような応用にはつながらない。

ところで、近年、ＩＴ技術の進展によって、ホームページやブログ等、インターネットを前提とした技術に於いて、エッセイ等の文字のみならず、比較的精細な画像も重要な表現手段として簡単に扱えるようになり、それが市場に認知されるようになっている。そして、こうした場に於いて、自慢の写真作品を出展する愛好家が増加している。

一方、こうしたインターネットを通じてアクセス可能な情報に、いかにして簡単に辿り着くかについては、多くのサイトやプロバイダが工夫を凝らしている。例えば、文字による検索のみならず、画像そのものの特徴を判定して画像を検索する技術が研究され、実用化されている。つまり、画像を見せたいユーザと、画像を見たいユーザを、いかにして結ぶかということは、業界を挙げて検討が進められている。

このような状況下に於いて、カメラの側から、検索しやすい画像にする努力、双方の考え方を考え合わせてシステムを改善する技術が求められている。

したがって、本発明は上記実情に鑑みてなされたものであり、その目的は、撮影した被写体がどのような形状であっても、その被写体の大きさの情報等を加味して、その被写体が何であるかの検索を容易にすることのできるカメラ及び画像検索システム並びに画像検索方法を提供することである。

すなわち請求項１に記載の発明は、撮影された画像のテーマと、上記画像内の主要被写体の大きさを判定する判定手段と、上記判定手段で判定された情報を上記画像に関連付けて記録する関連付け手段と、を具備することを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明に於いて、上記判定手段は、撮影時の被写体距離と撮影画角から画面の幅を判定し、該幅の情報と撮影時の撮影レンズの焦点距離とに基づいて上記大きさを判定することを特徴とする。

請求項３に記載の発明は、請求項２に記載の発明に於いて、上記判定手段は、上記被写体距離がマクロ領域にあるか否かを考慮して上記大きさを判定することを特徴とする。

請求項４に記載の発明は、画像の特徴情報と、上記画像に関連付けされて記録されている主要被写体の大きさ情報とに基づいて、第１の写真郡から限定された第２の写真郡を選択することを特徴とする。

請求項５に記載の発明は、撮影された画像を、予め定められた条件に基づいて識別する識別手段と、上記識別手段で識別された画像の情報を該画像に関連付ける関連付け手段と、を具備することを特徴とする。

請求項６に記載の発明は、請求項５に記載の発明に於いて、上記関連付け手段により関連付けられた上記画像の情報を記録する記録手段を更に具備することを特徴とする。

請求項７に記載の発明は、請求項６に記載の発明に於いて、上記識別手段は、上記撮影された画像のテーマと、上記画像内の主要被写体の大きさを比較して識別することを特徴とする。

請求項８に記載の発明は、請求項７に記載の発明に於いて、上記撮影時の被写体距離と撮影画角から画面の幅を算出する演算手段を更に具備し、上記識別手段は、上記演算手段で算出された上記画面の幅の情報と、撮影時の撮影レンズの焦点距離とに基づいて上記大きさを識別することを特徴とする。

請求項９に記載の発明は、請求項７に記載の発明に於いて、上記識別手段で識別される上記画像のテーマは、上記画像内の主要被写体に顔が存在するか否かにより識別されることを特徴とする。

請求項１０に記載の発明は、請求項９に記載の発明に於いて、上記識別手段で識別される上記画像のテーマは、上記主要被写体に顔が存在する場合は、該顔の大きさに応じて識別されることを特徴とする。

請求項１１に記載の発明は、請求項９に記載の発明に於いて、上記識別手段で識別される上記画像のテーマは、上記主要被写体に顔が存在しない場合は、被写体距離及び被写体の色の少なくとも何れか１つに応じて識別されることを特徴とする。

請求項１２に記載の発明は、請求項６に記載の発明に於いて、上記識別手段は、被写体距離がマクロ領域にあるか否かに応じて上記画像内の主要被写体の大きさを比較して識別することを特徴とする。

請求項１３に記載の発明は、複数の画像の中から画像を検索して所望の画像を得る画像検索システムに於いて、予め定められた条件に基づいて識別された画像の大きさ情報に基づいて、上記画像の特徴情報に応じた画像郡を選択することを特徴とする。

請求項１４に記載の発明は、複数の画像の中から画像を検索して所望の画像を得る画像検索システムに於いて、上記所望の画像を得るべく画像の特徴情報を入力する入力手段と、上記複数の画像を、予め定められた条件に基づいて識別する識別手段と、上記識別手段で識別された画像の情報を該画像に関連付ける関連付け手段と、上記関連付け手段で関連付けられた画像の情報と、上記入力手段により入力された上記画像の特徴情報とを比較して、該当する画像群を抽出する抽出手段と、を具備することを特徴とする。

請求項１５に記載の発明は、請求項１４に記載の発明に於いて、上記識別手段は、上記画像のテーマと、上記画像内の主要被写体の大きさを比較して識別することを特徴とする。

請求項１６に記載の発明は、請求項１５に記載の発明に於いて、上記識別手段で識別される上記画像のテーマは、上記画像内の主要被写体に顔が存在するか否かにより識別されることを特徴とする。

請求項１７に記載の発明は、請求項１６に記載の発明に於いて、上記識別手段で識別される上記画像のテーマは、上記主要被写体に顔が存在する場合は、該顔の大きさに応じて識別されることを特徴とする。

請求項１８に記載の発明は、請求項１６に記載の発明に於いて、上記識別手段で識別される上記画像のテーマは、上記主要被写体に顔が存在しない場合は、被写体距離及び被写体の色の少なくとも何れか１つに応じて識別されることを特徴とする。

請求項１９に記載の発明は、複数の画像の中から画像を検索して所望の画像を得る画像検索方法に於いて、複数の画像を、予め定められた条件に基づいて識別する第１のステップと、上記第１のステップで識別された画像の情報を該画像に関連付ける第２のステップと、上記所望の画像を得るべく画像の特徴情報を入力する第３のステップと、上記第２のステップで関連付けられた画像の情報と、上記第３のステップにより入力された上記画像の特徴情報とを比較して、該当する画像群を抽出する第４のステップと、を具備することを特徴とする。

本発明によれば、撮影した被写体がどのような形状であっても、その被写体の大きさの情報等を加味して、その被写体が何であるかの検索を容易にすることのできるカメラ及び画像検索システム並びに画像検索方法を提供することである。

また、画像判定という一手段に頼らず、こうした工夫を組み合わせることによって、画像検索を容易にしている。また、本発明を応用したシステムでは、このような考え方を応用して、更に検索を効率よく、高速、且つ正確にできる画像検索システムを構築することができる。

以下、図面を参照して本発明の実施形態を説明する。

（第１の実施形態）
インターネット（ネット）上で接続可能なブログやホームページから、所望の画像を検索することは困難である。画像検索を行う場合、例えばファセット分類のような、分類、検索用のデータベース構成では、ものを特定するために、見た目や大きさや色が重要な検索用のキーワードとなる。この時、画像から、見た目や色は読み取ることはできるが、大きさに関しては、人間の見た目とカメラのレンズの描写はあまりにも違うので、それなりの工夫が必要となる。

そこで、本発明では、被写体の大きさ等を判定し、その情報も加味して、検索を失敗しないようにする。

図２（ａ）は、画像を解析し、その特徴を判定して画像検索する方法を概念的に示した図である。つまり、判定したい画像が画像判定に入力されると、その画像の形状が輪郭検出により輪郭判定される。それと共に、対象物の色が判定されて、膨大なデータベースより、関係するキーワードが検索される。

しかしながら、これでは、似たような形状、色のものでは、絵に描いたものや、主被写体ではなく、その背後のポスターに描かれたような類似物も検索してしまう。このため、本発明では、図２（ｂ）に示されるようなシステムが構成される。

つまり、画像には補助となる情報（ここでは、典型的形状データ、大きさデータ）等が付加されて検索の補助となし、画像判定サイドでは、これまでの形状や色だけではなく、大きさ情報等も加味した判断が行われるようにする。

このような構成を前提にすると、図３（ａ）に示されるように、ユーザ１０が本発明を適用したカメラ１１で撮影した写真１２には、添付データ１２ａが付いている。この写真１２が、入出力部１３からネットワーク１５及びプロバイダ１６を介して、ブログ等に掲載されるとする。そして、最適なキーワードや付加情報があって、上記写真１２が見たい人１８がネット上で検索すると、ブログ掲載画像１２′を画像検索サイト１７にて確実に見ることができるようになっている。

一方、画像検索を行うサイト１７から、カメラ１１に、画像検索時に利用する情報を入力しておくと、その典型的画像をデザインした図柄等が画像合成されたりして、検索時の補助情報にすることができる。

また、画像判定のノウハウは日進月歩で変化しており、必ずしも全ての画像検索サイトが、このような情報をリアルタイムで提供してくれるわけではない。したがって、別のプロバイダ２０に、現在の検索画面１９に検索表示されている複数の画像を基に、その特徴を抽出せしめる。そうして得られた典型的画像情報２１を単純化したデザイン図柄２１′を、カメラ１１で撮影された画像に添付、または合成表示できるようにしてもよい。

このようなデザイン図柄を添付した画像は、検索エンジンの得意パターンを想定した補助画像が添付されていることから、図３（ａ）に示されるようなシステムでは、検索時のヒット率が高くなる。

カメラの例から説明すると、図４（ａ）に示されるように、写真撮影時にカメラ１１を構えた時（撮像素子の出力を再生しながらモニタ（表示部）２４で観察して、レリーズ釦（スイッチ）２３ａに指をかけ、タイミングや構図を狙うとき）に、被写体から得られるコントラスト情報や、色、背景、ピント情報等によって、ユーザ１０が撮影したい対象情報が得られる。

図１は、本発明の第１の実施形態に係るデジタルカメラの基本構成を示したブロック図である。このデジタルカメラ（以下、カメラと略記する）１１は、判定手段、識別手段及び演算手段の機能を有するマイクロコントローラ（以下、ＭＰＵと記す）４１と、オートフォーカス（ＡＦ）制御部４２と、絞り制御部４３と、補助校発光部４４と、撮影レンズ４６と、絞り４７と、撮像素子４８と、アナログフロントエンド（ＡＦＥ）部４９と、画像処理回路５０と、コントラスト判定部５１と、色判定部５２と、顔検出部５３と、圧縮部５５と、記録制御部５６と、記録メディア５７と、入出力部５８と、表示制御部６０と、表示部２４と、複数のスイッチ２３ａ、２３ｂ、２３ｃから成る操作部等を有して構成される。

関連付け手段及び抽出手段としての機能をも有するＭＰＵ４１は、ユーザによる各種の操作をスイッチ２３ａ、２３ｂ、２３ｃの状態によって検出する。ＭＰＵ４１は、上記スイッチ２３ａ、２３ｂ、２３ｃの検出結果と所定のプログラムに従って、撮影時に上述した各ブロックをシーケンシャルに制御する。また、ＭＰＵ４１は、プログラムに従って撮影や再生等、カメラ１１の全体の制御を司るものである。

上記スイッチ２３ａ、２３ｂ、２３ｃは、撮影者の指示をＭＰＵ４１に通知する。操作部の代表例としてスイッチ２３ａ、２３ｂ、２３ｃを図示しているが、スイッチ２３ａはレリーズスイッチ、スイッチ２３ｂは選択スイッチ、スイッチ２３ｃは、例えば撮影／再生モード切り替えや撮影モードや表示モードの切り替え等のスイッチである。

また、本発明の特徴たるお手本画像の読み出し等についても、これらのスイッチの変化を検出することによって行われる。例えば、図２（ａ）に示される例では、カメラ１１をフレーミングして、カメラ１１の背面に設けられた選択スイッチ２３ｂを押した瞬間の構図から、テーマ判定や選択を行うようにしている。

被写体３５からの像は、撮影レンズ４６及び絞り４７を介して、多数の受光面（画素）から成るＣＣＤやＣＭＯＳセンサ等で構成される撮像手段としての撮像素子４８で受光される。撮像素子４８では、これが電気的な信号に変換されるので、この結果がＡ／Ｄ変換部を含むＡＦＥ部４９にてデジタル信号化され、更に画像処理回路５０に入力される。

上記ＡＦＥ部４９には、撮像素子を構成するいくつかの画素をまとめて、一括して読み出す機能も設けられている。例えば、４画素（２×２）や９画素（３×３）等、各画素の信号レベルが小さい場合には、いくつかの画素信号を加算して、Ｓ／Ｎを向上させることができる。このような操作によって、感度を上げることなどもできる。このように、感度が上げられると、シャッタスピードを速くする等の撮影上の工夫が可能となる。シャッタスピードが速いと、動いている被写体が止まっているように撮影することなどが可能となる。

シャッタスピードをユーザが切り替え可能とし、適正露出を絞りや感度の制御で行うカメラ１１では、一般的にシャッタスピードを遅くすれば、例えば、川の流れを撮影する際に、水の流れが糸のように伸びた描写が可能となる。シャッタスピードを速くすれば、同じ川の流れを撮影したとしても、その瞬間が捉えられ、水飛沫が上がった瞬間や、さざなみの様子が細かく再現可能となる。また、スポーツ写真でも、シャッタスピードを速くすれば、被写体の動きを止めることができ、その表情までをはっきり写しこむことが可能となる。

このように、シャッタスピードをどのように設定するかなども、撮影時の貴重なノウハウになり、本発明が目指すようなネットワークを通じた仲間同士で共有したい話題となる。

上記撮影レンズ４６は、入射された被写体３５の像を撮像素子４８に結像するためのものである。また、撮影レンズ４６は、オートフォーカス用のレンズ（ピント合わせレンズ）を含み、オートフォーカスの制御に従って、ＭＰＵ４１により、ＡＦ制御部４２を介して、ピント位置が切り替えられる。

上記撮影レンズ４６内またはその近傍には、シャッタや絞りの効果を奏する機構（絞り４７）等が含まれている。これは、撮影時に所定の口径まで開き、露出が終了すると閉じて露光を終了させるものである。この絞り４７を変化させることによって、撮影レンズ４６の被写界深度が変化するので、背景のぼけ具合等を調整して、被写体を浮かび上がらせたり、背景をしっかりと描写したりする等、表現の切り替えを行うことができる。このように、絞り値の設定も、ネットワークを通じ、仲間の写真をみてノウハウを学ぶことができる。

ＡＦ制御部４２は、撮影レンズ４６のピント位置を制御すると共に、そのピント位置をモニタする。ピント位置の制御は、画像処理回路５０が撮像素子４８から出力される画像データのコントラストを検出してＭＰＵ４１に出力し、これに従ってＭＰＵ４１がＡＦ制御部４２に制御信号を出力することにより実行される。ＭＰＵ４１は、画像データのコントラスト信号が最大になるようにＡＦ制御部４２に制御信号を出力する。

上記絞り制御部４３は、絞り４７を制御するために設けられている。この絞り制御部４７は、上述したように、絞り４７を変化させることによって、撮像素子４７への入射光量を所定量に保つ露出制御を行う。

撮像素子４８は、上述したように、ＣＭＯＳやＣＣＤから構成されるもので、結像された被写体の像を画像信号に変換する。そして、ＡＦＥ部４９は、撮像素子４８から出力されるアナログの電気信号をデジタルの画像データに変換して出力する。また、ＡＦＥ部４９は、撮像素子４８から出力される信号を取捨選択する機能も有しており、全部の受光面から限られた範囲の画像データを抽出することができる。一般に、撮像素子は少なく間引かれた画素信号ならば高速で読み出しが可能であるので、こうして構図確認用に得られた画像を高速で処理して、表示制御部６０を介して表示部２４の表示画面に表示すれば、これを利用して、ユーザは図４（ａ）に示されるようにフレーミングが可能である。

このような目的のために、画像処理回路５０は図示されないリサイズ手段を有しており、表示制御部６０によって制御される液晶や有機ＥＬ等からなる表示部２４の表示画面に、撮像素子４８からの信号をそこに表示できるようなサイズに加工してリアルタイムに入力する。この働きによって、撮影に先立って撮像素子４８に入射する像を確認することができ、ファインダ代わりにこれを見ながら撮影時のタイミングやシャッタチャンスを決定することができる。

また、後述するように、この時の像信号を利用して、ピント合わせ等もできるので、このピント位置（距離）等も、テーマの特定時に有効利用が可能であることは上述した。このときの画像を利用して、後述の画像判定を行うことによって、ユーザが撮影しようとしているシーンを判断することが可能となる。

更に、撮影レンズ４６がズームレンズの場合には、ズーム位置等を加味して距離の判定をすることができる。また、撮像素子４８のいくつかの同色の隣接画素信号を加算して利用することによって、Ｓ／Ｎを改善したり、感度を変化させたりすることが可能である。このような出力加算処理も、ＡＦＥ部４９にて可能である。画像処理回路５０は、入力信号の色や階調やシャープネスを補正処理し、撮影時には、後段の回路で圧縮記録を行う。

上記画像処理回路５０は、更に、得られた画像信号を所定のレベルに増幅して、正しい濃淡、正しい灰色レベルに設定する増感部５０ａ等を備えている。この増感部５０ａは、デジタル化された信号レベルが、所定レベルになるようにデジタル演算するものである。

また、この画像処理回路５０の信号を利用して、撮像素子４８から入力されてくる画像の特徴等を判定する画像判定機能を有している。例えば、画像の信号レベルのコントラストを判定するコントラスト判定部５１、画像情報に含まれる色の成分を検出する色判定部５２、また、画像の特徴を調べて主要被写体の位置を検出する顔検出部５３等が、このシステムには備えられている。これは、写真撮影時に、ユーザがどのような写真を撮ろうとしているかを判定するためのものである。この結果から、その写真のテーマを判定したり、同じテーマであっても背景の色の違いなどを判定したりすることができる。また、テーマが判定された場合には、上述したようにそれを表す典型的画像が、撮影画像に合成されるようになっている。

このうち、コントラスト判定部５１は、撮影レンズ４６のピント合わせ手段との連動で、オートフォーカスの制御に用いられるが、このピント合わせ時のレンズ位置の情報によって、上述したように、被写体の距離や背景の距離等を判定することができる。更に、コントラストの高いものが何処にあるか等を判定することができる。

更に、写真撮影を行った時の時間は、ＭＰＵ４１内の時計部４１ａによって計測されており、ＭＰＵ４１によって画像と関連付けられる。この撮影時刻情報は、非常に重要であり、これによって撮影時刻や頻度から撮影のテーマを知ることもできる（例えば、夜の風景ならば夜景である等）。

このように、撮影時に、画像処理回路５０から出力された信号やその他の情報は、圧縮部５５によって、適宜、圧縮されて、後段の記録メディア５７に記録される。

画像処理部５０から出力された信号は、圧縮部５５によって圧縮される。圧縮部５５内には、ＪＰＥＧコア部等の静止画像用圧縮部５５ａ（図１には圧縮Ｓと示される）、またはＭＰＥＧ４やＨ．２６４等の圧縮用コア部で構成される動画用圧縮部５５ｂ（図１には圧縮Ｍと示される）を有している。

この圧縮部５５で圧縮された画像信号やその他の付随データ（テーマ情報や大きさ情報）は、記録制御部５６を介して、記録手段である記録メディア５７に記録される。記録制御部５６には、記録手段である画像検索用のデータベース（テーマ判定用データベース）５６ａを有している。この内容は、カメラ製造時に記録してもよいが、上述したように、インターネット経由で、検索エンジンに合わせて書き替え可能としてもよい。

一方、記録メディア５７に記録された撮影画像データは、入出力部５８によって、ネットワーク１５、入力手段を有するパーソナルコンピュータ６５等を介して、ホームページやブログ等のサービスにアップロード可能である。また、入出力部５８から送信する時には、その送信写真が、どんなテーマかを示す情報も送信可能なようになっている。もちろん、送信は、インターネット経由に限るものではなく、例えば、メモリカードやパーソナルコンピュータ等を介して送信する構成を本発明に応用してもよい。

この撮影画像に添付される情報は、上述したように、撮影時の時刻、露出制御パラメータや距離情報、色情報、後述する顔検出等を利用したテーマ情報である。このように、撮影して送信する画像そのものの情報のみならず、それと関連する画像の情報も添付する点、特に、キーワードである場合の他、画像の形で添付している点が本実施形態の特徴である。

このような付随情報によって、後述するように、画像検索システムは、正しい判定を行うことができるようになっている。このような構成になっているので、その人がどのような画像をテーマに写真を撮っているのかを、他のネットユーザ６６も知ることができ、交流を深めることができる。

また、表示制御部６０内のマルチ画像表示部６０ａを利用して、表示部２４の表示画面に複数の画像を表示可能としている。これは、例えば奇数番目に入力された画像を画面の左側に、偶数番目に入力された画像信号を画面の右側に表示するような制御を司る。このマルチ画面表示機能によって、撮影した画像を比較して鑑賞したりすることも可能となる。

また、図４（ｂ）に示されるように、主画像２５の他、候補テーマ画像（典型的画像）２６を表示部２４に表示することができる。

ユーザの操作は、スイッチ２３ａ〜２３ｃの状態によって検出され、ＭＰＵ４１がそれを判定し、撮影時に各ブロックをシーケンシャルに制御する。これらのスイッチ２３ａ〜２３ｃの操作に従って、撮影／再生のモード切り替えや撮影モードの切り替え等も行えるようになっている。また、上述したとおり、本発明の特徴たるお手本画像の読み出し等も、これらのスイッチの変化を検出することによって行われる。例えば、図４（ａ）に示される例では、カメラ１１をフレーミングして、カメラ背面に設けられたスイッチ２３ｂを押した瞬間の構図から、テーマ判定や選択を行うようにしている。

このテーマ選択の一例としては、図５（ａ）に示されるように、ユーザの手７０によるスイッチ２３ｂの操作で、表示部２４にキーワード一覧の表７２が表示される。その中から、該当するキーワードが十字キー（図示せず）等の選択スイッチ２３ｂの操作等で選択される。この状態で、スイッチ２３ａが操作されることによって、画像７１に関連付けられるような操作が行われることが考えられる。

キーワードの中に、本実施形態の特徴たる大きさの情報を入れておき、該情報を選択可能にしておいてもよい。また、補助光発光部４４にて、状況に応じて被写体３５に光を照射して、明るさの不足や、不均一な明るさを防止するようにしている。

次に、図６のフローチャートを参照して、このような構成のカメラの制御動作について説明する。この制御動作は、ＭＰＵ４１が所定のプログラムに基づいて行うものである。

本シーケンスが開始されると、先ず、ステップＳ１に於いて撮影モードか否かが判定される。この撮影モードか否かの判定は、撮影用のレリーズ釦２３ａが押し込まれること等によって行われる。その結果、撮影モードであればステップＳ２へ移行し、そうでない場合はステップＳ８へ移行する。そして、ステップＳ８では、再生モードであるか否かが判定される。ここで、再生モードであればステップＳ１８に移行し、そうでなければステップＳ９へ移行する。

ステップＳ９では、図示されない電源スイッチがオフにされたか否かが判定される。その結果、電源がオフにされたならば電源がオフの処理動作が行われる。一方、電源がオン状態であればステップＳ１０に移行する。

例えば、撮影用のレリーズ釦２３ａが押し込まれることなどによって撮影が開始されるが、その前に表示部２４の画面上には、これから撮影する画像が表示されている。すると、ユーザは、表示画面を見ながら撮影する被写体や状況を確認する。この時、上述したステップＳ１からステップＳ８、更にステップＳ９を経て、ステップＳ１０にて撮像＆表示処理が実行される。ここでは、必要に応じて、撮影レンズ４６のピント位置が移動されて、コントラスト判定部５１により画像のコントラスト変化が判定されて、オートフォーカス動作が適宜実行される。すなわち、ピントを合わせたレンズ繰り出し位置から、被写体３５までの距離が、ＡＦ制御部４３、ＭＰＵ４１等により求められる。

次いで、ステップＳ１１では、この状態で得られた画像から主被写体の輪郭部が検出される。これは、得られた画像の輪郭強調技術で浮き立たせた画像の変化点が連続しているかどうかで判断したり、補助光発光部４４より補助光を照射して、その反射光の分布を検出したりして判定すればよい。

例えば、図７（ａ）に示されるように、撮影に先立って補助光発光部４４より補助光が被写体３５に照射されると、図７（ｂ）に示されるような、その反射光分布から、画角θと被写体との距離Ｌの関係を判断することができる。この反射光が返ってくる場所と来ない場所の境目を輪郭部と判定することができる。

そして、ステップＳ１２では、被写体３５の大きさが判定される。これは、上記輪郭部（図７（ｂ）に記された被写体幅）から分かる被写体が画面内に占める割合と、撮影レンズ４６の画角、上述した距離情報より、被写体の大きさを判定することが可能である。被写体３５の距離Ｌと画角θが分かれば、被写体３５を撮影する時の撮影範囲が分かり、そこに占める割合で被写体３５の大きさが分かる。

このように、被写体が大きなものか小さなものかによって、また、後述する図１１のフローチャートのような考え方や画像の特徴より、被写体がどんなものであるかの候補がいくつか挙げられる。したがって、ステップＳ１３にて被写体の候補が判定されると、続くステップＳ１４にて、当該候補が表示部２４の表示画面に一覧表示される。すると、ステップＳ１５にて、ユーザが一覧表示を見て、候補の中からテーマが選択される。

ここで、候補が選択されると、その操作にしたがって、ステップＳ１６にてテーマ情報を、これから撮影される画像に付与できるようにする。その後、ステップＳ１７にて大きさ情報が付与されると、上記ステップＳ１に移行する。

上記ステップＳ１に於いて、撮影用のレリーズ釦２３ａが押し込まれる等によって撮影が開始されると、ステップＳ２では露出や再度ＡＦの制御が行われる。次いで、ステップＳ３で時刻判定が行われる。そして、ステップＳ４に於いて、テーマ設定済みか否かが判定される。

ここで、先に行われた撮像結果からテーマ判定（詳細は後述する）がなされていた場合、または、図４（ａ）に示されるように、テーマ設定用の選択スイッチ２３ｂが操作されてテーマ撮影とされた場合には、ステップＳ５に移行して撮影及び記憶が行われる。そして、ステップＳ６では、そのテーマ情報や大きさ情報等、テーマ情報関連付けの圧縮及び記録が行われる。その後、上記ステップＳ１に移行する。

一方、上記ステップＳ４に於いて、テーマ設定なしで撮影された場合は、ステップＳ７に移行して通常の撮影が行われる。そして、撮影画像が圧縮された後、記録メディア５７に記録される。その後、上記ステップＳ１に移行する。

また、撮影の操作が行われていない状況では、ステップＳ１からステップＳ８に移行して再生モードか否かが判定されるが、ユーザによって再生モードに設定されている場合は、ステップＳ１８に移行して再生表示が行われる。これは、撮影結果からユーザによって選択されたものを液晶等の表示画面に再生表示する処理である。この時、再生画像について、テーマ設定ができるようにしてもよい。これを行う時は、これを判定して、ステップＳ２７にてそれを実施する。

このテーマ設定の方法は、以下の通りである。例えば、図８（ａ）に示されるように、表示部２４の表示パネルをタッチパネルで構成したとすると、ユーザが、再生された撮影画像２４ａの中から所望の画像を選択する。そして、図８（ｂ）に示されるように、関連付けしたいテーマの一覧２４ｂに対し、選択した撮影画像２４ａ₁ を指でドラッグするような方法で関連付けするようにしてもよい。このような方式では、表示された画像と、テーマとの関係が直感的に簡単に認識できるので、誰にでも簡単に操作することができる。

また、被写体の大きさについても、このような方法を応用して入力可能としてもよい。つまり、大きさ一覧を表示部２４上に出力しておいて、例えば、「数センチ」、「十センチ」、「数十センチ」、「１ｍ」、…といった数字の枠を表示しておき、これをドラッグして対応画像に結びつけるような工夫を行ってもよい。

更に、本実施形態の特徴である、テーマ設定と画像アップロードを行う場合は、画像再生モードからその画像を送信選択した場合に、上述したアップロードが行われる。つまり、撮影した結果を発表したい場合には、その旨を指定するようにする。すなわち、ステップＳ１９にて再生すべく画像の選択がなされ、ステップＳ２０にて選択された画像が表示部２４に表示される。一方、選択された画像がない場合は上記ステップＳ８に移行する。

上記ステップＳ２０で表示された画像は、ステップＳ２１にて送信するか否かが判定される。その結果、送信する場合はステップＳ２２に移行し、送信されない場合はステップＳ２６に移行する。

ステップＳ２２では、テーマ情報の有無が判定される。ここで、テーマ情報がない場合は、ステップＳ２３に移行して関連情報が付与された後、ステップＳ２５に移行する。一方、上記ステップＳ２２にてテーマ情報がある場合は、ステップＳ２４に移行して関連情報が付与される。その後、ステップＳ２５にて、カメラ外に送信されるようになっている。この送信は、ＵＳＢケーブル経由でパーソナルコンピュータを介する送信であったり、ＬＡＮケーブル経由であったり、無線ＬＡＮ、赤外線通信であったりしてもよい。この送信の設定等も、選択スイッチ２３ｂ等が用いられて行われる。尚、ステップＳ２５の送信の後は、上記ステップＳ８に移行する。

また、上記ステップＳ２１にて、送信されない場合は、ステップＳ２６に移行してテーマ設定の有無が判定される。ここで、テーマ設定がなされる場合は、ステップＳ２７に移行して、そのテーマ情報の関連付けが行われた後、上記ステップＳ８に移行する。一方、上記ステップＳ２６にてテーマ設定がなされない場合は、ステップＳ２７をスキップして上記ステップＳ８に移行する。

次に、図９及び図１０を参照して、本発明の第１の実施形態に於ける顔検出部による顔検出の原理について説明する。

図９は顔検出を行う際に利用する顔の陰影比較パターンの例を示した図である。このように、複数の大きさの異なる顔パターン２８ａ、２８ｂ、２８ｃを、高速で、図１０（ａ）に示されるような画像上をスキャンさせて、画像との一致度を比較すれば、どの位置が一番比較結果、一致度が高いかを知ることができる。その結果が、図１０（ｂ）に示されるような顔の大きさや位置情報として判定可能となる。図９に示されるような、人の顔の陰影に対応するテンプレートを、図９（ａ）、（ｂ）、（ｃ）に顔パターン２８ａ、２８ｂ、２８ｃとして示されるように大きさを変えながら画面内を移動させていき、図１０（ａ）に示されるように、一致度が高いところに顔が存在すると判定する。この場合、顔パターン２８ｂにより、顔の位置が判定されている。

このように、顔の位置や大きさが、図１０（ｂ）に示されるように円形３１ａのものとして特定される。

ここで、上述した顔を検出する機能を利用して、撮影された画像のテーマを判定する様子の概略について、図１１のフローチャートを参照して説明する。

本シーケンスが開始されると、ステップＳ３１に於いて、撮像素子４８から得られた画像に顔が含まれるかどうかが判定される。ここで、顔がある場合はステップＳ３２に移行して、その大きさが所定の大きさと比較される。この比較により、第１写真群の中から第２の写真群が選択されることになる。上記ステップＳ３２での比較の結果、小さいものであれば、ステップＳ３３に移行してスナップ写真であることが選択される。一方、所定の大きさよりも大きいものであれば、ステップＳ３４に移行してポートレート写真であることが選択される。

また、上記ステップＳ３１にて顔がないシーンであると判定された場合は、ステップＳ３５に移行して、ピント合わせ結果より距離が判定される。そして、遠距離であると判定された場合は、ステップＳ４１に移行して風景写真であるとされる。上記ステップＳ３５にて遠距離ではないと判定された場合は、ステップＳ３６に移行して至近距離であるか否かが判定される。ここで、至近距離ではないと判定された場合、すなわち至近距離乃至遠距離であれば、ステップＳ４０に移行してペットの写真とされる。

上記ステップＳ３６に於いて、至近距離であると判定された場合は、ステップＳ３７に移行して、色判定が行われる。この色判定は、撮影画面が複数、例えば９つに分割され、周辺部に緑色の被写体（ＣＩＥ色度図に於いてＧ成分領域に位置する）が存在し、中央部に緑色以外の被写体（すなわち、ＣＩＥ色度図に於いてＧ成分領域以外に位置する）が存在するか否かが判定される。その結果、こうした条件に該当するものは、ステップＳ３８に移行して花の写真であるとされる。一方、上記ステップＳ３７にて、上述した色の条件に該当しないと判定された場合は、ステップＳ３９に移行して、アクセサリー等、小物の写真であるとされる。

もちろん、風景等の写真についても色を判定し、例えば、青いものがある場所によって空や海を判定し、オレンジ色なら夕暮れなどを判定して、よりきめ細かいテーマ設定を行うようにしてもよい。

このように、大枠の判定がされると、より詳細なキーワードは、所定のリストからユーザによって選択するようにすればよい。また、このようなプロセスを経なくとも、どのようなテーマに分類するかは、ユーザによって設定するようにしてもよい。但し、このように概略絞り込みを行ってからである方がが、より詳しいキーワード添付時にも、迅速な判断、操作を行うことができる。

このようなカメラでは、図４（ａ）に示されるようにカメラを構えている状況下で、表示部２４の表示パネルに、図４（ｂ）に示されるような撮影前画像２５と、そのときの被写体距離や大きさから、候補とされるテーマの画像２６を類推し、これを同時表示することができる。ユーザは、それを十字キーやジョグダイヤルによる選択方法によって、この候補から選択するようにすればよい。その選択結果が、キーワードのように画像に張り付いてもよいが、ここでは、例えば図４（ｃ）に示されるように、画像２５の右下に典型的画像として合成することによって、単純な類似画像検索の技術を応用しても、この画像が検索時に選択されやすくなる。

しかしながら、この添付合成画像が大きいと実画像の邪魔になるので、縮小表示する必要がある。また、縮小表示してしまうと、画角や距離から大きさを計算すると不正確になるので、この添付合成画像付きの画像については、焦点距離情報や画角情報、距離情報は無効化した方が好ましい。また、画像はリサイズされたりトリミングされたりすると、被写体の大きさが類推できなくなるので、撮影時やそれに先立つタイミングで大きさ情報が得られれば、その情報は記録できるようにしておくことが好ましい。

次に、本実施形態が想定しているような、画像検索を行うプロバイダの働きについて、図１２のフローチャートを参照して説明する。

先ず、ステップＳ５１に於いて、ユーザから写真画像が送られて来たかどうかが判定される。ここで、画像が送られてきたならば、ステップＳ５２に移行して、画像に添付された情報が判定される。次いで、ステップＳ５３にて、しかるべきホームページやブログ画面に掲載が行われる。そして、ステップＳ５４に於いては、テーマ情報が付いた画像であるか否かが判定される。その結果、テーマ情報がついた画像であるならば、ステップＳ５５に移行して、画像表示時に、適宜、その旨を示す表示が行われたり、信号が付加されたり、或いは画像の表示方法が変更されたりする。また、ステップＳ５６では、後で検索しやすいように被写体の大きさ情報が、画像と関連付けてキーワードと同様に記録される。その後、上記ステップＳ５１に移行する。

上記ステップＳ５１に於いて、ユーザからの画像受信でない場合は、ステップＳ５７に移行して、テーマ検索であるか否かが判定される。ここで、ネット利用者が所定のテーマの検索をする場合は、ステップＳ５８に移行して、そのテーマのキーワードを有するブログや画像が判定される。そして、該当するものがあれば、ステップＳ５９に移行して、該当するブログや画像が表示される。この時、画像に被写体の大きさデータ等が添付されている場合、その情報から想定しうる類似テーマのものが検索されるようにする。

つまり、例えば、ブログ検索で行うテーマが犬や猫のペットならば、数十センチから１．５ｍ程度の大きさのものを重視し、それ以上に小さい大きさの情報のものは検索せず、また、それより大きいものも無駄なので検索しないようにする。これによって、画像検索の精度が向上する。しかし、画像の持つ色や陰影や形状等の情報は、有効に利用できるので、画像検索の特徴を生かしながら、それで表現できない部分を最低限補って効率のよい検索を可能とする。

上記ステップＳ５８に於いて、該当テーマの情報がついた検索対象がない場合は、ステップＳ５９がスキップされる。そして、ステップＳ６０にて、画像そのものの内容や被写体の大きさが参照されて、合成されている典型的画像を含む画像が検索される。次いで、ステップＳ６１では、それを有するブログなりホームページ（ＨＰ）が表示される。また、そのプロバイダなりサイトなりが扱う、代表的テーマの情報が、カメラに対して送信できるようになっている。

この情報を利用すれば、図５（ａ）に一覧の表７２に示されるようなテーマ一覧部に、その代表的テーマ、キーワードを表示させることができ、簡単にブログと関連付けることができる。

上記ステップＳ５７にて、テーマ検索ではないと判定された場合は、ステップＳ６２に移行して、テーマ情報の有無が判定される。ここで、テーマ情報がない場合は上記ステップＳ５１に移行し、テーマ情報がある場合はステップＳ６３に移行する。そして、このステップＳ６３にて、一覧表示の有無が判定される。

ユーザは、この代表テーマをカメラに入力したいとき、その旨をパーソナルコンピュータ上等で設定すると、ステップＳ６４に移行してテーマ一覧が送信され、更にステップＳ６６にて情報出しされる。このテーマの中に、被写体の大きさを表わす表示一覧を含めておいてもよい。この大きさの分類については、その検索方法によって考え方も変化するので、一概にカメラサイドからだけでは決められないので、このようなプロバイダからの推奨入力方式等の工夫が有効となる。

また、所定のテーマだけを追求しているユーザは、そのテーマに対応する典型的画像データを取得すればよい。この場合、この検索サイトをパーソナルコンピュータ上で見ながら、その旨を設定すると、上記ステップＳ６３からステップＳ６５に移行して、その典型的画像がカメラに入力できるようになる。これは、例えば、犬や猫の哺乳類のペットであれば、四足であったり、頭の家に耳があったり、単純化された検索しやすい明瞭な画像となる。

以上、説明したように、本実施形態のような考え方で、テーマに応じて典型的画像が合成できるカメラで撮影した写真は、ネット上の検索サービスが使用している判断方法や、テーマに準じて分類しやすくすることができ、検索時に漏れがなくなる。

また、図１２のフローチャートに示されるような検索を重視したサイトではなく、ブログ掲載を重視したサイトでは、図１３のフローチャートのように、ステップＳ７６以降のようなステップで、他のサイトの検索の特徴を判定可能にすれば、想定した検索サイトでの画像検索を容易にすることが可能となる。

尚、図１３のフローチャートに於いてステップＳ７１〜Ｓ７５の処理動作は、上述した図１２のフローチャートに於けるステップＳ５１〜Ｓ５５と同じであるので、対応するステップ番号を参照するものとしてここでの説明は省略する。

ステップＳ７１にてユーザからの画像受信でない場合は、ステップＳ７６に移行して、想定検索サイトの情報が取得されたか否かが判定される。そして、想定検索サイトの情報が取得された場合には、ステップＳ７７に移行して、ユーザが選択した検索サービスに対し、そのうちのどのテーマで取り上げたいかを選択する。すると、続くステップＳ７８にて、そこに掲載されている画像にある被写体の特徴（形状、色など）が分類されて抽出される。

更に、ステップＳ７９にて、この抽出された特徴を満たす画像が作成されると、続くステップＳ８０にて、テーマと画像の情報が関連付けられる。次いで、ステップＳ８１にて、これらの情報が一緒にカメラに対して発信される。このようにすれば、図３（ｂ）に示されるサイト１９に一覧表示されているような画像例から、図４（ｃ）に示されるような画像を合成することができ、検索用の典型的画像を得ることが可能となる。

以上説明したように、本実施形態によれば、画像の持つダイレクトな表現力と、被写体の大きさ情報を用いて、的確な情報に迅速にアクセスできるシステムを提供することができる。例えば、ＬＰとＣＤのジャケットでは、画像データだけであれば同じになるが、大きさ情報を入れることによって、適切にこれらの違いを判定することができる。

図１４に示されるように、ネットワーク１５に接続されたパーソナルコンピュータ７５に、コネクタ（入出力部）５８を介してカメラ１１を接続しただけで、カメラ１１のメモリ（記録メディア）５７内の画像が、ブログ用のプロバイダ１６に送信設定された画像７１が送信されたり、ブログ内で扱っているテーマ一覧７２が、プロバイダ１６からカメラ１１のメモリ５７に入力され、ユーザが関連付けられるようなシステムとしてもよい。このようなシステムでは、プロバイダ１６が、図１５のようなフローチャートによる制御を行えば、例えば、カメラの表示部２４に表示されている画像を、コネクタ５８を介してパーソナルコンピュータ７５等のネット接続手段に接続するだけで、ブログ掲載やテーマ一覧をカメラが取得したりすることができる。

このような工夫によって、ブログやサイトが扱う最新のテーマを更新したり、ネット接続だけで画像をアップできる簡単操作のカメラを提供することができる。

先ず、ステップＳ９１にて、カメラ１１がパーソナルコンピュータ７５と接続されたか否かが判定される。ここで、両者が接続されたならば、続くステップＳ９２に於いて、そのときアップロード候補画像があるか否かが判定される。その結果、候補画像がなければ後述するステップＳ９７に移行し、候補画像があればステップＳ９３に移行する。そして、このステップＳ９３にて、この画像に付けられた添付情報が判定され、続くステップＳ９４にて、この情報に従ってブログ掲載が行われる。

次に、ステップＳ９５に於いて、テーマ画像であるか否かが判定される。ここで、テーマ画像である場合は、ステップＳ９６に移行して、その画像にテーマ情報（例えば、典型画像マーク等）が添付される。一方、上記ステップＳ９５にてテーマ画像でない場合は、ステップＳ９６はスキップされる。また、その状態で、そのままブログやサイトが扱うテーマ情報が、ステップＳ９７にてカメラ１１に対して送信される。更に、ステップＳ９８及びＳ９９にて、そのテーマを表す典型的な画像マーク（典型的画像情報）が送信される。

以上、説明したように、本実施形態によれば、ブログやホームページ等との親和性の高いカメラを提供することができる。

また、図７を参照して、被写体が何であるかを推定するための大きさ判定方法を説明したが、これに限られるものではなく、図１６及び図１７に示されるような構成によって、被写体の大きさを判定するようにしてもよい。

図１６（ａ）は、被写体３５に対してカメラを構え、撮影レンズ４６のピント合わせ部を動かして撮像素子の出力変化をモニタしている様子を示した図である。その場合のコントラスト変化検出部（図示せず）が、図１６（ｂ）の白丸で示される部分のように、撮像部に複数個所あるとすると、各点のコントラスト変化が図１６（ｃ）に示されるように得られる。この変化は、ピーク位置が被写体距離によって変化するので、図１６（ｂ）の黒丸部分で同じ位置にピークがあると、この部分に同じ距離のものがあり、この範囲に被写体があることが分かる。

このように、画面中心部とコントラスト変化の様子が同じような値を示すポイントには主被写体が存在すると考え、画面内に占める大きさから、被写体の大きさを判定することができる。

また、図１７に示されるように、メインの撮影レンズ４６と撮像素子４８以外に、もう一系統のサブのレンズ４６ａと撮像素子４８ａを備えたシステムでは、視差のある観察系で得られた像の分布を分析し、三角測距の原理で被写体距離がわかる。そのため、その距離が同じ部分の範囲から、被写体３５の大きさを判定することができる。

（第２の実施形態）
次に、被写体の大きさをカメラが測定して、画像に対し情報添付する方法について、第２の実施形態として、図１８乃至図２１を参照して説明する。

尚、この第２の実施形態に於いて、カメラの基本的な構成については、図１乃至図１７に示される第１の実施形態と同じであり、基本的な動作についても同様である。したがって、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる部分の構成及び動作についてのみ説明する。

図１８（ａ）及び（ｂ）は、ともに近距離Ｌｍでの被写体３５を撮影しようとしている例を示した図である。例えば、図１８（ａ）に示されるように、皿３６に盛り付けられた魚料理のごとく、なるべく被写体３５の広い範囲を画面一杯に写し込みたい状況では、ユーザはズームレンズ４６ａの焦点距離を短くして（広角側；Ｗｉｄｅにして）撮影を行う傾向にある。これは、大きく全体を撮影したいと同時に、細部もよく撮影したいという状況で、ユーザは距離を工夫して、こうした撮影を行うからである。この場合、むしろ、撮影時の画角を一杯に広げておき、距離を変化させて撮影を行う。

通常、フィルムカメラ換算で、焦点距離３５ｍｍ相当から始まるレンズでは、撮像素子の幅が３６ｍｍ相当なので、３５ｃｍの距離ならば３６ｃｍの幅のもの、７０ｃｍの距離ならば７２ｃｍの幅のものの撮影ができる。この３６ｃｍ、７０ｃｍの距離の変化は、撮影者が構図を変えながら調節することができる。むしろ、ズームレンズを操作するよりも簡単に制御が可能である。

また、これとは異なり、泳いでいる魚等を撮影する場合は、その活動の邪魔になる距離には侵入しにくい。このように、相手が生物である場合は、カメラを持った撮影者の接近等が如実に影響するので、先ず、撮影時の距離が先に決定され、生物の活動の邪魔にならないようにして、比較的遠い距離から構図なりタイミングを決定する方が一般的である。したがって、ズームレンズの望遠側（Ｔｅｌｅ側）で撮影されるケースが多い。しかも、体長数センチの小動物の場合は、この傾向が顕著であり、なるべく大きく撮影したいので、この傾向が顕著になる。

例えば、上述した例で、フィルムカメラ換算で、焦点距離３５ｍｍ相当から始まるレンズでは撮像素子の幅が３６ｍｍ相当なので、３．５ｃｍの幅のものならば３．６ｃｍの距離で、７．２ｃｍの幅のものを一杯に写すならば７．２ｃｍの距離での撮影を行わなければならない。それに対し、３倍や５倍のズーム等では、２０ｃｍ〜３５ｃｍの自由度が生まれるので、数センチの距離に接近しての無理な撮影に比べると、はるかに現実的で無理のない撮影を楽しむことができる。

こうした小さな生物などは、単に拡大して撮影するだけでも、見るものに新鮮な感情を想起せしめる。普段、目にしているものとは違う光景が記録できれば、それだけを拡大するような撮影でも、撮影の角度やタイミングによっては、（背景等がなくても）十分に作品化することが可能となる。

更に、上述したような小さな被写体ではなく、人間や犬、猫くらいの大きさであれば、図１８（ｃ）に示されるように、図中Ｌｍとして説明したような近距離撮影でなくとも、距離Ｌｎで画面内に適当な大きさでの撮影が可能である。これらは、上述した数センチオーダの魚に比べて、桁違いに大きく、肉眼でも、普通に目にする光景であるということもあって、それだけを抜き出して撮影しても面白いものではなく、写真の見栄えをよくするものとして、組み合せる背景等も重要な因子となる。とはいえ、主被写体である以上、ある程度の大きさで画面内に収められていることが想定される。

このような考え方で、図１８（ａ）に示されるように、撮影されるエリアの幅Ｘと被写体の距離Ｌを図示すると、撮影レンズの焦点距離ｆや、撮像素子の幅Ｗから、図１９に示されるようなグラフが得られる。同図に於いて、焦点距離ｆを変えたときは、Ｗ（広角）（焦点距離が短い）、Ｔ（望遠）（焦点距離が長い）というように切り替わる。

マクロ撮影と称されるような近距離の場合は、図２０（ａ）に示されるような写真や、図２０（ｂ）に示されるような写真が得られるが、これについては、図１８（ａ）、（ｂ）を参照して既に説明した。つまり、被写体の大きさが数センチのものは望遠側で、数十センチのものは広角側で撮影される。

また、無限遠と称されるような距離で撮影されるものは、図２０（ｅ）に示されるような建物等であり、広角側で撮影される傾向があり、図２０（ｆ）に示されるように山のようなものは、手前に引き寄せるべく望遠側で撮影されることが多い。このような特徴から、焦点距離によっても数十メートルオーダのもの、数キロオーダのものを切り分けて判定することができる。

一方、マクロ撮影でも無限遠でもなく、その間の距離に位置するものは、図２０（ｃ）、（ｄ）に示されるように、望遠側で撮影されたものは、その被写体の全身相当が撮影されていると考えられる。また、広角側で撮影されたものは、その被写体が、風景と一緒に写し込まれていると判定することができる。

このような考え方を用いると、図２１のようなフローチャートによって、焦点距離ｆと距離Ｌから得られた撮影範囲Ｘに対し、ズーム位置を更に加味した考え方で被写体の大きさの概略を判定することが可能となる。

つまり、ステップＳ１０１にて、撮影時のピント合わせレンズの繰り出し位置等から、距離情報Ｌが求められる。次いで、ステップＳ１０２にて、ズーミング位置から焦点距離情報ｆが求められる。更に、ステップＳ１０３では、図１８（ａ）に示されたような関係から、画面に撮影できる部分の幅Ｘが求められる。ステップＳ１０４に於いては、こうした情報を基に、被写体の距離がマクロ域（約１ｍ以下）であるか否かが判定される。

ここで、被写体の距離がマクロ域ならば、ステップＳ１０５に移行して、焦点距離が望遠側（Ｔｅｌｅ側）か広角側（Ｗｉｄｅ側）かが判定される。その結果、望遠側ならば、ステップＳ１０６に移行し、図２０（ａ）に示されるような状態であると考えて、画面範囲Ｘのうち、１／５程度を占めるのが被写体の大きさと考える。これは、画面内である程度の大きさで撮影されていることを考慮している。小さな被写体をこれぐらいの大きさ（写真画面の数分の１くらいの大きさ）で撮影していると見栄えがいいからであり、これ以上に小さいと、その対象物の目や口がよく描写されない。

上記ステップＳ１０５にて、望遠側ではないと判定された場合は、ステップＳ１０７に於いて、広角側であるか否かが判定される。その結果、撮影時のズーム位置が広角側である場合は、ステップＳ１０８に移行する。このステップＳ１０８では、画面一杯に被写体を収めようとしているので、画面範囲Ｘがそのまま、その被写体の大きさと考える。

更に、上記ステップＳ１０５及びＳ１０７にて、それ以外の焦点距離であると判定された場合は、ステップＳ１０９に移行する。この場合は、望遠側と広角側の特徴を併せ持つとして、その間をとって撮影範囲Ｘの１／２の幅が被写体の大きさと考える。

また、図２０（ｅ）、（ｆ）を参照して説明した無限遠距離近傍（風景）での、被写体の大きさの考え方もこれに準じたものである。これは、上記ステップＳ１０４にてマクロ域の撮影でないと判定されて、ステップＳ１１０にて無限遠相当の撮影であると判定された場合に、ステップＳ１０５以下が実行される。広角側では画面内全てが被写体であり、一方、望遠側では画面内の一部が被写体である。

また、上記ステップＳ１０４及びＳ１１０にて、マクロ域の撮影でも遠距離での撮影でもないシーンの場合は、ステップＳ１１１以降の処理動作が実行される。ここでも、ズームレンズが望遠側、広角側のどちらに設定されているかによって、被写体の大きさ判定を切り替えるが、ここでは、被写体との距離の自由度が大きいので（マクロ域であれば近づきすぎると被写体が逃げ、風景であれば多少自分が動いても変化しない）、望遠側にする場合は被写体を大きく、広角側にする場合は背景も加味して、主被写体はむしろ小さくなるという特性がある（図２０（ｃ）、（ｄ）参照）。

したがって、ステップＳ１１１に於ける望遠側か否かの判定にて、望遠側であれば、ステップＳ１１２に移行して、撮影範囲をそのまま被写体の大きさＸｏとする。一方、上記ステップＳ１１１にて望遠側でない場合は、ステップＳ１１３にて広角側であるか否かが判定される。ここで、広角側であれば、ステップＳ１１４に移行して、被写体は小さく（Ｘの１／１０）撮影されると考える。更に、上記ステップＳ１１１及びＳ１１３にて、望遠側と広角側の間の焦点距離であれば、ステップＳ１１５に移行して、Ｘの１／５程度の大きさのものであると考える。

このような工夫によって、少なくとも、被写体が数ｃｍのものか、数十ｃｍのものか、或いは１ｍを越えるものかを判断することが可能となる。このような情報があるだけで、単に画像の特徴からだけでそのテーマを判別するよりは、はるかに信頼性の高い検索が可能となる。

以上説明したように、こうした方法によって、また、場合によっては、図１６及び図１７を参照して説明したような方法を組み合わせることによって、被写体の大きさ情報が加味できるので、信頼性の高い画像検索が可能となる。画像は、一度パーソナルコンピュータ等に取り込まれると、画像処理のソフト等により、自由自在にトリミングやサイズの変更が行われるので、被写体の大きさ情報は、撮影段階で明確化しておき、画像に関連付けておくことが好ましい。

上述した実施形態によれば、こうした懸念点をも考慮して、画像の検索技術を補完するものとなり、ネット上の正しく効果的なコミュニケーションを活性化するのに役立つものである。

尚、以上述べた実施形態は、もちろん、ネット上の画像検索に止まるものではなく、パーソナルコンピュータ内の膨大な容量のハードディスクドライブに記録された画像や、近年、容量の拡大傾向にあるフラッシュメモリ等に記録された画像も、また、本発明の応用によって検索が容易になることは言うまでもない。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変形実施が可能であるのは勿論である。

更に、上述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の第１の実施形態に係るデジタルカメラの基本構成を示したブロック図である。 （ａ）は画像を解析し、その特徴を判定して画像検索する方法を概念的に示した図、（ｂ）は本発明に従った画像検索の方法を概念的に示した図である。 （ａ）は本実施形態に於けるカメラで撮影した画像をネットワークを介してサイト上に表示する例を説明する図、（ｂ）はサイト上の画像から検索用の画像を得る例を説明する図である。 （ａ）はユーザが写真撮影を行う例を説明する図、（ｂ）はカメラの表示部に於ける画像の例を示した図、（ｃ）は典型的画像を合成した表示した例を示した図である。 （ａ）はキーワード付けの例を説明する図、（ｂ）はキーワード検索の例を説明する図である。 本発明の第１の実施形態に於けるカメラの制御動作について説明するためのフローチャートである。 被写体の大きさを判定するための説明図である。 テーマ設定の方法について説明する図である。 本発明の第１の実施形態に於ける顔検出部による顔検出の原理について説明する図である。 本発明の第１の実施形態に於ける顔検出部による顔検出の原理について説明する図である。 顔を検出する機能を利用して、撮影された画像のテーマを判定する様子の概略について説明するためのフローチャートである。 本発明の第１の実施形態が想定しているような、画像検索を行うプロバイダの働きについて説明するフローチャートである。 本発明の第１の実施形態が想定しているような、画像検索を行う別のプロバイダの働きについて説明するフローチャートである。 ネットワークに接続されたパーソナルコンピュータに、コネクタを介してカメラを接続して、ブログ内で扱っているテーマ一覧からカメラに画像が入力される例を説明する図である。 図１４のような接続を行った場合の画像検索を行うプロバイダの働きについて説明するフローチャートである。 被写体の大きさを判定するための説明図である。 被写体の大きさを判定するための説明図である。 本発明の第２の実施形態を示すもので、近距離での被写体を撮影しようとしている例を示した図である。 撮影されるエリアの幅Ｘと被写体の距離Ｌとの関係を示したグラフである。 図１９のグラフのａ〜ｆ点に於いて撮影された画像の例を示した図である。 本発明の第２の実施形態に於いて被写体の大きさ判定の動作を説明するためのフローチャートである。

符号の説明

１１…カメラ、１２…写真、１２ａ…添付データ、１３、５８…入出力部、１５…ネットワーク、１６…プロバイダ、１７…画像検索サイト（サイト）、２３ａ…レリーズスイッチ（レリーズ釦）、２３ｂ…選択スイッチ、２４…表示部、２８ａ、２８ｂ、２８ｃ…顔パターン、３５…被写体、４１…マイクロコントローラ（ＭＰＵ）、４１ａ…時計部、４２…オートフォーカス（ＡＦ）制御部、４３…絞り制御部、４４…補助校発光部、４６…撮影レンズ、４７…絞り、４８…撮像素子、４９…アナログフロントエンド（ＡＦＥ）部、５０…画像処理回路、５０ａ…増感部、５１…コントラスト判定部、５２…色判定部、５３…顔検出部、５５…圧縮部、５６…記録制御部、５７…記録メディア、６０…表示制御部。

Claims (19)

1. 撮影された画像のテーマと、上記画像内の主要被写体の大きさを判定する判定手段と、
   上記判定手段で判定された情報を上記画像に関連付けて記録する関連付け手段と、
   を具備することを特徴とするカメラ。
2. 上記判定手段は、撮影時の被写体距離と撮影画角から画面の幅を判定し、該幅の情報と撮影時の撮影レンズの焦点距離とに基づいて上記大きさを判定することを特徴とする請求項１に記載のカメラ。
3. 上記判定手段は、上記被写体距離がマクロ領域にあるか否かを考慮して上記大きさを判定することを特徴とする請求項２に記載のカメラ。
4. 画像の特徴情報と、上記画像に関連付けされて記録されている主要被写体の大きさ情報とに基づいて、第１の写真郡から限定された第２の写真郡を選択することを特徴とする画像検索システム。
5. 撮影された画像を、予め定められた条件に基づいて識別する識別手段と、
   上記識別手段で識別された画像の情報を該画像に関連付ける関連付け手段と、
   を具備することを特徴とするカメラ。
6. 上記関連付け手段により関連付けられた上記画像の情報を記録する記録手段を更に具備することを特徴とする請求項５に記載のカメラ。
7. 上記識別手段は、上記撮影された画像のテーマと、上記画像内の主要被写体の大きさを比較して識別することを特徴とする請求項６に記載のカメラ。
8. 上記撮影時の被写体距離と撮影画角から画面の幅を算出する演算手段を更に具備し、
   上記識別手段は、上記演算手段で算出された上記画面の幅の情報と、撮影時の撮影レンズの焦点距離とに基づいて上記大きさを識別することを特徴とする請求項７に記載のカメラ。
9. 上記識別手段で識別される上記画像のテーマは、上記画像内の主要被写体に顔が存在するか否かにより識別されることを特徴とする請求項７に記載のカメラ。
10. 上記識別手段で識別される上記画像のテーマは、上記主要被写体に顔が存在する場合は、該顔の大きさに応じて識別されることを特徴とする請求項９に記載のカメラ。
11. 上記識別手段で識別される上記画像のテーマは、上記主要被写体に顔が存在しない場合は、被写体距離及び被写体の色の少なくとも何れか１つに応じて識別されることを特徴とする請求項９に記載のカメラ。
12. 上記識別手段は、被写体距離がマクロ領域にあるか否かに応じて上記画像内の主要被写体の大きさを比較して識別することを特徴とする請求項６に記載のカメラ。
13. 複数の画像の中から画像を検索して所望の画像を得る画像検索システムに於いて、
    予め定められた条件に基づいて識別された画像の大きさ情報に基づいて、上記画像の特徴情報に応じた画像郡を選択することを特徴とする画像検索システム。
14. 複数の画像の中から画像を検索して所望の画像を得る画像検索システムに於いて、
    上記所望の画像を得るべく画像の特徴情報を入力する入力手段と、
    上記複数の画像を、予め定められた条件に基づいて識別する識別手段と、
    上記識別手段で識別された画像の情報を該画像に関連付ける関連付け手段と、
    上記関連付け手段で関連付けられた画像の情報と、上記入力手段により入力された上記画像の特徴情報とを比較して、該当する画像群を抽出する抽出手段と、
    を具備することを特徴とする画像検索システム。
15. 上記識別手段は、上記画像のテーマと、上記画像内の主要被写体の大きさを比較して識別することを特徴とする請求項１４に記載の画像検索システム。
16. 上記識別手段で識別される上記画像のテーマは、上記画像内の主要被写体に顔が存在するか否かにより識別されることを特徴とする請求項１５に記載の画像検索システム。
17. 上記識別手段で識別される上記画像のテーマは、上記主要被写体に顔が存在する場合は、該顔の大きさに応じて識別されることを特徴とする請求項１６に記載の画像検索システム。
18. 上記識別手段で識別される上記画像のテーマは、上記主要被写体に顔が存在しない場合は、被写体距離及び被写体の色の少なくとも何れか１つに応じて識別されることを特徴とする請求項１６に記載の画像検索システム。
19. 複数の画像の中から画像を検索して所望の画像を得る画像検索方法に於いて、
    複数の画像を、予め定められた条件に基づいて識別する第１のステップと、
    上記第１のステップで識別された画像の情報を該画像に関連付ける第２のステップと、
    上記所望の画像を得るべく画像の特徴情報を入力する第３のステップと、
    上記第２のステップで関連付けられた画像の情報と、上記第３のステップにより入力された上記画像の特徴情報とを比較して、該当する画像群を抽出する第４のステップと、
    を具備することを特徴とする画像検索方法。

Images