JP2006092280A - 携帯型撮像装置 - Google Patents

Abstract

【課題】高精度に所望の画像を検索することが可能な画像検索技術を提供する。
【解決手段】本発明に係る携帯型撮像装置１００は、画像を撮影する撮影部２と、画像の被写体内容を特定する検索条件を受け付けるデータ入力部８と、撮影画像から検索条件に適合する画像を選出するＣＰＵ１とを備えている。ＣＰＵ１内の画像検索部は、当該ＣＰＵ１内のメイン処理部や撮影部２内の撮像制御部で取得された、撮影画像についての複数の撮影条件値に基づいて画像検索を行う。
【選択図】図１

Description

本発明は、デジタルカメラやデジタルカメラ機能付き携帯電話等の携帯型撮像装置に関する。

近年、カメラ機能が携帯電話に搭載され、ますますデジタルカメラの利用機会が広がっている。そして、システムの高速化及び記憶容量の増加に伴い、デバイスに保存できるデータ量が肥大化する傾向にある一方で、保存された大量の画像データの中から所望の画像を効率良く取り出す手段が求められている。

画像検索の方法としては、撮影時に自動的に付加される日時や撮影場所等の撮影情報を用いて検索を行う方法や、撮影者が画像ごとに予め登録しておいたタイトルやキーワードを用いて検索を行う方法が一般的である。例えば、特許文献１には、同一のタイトルやキーワードを含む画像が大量に存在する場合にそれらの中から特定の画像を容易に選出することができる検索方法が開示されている。

特許文献１の技術のように、撮影時にタイトルやキーワードを付加するのは撮影者にとって非常に煩わしい作業であるため、できれば自動的に保存される情報を用いて画像検索を行えるのが望ましい。そこで、特許文献２では、タイトルやキーワードを付加させることなく、撮影時に自動的に付加された情報から所望の画像ファイルを導き出す方法が提案されている。

特開２００２−３５８３０６号公報 特許第３０３４９２５号

しかしながら、特許文献２の技術では、高精度に画像検索を行えないという問題があった。

そこで、本発明は上述の問題に鑑みて成されたものであり、高精度に所望の画像を検索することが可能な画像検索技術を提供することを目的とする。

この発明の第１の携帯型撮像装置は、画像を撮影する撮影部と、前記撮影部で撮影された複数の撮影画像のそれぞれについての複数の撮影条件値を取得する撮影条件値取得部と、画像の被写体内容を特定する検索条件の入力を受付けるデータ入力部と、前記複数の撮影条件値に基づいて、前記複数の撮影画像から前記検索条件に適合する画像を選出する画像検索部とを備える。

また、この発明の第２の携帯型撮像装置は、画像を撮影する撮影部と、前記撮影部で撮影された撮影画像についての複数の撮影条件値を取得する撮影条件値取得部と、前記複数の撮影条件値に基づいて、前記撮影画像の被写体内容を推定する被写体内容推定部とを備える。

この発明の第１の携帯型撮像装置によれば、被写体内容を特定する検索条件を受付けるため、ユーザは簡単に所望の画像を得ることができる。更に、自ら取得した撮影画像の撮影条件値に基づいて画像検索を行うため、ユーザは画像ごとに検索用のタイトルやキーワードを付与する必要がない。更に、画像検索に複数の撮影条件値を用いているため、高精度な画像検索が可能となる。

また、この発明の第２の携帯型撮像装置によれば、取得した撮影条件値に基づいて被写体内容を推定するため、ユーザは被写体内容で画像検索を行うことが可能になる。その結果、所望の画像を容易に検索することができるとともに、画像ごとに検索用のタイトルやキーワードを付加する必要も無くなる。更に、複数の撮影条件値を用いて被写体内容を推定しているため、高精度な被写体内容推定が可能となり、その結果、高精度な画像検索が可能となる。

実施の形態１．
図１は本発明の実施の形態１に係る携帯型撮像装置１００の構成を示す図である。本実施の形態１に係る携帯型撮像装置１００は、例えばカメラ機能付き携帯電話であって、画像検索機能を備えている。なお、図１では本携帯型撮像装置１００における構成要素のうち、画像検索機能を実現する構成要素を中心に示している。

図１に示されるように、本携帯型撮像装置１００は、主に装置全体の動作を管理するＣＰＵ１と、画像を撮影する撮影部２と、各種情報を記憶する記憶部５と、画像撮影時、画像検索時あるいは画像閲覧時に、ユーザインタフェース画面（ＵＩ画面）や撮影画像を表示する表示部６と、現在の日時を管理するタイマ７とを備えており、これらの構成要素はバス５０に接続されている。更に、本携帯型撮像装置１００は、装置姿勢を検出する傾き検出センサー９と、ユーザからのデータ入力を受付けるデータ入力部８を備えている。

記憶部５は、撮影部２での撮影画像を一時的に記憶するＲＡＭ３と、各種アプリケーションプログラムや、撮影画像を保存するフラッシュＲＯＭ４とを備えている。表示部６は、例えばＬＣＤやその動作を制御するＬＣＤコントローラ（ともに図示せず）を備えており、当該ＬＣＤを表示画面として各種情報を表示する。

データ入力部８は、数字や文字などを入力するためのキーパッド（図示せず）を備えており、ユーザが当該キーパッドを操作することにより、各種情報がＣＰＵ１に入力される。例えば、ユーザは画像検索時にキーパッドを操作することにより検索条件を本携帯型撮像装置１００に入力し、入力された検索条件はＣＰＵ１に入力される。このように、データ入力部８は、検索条件を受付ける検索条件受付け部として機能する。

傾き検出センサー９は、例えば複数の加速度検出器を備えており、これらの加速度検出器によって重力の向きを検出し、その検出結果から本携帯型撮像装置１００の傾き量を求めて、それを装置姿勢情報としてＣＰＵ１に出力する。

図２はＣＰＵ１の機能ブロック構成を示す図である。図２に示されるように、ＣＰＵ１は、バス５０に接続された他の構成要素とデータのやり取りを行うメイン処理部１１と、撮影部２での撮影画像についての画像の複雑度や画像の色味などの画像特徴量の情報を取得する画像特徴量取得部１２と、撮影部２での撮影画像における被写体の動き検出を行う動き検出部１６と、ユーザによって入力された検索条件に適合する画像を選出する画像検索部１５とを備えている。画像特徴量取得部１２、画像検索部１５及び動き検出部１６は、メイン処理部１１を介して、バス５０に接続されているＣＰＵ１以外の構成要素にアクセスする。

本実施の形態１に係る携帯型撮像装置１００では、撮影画像における被写体内容の分類値が予め定められており、この分類値を検索条件として入力することができる。本実施の形態１では、分類値として、例えば、「人（自分）」、「人（他人）」、「風景」、「物」、「ペット」、「食べ物」、「乗り物」、「樹木」及び「草花」が用意されており、ユーザはこれらのいずれか一つを検索条件として入力する。

「人（自分）」は撮影者が自分自身を撮影した場合、いわゆる「自分撮り」の場合の被写体内容を示しており、「人（他人）」は撮影者が自分以外の第三者を撮影した場合の被写体内容を示している。また「物」は、「人（自分）」、「人（他人）」、「ペット」、「食べ物」、「乗り物」、「樹木」及び「草花」以外の物が撮影された場合の被写体内容を示している。

このように、本実施の形態１に係る携帯型撮像装置１００では、画像の被写体内容を特定する検索条件を入力することができる。

画像検索部１５は、合致判定部１３と画像選択部１４とを備えている。合致判定部１３は、撮影部２で撮影された複数の撮影画像のそれぞれについての撮影条件値と、基準撮影条件値とが合致するか否かの合致判定を行う。また、合致判定部１３は、撮影部２で撮影された複数の撮影画像のそれぞれについての画像特徴量の情報と、画像特徴量の基準情報とが合致するか否かの合致判定を行う。更に、合致判定部１３は、撮影部２で撮影された複数の撮影画像のそれぞれの被写体についての動き検出結果の情報と、動き検出結果の基準情報とが合致するか否かの合致判定を行う。基準撮影条件値、画像特徴量の基準情報及び動き検出結果の基準情報のそれぞれは、検索条件が特定する被写体内容に応じて予め定められている。画像選択部１４は、合致判定部１３での合致判定の結果に基づいて、撮影部２で撮影された複数の撮影画像から検索条件に適合する画像を選択する。

本発明での撮影条件値は、露出時間の情報やホワイトバランス調整値の情報などの撮影制御に関する情報と、撮影時刻の情報、装置姿勢の情報、被写体距離の情報、及びレンズ方向の情報などの撮影状況に関する情報とを含む概念である。また、レンズ方向の情報とは、撮影に使用されているレンズがどの方向を向いているのかを示す情報である。

図３は撮影部２の構成を示すブロック図である。図３に示されるように、撮影部２は、レンズ部２１と、レンズ部２１によって結像された被写体の光学像を電気信号に変換する撮像センサー２２と、撮像センサー２２の動作を制御する撮像制御部２３とを備えている。撮像センサー２２としては、例えばＣＭＯＳイメージセンサーが使用される。撮像制御部２３は、撮像センサー２２を制御するとともに、画像撮影時における露出時間、ホワイトバランス調整値、被写体距離及びレンズ方向の情報を取得して、それらの情報をＣＰＵ１に出力する。

次に、上述の基準撮影条件値、画像特徴量の基準値及び動き検出結果の基準値について説明する。図４は、撮影画像の被写体内容と、撮影条件、画像特徴量及び動き検出結果とが統計的にどのような関係にあるのかを示す図である。まず、撮影条件と被写体内容との関係について説明する。

一般的に、露出時間はシャッタースピードから算出することができ、絞り値を制御しないシステムでは、被写体の輝度に影響を受ける。従って、日中の屋外で撮影した画像についての露出時間は短い傾向にある。よって、図４に示されるように、ある撮影画像についての撮影時刻が「日中」であって露出時間が「短い」場合には、その被写体内容が「風景」、「乗り物」あるいは「樹木」である可能性が高い。一方で、ある撮影画像についての撮影時刻が「日中」であるにも関わらず露出時間が「長い」場合には、その画像は屋内で撮影された可能性が高く、その被写体内容は「食べ物」である可能性が高い。

また、図４に示されるように、ある撮影画像についてのホワイトバランス調整値が、屋外撮影用に設定されている場合には、被写体内容が「風景」、「乗り物」あるいは「樹木」である可能性が高く、屋内撮影用に設定されている場合には「食べ物」である可能性が高い。

装置姿勢については、被写体内容が「人（自分）」、「人（他人）」、「風景」、「乗り物」である場合には一般的に「水平」であることが多く、「物」、「ペット」、「食べ物」、「草花」の場合には「やや下向き」、「樹木」の場合には「やや上向き」であることが多い。従って、ある撮影画像についての装置姿勢が「水平」の場合にはその被写体内容は「人（自分）」、「人（他人）」、「風景」、あるいは「乗り物」である可能性が高く、「やや下向き」の場合には「物」、「ペット」、「食べ物」あるいは「草花」である可能性が高く、「やや上向き」の場合には「樹木」の可能性が高い。

被写体距離については、被写体内容が「人（自分）」、「食べ物」、「草花」である場合には「近い」ことが多く、「人（他人）」、「ペット」である場合には「やや近い」ことが多い。また、被写体内容が「物」、「乗り物」、「樹木」である場合には「ふつう」であることが多く、「風景」である場合には「遠い」ことが多い。従って、ある撮影画像についての被写体距離が「近い」場合にはその被写体内容は「人（自分）」、「食べ物」、あるいは「草花」である可能性が高く、「やや近い」の場合には「人（他人）」あるいは「ペット」である可能性が高い。そして、ある撮影画像についての被写体距離が「ふつう」場合にはその被写体内容は「物」、「乗り物」あるいは「樹木」である可能性が高く、「遠い」場合には「風景」の可能性が高い。

レンズ方向については、被写体内容が「人（自分）」である場合には、撮影レンズは表示画面と同じ方向を向いていることが多く、それ以外の場合には表示画面とは反対方向を向いていることが多い。図５は、撮影時のレンズの向きを示す図であって、図５（ａ）は被写体内容が「人（自分）」である場合を、図５（ｂ）はそれ以外の場合をそれぞれ示している。図５に示されるように、本携帯型撮像装置１００では、レンズ部２１には２つのレンズ２１ａ，２１ｂが設けられている。レンズ２１ａは表示部６の表示画面６１と同じ側に配置されており、レンズ２１ｂは表示画面６１とは反対側に配置されている。従って、撮影者２００は、表示画面６１で被写体２１０の様子を確認するために、自分自身を撮影する場合には表示画面６１と同じ方向を向いているレンズ２１ａを使用し、自分自身以外のものを撮影する場合には、表示画面６１とは反対側を向いているレンズ２１ｂを使用することが多い。よって、ある撮影画像におけるレンズ方向が「表示画面と同じ」である場合には、その被写体内容が「人（自分）」である可能性が高く、「表示画面とは反対」である場合には、それ以外である可能性が高い。なお、本例とは異なり、一つのレンズを回転させてその向きを変更することができる装置であっても同様のことが言える。

次に、画像特徴量と被写体内容との関係について説明する。図６は、画像特徴量の一つである画像の複雑度と被写体との関係を示す図である。図６の横軸は画像の複雑度を示す値Ｅｎを示しており、値Ｅｎが大きくなるほど画像が複雑であることを意味している。また、図６の縦軸は、横軸に示される値Ｅｎの各範囲に該当する画像ファイル数を示している。図６のグラフは、被写体内容が「草花」、「風景」、「樹木」、「食べ物」、「人（他人）」、「物」である画像をＪＰＥＧファイルで合計７２個用意し、それぞれの画像に対応する値Ｅｎを以下の式（１）で求めることによって作成している。

ただし、式（１）中のＦはＪＰＥＧファイルのファイルサイズ、Ｄは定数、Ｑは量子化テーブルの代表値をそれぞれ示している。なお、代表値Ｑは量子化テーブル中のどの値であっても良い。定数Ｄは、通常以下のようにして求められる。

ビットマップ形式のサンプル画像を用意して、その画像を様々なファイルサイズＦでＪＰＥＧファイルに変換し、ファイルサイズＦと量子化テーブルの代表値Ｑとの組み合わせを複数組み求める。そして、求めた複数組みのデータから、ファイルサイズＦと代表値Ｑとが式（１）の関係を満足するようなＥｎ，Ｄを求める。

このようにして、複数のサンプル画像のそれぞれについてＥｎ，Ｄを求めると、Ｄについては画像が異なった場合であってもほとんど変化せず、逆にＥｎは画像が複雑なほど大きくなる傾向があることが経験的にわかっている。このことから、本実施の形態１では、Ｅｎを画像の複雑度を示す値として用いている。また、本実施の形態１では、式（１）中の定数Ｄの値としては、複数のサンプル画像（例えば１００個）を用いて求めた定数Ｄの平均値を採用している。

図６に示されるように、撮影画像の被写体内容が「人（他人）」や「物」の場合には、その画像はあまり複雑でないことが多く、「樹木」、「風景」、「草花」の場合には比較的複雑であることが多い。また、被写体内容が「食べ物」の場合には、その画像は、他の被写体内容と比べてふつう程度の複雑さであることが多い。

このようにして、様々な被写体内容についての画像の複雑度を示す値Ｅｎを多くのサンプル画像を用意して求めると、その結果から次のようなことが言える。

図４に示されるように、被写体内容が「人（自分）」や「人（他人）」の場合には、画像の複雑度は「やや単純」であることが多く、「物」、「ペット」、「食べ物」、「乗り物」、「草花」の場合には「ふつう」であることが多い。そして、被写体内容が「風景」の場合には画像の複雑度は「やや複雑」であることが多く、「樹木」の場合には「複雑」であることが多い。よって、ある撮像画像についての画像の複雑度が「やや単純」であれば、その被写体内が「人（自分）」あるいは「人（他人）」である可能性が高く、「ふつう」であれば「物」、「ペット」、「食べ物」、「乗り物」及び「草花」のいずれかである可能性が高い。そして、ある撮像画像についての画像の複雑度が「やや複雑」であればその被写体内が「風景」である可能性が高く、「複雑」であれば「樹木」である可能性が高い。

次に、画像特徴量の一つである画像の色味と被写体内容との関係について説明する。一般的に、画像の色情報はＨＳＶ空間で表現することができる。ＨＳＶ空間とは、色相Ｈと、彩度Ｓと、明度Ｖとで色情報を示す空間である。図７は、１つの撮影画像における色相Ｈと画素数との関係を示す図である。図７（ａ）は撮影画像の被写体が「人（他人）」の場合、図７（ｂ）は「風景」の場合についてそれぞれ示している。なお、図７における色相ＨはＲＧＢ形式の画像データから以下のようにして求めることができる。

ＲＧＢ形式の画像データにおける、ある画素のＲ信号、Ｇ信号及びＢ信号の信号レベルの値をそれぞれＲ，Ｇ，Ｂとし、それらの信号レベルのうち最も高い信号レベルの値をｍａｘ、最も低い信号レベルの値をｍｉｎとする。そして、これらの値を用いて、値ｄ,ｒｔ,ｇｔ,ｂｔを以下の式（２）〜（５）でそれぞれ表現する。

上記値ｒｔ,ｇｔ,ｂｔを用いると、ある画素における色相Ｈは以下の式（６ａ）〜（６ｃ）で表される。

このように、ＲＧＢ形式の画像データから色相Ｈを求めることができる。

図７（ａ）と図７（ｂ）とを比較すると、被写体が「風景」の場合よりも「人（他人）」の場合の方が、部分Ａにおける色相Ｈの画素数が多くなっている。部分Ａは色味が肌色である部分を示していることから、ある撮影画像の被写体内容が「人（他人）」の場合には、当該撮影画像では肌色の色味が多いことが理解できる。

このようにして、様々な被写体内容についての撮影画像の色味について考察すると以下のことが言える。

図４に示されるように、被写体内容が「人（自分）」、「人（他人）」の場合には撮影画像には「肌色」の色味が多く、「風景」の場合には「緑色及び水色」の色味が多い。また、被写体内容が「樹木」の場合には「緑色及び茶色」の色味が多く、「草花」の場合には「緑色」の色味が多い。そして、被写体内容が「乗り物」の場合には撮影画像には「単一色領域」が多い。ここで「単一色領域」とは、同一系統の色味が連続して存在する領域を意味している。

次に、被写体の動き検出結果と被写体内容との関係について説明する。被写体内容が「ペット」の場合には、「人（自分）」や「人（他人）」などの他の被写体内容とは異なり、被写体が静止した状態で撮影されることは非常に少ない。従って、図４に示されるように、ある撮影画像についての動き検出結果として「動きを検出」したのであれば、その撮影画像における被写体は「ペット」である可能性が高い。

以上のように、撮影画像についての撮影条件、画像特徴量及び動き検出結果の値と、その被写体内容との間には図４に示されるような関係が存在する。従って、図４に示される撮影条件、画像特徴量及び動き検出結果の値を、それぞれ上述の基準撮影条件値、画像特徴量の基準情報及び動き検出結果の基準情報として採用し、それらの値と、撮影部２で撮影された撮影画像についての撮影条件値、画像特徴量の情報及び動き検出結果の情報とが合致するか否かを判定することによって、当該撮影画像の被写体内容を推定することができる。従って、画像検索部１５では、撮影部２で撮影された複数の撮影画像から、検索条件として入力された被写体内容の分類値に適合する画像を選出することが可能となる。

本実施の形態１に係る携帯型撮像装置１００では、図４に示される表が基準値テーブルとしてフラッシュＲＯＭ４に記憶されている。以後、基準撮影条件値、画像特徴量の基準情報及び動き検出結果の基準情報を総称して「基準値」と呼ぶことがある。

なお図４にも示されるように、本実施の形態１に係る携帯型撮像装置１００では、被写体内容の分類値によっては、図中に示される撮影条件のすべての項目について基準撮影条件値が設けられているわけではなく、画像特徴量のすべての項目について基準情報が設けられているわけではない。また、被写体内容の分類値によっては、動き検出結果の基準情報が存在しないこともある。

次に、本実施の形態１に係る携帯型撮像装置１００での撮影条件値及び画像特徴量の情報の取得方法、及び被写体の動き検出方法について詳細に説明する。

ＣＰＵ１のメイン処理部１１は、ユーザから画像撮影を行う旨の情報をデータ入力部８を介して受け取ると、タイマ７から現在の時刻を取得して、これを撮影時刻として取り扱う。メイン処理部１１は、取得した撮影時刻を「日中」及び「夜間」の２種類の値のどちらかに割り当てる。例えば、メイン処理部１１は、取得した撮影時刻が午前７時から午後６時までを示す場合には当該撮影時刻を「日中」と判定し、それ以外の場合には「夜間」と判定する。このように、メイン処理部１１とタイマ７とは、撮影部２での撮影画像についての撮影時刻を取得する撮影条件値取得部として機能する。

また、ＣＰＵ１のメイン処理部１１は、画像撮影時に、ユーザから自分撮りを行う旨の情報をデータ入力部８を介して取得すると、撮影部２ではレンズ２１ａが使用されることを認識する。これにより、メイン処理部１１は撮影時に使用されるレンズが表示画面６１と同じ向きを向いていることを認識できる。また、メイン処理部１１は、画像撮影時に、ユーザから自分撮りを行う旨の情報を取得しない場合には、撮影部２ではレンズ２１ｂが使用されることを認識する。これにより、メイン処理部１１は撮影時に使用するレンズが表示画面６１とは反対側に向いていることを認識できる。

なお、一つのレンズを回転させることによって自分撮りが可能となる装置では、レンズの回転を検出するスイッチを設けて、このスイッチでのレンズの回転検出結果からレンズ方向を認識することができる。

このように、ＣＰＵ１のメイン処理部１１は、撮影部２での撮影画像についてのレンズ方向の情報を取得する撮影条件値取得部として機能する。

撮像制御部２３は、画像撮影時の露出時間を自動的に調整することが可能である。本携帯型撮像装置１００では、絞り値は制御することができず、撮像制御部２３は、例えば撮像センサー２２の前方に設けられたシャッター（図示せず）のシャッタースピードを調整することによって、撮像センサー２２に届く光量を適切な値に調整する。そして、撮像制御部２３は、撮影部２で撮影した撮影画像のそれぞれについての露出時間をシャッタースピードから算出して取得する。撮像制御部２３は、取得した露出時間を「長い」及び「短い」の２種類の値のいずれかに割り当てて、その結果をＣＰＵ１のメイン処理部１１に出力する。撮像制御部２３は、露出時間が所定のしきい値よりも大きい場合には「長い」と判定し、所定のしきい値以下の場合には「短い」と判定する。

また撮像制御部２３は、ユーザによって指定されたホワイトバランス調整値に基づいて撮像センサー２２の動作を制御し、画像撮影時のホワイトバランスを適切に調整する。例えば、表示部６には、ホワイトバランス調整値として、「太陽光」、「曇天」、「蛍光灯」及び「電球」の４つの値が表示され、ユーザは、データ入力部８を操作して、光源が太陽光であって撮影天候が晴天の場合には「太陽光」を、光源が太陽光であって撮影天候が曇天の場合には「曇天」を、光源が蛍光灯の場合には「蛍光灯」を、光源が電球の場合には「電球」をそれぞれ選択する。ユーザによって選択されたホワイトバランス調整値は、ＣＰＵ１を介して撮像制御部２３に入力される。撮像制御部２３は、取得したホワイトバランス調整値に基づいて撮像センサー２２を制御する。また、撮像制御部２３は、取得したホワイトバランス調整値の情報を「屋外」及び「屋内」の２種類の値のいずれかに割り当てて、その結果をＣＰＵ１のメイン処理部１１に出力する。撮像制御部２３は、ホワイトバランス調整値が「太陽光」及び「曇天」の場合には「屋外」と判定し、「蛍光灯」及び「電球」の場合には「屋内」と判定する。

更に撮像制御部２３はオートフォーカス機能も備えており、撮影時の焦点調整の結果から被写体距離を取得する。そして、撮像制御部２３は、取得した被写体距離を「近い」、「やや近い」、「ふつう」、「やや遠い」、「遠い」の５種類の値のいずれかに割り当て、その結果をＣＰＵ１のメイン処理部１１に出力する。撮像制御部２３は、４段階のしきい値を設けて、一番大きいしきい値よりも被写体距離が大きい場合には「遠い」と判定し、一番大きいしきい値以下であって二番目に大きいしきい値よりも大きい場合には「やや遠い」と判定する。そして、被写体距離が二番目に大きいしきい値以下であって三番目に大きいしきい値よりも大きい場合には「ふつう」と判定し、三番目に大きいしきい値以下であって最も小さいしきい値よりも大きい場合には「やや近い」と判定する。そして、被写体距離が最も小さいしきい値以下の場合には「近い」と判定する。

このように、撮像制御部２３は、撮影部２での撮影画像についての露出時間、ホワイトバランス調整値及び被写体距離の情報を取得する撮影条件値取得部として機能する。

傾き検出センサー９は、取得した傾き量に基づいて、本携帯型撮像装置１００の装置姿勢を「下向き」、「やや下向き」、「水平」、「やや上向き」及び「上向き」の５種類の値のいずれかに割り当て、その結果をＣＰＵ１のメイン処理部１１に出力する。この割り当て方法については、被写体距離の場合と同様に、４段階のしきい値を設けて、それらのしきい値と傾き量とを比較することによって実現できる。よって、傾き検出センサー９は、撮影部２での撮影画像についての装置姿勢の情報を取得する撮影条件値取得部として機能する。

ＣＰＵ１の画像特徴量取得部１２は、撮影部２で撮影された撮影画像のそれぞれについて、上述の式（１）を用いて画像の複雑度を示す値Ｅｎを算出する。そして、算出した値Ｅｎに基づいて、撮影画像のそれぞれについての画像の複雑度を「単純」、「やや単純」、「ふつう」、「やや複雑」及び「複雑」の５種類のいずれかの値に割り当て、その結果をメイン処理部１１に出力する。この割り当て方法については、被写体距離や装置姿勢の場合と同様に、４段階のしきい値を設けて、それらのしきい値と値Ｅｎとを比較することによって実現できる。

また、画像特徴量取得部１２は、撮影部２で撮影された撮影画像のそれぞれについて、上述の式（２）〜（５），（６ａ）〜（６ｃ）を用いて図７のような色相Ｈのヒストグラムを取得する。そして画像特徴量取得部１２は、取得した色相Ｈのヒストグラムに基づいて、撮影画像のそれぞれについての画像の色味を判定し、その判定した色味をメイン処理部１１に出力する。以下に、画像特徴量取得部１２での色味判定方法について説明する。

本実施の形態１に係る携帯型撮像装置１００では、色相Ｈの範囲は複数の色味範囲に予め区分されている。各色味範囲には、肌色、茶色、水色、あるいは緑色などの色味が割り当てられており、色味範囲のそれぞれに対応して画素数のしきい値が設定されている。画像特徴量取得部１２は、取得したある撮影画像についての色相Ｈのヒストグラムから、各色味範囲における画素数を取得し、その画素数と対応するしきい値と比較する。そして、ある色味範囲における画素数がそれに対応するしきい値よりも大きい場合には、その撮影画像においては、その色味範囲に割り当てられた色味が強いと判断する。

また、画像特徴量取得部１２は、算出した各画素についての色相Ｈに基づいて、撮影画像において同じ色味範囲に属する画素が所定範囲以上連続して存在するか否かを判定し、所定範囲以上連続する場合には、当該撮影画像についての画像の色味を「単一色領域」と判定する。

一方、撮影画像において、同じ色味範囲に属する画素が所定範囲以上連続して存在する領域が無い場合には、画像特徴量取得部１２は、その撮影画像において強い色味であると判定した色味を、当該撮影画像についての画像の色味に決定する。例えば、強いと判定した色味が肌色だけであれば、画像の色味を「肌色」に決定し、強いと判定した色味が緑色及び水色であれば、画像の色味を「緑色及び水色」に決定する。

このようにして、画像特徴量取得部１２は、撮影画像のそれぞれについての画像の色味の情報を取得してメイン処理部１１に出力する。

ＣＰＵ１の動き検出部１６は、周知のブロックマッチング法や勾配法を使用して、撮影画像の被写体の動き検出を行う。本実施の形態１に係る撮影部２では、画像撮影を行う際、フラッシュＲＯＭ４に最終的に記憶される検索対象となる画像以外に、動き検出用の画像もそれに連続して撮影される。この動き検出用の画像はＲＡＭ３に一時的に記憶されるだけであって、フラッシュＲＯＭ４には記憶されない。動き検出部１６は、検索対象用の撮影画像と動き検出用の撮影画像とを用いて被写体の動き検出を行う。そして動き検出部１６は、動き検出結果をメイン処理部１１に出力する。なお以後、単に「撮影画像」と言えばフラッシュＲＯＭ４に記憶される検索対象用の撮影画像を意味するものとする。

以上のようにして、撮影画像についての撮影条件値、画像特徴量の情報及び動き検出結果の情報は取得され、これらの情報はＣＰＵ１のメイン処理部１１に集められる。以後、このようにして取得される、撮影画像についての撮影条件値、画像特徴量の情報及び動き検出結果の情報を総称して「取得値」と呼ぶことがある。

次に、本実施の形態１に係る携帯型撮像装置１００での画像撮影動作について説明する。ユーザがデータ入力部８に対して所定の操作を実行すると、ＣＰＵ１のメイン処理部１１は、フラッシュＲＯＭ４に格納されているカメラアプリケーションプログラムを読み込んで実行する。メイン処理部１１は、ユーザがデータ入力部８に対して撮影開始操作を実行すると、撮影部２の撮像制御部２３に対して画像撮影を行う旨を通知するとともに、タイマ７から現在の時刻を読み出して、撮影時刻の情報を取得する。このとき、ユーザが自分撮りを行う旨の操作をデータ入力部８に対して行った場合には、メイン処理部１１はその旨を撮像制御部２３に通知する。撮像制御部２３は、自分撮りか否かに応じて、使用するレンズを決定し、撮像センサー２２の動作を制御して画像撮影を開始する。このとき、動き検出用の画像も撮影される。そして、撮像制御部２３は、検索対象用の撮影画像と、動き検出用の撮影画像とをＲＡＭ３に書き込むとともに、検索対象用の撮影画像についての露出時間、ホワイトバランス調整値、及び被写体距離の情報を取得してＣＰＵ１に通知する。

またメイン処理部１１は、ユーザからの撮影開始操作を認識すると、傾き検出センサー９に装置姿勢の情報を要求し、その要求を受け取った傾き検出センサーは装置姿勢の情報を取得してメイン処理部１１に出力する。

メイン処理部１１は、ＲＡＭ３に撮影画像が書き込まれると、当該ＲＡＭ３から撮影画像を読み出して、画像特徴量取得部１２に出力する。画像特徴量取得部１２は、受け取った撮影画像についての画像の複雑度と画像の色味の情報を取得してメイン処理部１１に出力する。また、メイン処理部１１は、ＲＡＭ３から検索対象用の撮影画像と、動き検出用の撮影画像とを読み出して動き検出部１６に出力する。動き検出部１６は、受け取った画像に基づいて動き検出を実行して、その結果をメイン処理部１１に出力する。

メイン処理部１１は、読み込んだ撮影画像に、受け取った露出時間等の情報と、自ら取得した撮影時刻及びレンズ方向の情報を付加して、当該撮影画像をＪＰＥＧフォーマットでフラッシュＲＯＭ４に書き込む。このようにして、撮影部２での撮影画像が、撮影条件値、画像特徴量の情報及び動き検出結果の情報とともに保存される。

次に、ユーザによる画像閲覧時における本携帯型撮像装置１００での画像表示動作について説明する。ユーザがデータ入力部８に対して所定の操作を実行すると、メイン処理部１１は、フラッシュＲＯＭ４に格納されている画像ビューアアプリケーションプログラムを読み出して実行する。メイン処理部１１は、フラッシュＲＯＭ４にＪＰＥＧフォーマットで格納されている撮影画像を読み出して、それをＲＧＢ形式に変換してＲＡＭ３に書き込む。表示部６はＲＡＭ３からＲＧＢ形式の撮影画像を読み出して表示画面に表示する。これにより、ユーザによる撮影画像の閲覧が可能になる。

次に、本実施の形態１に係る携帯型撮像装置１００における画像検索動作について説明する。図８は本携帯型撮像装置１００の画像検索動作を示すフローチャートである。ユーザがデータ入力部８に対して所定の操作を行い、ＣＰＵ１のメイン処理部１１にユーザからの画像検索を行う旨が通知されると、メイン処理部１１は、「人（自分）」や「風景」などの予め用意された被写体内容の分類値を表示部６に表示する。なお、被写体内容の分類値はフラッシュＲＯＭ４に予め記憶されている。

ユーザがデータ入力部８を操作することによって、ある分類値を検索条件として指定すると、メイン処理部１１は、その指定された分類値「Ｘ」を画像検索部１５に通知し、画像検索部１５はその分類値「Ｘ」に適合する画像の検索を開始する。画像検索部１５の合致判定部１３は、図８に示されるように、まずステップｓ１において、合致判定要素を決定する。以下に、合致判定要素の決定方法について説明する。

上述のように、本実施の形態１では、撮影画像の撮影条件値については図４に示される撮影条件の項目のすべてについて取得し、画像特徴量の情報についても図４に示される画像特徴量のすべての項目について取得している。そして、撮影画像の被写体の動き検出結果についても必ず取得している。

しかしながら、基準撮影条件値や画像特徴量の基準情報については、被写体内容の分類値によっては準備されていない項目が存在する。また、動き検出結果の基準情報についても、被写体内容の分類値によっては存在しないことがある。従って、合致判定部１３では、撮影画像について取得したすべての項目について合致判定を行う必要はない。そこで、ステップｓ１では、合致判定部１３は、フラッシュＲＯＭ４から基準値テーブルを読み出して、この基準値テーブルから、指定された分類値に応じて、基準撮影条件値が存在する撮影条件の項目と、基準情報が存在する画像特徴量の項目とを取得し、それと同時に動き検出結果の基準情報が存在するか否かも確認する。そして、合致判定部１３は、基準撮影条件値が存在する撮影条件の項目と、基準情報が存在する画像特徴量の項目とを合致判定要素に決定し、更に動き検出結果の基準情報が存在する場合には、動き検出結果も合致判定要素に決定する。

図１０は、検索条件として被写体内容の分類値「人（自分）」が入力された場合の合致判定要素と、その合致判定要素の基準値と、確定係数αとを示す図である。また、図１１は、検索条件として分類値「ペット」が入力された場合の合致判定要素と、その合致判定要素の基準値と、確定係数αとを示す図である。

図１０に示されるように、被写体内容が「人（自分）」の画像を検索する場合には、合致判定要素としてレンズ方向、被写体距離、装置姿勢、画像の複雑度及び画像の色味が決定される。また、図１１に示されるように、被写体内容が「ペット」の画像を検索する場合には、合致判定要素としてレンズ方向、被写体距離、装置姿勢、画像の複雑度及び動き検出結果が決定される。

上述の図４に示されるように、被写体内容が「ペット」の画像では、基準撮影条件値や画像特徴量の基準情報が「物」の画像と非常に似た値を示す。従って、動き検出結果を合致判定要素に用いることによって、「ペット」の画像を検索する際の検索精度を向上することができる。なお、図１０，１１中の確定係数αについては後で詳細に説明する。

次にステップｓ２において、合致判定部１３は、フラッシュＲＯＭ４に保存されている検索対象となる全ての撮影画像のそれぞれについて、検索条件への適合度を付与して、当該適合度を“１”で初期化する。そして、合致判定部１３は、検索対象となる全ての撮影画像を特定する情報（以後、「特定情報」と呼ぶ）を含む画像検索リストを作成してＲＡＭ３に書き込む。

次に、ステップｓ６において、合致判定部１３は、ステップ１で決定した合致判定要素から、後述のステップｓ３を実行する対象となる合致判定要素を一つ決定する。そして、ステップｓ３において、合致判定部１３と画像選択部１４は、ステップｓ６で決定された合致判定要素に対して合致判定処理を実行する。図９は合致判定処理のフローチャートを示す図である。図９に示されるように、合致判定処理では、まずステップｓ３１において、合致判定部１３がＲＡＭ３から画像選択リストを読み出して、そのリストから一つの撮影画像を選択する。そしてステップｓ３２において、合致判定部１３は、ステップｓ６で決定した処理対象の合致判定要素について、選択した撮影画像についての取得値と、基準値とが合致するか否かの合致判定を実行し、その結果を画像選択部１４に出力する。

例えば、「人（自分）」の画像を検索する場合において、合致判定処理が実行される合致判定要素が「レンズ方向」のときには、選択した撮影画像についての「レンズ方向」の撮影条件値が基準値「表示画面と同じ」に合致するか否かが判定される。また、同様の場合において、合致判定処理が実行される合致判定要素が「被写体距離」のときには、選択した撮影画像についての「被写体距離」の撮影条件値が基準値「近い」に合致するか否かが判定される。

ステップｓ３２において基準値と取得値とが合致すると判定されると、ステップｓ３６において、合致判定部１３は、画像検索リスト中の全ての撮影画像について合致判定を実行したかどうかを判断し、実行していなければ、ステップｓ３１において、画像検索リストから次の撮影画像を選択する。そして、ステップｓ３１で新たに選択された撮影画像についてステップｓ３２が実行される。このように、ステップｓ３２において基準値と取得値とが合致する場合には、処理対象の撮影画像に付与された適合度の値は変化しない。

一方、ステップｓ３２において、基準値と取得値とが合致しないと判断されると、画像選択部１４は、ステップｓ３３において、合致判定を行った撮影画像に付与されている適合度に確定係数αを掛け合わせて、当該適合度を更新する。確定係数αは、図１０，１１にも示されるように、フラッシュＲＯＭ４内に保存されている全基準値のそれぞれに個別に対応して定められたものであって、ステップｓ３３では、合致判定を行った合致判定要素の基準値に対応した確定係数αが用いられる。

確定係数αは、検索条件として入力された分類値が示す被写体内容を有する画像の撮影条件、画像特徴量あるいは動き検出結果において、当該確定係数αに対応する基準値と一致しない度合を示すものであって、０＜α＜１の値を有する。従って、この確定係数αの値が小さいほど、検索条件が特定する被写体内容を有する画像において、対応する基準値が含まれる可能性が高いということになる。確定係数αは例えば以下のようにして求められる。

被写体内容が「人（自分）」であるサンプル画像を複数個用意するとともに、それぞれのサンプル画像についての撮影条件値、画像特徴量の情報、及び動き検出結果の情報を取得しておく。そして、それらのサンプル画像のうち、レンズ方向が「表示画面と同じ」ではない画像の個数を求める。そして、求めた個数をサンプル画像の総数で除算した値が、被写体内容が「人（自分）」の場合における「レンズ方向」の基準値に対応する確定係数αとなる。例えば、サンプル画像の総数が１００枚で、求めた個数が３０枚のとき、確定係数αは０．３（＝３０／１００）となる。

このように、確定係数αは、検索条件が特定する被写体内容を有する画像の撮影条件、画像特徴量あるいは動き検出結果において、それに対応する基準値と一致しない度合を示すものであるため、ステップｓ３２において基準値と取得値とが合致しない場合には、合致判定を行った撮影画像が検索条件に適合する度合は、当該基準値に対応する確定係数αの値に応じたものとなる。つまり、この場合には、確定係数αが小さいほど、合致判定を行った撮影画像が検索条件に適合する度合は小さいと考えることができる。従って、基準値と取得値とが合致しない場合には、合致判定を行った撮影画像の適合度に確定係数αを掛け合わせることによって当該適合度を適切に更新することができる。なお確定係数αは、予めフラッシュＲＯＭ４に記憶されている。

ステップｓ３３が実行されると、ステップｓ３４において、画像選択部１４は、更新した適合度が、フラッシュＲＯＭ４に記憶されている所定のしきい値以上かどうかを判定し、しきい値以上であればステップｓ３６が実行される。一方、画像選択部１４は更新した適合度がしきい値よりも小さければ、ステップｓ３５において、合致判定を行った撮影画像の特定情報を画像検索リストから削除し、その後ステップｓ３６が実行される。

ステップｓ３６において、画像検索リスト中の全ての撮影画像について合致判定が実行されたと判断されると、図８のステップｓ４が実行される。ステップｓ４では、合致判定部１３は、ステップｓ１で決定された全ての合致判定要素について合致判定処理が完了したかどうかを判断し、完了していなければ、ステップｓ６が再度実行されて、次の処理対象の合致判定要素について合致判定処理が実行される。

一方、ステップｓ４において、全ての合致判定要素について合致判定処理が完了したと判断されると、ステップｓ５において、画像選択部１４は、そのときの画像検索リストに残っている撮影画像の特定情報を、検索条件に適合する撮影画像の特定情報としてメイン処理部１１に通知する。メイン処理部１１は、受け取った、検索条件に適合する撮影画像の特定情報を表示部６に通知し、表示部６はその特定情報に基づいて画像検索結果を表示画面に表示する。例えば、表示部６は、検索条件に適合する撮影画像のファイル名を画像検索結果として表示する。ユーザは、表示されたファイル名のうち閲覧したいものをデータ入力部８を操作して選択し、選択されたファイル名の撮影画像はフラッシュＲＯＭ４から読み出されて表示部６に表示される。

本実施の形態１では、ステップｓ３，ｓ４，ｓ６が繰り返して実行されることによって、複数の合致判定要素が順番に処理される。つまり、検索条件が特定する被写体内容に応じて設けられた複数の基準値が順番に合致判定の対象となる。本実施の形態１に係るステップｓ６では、複数の合致判要素は、確定係数αの値が小さいもの順に処理対象となる。

例えば、図１０に示される、分類値が「人（自分）」の例においては、「レンズ方向」、「被写体距離」、「装置姿勢」、「画像の複雑度」及び「画像の色味」の基準値に対応する確定係数αの値がそれぞれａ〜ｅであって、ａ〜ｅの順に値が小さい場合には、まず最初に「レンズ方向」が処理対象となる。そして、画像検索リスト中のすべての撮影画像について「レンズ方向」の基準値と取得値との合致判定が完了すると、次は「被写体距離」が処理対象となる。そして、画像検索リスト中のすべての撮影画像について「被写体距離」の基準値と取得値との合致判定が完了すると、「装置姿勢」が処理対象となり、その後は「画像の複雑度」及び「画像の色味」が順に処理対象となる。

また、図１１に示される、分類値が「ペット」の例においては、「レンズ方向」、「被写体距離」、「装置姿勢」、「画像の複雑度」及び「動き検出結果」の基準値に対応する確定係数αの値がそれぞれｐ〜ｔであって、ｐ〜ｔの順に値が小さい場合には、まず最初に「レンズ方向」が処理対象となり、次に「被写体距離」が処理対象となる。そして、「装置姿勢」、「画像の複雑度」及び「画像の色味」が順に処理対象となる。

このように、本実施の形態１では、確定係数αが小さいもの順に合致判定要素が処理されており、分類値に応じて定められた複数の基準値に対する合致判定における判定順序は確定係数αに基づいて決定されている。上述のように、検索条件への適合度は確定係数αが掛け合わせることによって更新され、当該適合度がしきい値よりも小さくなると検索対象外としているため、確定係数αの値が小さいもの順に基準値に対する合致判定を行うことによって、迅速な画像の絞込みが可能となる。よって、検索時間を短縮することができる。

なお、本実施の形態１では、撮影条件値、画像特徴量の情報及び動き検出結果の情報のすべてに基づいて画像検索を行ったが、複数の撮影条件値だけに基づいて、あるいは複数の撮影条件値と画像特徴量の情報だけに基づいて画像検索を行うことも可能である。

以上のように、本実施の形態１に係る携帯型撮像装置１００では、被写体内容の分類値という、被写体内容を特定する検索条件を受付けるため、ユーザは簡単に所望の画像を得ることができる。

更に、自ら取得した撮影画像の撮影条件値に基づいて画像検索を行うため、ユーザは画像ごとにタイトルやキーワードを付与する必要がない。

更に、画像検索に複数の撮影条件値を用いているため、高精度な画像検索が可能となる。

また、本実施の形態１では、撮影条件値だけではなく画像特徴量の情報も用いて画像検索を行うため、更に高精度な画像検索を行うことができる。

また、本実施の形態１では、動き検出結果の情報も用いて画像検索を行うため、更に高精度な画像検索を行うことができる。

また、本実施の形態１に係る携帯型撮像装置１００では、ＪＰＥＧファイルで記憶された撮像画像のファイルサイズと量子化テーブルの代表値とを用いて画像の複雑度を示す値Ｅｎを求めているため、画像そのものを解析することなく簡単に画像の複雑度の情報を得ることができる。

また、本実施の形態１では、画像検索を行う際には、撮影画像が検索条件に対してどれだけ適合しているかを示す適合度という指標を用いているため、簡単に画像検索を行うことができる。

実施の形態２．
図１２は、本発明の実施の形態２に係る携帯型撮像装置が備えるＣＰＵ１の機能ブロックを示す図である。本実施の形態２に係る携帯型撮像装置は、上述の実施の形態１に係る携帯型撮像装置１００において、基本的には画像検索部１５の替わりに画像検索部５５を備えるものである。以下では、本実施の形態２に係る携帯型撮像装置について、実施の形態１とは異なる部分だけについて説明する。

本実施の形態２に係る画像検索部５５は、上述の合致判定部１３及び画像選択部１４と、期待値取得部１７とを備えている。期待値取得部１７は、画像選択部１４が求めた各撮影画像についての適合度に基づいてその期待値Ｅを求めて、合致判定部１３に出力する。

適合度の期待値Ｅは、検索条件が特定する被写体内容に応じて定められた複数の基準値のそれぞれに対応して求められ、当該対応する基準値と取得値との合致判定を行った際の適合度としてどれくらいの値が期待できるかを示す情報である。

図１３は、検索条件として分類値「人（自分）」が入力された場合の合致判定要素と、それに対応する基準値、確定係数α及び期待値Ｅを示す図である。図１３に示されるように、合致判定要素の基準値のそれぞれに対応して期待値Ｅが設定されている。図１３の例では、「レンズ方向」、「被写体距離」、「装置姿勢」、「画像の複雑度」及び「画像の色味」の基準値に対応する期待値Ｅの値がそれぞれＥ（ａ）〜Ｅ（ｅ）である。この例において、例えば、「レンズ方向」の基準値「表示画面と同じ」に対応して求められた期待値Ｅの値が“０．５”だとすると、当該基準値「表示画面と同じ」と取得値との合致判定を行った際の適合度の値として“０．５”が期待できる。従って、この期待値Ｅの値が小さいほど、期待できる適合度も小さくなり、合致判定後に画像検索リストに残存する撮影画像の数も少なくなることが期待できる。

そこで、本実施の形態２に係る合致判定部１３は、確定係数αではなく期待値Ｅに基づいて合致判定要素の処理順序を決定する。つまり、期待値Ｅに基づいて複数の基準値に対する合致判定での判定順序を決定する。これにより、迅速な画像の絞り込みが可能となり検索時間を短縮できる。

次に、本実施の形態２に係る携帯型撮像装置での画像検索動作について説明する。図１４は本実施の形態２に係る画像検索動作を示すフローチャートである。ユーザによってデータ入力部８に対して所定の操作が行われると、実施の形態１と同様に、表示部６には被写体内容の分類値が表示される。ユーザが検索条件としてある分類値を指定すると、画像検索部５５は指定された分類値に適合する画像の検索を開始する。図１４に示されるように、まず上述のステップｓ１が実行されて合致判定要素が決定される。そして、ステップｓ２が実行されて、適合度の初期化と画像検索リストの作成が行われる。

次に、ステップｓ５６が実行される。このステップｓ５６では、合致判定部１３が、ステップｓ１で決定した合致判定要素の中から処理対象の判定要素を決定する。本実施の形態２では、上述のように、期待値Ｅの値に基づいて処理対象の合致判定要素を決定する。具体的には、まだ合致判定処理が終了していない合致判定要素において、期待値Ｅの値が最も小さいもを処理対象とする。後述のように、期待値Ｅは期待値取得部１７によって求められるが、初めて画像検索が行われる場合には、予めフラッシュＲＯＭ４に記憶された初期値が用いられる。合致判定部１３は、初めて画像検索が行われる場合には、ステップｓ１で決定したすべての合致判定要素に対応する期待値Ｅの初期値をメイン処理部１１を介してフラッシュＲＯＭ４から読み出し、それらの初期値のうちで最も値の小さいものに対応する合致判定要素を処理対象とする。

例えば図１３の例において、「レンズ方向」の基準値に対応する期待値Ｅの値Ｅ（ａ）が最も小さい値であるとすると、「レンズ方向」が一番最初の処理対象となる。以後、画像検索を行う際に一番最初に処理される合致判定要素を「第１の合致判定要素」と呼ぶ。

ステップｓ２が実行されると、ステップｓ５３において合致判定処理が実行される。図１５は、本実施の形態２に係る合致判定処理を示すフローチャートである。図１５に示されるように、合致判定処理では、まず上述のステップｓ３１が実行されて、画像検索リストから処理対象の撮影画像が選択される。そして、上述のステップｓ３２が実行される。これにより、処理対象の合致判定要素について、選択した撮影画像についての取得値と基準値との合致判定が実行される。

ステップｓ３２において、基準値と取得値とが合致すると判定されると、ステップｓ５３０において、期待値取得部１７は、合致判定部１３からの情報に基づいて現在の処理対象の合致判定要素が第１の合致判定要素か否かを判断し、第１の合致判定要素であれば、画像選択部１４で算出された現在の処理対象の撮影画像についての適合度を、すでに処理された撮影画像の適合度の累積値に足し合わせる。これにより、処理対象が第１の合致判定要素の場合には、ステップｓ５３０が実行されるたびに適合度が累積される。なお、第１の合致判定要素でない場合には適合度の累積は実行されない。

一方、ステップｓ３２において、基準値と取得値とが合致しないと判定されると、上述のステップｓ３３が実行されて、処理対象の撮影画像の適合度に確定係数αが掛け合わされて、当該適合度が更新される。適合度が更新されると、ステップｓ５３０が実行されて、適合度が累積される。

ステップｓ５３０が実行されると上述のステップｓ３４が実行されて、適合度がしきい値以上か判定される。ステップｓ３４において、適合度がしきい値以上であればステップｓ３６が実行される。一方、ステップｓ３４において、適合度がしきい値よりも小さければ、合致判定を行った撮影画像の特定情報が画像検索リストから削除され、その後ステップｓ３６が実行される。

ステップｓ３６において、画像検索リスト中の全ての撮影画像について合致判定が実行されていないと判断されると、再びステップｓ３１が実行されて、画像検索リストから次の処理対象の撮影画像が選択される。

一方、ステップｓ３６において、全ての撮影画像について合致判定が実行されたと判断されると、上述のステップｓ４が実行され、画像検索リスト中の全ての撮影画像について合致判定を実行したかどうかが判断される。ステップｓ４において、画像検索リスト中の全ての撮影画像について合致判定が実行されていないと判断されると、ステップｓ５４において、期待値取得部１７は、現在の処理対象の合致判定要素が第１の合致判定要素であれば、適合度の累積値を、フラッシュＲＯＭ４内の撮影画像の総数で除算し、その値を、第１の合致判定要素の基準値に対応する新たな期待値ＥとしてフラッシュＲＯＭ４に保存する。つまり、期待値取得部１７は、第１の合致判定要素の基準値に対応する期待値Ｅとして、当該基準値に対する合致判定が行われた後の全撮影画像についての適合度の平均値を求める。このようにして第１の合致判定要素の基準値に対応する期待値Ｅが求められる。

なお、現在の処理対象が第１の合致判定要素でなければ、期待値Ｅの計算は行われない。また、今回の画像検索時に第１の合致判定要素にならなかった他の合致判定要素については、それ以後の画像検索の際に第１の合致判定要素になることによって、対応する期待値Ｅは算出される。

ステップｓ５４が実行されると、ステップｓ５５において、期待値取得部１７は、残りの合致判定要素の基準値に対応する期待値Ｅを相関係数ＣＯで補正する。ここで、相関係数ＣＯとは、検索条件が特定する被写体内容に応じて定められた複数の基準値の間での相関の強さを示す情報であって、本例では、当該複数の基準値の任意の２つの間において個別に定められている。本実施の形態２では、相関係数ＣＯは、０＜ＣＯ＜１の値を採り、その値が大きいほど相関が強いことを示している。

２つの基準値の間の相関が強いということは、それらに対応する被写体内容を有する画像には両方の基準値が含まれている可能性が高い。従って、ある基準値に対して合致判定を行った後に、それと相関の強い基準値に対して合致判定を行ったとしても、合致判定後の検索対象画像の絞込みはあまり期待できない。

図１６は、分類値「人（自分）」が検索条件として入力された場合の合致判定要素の基準値間の相関係数ＣＯの一例を示す図である。なお、図１６では基準値の記載は省略している。図１６に示されるように、「レンズ方向」の基準値と「被写体距離」の基準値との間、及び「レンズ方向」の基準値と「画像の色味」の基準値との間の相関係数ＣＯはそれぞれ“０．９”及び“０．４”であって、「レンズ方向」の基準値と「被写体距離」の基準値との間の相関は、「レンズ方向」の基準値と「画像の色味」の基準値との間の相関よりも強い。従って、被写体内容が「人（自分）」である撮影画像には、「レンズ方向」及び「被写体距離」の両方の基準値が含まれている可能性の方が、「レンズ方向」及び「画像の色味」の両方の基準値が含まれている可能性よりも高い。よって、合致判定処理において「レンズ方向」の基準値に対して合致判定を行った後には、「被写体距離」の基準値に対して合致判定を行うよりも、「画像の色味」の基準値に対して合致判定を行った方が、より効果的な画像の絞り込みが期待できる。

そこで、本実施の形態２では、ステップｓ５５において、すでに合致判定が行われた基準値と、まだ行われていない基準値との間における相関係数ＣＯに基づいて、まだ行われていない基準値に対応する期待値Ｅを補正する。具体的には、ステップｓ５３で合致判定を行った基準値と、まだ合致判定を行っていない基準値との間の相関係数ＣＯを、まだ合致判定を行っていない基準値に対応する期待値Ｅに乗算し、それによって得られる値を補正後の期待値Ｅとして取り扱う。これにより、適合度の期待値Ｅが適切に補正され、迅速な画像の絞り込みが可能となる。以下に、ステップｓ５５での動作を図１３，１６に示される例を用いて説明する。

例えば、「レンズ方向」が第１の合致判定要素であって、ステップｓ５３において「レンズ方向」の基準値に対して合致判定が行われた場合には、ステップｓ５５では、「被写体距離」、「装置姿勢」、「画像の複雑度」及び「画像の色味」の基準値に対応する期待値Ｅの補正が行われる。図１６の相関係数ＣＯより、「被写体距離」の基準値に対応する期待値Ｅ（ｂ）には“０．９”が乗算され、「装置姿勢」の基準値に対応する期待値Ｅ（ｃ）には“０．８”が乗算され、「画像の複雑度」の基準値に対応する期待値Ｅ（ｄ）には“０．３”が乗算され、「画像の色味」の基準値に対応する期待値Ｅ（ｅ）には“０．４”が乗算され、それらの乗算後の値が補正後の期待値Ｅとしてそれぞれ取り扱われる。

ステップｓ５５が実行されると、再度ステップｓ５６が実行され、補正後の期待値Ｅに基づいて処理対象の合致判定要素が決定される。つまり、まだ合致判定が行われていない基準値についての判定順序が、補正後の期待値Ｅに基づいて決定される。このステップｓ５６では、まだ合致判定処理が終了していない合致判定要素において、補正後の期待値Ｅの値が最も小さいもを処理対象とする。そして、ステップｓ５３が実行されて、次の合致判定要素に対する合致判定処理が実行される。

その後、ステップｓ４，ｓ５４が順次実行されると、再度ステップｓ５５が実行される。このステップｓ５５では、まだ合致判定が行われていない基準値に対応する期待値Ｅが補正されるが、このときの補正対象としての期待値Ｅは、前回のステップｓ５５で補正された期待値Ｅが使用される。

図１３，１６の例において、例えば「レンズ方向」が第１の合致判定要素であって、「レンズ方向」及び「被写体距離」の順で合致判定処理が行われた場合、「被写体距離」の合致判定処理直後のステップｓ５５では、「被写体距離」の基準値と、残りの「装置姿勢」、「画像の複雑度」及び「画像の色味」の基準値との間の相関係数ＣＯに基づいて、残りの合致判定要素の基準値に対応する期待値Ｅの補正が行われる。このときの補正は、前回のステップｓ５５で補正された期待値Ｅに対して補正が行われる。図１６の値より、「装置姿勢」の基準値に対応する補正後の期待値Ｅ（ｃ）には“０．７”が乗算され、「画像の複雑度」の基準値に対応する補正後の期待値Ｅ（ｄ）には“０．２”が乗算され、「画像の色味」の基準値に対応する補正後の期待値Ｅ（ｅ）には“０．３”が乗算され、それらの乗算後の値が補正後の期待値Ｅとしてそれぞれ取り扱われる。なお、相関係数ＣＯは例えば以下のようにして求められる。

被写体内容が「人（自分）」であるサンプル画像を複数個用意するとともに、それぞれのサンプル画像についての撮影条件値、画像特徴量の情報、及び動き検出結果の情報を取得しておく。そして、それらのサンプル画像のうち、レンズ方向が「表示画面と同じ」であって、かつ被写体距離が「近い」画像の個数を求める。そして、求めた個数をサンプル画像の総数で除算した値が、被写体内容が「人（自分）」の場合における「レンズ方向」の基準値と「被写体距離」の基準値との間の相関係数ＣＯとなる。例えば、サンプル画像の総数が１００枚で、求めた個数が９０枚のとき、相関係数ＣＯは０．９（＝９０／１００）となる。

同様に、サンプル画像のうち、レンズ方向が「表示画面と同じ」であって、かつ装置姿勢が「水平」の画像の個数を求め、求めた個数をサンプル画像の総数で除算した値が、被写体内容が「人（自分）」の場合における「レンズ方向」の基準値と「装置姿勢」の基準値との間の相関係数ＣＯとなる。

以上のようにして他の基準値間の相関係数ＣＯも求めると、図１６に示されるような表が得られる。本実施の形態２では、図１６に示される表が分類値ごとに予め用意されて、フラッシュＲＯＭ４に記憶されている。

図１４のステップｓ４において、画像検索リスト中の全ての撮影画像について合致判定が実行されたと判断されると、ステップｓ５において、そのときの画像検索リストに残っている撮影画像の特定情報が、検索条件に適合する撮影画像の特定情報としてメイン処理部１１に通知される。メイン処理部１１は、受け取った、検索条件に適合する撮影画像の特定情報を表示部６に通知し、表示部６はその特定情報に基づいて画像検索結果を表示画面に表示する。ユーザは、表示された画像検索結果から閲覧したい撮影画像を選択し、選択された撮影画像はフラッシュＲＯＭ４から読み出されて表示部６に表示される。

以上のように、本実施の形態２に係る携帯型撮像装置では、検索条件が特定する被写体内容に応じて設けられた合致判定要素の基準値のそれぞれに対応して適合度の期待値Ｅが求められ、当該期待値Ｅに基づいて基準値に対する合致判定での判定順序が決定されるため、迅速な画像の絞込みが可能となる。従って、検索時間を短縮できる。

また、本実施の形態２では、合致判定を行っていない基準値についての適合度の期待値Ｅを、すでに合致判定を行った基準値との間の相関係数ＣＯに基づいて補正し、その補正後の期待値Ｅを用いて、まだ合致判定を行っていない基準値についての判定順序を決定している。従って、すでに合致判定を行った基準値とは相関の弱い基準値についての合致判定を次に行うことができ、更なる迅速な画像の絞り込みが可能となる。その結果、検索時間を短縮できる。

実施の形態３．
図１７は本発明の実施の形態３に係る携帯型撮像装置が備えるＣＰＵ１の機能ブロックを示す図である。本実施の形態３に係る携帯型撮像装置は、上述の実施の形態１に係る携帯型撮像装置１００において、基本的には画像検索部１５の替わりに画像検索部１１５を備えるものである。以下では、本実施の形態３に係る携帯型撮像装置について、実施の形態１に係る携帯型撮像装置１００とは異なる点だけ説明する。

本実施の形態３に係る画像検索部１１５は、撮影画像についての取得値に基づいて当該撮影画像の被写体内容を推定する被写体内容推定部１１３と、被写体内容推定部１１３での推定結果に基づいて撮影画像から検索条件に適合する画像を選択する画像選択部１１４とを備えている。

被写体内容推定部１１３は、被写体内容の分類値のそれぞれにおいて、撮影画像についての取得値と基準値とが合致するか否かを判定し、その判定結果に基づいて当該撮影画像の被写体内容を推定する。以下に被写体内容推定方法について具体的に説明する。

被写体内容推定部１１３は、まずフラッシュＲＯＭ４中の複数の撮影画像から処理対象の撮影画像を一つ決定して、その撮影画像についての取得値をフラッシュＲＯＭ４から読み出す。そして、フラッシュＲＯＭ４から上述の基準値テーブルと確定係数αを読み出して、複数の分類値のうちのある一つの分類値を選定し、選定した分類値の基準値を取得するとともに、当該基準値に対応する確定係数αを取得する。

被写体内容推定部１１３は、処理対象の撮影画像についての取得値と、選定した分類値の基準値とが合致するか否かを判定し、その判定結果に基づいてその撮影画像の分類値への適合度を求める。本実施の形態３では、実施の形態１，２に係る適合度の求め方と同様に、適合度をまず“１”で初期化し、１番目の基準値とそれに対応する取得値とが合致すれば適合度は変化させずに、合致しなければ当該１番目の基準値に対応する確定係数αを適合度に乗算し、それによって得られる値を新たな適合度とする。そして、２番目の基準値とそれに対応する取得値とが合致するか否かを判定し、合致すれば適合度は変化させずに、合致しなければ当該２番目の基準値に対応する確定係数αを適合度に乗算し、それによって得られる値を新たな適合度とする。同様にして、被写体内容推定部１１３は、残りの基準値に対しても取得値との合致判定を行い、最終的に得られる適合度を、その撮影画像の分類値への適合度としてＲＡＭ３に記憶する。

被写体内容推定部１１３は、同様の処理を残りのすべての分類値について行い、ある撮影画像についての各分類値への適合度を求める。そして、適合度が最も大きい分類値が示す被写体内容を、その撮影画像の被写体内容として推定する。

以上の処理をフラッシュＲＯＭ内のすべての撮影画像について行うことにより、検索対象となる全撮影画像についての被写体内容を推定できる。被写体内容推定部１１３は、全撮影画像の被写体内容の推定結果をフラッシュＲＯＭ４に保存する。

画像選択部１１４は、検索条件として被写体内容の分類値が入力された旨をメイン処理部１１が受け取ると、フラッシュＲＯＭ４内の被写体内容の推定結果を参照することによりその分類値と一致する被写体内容を有する撮影画像の情報を取得し、その情報を表示部６に通知する。表示部６は、受け取った情報を画像検索結果として表示する。

なお、本実施の形態３では、撮影条件値、画像特徴量の情報及び動き検出結果の情報のすべてに基づいて撮影画像の被写体内容を推定したが、複数の撮影条件値だけに基づいて、あるいは複数の撮影条件値と画像特徴量の情報だけに基づいて撮影画像の被写体内容を推定することも可能である。

このように、本実施の形態３に係る携帯型撮像装置では、取得した撮影条件値に基づいて被写体内容を推定するため、本例のように、ユーザは被写体内容で画像検索を行うことが可能になる。その結果、所望の画像を容易に検索することができるとともに、画像ごとに検索用のタイトルやキーワードを付加する必要も無くなる。更に、複数の撮影条件値を用いて被写体内容を推定しているため、高精度な被写体内容推定が可能となり、その結果、高精度な画像検索が可能となる。

また、本実施の形態３では、各撮影画像の被写体内容の推定結果に基づいて画像検索を行っているため、撮影画像の被写体内容と、検索条件が特定する被写体内容が一致するか否かで簡単に画像検索ができ、実施の形態１，２に係る携帯型撮像装置よりも検索時間を短縮することができる。

また、本実施の形態３では、撮影条件値だけではなく画像特徴量の情報も用いて撮影画像の被写体内容を推定しているため、被写体内容の推定精度が向上し、その結果、画像検索精度が向上する。

また、本実施の形態３では、動き検出結果の情報も用いて撮影画像の被写体内容を推定しているため、被写体内容の推定精度が更に向上し、その結果、画像検索精度が更に向上する。

本発明の実施の形態１に係る携帯型撮像装置の構成を示すブロック図である。 本発明の実施の形態１に係るＣＰＵの機能ブロック構成を示す図である。 本発明の実施の形態１に係る撮影部の構成を示すブロック図である。 被写体内容の分類値と、撮影条件値、画像特徴量の情報及び動き検出結果の情報との関係を示す図である。 レンズ方向と表示画面との関係を示す図である。 画像の複雑度と被写体内容との関係を示す図である。 撮影画像における色相のヒストグラムを示す図である。 本発明の実施の形態１に係る携帯型撮像装置の動作を示すフローチャートである。 本発明の実施の形態１に係る携帯型撮像装置での合致判定処理を示すフローチャートである。 分類値が「人（自分）」の場合における合致判定要素、基準値及び確定係数の関係を示す図である。 分類値が「ペット」の場合における合致判定要素、基準値及び確定係数の関係を示す図である。 本発明の実施の形態２に係るＣＰＵの機能ブロック構成を示す図である。 分類値が「人（自分）」の場合における合致判定要素、基準値、確定係数及び期待値の関係を示す図である。 本発明の実施の形態２に係る携帯型撮像装置の動作を示すフローチャートである。 本発明の実施の形態２に係る携帯型撮像装置での合致判定処理を示すフローチャートである。 分類値が「人（自分）」の場合における合致判定要素の基準値間の相関係数を示す図である。 本発明の実施の形態３に係るＣＰＵの機能ブロック構成を示す図である。

符号の説明

１ ＣＰＵ、２ 撮影部、５ 記憶部、７ タイマ、８ データ入力部、９ 傾き検出センサー、１１ メイン処理部、１２ 画像特徴量取得部、１３ 合致判定部、１４，１１４ 画像選択部、１５，５５，１１５ 画像検索部、１６ 動き検出部、１７ 期待値取得部、２３ 撮像制御部。

Claims (14)

1. 画像を撮影する撮影部と、
   前記撮影部で撮影された複数の撮影画像のそれぞれについての複数の撮影条件値を取得する撮影条件値取得部と、
   画像の被写体内容を特定する検索条件の入力を受付けるデータ入力部と、
   前記複数の撮影条件値に基づいて、前記複数の撮影画像から前記検索条件に適合する画像を選出する画像検索部と
   を備える、携帯型撮像装置。
2. 請求項１に記載の携帯型撮像装置であって、
   前記複数の撮影画像のそれぞれについての画像特徴量の情報を取得する画像特徴量取得部を更に備え、
   前記画像検索部は、前記複数の撮影条件値及び前記画像特徴量の情報に基づいて、前記複数の撮影画像から、前記検索条件に適合する画像を選出する、携帯型撮像装置。
3. 請求項２に記載の携帯型撮像装置であって、
   前記複数の撮影画像のそれぞれの被写体の動き検出を行う動き検出部を更に備え、
   前記画像検索部は、前記複数の撮影条件値、前記画像特徴量の情報及び前記動き検出部での検出結果の情報に基づいて、前記複数の撮影画像から、前記検索条件に適合する画像を選出する、携帯型撮像装置。
4. 請求項１に記載の携帯型撮像装置であって、
   前記複数の撮影条件値は、撮影時刻、露出時間、ホワイトバランス調整値、前記携帯型撮像装置の姿勢、被写体距離、及びレンズ方向の少なくとも二つの情報を含む、携帯型撮像装置。
5. 請求項２に記載の携帯型撮像装置であって、
   前記複数の撮影条件値は、撮影時刻、露出時間、ホワイトバランス調整値、前記携帯型撮像装置の姿勢、被写体距離、及びレンズ方向の少なくとも二つの情報を含み、
   前記画像特徴量の情報は、画像の複雑度及び画像の色味の少なくとも一つの情報を含む、携帯型撮像装置。
6. 請求項２に記載の携帯型撮像装置であって、
   前記画像特徴量の情報は画像の複雑度の情報を含み、
   前記複数の撮影画像のそれぞれをＪＰＥＧファイルで保存する記憶部を更に備え、
   前記画像特徴量取得部は、前記ＪＰＥＧファイルのファイルサイズと、前記ＪＰＥＧファイルにおける量子化テーブルの代表値とに基づいて前記画像の複雑度を示す値を求める、携帯型撮像装置。
7. 請求項１に記載の携帯型撮像装置であって、
   前記画像検索部は、
   前記複数の撮影条件値に基づいて、前記複数の撮影画像のそれぞれの被写体内容を推定する被写体内容推定部と、
   前記被写体内容推定部での推定結果に基づいて、前記複数の撮影画像から前記検索条件に適合する画像を選出する画像選出部と
   を備える、携帯型撮像装置。
8. 請求項７に記載の携帯型撮像装置であって、
   前記複数の撮影画像のそれぞれの画像特徴量の情報を取得する画像特徴量取得部を更に備え、
   前記被写体内容推定部は、前記複数の撮影条件値及び前記画像特徴量の情報に基づいて、前記複数の撮影画像のそれぞれの被写体内容を推定する、携帯型撮像装置。
9. 請求項８に記載の携帯型撮像装置であって、
   前記複数の撮影画像のそれぞれの被写体の動き検出を行う動き検出部を更に備え、
   前記被写体内容推定部は、前記複数の撮影条件値、前記画像特徴量の情報及び前記動き検出部での検出結果の情報に基づいて、前記複数の撮影画像のそれぞれの被写体内容を推定する、携帯型撮像装置。
10. 請求項１に記載の携帯型撮像装置であって、
    前記検索条件が特定する被写体内容に応じて定められた複数の基準撮影条件値を備える記憶部を更に備え、
    前記画像検索部は、
    前記複数の基準撮影条件値と前記複数の撮影条件値との合致判定を順に行う合致判定部と、
    前記合致判定部での前記合致判定の結果に基づいて、前記複数の撮影画像から前記検索条件に適合する画像を選出する画像選出部と
    を備える、携帯型撮像装置。
11. 請求項１０に記載の携帯型撮像装置であって、
    前記画像選出部は、
    前記合致判定の結果に基づいて、前記複数の撮影画像のそれぞれについての前記検索条件への適合度を求め、当該適合度に基づいて前記複数の撮影画像から前記検索条件に適合する画像を選出する、携帯型撮像装置。
12. 請求項１１に記載の携帯型撮像装置であって、
    前記画像検索部は、前記複数の基準撮影条件値のそれぞれに対応して、当該対応する基準撮影条件値を用いて前記合致判定が行われる際の前記複数の撮影画像における前記適合度の期待値を求める期待値取得部を更に備え、
    前記合致判定部は、前記期待値に基づいて前記合致判定における判定順序を決定する、携帯型撮像装置。
13. 請求項１２に記載の携帯型撮像装置であって、
    前記記憶部は、前記複数の基準撮影条件値の間における相関係数を更に記憶し、
    前記期待値取得部は、前記複数の基準撮影条件値のうち、すでに前記合致判定が行われた条件値と、まだ前記合致判定が行われていない条件値との間における前記相関係数に基づいて、前記合致判定が行われていない条件値についての前記期待値を補正し、
    前記合致判定部は、前記期待値取得部で補正された前記期待値に基づいて、前記合致判定が行われていない条件値についての判定順序を決定する、携帯型撮像装置。
14. 画像を撮影する撮影部と、
    前記撮影部で撮影された撮影画像についての複数の撮影条件値を取得する撮影条件値取得部と、
    前記複数の撮影条件値に基づいて、前記撮影画像の被写体内容を推定する被写体内容推定部と
    を備える、携帯型撮像装置。
    

Images