JP2006092280A - 携帯型撮像装置 - Google Patents
携帯型撮像装置 Download PDFInfo
- Publication number
- JP2006092280A JP2006092280A JP2004277187A JP2004277187A JP2006092280A JP 2006092280 A JP2006092280 A JP 2006092280A JP 2004277187 A JP2004277187 A JP 2004277187A JP 2004277187 A JP2004277187 A JP 2004277187A JP 2006092280 A JP2006092280 A JP 2006092280A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- value
- imaging device
- match determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】高精度に所望の画像を検索することが可能な画像検索技術を提供する。
【解決手段】本発明に係る携帯型撮像装置100は、画像を撮影する撮影部2と、画像の被写体内容を特定する検索条件を受け付けるデータ入力部8と、撮影画像から検索条件に適合する画像を選出するCPU1とを備えている。CPU1内の画像検索部は、当該CPU1内のメイン処理部や撮影部2内の撮像制御部で取得された、撮影画像についての複数の撮影条件値に基づいて画像検索を行う。
【選択図】図1
【解決手段】本発明に係る携帯型撮像装置100は、画像を撮影する撮影部2と、画像の被写体内容を特定する検索条件を受け付けるデータ入力部8と、撮影画像から検索条件に適合する画像を選出するCPU1とを備えている。CPU1内の画像検索部は、当該CPU1内のメイン処理部や撮影部2内の撮像制御部で取得された、撮影画像についての複数の撮影条件値に基づいて画像検索を行う。
【選択図】図1
Description
本発明は、デジタルカメラやデジタルカメラ機能付き携帯電話等の携帯型撮像装置に関する。
近年、カメラ機能が携帯電話に搭載され、ますますデジタルカメラの利用機会が広がっている。そして、システムの高速化及び記憶容量の増加に伴い、デバイスに保存できるデータ量が肥大化する傾向にある一方で、保存された大量の画像データの中から所望の画像を効率良く取り出す手段が求められている。
画像検索の方法としては、撮影時に自動的に付加される日時や撮影場所等の撮影情報を用いて検索を行う方法や、撮影者が画像ごとに予め登録しておいたタイトルやキーワードを用いて検索を行う方法が一般的である。例えば、特許文献1には、同一のタイトルやキーワードを含む画像が大量に存在する場合にそれらの中から特定の画像を容易に選出することができる検索方法が開示されている。
特許文献1の技術のように、撮影時にタイトルやキーワードを付加するのは撮影者にとって非常に煩わしい作業であるため、できれば自動的に保存される情報を用いて画像検索を行えるのが望ましい。そこで、特許文献2では、タイトルやキーワードを付加させることなく、撮影時に自動的に付加された情報から所望の画像ファイルを導き出す方法が提案されている。
しかしながら、特許文献2の技術では、高精度に画像検索を行えないという問題があった。
そこで、本発明は上述の問題に鑑みて成されたものであり、高精度に所望の画像を検索することが可能な画像検索技術を提供することを目的とする。
この発明の第1の携帯型撮像装置は、画像を撮影する撮影部と、前記撮影部で撮影された複数の撮影画像のそれぞれについての複数の撮影条件値を取得する撮影条件値取得部と、画像の被写体内容を特定する検索条件の入力を受付けるデータ入力部と、前記複数の撮影条件値に基づいて、前記複数の撮影画像から前記検索条件に適合する画像を選出する画像検索部とを備える。
また、この発明の第2の携帯型撮像装置は、画像を撮影する撮影部と、前記撮影部で撮影された撮影画像についての複数の撮影条件値を取得する撮影条件値取得部と、前記複数の撮影条件値に基づいて、前記撮影画像の被写体内容を推定する被写体内容推定部とを備える。
この発明の第1の携帯型撮像装置によれば、被写体内容を特定する検索条件を受付けるため、ユーザは簡単に所望の画像を得ることができる。更に、自ら取得した撮影画像の撮影条件値に基づいて画像検索を行うため、ユーザは画像ごとに検索用のタイトルやキーワードを付与する必要がない。更に、画像検索に複数の撮影条件値を用いているため、高精度な画像検索が可能となる。
また、この発明の第2の携帯型撮像装置によれば、取得した撮影条件値に基づいて被写体内容を推定するため、ユーザは被写体内容で画像検索を行うことが可能になる。その結果、所望の画像を容易に検索することができるとともに、画像ごとに検索用のタイトルやキーワードを付加する必要も無くなる。更に、複数の撮影条件値を用いて被写体内容を推定しているため、高精度な被写体内容推定が可能となり、その結果、高精度な画像検索が可能となる。
実施の形態1.
図1は本発明の実施の形態1に係る携帯型撮像装置100の構成を示す図である。本実施の形態1に係る携帯型撮像装置100は、例えばカメラ機能付き携帯電話であって、画像検索機能を備えている。なお、図1では本携帯型撮像装置100における構成要素のうち、画像検索機能を実現する構成要素を中心に示している。
図1は本発明の実施の形態1に係る携帯型撮像装置100の構成を示す図である。本実施の形態1に係る携帯型撮像装置100は、例えばカメラ機能付き携帯電話であって、画像検索機能を備えている。なお、図1では本携帯型撮像装置100における構成要素のうち、画像検索機能を実現する構成要素を中心に示している。
図1に示されるように、本携帯型撮像装置100は、主に装置全体の動作を管理するCPU1と、画像を撮影する撮影部2と、各種情報を記憶する記憶部5と、画像撮影時、画像検索時あるいは画像閲覧時に、ユーザインタフェース画面(UI画面)や撮影画像を表示する表示部6と、現在の日時を管理するタイマ7とを備えており、これらの構成要素はバス50に接続されている。更に、本携帯型撮像装置100は、装置姿勢を検出する傾き検出センサー9と、ユーザからのデータ入力を受付けるデータ入力部8を備えている。
記憶部5は、撮影部2での撮影画像を一時的に記憶するRAM3と、各種アプリケーションプログラムや、撮影画像を保存するフラッシュROM4とを備えている。表示部6は、例えばLCDやその動作を制御するLCDコントローラ(ともに図示せず)を備えており、当該LCDを表示画面として各種情報を表示する。
データ入力部8は、数字や文字などを入力するためのキーパッド(図示せず)を備えており、ユーザが当該キーパッドを操作することにより、各種情報がCPU1に入力される。例えば、ユーザは画像検索時にキーパッドを操作することにより検索条件を本携帯型撮像装置100に入力し、入力された検索条件はCPU1に入力される。このように、データ入力部8は、検索条件を受付ける検索条件受付け部として機能する。
傾き検出センサー9は、例えば複数の加速度検出器を備えており、これらの加速度検出器によって重力の向きを検出し、その検出結果から本携帯型撮像装置100の傾き量を求めて、それを装置姿勢情報としてCPU1に出力する。
図2はCPU1の機能ブロック構成を示す図である。図2に示されるように、CPU1は、バス50に接続された他の構成要素とデータのやり取りを行うメイン処理部11と、撮影部2での撮影画像についての画像の複雑度や画像の色味などの画像特徴量の情報を取得する画像特徴量取得部12と、撮影部2での撮影画像における被写体の動き検出を行う動き検出部16と、ユーザによって入力された検索条件に適合する画像を選出する画像検索部15とを備えている。画像特徴量取得部12、画像検索部15及び動き検出部16は、メイン処理部11を介して、バス50に接続されているCPU1以外の構成要素にアクセスする。
本実施の形態1に係る携帯型撮像装置100では、撮影画像における被写体内容の分類値が予め定められており、この分類値を検索条件として入力することができる。本実施の形態1では、分類値として、例えば、「人(自分)」、「人(他人)」、「風景」、「物」、「ペット」、「食べ物」、「乗り物」、「樹木」及び「草花」が用意されており、ユーザはこれらのいずれか一つを検索条件として入力する。
「人(自分)」は撮影者が自分自身を撮影した場合、いわゆる「自分撮り」の場合の被写体内容を示しており、「人(他人)」は撮影者が自分以外の第三者を撮影した場合の被写体内容を示している。また「物」は、「人(自分)」、「人(他人)」、「ペット」、「食べ物」、「乗り物」、「樹木」及び「草花」以外の物が撮影された場合の被写体内容を示している。
このように、本実施の形態1に係る携帯型撮像装置100では、画像の被写体内容を特定する検索条件を入力することができる。
画像検索部15は、合致判定部13と画像選択部14とを備えている。合致判定部13は、撮影部2で撮影された複数の撮影画像のそれぞれについての撮影条件値と、基準撮影条件値とが合致するか否かの合致判定を行う。また、合致判定部13は、撮影部2で撮影された複数の撮影画像のそれぞれについての画像特徴量の情報と、画像特徴量の基準情報とが合致するか否かの合致判定を行う。更に、合致判定部13は、撮影部2で撮影された複数の撮影画像のそれぞれの被写体についての動き検出結果の情報と、動き検出結果の基準情報とが合致するか否かの合致判定を行う。基準撮影条件値、画像特徴量の基準情報及び動き検出結果の基準情報のそれぞれは、検索条件が特定する被写体内容に応じて予め定められている。画像選択部14は、合致判定部13での合致判定の結果に基づいて、撮影部2で撮影された複数の撮影画像から検索条件に適合する画像を選択する。
本発明での撮影条件値は、露出時間の情報やホワイトバランス調整値の情報などの撮影制御に関する情報と、撮影時刻の情報、装置姿勢の情報、被写体距離の情報、及びレンズ方向の情報などの撮影状況に関する情報とを含む概念である。また、レンズ方向の情報とは、撮影に使用されているレンズがどの方向を向いているのかを示す情報である。
図3は撮影部2の構成を示すブロック図である。図3に示されるように、撮影部2は、レンズ部21と、レンズ部21によって結像された被写体の光学像を電気信号に変換する撮像センサー22と、撮像センサー22の動作を制御する撮像制御部23とを備えている。撮像センサー22としては、例えばCMOSイメージセンサーが使用される。撮像制御部23は、撮像センサー22を制御するとともに、画像撮影時における露出時間、ホワイトバランス調整値、被写体距離及びレンズ方向の情報を取得して、それらの情報をCPU1に出力する。
次に、上述の基準撮影条件値、画像特徴量の基準値及び動き検出結果の基準値について説明する。図4は、撮影画像の被写体内容と、撮影条件、画像特徴量及び動き検出結果とが統計的にどのような関係にあるのかを示す図である。まず、撮影条件と被写体内容との関係について説明する。
一般的に、露出時間はシャッタースピードから算出することができ、絞り値を制御しないシステムでは、被写体の輝度に影響を受ける。従って、日中の屋外で撮影した画像についての露出時間は短い傾向にある。よって、図4に示されるように、ある撮影画像についての撮影時刻が「日中」であって露出時間が「短い」場合には、その被写体内容が「風景」、「乗り物」あるいは「樹木」である可能性が高い。一方で、ある撮影画像についての撮影時刻が「日中」であるにも関わらず露出時間が「長い」場合には、その画像は屋内で撮影された可能性が高く、その被写体内容は「食べ物」である可能性が高い。
また、図4に示されるように、ある撮影画像についてのホワイトバランス調整値が、屋外撮影用に設定されている場合には、被写体内容が「風景」、「乗り物」あるいは「樹木」である可能性が高く、屋内撮影用に設定されている場合には「食べ物」である可能性が高い。
装置姿勢については、被写体内容が「人(自分)」、「人(他人)」、「風景」、「乗り物」である場合には一般的に「水平」であることが多く、「物」、「ペット」、「食べ物」、「草花」の場合には「やや下向き」、「樹木」の場合には「やや上向き」であることが多い。従って、ある撮影画像についての装置姿勢が「水平」の場合にはその被写体内容は「人(自分)」、「人(他人)」、「風景」、あるいは「乗り物」である可能性が高く、「やや下向き」の場合には「物」、「ペット」、「食べ物」あるいは「草花」である可能性が高く、「やや上向き」の場合には「樹木」の可能性が高い。
被写体距離については、被写体内容が「人(自分)」、「食べ物」、「草花」である場合には「近い」ことが多く、「人(他人)」、「ペット」である場合には「やや近い」ことが多い。また、被写体内容が「物」、「乗り物」、「樹木」である場合には「ふつう」であることが多く、「風景」である場合には「遠い」ことが多い。従って、ある撮影画像についての被写体距離が「近い」場合にはその被写体内容は「人(自分)」、「食べ物」、あるいは「草花」である可能性が高く、「やや近い」の場合には「人(他人)」あるいは「ペット」である可能性が高い。そして、ある撮影画像についての被写体距離が「ふつう」場合にはその被写体内容は「物」、「乗り物」あるいは「樹木」である可能性が高く、「遠い」場合には「風景」の可能性が高い。
レンズ方向については、被写体内容が「人(自分)」である場合には、撮影レンズは表示画面と同じ方向を向いていることが多く、それ以外の場合には表示画面とは反対方向を向いていることが多い。図5は、撮影時のレンズの向きを示す図であって、図5(a)は被写体内容が「人(自分)」である場合を、図5(b)はそれ以外の場合をそれぞれ示している。図5に示されるように、本携帯型撮像装置100では、レンズ部21には2つのレンズ21a,21bが設けられている。レンズ21aは表示部6の表示画面61と同じ側に配置されており、レンズ21bは表示画面61とは反対側に配置されている。従って、撮影者200は、表示画面61で被写体210の様子を確認するために、自分自身を撮影する場合には表示画面61と同じ方向を向いているレンズ21aを使用し、自分自身以外のものを撮影する場合には、表示画面61とは反対側を向いているレンズ21bを使用することが多い。よって、ある撮影画像におけるレンズ方向が「表示画面と同じ」である場合には、その被写体内容が「人(自分)」である可能性が高く、「表示画面とは反対」である場合には、それ以外である可能性が高い。なお、本例とは異なり、一つのレンズを回転させてその向きを変更することができる装置であっても同様のことが言える。
次に、画像特徴量と被写体内容との関係について説明する。図6は、画像特徴量の一つである画像の複雑度と被写体との関係を示す図である。図6の横軸は画像の複雑度を示す値Enを示しており、値Enが大きくなるほど画像が複雑であることを意味している。また、図6の縦軸は、横軸に示される値Enの各範囲に該当する画像ファイル数を示している。図6のグラフは、被写体内容が「草花」、「風景」、「樹木」、「食べ物」、「人(他人)」、「物」である画像をJPEGファイルで合計72個用意し、それぞれの画像に対応する値Enを以下の式(1)で求めることによって作成している。
ただし、式(1)中のFはJPEGファイルのファイルサイズ、Dは定数、Qは量子化テーブルの代表値をそれぞれ示している。なお、代表値Qは量子化テーブル中のどの値であっても良い。定数Dは、通常以下のようにして求められる。
ビットマップ形式のサンプル画像を用意して、その画像を様々なファイルサイズFでJPEGファイルに変換し、ファイルサイズFと量子化テーブルの代表値Qとの組み合わせを複数組み求める。そして、求めた複数組みのデータから、ファイルサイズFと代表値Qとが式(1)の関係を満足するようなEn,Dを求める。
このようにして、複数のサンプル画像のそれぞれについてEn,Dを求めると、Dについては画像が異なった場合であってもほとんど変化せず、逆にEnは画像が複雑なほど大きくなる傾向があることが経験的にわかっている。このことから、本実施の形態1では、Enを画像の複雑度を示す値として用いている。また、本実施の形態1では、式(1)中の定数Dの値としては、複数のサンプル画像(例えば100個)を用いて求めた定数Dの平均値を採用している。
図6に示されるように、撮影画像の被写体内容が「人(他人)」や「物」の場合には、その画像はあまり複雑でないことが多く、「樹木」、「風景」、「草花」の場合には比較的複雑であることが多い。また、被写体内容が「食べ物」の場合には、その画像は、他の被写体内容と比べてふつう程度の複雑さであることが多い。
このようにして、様々な被写体内容についての画像の複雑度を示す値Enを多くのサンプル画像を用意して求めると、その結果から次のようなことが言える。
図4に示されるように、被写体内容が「人(自分)」や「人(他人)」の場合には、画像の複雑度は「やや単純」であることが多く、「物」、「ペット」、「食べ物」、「乗り物」、「草花」の場合には「ふつう」であることが多い。そして、被写体内容が「風景」の場合には画像の複雑度は「やや複雑」であることが多く、「樹木」の場合には「複雑」であることが多い。よって、ある撮像画像についての画像の複雑度が「やや単純」であれば、その被写体内が「人(自分)」あるいは「人(他人)」である可能性が高く、「ふつう」であれば「物」、「ペット」、「食べ物」、「乗り物」及び「草花」のいずれかである可能性が高い。そして、ある撮像画像についての画像の複雑度が「やや複雑」であればその被写体内が「風景」である可能性が高く、「複雑」であれば「樹木」である可能性が高い。
次に、画像特徴量の一つである画像の色味と被写体内容との関係について説明する。一般的に、画像の色情報はHSV空間で表現することができる。HSV空間とは、色相Hと、彩度Sと、明度Vとで色情報を示す空間である。図7は、1つの撮影画像における色相Hと画素数との関係を示す図である。図7(a)は撮影画像の被写体が「人(他人)」の場合、図7(b)は「風景」の場合についてそれぞれ示している。なお、図7における色相HはRGB形式の画像データから以下のようにして求めることができる。
RGB形式の画像データにおける、ある画素のR信号、G信号及びB信号の信号レベルの値をそれぞれR,G,Bとし、それらの信号レベルのうち最も高い信号レベルの値をmax、最も低い信号レベルの値をminとする。そして、これらの値を用いて、値d,rt,gt,btを以下の式(2)〜(5)でそれぞれ表現する。
上記値rt,gt,btを用いると、ある画素における色相Hは以下の式(6a)〜(6c)で表される。
このように、RGB形式の画像データから色相Hを求めることができる。
図7(a)と図7(b)とを比較すると、被写体が「風景」の場合よりも「人(他人)」の場合の方が、部分Aにおける色相Hの画素数が多くなっている。部分Aは色味が肌色である部分を示していることから、ある撮影画像の被写体内容が「人(他人)」の場合には、当該撮影画像では肌色の色味が多いことが理解できる。
このようにして、様々な被写体内容についての撮影画像の色味について考察すると以下のことが言える。
図4に示されるように、被写体内容が「人(自分)」、「人(他人)」の場合には撮影画像には「肌色」の色味が多く、「風景」の場合には「緑色及び水色」の色味が多い。また、被写体内容が「樹木」の場合には「緑色及び茶色」の色味が多く、「草花」の場合には「緑色」の色味が多い。そして、被写体内容が「乗り物」の場合には撮影画像には「単一色領域」が多い。ここで「単一色領域」とは、同一系統の色味が連続して存在する領域を意味している。
次に、被写体の動き検出結果と被写体内容との関係について説明する。被写体内容が「ペット」の場合には、「人(自分)」や「人(他人)」などの他の被写体内容とは異なり、被写体が静止した状態で撮影されることは非常に少ない。従って、図4に示されるように、ある撮影画像についての動き検出結果として「動きを検出」したのであれば、その撮影画像における被写体は「ペット」である可能性が高い。
以上のように、撮影画像についての撮影条件、画像特徴量及び動き検出結果の値と、その被写体内容との間には図4に示されるような関係が存在する。従って、図4に示される撮影条件、画像特徴量及び動き検出結果の値を、それぞれ上述の基準撮影条件値、画像特徴量の基準情報及び動き検出結果の基準情報として採用し、それらの値と、撮影部2で撮影された撮影画像についての撮影条件値、画像特徴量の情報及び動き検出結果の情報とが合致するか否かを判定することによって、当該撮影画像の被写体内容を推定することができる。従って、画像検索部15では、撮影部2で撮影された複数の撮影画像から、検索条件として入力された被写体内容の分類値に適合する画像を選出することが可能となる。
本実施の形態1に係る携帯型撮像装置100では、図4に示される表が基準値テーブルとしてフラッシュROM4に記憶されている。以後、基準撮影条件値、画像特徴量の基準情報及び動き検出結果の基準情報を総称して「基準値」と呼ぶことがある。
なお図4にも示されるように、本実施の形態1に係る携帯型撮像装置100では、被写体内容の分類値によっては、図中に示される撮影条件のすべての項目について基準撮影条件値が設けられているわけではなく、画像特徴量のすべての項目について基準情報が設けられているわけではない。また、被写体内容の分類値によっては、動き検出結果の基準情報が存在しないこともある。
次に、本実施の形態1に係る携帯型撮像装置100での撮影条件値及び画像特徴量の情報の取得方法、及び被写体の動き検出方法について詳細に説明する。
CPU1のメイン処理部11は、ユーザから画像撮影を行う旨の情報をデータ入力部8を介して受け取ると、タイマ7から現在の時刻を取得して、これを撮影時刻として取り扱う。メイン処理部11は、取得した撮影時刻を「日中」及び「夜間」の2種類の値のどちらかに割り当てる。例えば、メイン処理部11は、取得した撮影時刻が午前7時から午後6時までを示す場合には当該撮影時刻を「日中」と判定し、それ以外の場合には「夜間」と判定する。このように、メイン処理部11とタイマ7とは、撮影部2での撮影画像についての撮影時刻を取得する撮影条件値取得部として機能する。
また、CPU1のメイン処理部11は、画像撮影時に、ユーザから自分撮りを行う旨の情報をデータ入力部8を介して取得すると、撮影部2ではレンズ21aが使用されることを認識する。これにより、メイン処理部11は撮影時に使用されるレンズが表示画面61と同じ向きを向いていることを認識できる。また、メイン処理部11は、画像撮影時に、ユーザから自分撮りを行う旨の情報を取得しない場合には、撮影部2ではレンズ21bが使用されることを認識する。これにより、メイン処理部11は撮影時に使用するレンズが表示画面61とは反対側に向いていることを認識できる。
なお、一つのレンズを回転させることによって自分撮りが可能となる装置では、レンズの回転を検出するスイッチを設けて、このスイッチでのレンズの回転検出結果からレンズ方向を認識することができる。
このように、CPU1のメイン処理部11は、撮影部2での撮影画像についてのレンズ方向の情報を取得する撮影条件値取得部として機能する。
撮像制御部23は、画像撮影時の露出時間を自動的に調整することが可能である。本携帯型撮像装置100では、絞り値は制御することができず、撮像制御部23は、例えば撮像センサー22の前方に設けられたシャッター(図示せず)のシャッタースピードを調整することによって、撮像センサー22に届く光量を適切な値に調整する。そして、撮像制御部23は、撮影部2で撮影した撮影画像のそれぞれについての露出時間をシャッタースピードから算出して取得する。撮像制御部23は、取得した露出時間を「長い」及び「短い」の2種類の値のいずれかに割り当てて、その結果をCPU1のメイン処理部11に出力する。撮像制御部23は、露出時間が所定のしきい値よりも大きい場合には「長い」と判定し、所定のしきい値以下の場合には「短い」と判定する。
また撮像制御部23は、ユーザによって指定されたホワイトバランス調整値に基づいて撮像センサー22の動作を制御し、画像撮影時のホワイトバランスを適切に調整する。例えば、表示部6には、ホワイトバランス調整値として、「太陽光」、「曇天」、「蛍光灯」及び「電球」の4つの値が表示され、ユーザは、データ入力部8を操作して、光源が太陽光であって撮影天候が晴天の場合には「太陽光」を、光源が太陽光であって撮影天候が曇天の場合には「曇天」を、光源が蛍光灯の場合には「蛍光灯」を、光源が電球の場合には「電球」をそれぞれ選択する。ユーザによって選択されたホワイトバランス調整値は、CPU1を介して撮像制御部23に入力される。撮像制御部23は、取得したホワイトバランス調整値に基づいて撮像センサー22を制御する。また、撮像制御部23は、取得したホワイトバランス調整値の情報を「屋外」及び「屋内」の2種類の値のいずれかに割り当てて、その結果をCPU1のメイン処理部11に出力する。撮像制御部23は、ホワイトバランス調整値が「太陽光」及び「曇天」の場合には「屋外」と判定し、「蛍光灯」及び「電球」の場合には「屋内」と判定する。
更に撮像制御部23はオートフォーカス機能も備えており、撮影時の焦点調整の結果から被写体距離を取得する。そして、撮像制御部23は、取得した被写体距離を「近い」、「やや近い」、「ふつう」、「やや遠い」、「遠い」の5種類の値のいずれかに割り当て、その結果をCPU1のメイン処理部11に出力する。撮像制御部23は、4段階のしきい値を設けて、一番大きいしきい値よりも被写体距離が大きい場合には「遠い」と判定し、一番大きいしきい値以下であって二番目に大きいしきい値よりも大きい場合には「やや遠い」と判定する。そして、被写体距離が二番目に大きいしきい値以下であって三番目に大きいしきい値よりも大きい場合には「ふつう」と判定し、三番目に大きいしきい値以下であって最も小さいしきい値よりも大きい場合には「やや近い」と判定する。そして、被写体距離が最も小さいしきい値以下の場合には「近い」と判定する。
このように、撮像制御部23は、撮影部2での撮影画像についての露出時間、ホワイトバランス調整値及び被写体距離の情報を取得する撮影条件値取得部として機能する。
傾き検出センサー9は、取得した傾き量に基づいて、本携帯型撮像装置100の装置姿勢を「下向き」、「やや下向き」、「水平」、「やや上向き」及び「上向き」の5種類の値のいずれかに割り当て、その結果をCPU1のメイン処理部11に出力する。この割り当て方法については、被写体距離の場合と同様に、4段階のしきい値を設けて、それらのしきい値と傾き量とを比較することによって実現できる。よって、傾き検出センサー9は、撮影部2での撮影画像についての装置姿勢の情報を取得する撮影条件値取得部として機能する。
CPU1の画像特徴量取得部12は、撮影部2で撮影された撮影画像のそれぞれについて、上述の式(1)を用いて画像の複雑度を示す値Enを算出する。そして、算出した値Enに基づいて、撮影画像のそれぞれについての画像の複雑度を「単純」、「やや単純」、「ふつう」、「やや複雑」及び「複雑」の5種類のいずれかの値に割り当て、その結果をメイン処理部11に出力する。この割り当て方法については、被写体距離や装置姿勢の場合と同様に、4段階のしきい値を設けて、それらのしきい値と値Enとを比較することによって実現できる。
また、画像特徴量取得部12は、撮影部2で撮影された撮影画像のそれぞれについて、上述の式(2)〜(5),(6a)〜(6c)を用いて図7のような色相Hのヒストグラムを取得する。そして画像特徴量取得部12は、取得した色相Hのヒストグラムに基づいて、撮影画像のそれぞれについての画像の色味を判定し、その判定した色味をメイン処理部11に出力する。以下に、画像特徴量取得部12での色味判定方法について説明する。
本実施の形態1に係る携帯型撮像装置100では、色相Hの範囲は複数の色味範囲に予め区分されている。各色味範囲には、肌色、茶色、水色、あるいは緑色などの色味が割り当てられており、色味範囲のそれぞれに対応して画素数のしきい値が設定されている。画像特徴量取得部12は、取得したある撮影画像についての色相Hのヒストグラムから、各色味範囲における画素数を取得し、その画素数と対応するしきい値と比較する。そして、ある色味範囲における画素数がそれに対応するしきい値よりも大きい場合には、その撮影画像においては、その色味範囲に割り当てられた色味が強いと判断する。
また、画像特徴量取得部12は、算出した各画素についての色相Hに基づいて、撮影画像において同じ色味範囲に属する画素が所定範囲以上連続して存在するか否かを判定し、所定範囲以上連続する場合には、当該撮影画像についての画像の色味を「単一色領域」と判定する。
一方、撮影画像において、同じ色味範囲に属する画素が所定範囲以上連続して存在する領域が無い場合には、画像特徴量取得部12は、その撮影画像において強い色味であると判定した色味を、当該撮影画像についての画像の色味に決定する。例えば、強いと判定した色味が肌色だけであれば、画像の色味を「肌色」に決定し、強いと判定した色味が緑色及び水色であれば、画像の色味を「緑色及び水色」に決定する。
このようにして、画像特徴量取得部12は、撮影画像のそれぞれについての画像の色味の情報を取得してメイン処理部11に出力する。
CPU1の動き検出部16は、周知のブロックマッチング法や勾配法を使用して、撮影画像の被写体の動き検出を行う。本実施の形態1に係る撮影部2では、画像撮影を行う際、フラッシュROM4に最終的に記憶される検索対象となる画像以外に、動き検出用の画像もそれに連続して撮影される。この動き検出用の画像はRAM3に一時的に記憶されるだけであって、フラッシュROM4には記憶されない。動き検出部16は、検索対象用の撮影画像と動き検出用の撮影画像とを用いて被写体の動き検出を行う。そして動き検出部16は、動き検出結果をメイン処理部11に出力する。なお以後、単に「撮影画像」と言えばフラッシュROM4に記憶される検索対象用の撮影画像を意味するものとする。
以上のようにして、撮影画像についての撮影条件値、画像特徴量の情報及び動き検出結果の情報は取得され、これらの情報はCPU1のメイン処理部11に集められる。以後、このようにして取得される、撮影画像についての撮影条件値、画像特徴量の情報及び動き検出結果の情報を総称して「取得値」と呼ぶことがある。
次に、本実施の形態1に係る携帯型撮像装置100での画像撮影動作について説明する。ユーザがデータ入力部8に対して所定の操作を実行すると、CPU1のメイン処理部11は、フラッシュROM4に格納されているカメラアプリケーションプログラムを読み込んで実行する。メイン処理部11は、ユーザがデータ入力部8に対して撮影開始操作を実行すると、撮影部2の撮像制御部23に対して画像撮影を行う旨を通知するとともに、タイマ7から現在の時刻を読み出して、撮影時刻の情報を取得する。このとき、ユーザが自分撮りを行う旨の操作をデータ入力部8に対して行った場合には、メイン処理部11はその旨を撮像制御部23に通知する。撮像制御部23は、自分撮りか否かに応じて、使用するレンズを決定し、撮像センサー22の動作を制御して画像撮影を開始する。このとき、動き検出用の画像も撮影される。そして、撮像制御部23は、検索対象用の撮影画像と、動き検出用の撮影画像とをRAM3に書き込むとともに、検索対象用の撮影画像についての露出時間、ホワイトバランス調整値、及び被写体距離の情報を取得してCPU1に通知する。
またメイン処理部11は、ユーザからの撮影開始操作を認識すると、傾き検出センサー9に装置姿勢の情報を要求し、その要求を受け取った傾き検出センサーは装置姿勢の情報を取得してメイン処理部11に出力する。
メイン処理部11は、RAM3に撮影画像が書き込まれると、当該RAM3から撮影画像を読み出して、画像特徴量取得部12に出力する。画像特徴量取得部12は、受け取った撮影画像についての画像の複雑度と画像の色味の情報を取得してメイン処理部11に出力する。また、メイン処理部11は、RAM3から検索対象用の撮影画像と、動き検出用の撮影画像とを読み出して動き検出部16に出力する。動き検出部16は、受け取った画像に基づいて動き検出を実行して、その結果をメイン処理部11に出力する。
メイン処理部11は、読み込んだ撮影画像に、受け取った露出時間等の情報と、自ら取得した撮影時刻及びレンズ方向の情報を付加して、当該撮影画像をJPEGフォーマットでフラッシュROM4に書き込む。このようにして、撮影部2での撮影画像が、撮影条件値、画像特徴量の情報及び動き検出結果の情報とともに保存される。
次に、ユーザによる画像閲覧時における本携帯型撮像装置100での画像表示動作について説明する。ユーザがデータ入力部8に対して所定の操作を実行すると、メイン処理部11は、フラッシュROM4に格納されている画像ビューアアプリケーションプログラムを読み出して実行する。メイン処理部11は、フラッシュROM4にJPEGフォーマットで格納されている撮影画像を読み出して、それをRGB形式に変換してRAM3に書き込む。表示部6はRAM3からRGB形式の撮影画像を読み出して表示画面に表示する。これにより、ユーザによる撮影画像の閲覧が可能になる。
次に、本実施の形態1に係る携帯型撮像装置100における画像検索動作について説明する。図8は本携帯型撮像装置100の画像検索動作を示すフローチャートである。ユーザがデータ入力部8に対して所定の操作を行い、CPU1のメイン処理部11にユーザからの画像検索を行う旨が通知されると、メイン処理部11は、「人(自分)」や「風景」などの予め用意された被写体内容の分類値を表示部6に表示する。なお、被写体内容の分類値はフラッシュROM4に予め記憶されている。
ユーザがデータ入力部8を操作することによって、ある分類値を検索条件として指定すると、メイン処理部11は、その指定された分類値「X」を画像検索部15に通知し、画像検索部15はその分類値「X」に適合する画像の検索を開始する。画像検索部15の合致判定部13は、図8に示されるように、まずステップs1において、合致判定要素を決定する。以下に、合致判定要素の決定方法について説明する。
上述のように、本実施の形態1では、撮影画像の撮影条件値については図4に示される撮影条件の項目のすべてについて取得し、画像特徴量の情報についても図4に示される画像特徴量のすべての項目について取得している。そして、撮影画像の被写体の動き検出結果についても必ず取得している。
しかしながら、基準撮影条件値や画像特徴量の基準情報については、被写体内容の分類値によっては準備されていない項目が存在する。また、動き検出結果の基準情報についても、被写体内容の分類値によっては存在しないことがある。従って、合致判定部13では、撮影画像について取得したすべての項目について合致判定を行う必要はない。そこで、ステップs1では、合致判定部13は、フラッシュROM4から基準値テーブルを読み出して、この基準値テーブルから、指定された分類値に応じて、基準撮影条件値が存在する撮影条件の項目と、基準情報が存在する画像特徴量の項目とを取得し、それと同時に動き検出結果の基準情報が存在するか否かも確認する。そして、合致判定部13は、基準撮影条件値が存在する撮影条件の項目と、基準情報が存在する画像特徴量の項目とを合致判定要素に決定し、更に動き検出結果の基準情報が存在する場合には、動き検出結果も合致判定要素に決定する。
図10は、検索条件として被写体内容の分類値「人(自分)」が入力された場合の合致判定要素と、その合致判定要素の基準値と、確定係数αとを示す図である。また、図11は、検索条件として分類値「ペット」が入力された場合の合致判定要素と、その合致判定要素の基準値と、確定係数αとを示す図である。
図10に示されるように、被写体内容が「人(自分)」の画像を検索する場合には、合致判定要素としてレンズ方向、被写体距離、装置姿勢、画像の複雑度及び画像の色味が決定される。また、図11に示されるように、被写体内容が「ペット」の画像を検索する場合には、合致判定要素としてレンズ方向、被写体距離、装置姿勢、画像の複雑度及び動き検出結果が決定される。
上述の図4に示されるように、被写体内容が「ペット」の画像では、基準撮影条件値や画像特徴量の基準情報が「物」の画像と非常に似た値を示す。従って、動き検出結果を合致判定要素に用いることによって、「ペット」の画像を検索する際の検索精度を向上することができる。なお、図10,11中の確定係数αについては後で詳細に説明する。
次にステップs2において、合致判定部13は、フラッシュROM4に保存されている検索対象となる全ての撮影画像のそれぞれについて、検索条件への適合度を付与して、当該適合度を“1”で初期化する。そして、合致判定部13は、検索対象となる全ての撮影画像を特定する情報(以後、「特定情報」と呼ぶ)を含む画像検索リストを作成してRAM3に書き込む。
次に、ステップs6において、合致判定部13は、ステップ1で決定した合致判定要素から、後述のステップs3を実行する対象となる合致判定要素を一つ決定する。そして、ステップs3において、合致判定部13と画像選択部14は、ステップs6で決定された合致判定要素に対して合致判定処理を実行する。図9は合致判定処理のフローチャートを示す図である。図9に示されるように、合致判定処理では、まずステップs31において、合致判定部13がRAM3から画像選択リストを読み出して、そのリストから一つの撮影画像を選択する。そしてステップs32において、合致判定部13は、ステップs6で決定した処理対象の合致判定要素について、選択した撮影画像についての取得値と、基準値とが合致するか否かの合致判定を実行し、その結果を画像選択部14に出力する。
例えば、「人(自分)」の画像を検索する場合において、合致判定処理が実行される合致判定要素が「レンズ方向」のときには、選択した撮影画像についての「レンズ方向」の撮影条件値が基準値「表示画面と同じ」に合致するか否かが判定される。また、同様の場合において、合致判定処理が実行される合致判定要素が「被写体距離」のときには、選択した撮影画像についての「被写体距離」の撮影条件値が基準値「近い」に合致するか否かが判定される。
ステップs32において基準値と取得値とが合致すると判定されると、ステップs36において、合致判定部13は、画像検索リスト中の全ての撮影画像について合致判定を実行したかどうかを判断し、実行していなければ、ステップs31において、画像検索リストから次の撮影画像を選択する。そして、ステップs31で新たに選択された撮影画像についてステップs32が実行される。このように、ステップs32において基準値と取得値とが合致する場合には、処理対象の撮影画像に付与された適合度の値は変化しない。
一方、ステップs32において、基準値と取得値とが合致しないと判断されると、画像選択部14は、ステップs33において、合致判定を行った撮影画像に付与されている適合度に確定係数αを掛け合わせて、当該適合度を更新する。確定係数αは、図10,11にも示されるように、フラッシュROM4内に保存されている全基準値のそれぞれに個別に対応して定められたものであって、ステップs33では、合致判定を行った合致判定要素の基準値に対応した確定係数αが用いられる。
確定係数αは、検索条件として入力された分類値が示す被写体内容を有する画像の撮影条件、画像特徴量あるいは動き検出結果において、当該確定係数αに対応する基準値と一致しない度合を示すものであって、0<α<1の値を有する。従って、この確定係数αの値が小さいほど、検索条件が特定する被写体内容を有する画像において、対応する基準値が含まれる可能性が高いということになる。確定係数αは例えば以下のようにして求められる。
被写体内容が「人(自分)」であるサンプル画像を複数個用意するとともに、それぞれのサンプル画像についての撮影条件値、画像特徴量の情報、及び動き検出結果の情報を取得しておく。そして、それらのサンプル画像のうち、レンズ方向が「表示画面と同じ」ではない画像の個数を求める。そして、求めた個数をサンプル画像の総数で除算した値が、被写体内容が「人(自分)」の場合における「レンズ方向」の基準値に対応する確定係数αとなる。例えば、サンプル画像の総数が100枚で、求めた個数が30枚のとき、確定係数αは0.3(=30/100)となる。
このように、確定係数αは、検索条件が特定する被写体内容を有する画像の撮影条件、画像特徴量あるいは動き検出結果において、それに対応する基準値と一致しない度合を示すものであるため、ステップs32において基準値と取得値とが合致しない場合には、合致判定を行った撮影画像が検索条件に適合する度合は、当該基準値に対応する確定係数αの値に応じたものとなる。つまり、この場合には、確定係数αが小さいほど、合致判定を行った撮影画像が検索条件に適合する度合は小さいと考えることができる。従って、基準値と取得値とが合致しない場合には、合致判定を行った撮影画像の適合度に確定係数αを掛け合わせることによって当該適合度を適切に更新することができる。なお確定係数αは、予めフラッシュROM4に記憶されている。
ステップs33が実行されると、ステップs34において、画像選択部14は、更新した適合度が、フラッシュROM4に記憶されている所定のしきい値以上かどうかを判定し、しきい値以上であればステップs36が実行される。一方、画像選択部14は更新した適合度がしきい値よりも小さければ、ステップs35において、合致判定を行った撮影画像の特定情報を画像検索リストから削除し、その後ステップs36が実行される。
ステップs36において、画像検索リスト中の全ての撮影画像について合致判定が実行されたと判断されると、図8のステップs4が実行される。ステップs4では、合致判定部13は、ステップs1で決定された全ての合致判定要素について合致判定処理が完了したかどうかを判断し、完了していなければ、ステップs6が再度実行されて、次の処理対象の合致判定要素について合致判定処理が実行される。
一方、ステップs4において、全ての合致判定要素について合致判定処理が完了したと判断されると、ステップs5において、画像選択部14は、そのときの画像検索リストに残っている撮影画像の特定情報を、検索条件に適合する撮影画像の特定情報としてメイン処理部11に通知する。メイン処理部11は、受け取った、検索条件に適合する撮影画像の特定情報を表示部6に通知し、表示部6はその特定情報に基づいて画像検索結果を表示画面に表示する。例えば、表示部6は、検索条件に適合する撮影画像のファイル名を画像検索結果として表示する。ユーザは、表示されたファイル名のうち閲覧したいものをデータ入力部8を操作して選択し、選択されたファイル名の撮影画像はフラッシュROM4から読み出されて表示部6に表示される。
本実施の形態1では、ステップs3,s4,s6が繰り返して実行されることによって、複数の合致判定要素が順番に処理される。つまり、検索条件が特定する被写体内容に応じて設けられた複数の基準値が順番に合致判定の対象となる。本実施の形態1に係るステップs6では、複数の合致判要素は、確定係数αの値が小さいもの順に処理対象となる。
例えば、図10に示される、分類値が「人(自分)」の例においては、「レンズ方向」、「被写体距離」、「装置姿勢」、「画像の複雑度」及び「画像の色味」の基準値に対応する確定係数αの値がそれぞれa〜eであって、a〜eの順に値が小さい場合には、まず最初に「レンズ方向」が処理対象となる。そして、画像検索リスト中のすべての撮影画像について「レンズ方向」の基準値と取得値との合致判定が完了すると、次は「被写体距離」が処理対象となる。そして、画像検索リスト中のすべての撮影画像について「被写体距離」の基準値と取得値との合致判定が完了すると、「装置姿勢」が処理対象となり、その後は「画像の複雑度」及び「画像の色味」が順に処理対象となる。
また、図11に示される、分類値が「ペット」の例においては、「レンズ方向」、「被写体距離」、「装置姿勢」、「画像の複雑度」及び「動き検出結果」の基準値に対応する確定係数αの値がそれぞれp〜tであって、p〜tの順に値が小さい場合には、まず最初に「レンズ方向」が処理対象となり、次に「被写体距離」が処理対象となる。そして、「装置姿勢」、「画像の複雑度」及び「画像の色味」が順に処理対象となる。
このように、本実施の形態1では、確定係数αが小さいもの順に合致判定要素が処理されており、分類値に応じて定められた複数の基準値に対する合致判定における判定順序は確定係数αに基づいて決定されている。上述のように、検索条件への適合度は確定係数αが掛け合わせることによって更新され、当該適合度がしきい値よりも小さくなると検索対象外としているため、確定係数αの値が小さいもの順に基準値に対する合致判定を行うことによって、迅速な画像の絞込みが可能となる。よって、検索時間を短縮することができる。
なお、本実施の形態1では、撮影条件値、画像特徴量の情報及び動き検出結果の情報のすべてに基づいて画像検索を行ったが、複数の撮影条件値だけに基づいて、あるいは複数の撮影条件値と画像特徴量の情報だけに基づいて画像検索を行うことも可能である。
以上のように、本実施の形態1に係る携帯型撮像装置100では、被写体内容の分類値という、被写体内容を特定する検索条件を受付けるため、ユーザは簡単に所望の画像を得ることができる。
更に、自ら取得した撮影画像の撮影条件値に基づいて画像検索を行うため、ユーザは画像ごとにタイトルやキーワードを付与する必要がない。
更に、画像検索に複数の撮影条件値を用いているため、高精度な画像検索が可能となる。
また、本実施の形態1では、撮影条件値だけではなく画像特徴量の情報も用いて画像検索を行うため、更に高精度な画像検索を行うことができる。
また、本実施の形態1では、動き検出結果の情報も用いて画像検索を行うため、更に高精度な画像検索を行うことができる。
また、本実施の形態1に係る携帯型撮像装置100では、JPEGファイルで記憶された撮像画像のファイルサイズと量子化テーブルの代表値とを用いて画像の複雑度を示す値Enを求めているため、画像そのものを解析することなく簡単に画像の複雑度の情報を得ることができる。
また、本実施の形態1では、画像検索を行う際には、撮影画像が検索条件に対してどれだけ適合しているかを示す適合度という指標を用いているため、簡単に画像検索を行うことができる。
実施の形態2.
図12は、本発明の実施の形態2に係る携帯型撮像装置が備えるCPU1の機能ブロックを示す図である。本実施の形態2に係る携帯型撮像装置は、上述の実施の形態1に係る携帯型撮像装置100において、基本的には画像検索部15の替わりに画像検索部55を備えるものである。以下では、本実施の形態2に係る携帯型撮像装置について、実施の形態1とは異なる部分だけについて説明する。
図12は、本発明の実施の形態2に係る携帯型撮像装置が備えるCPU1の機能ブロックを示す図である。本実施の形態2に係る携帯型撮像装置は、上述の実施の形態1に係る携帯型撮像装置100において、基本的には画像検索部15の替わりに画像検索部55を備えるものである。以下では、本実施の形態2に係る携帯型撮像装置について、実施の形態1とは異なる部分だけについて説明する。
本実施の形態2に係る画像検索部55は、上述の合致判定部13及び画像選択部14と、期待値取得部17とを備えている。期待値取得部17は、画像選択部14が求めた各撮影画像についての適合度に基づいてその期待値Eを求めて、合致判定部13に出力する。
適合度の期待値Eは、検索条件が特定する被写体内容に応じて定められた複数の基準値のそれぞれに対応して求められ、当該対応する基準値と取得値との合致判定を行った際の適合度としてどれくらいの値が期待できるかを示す情報である。
図13は、検索条件として分類値「人(自分)」が入力された場合の合致判定要素と、それに対応する基準値、確定係数α及び期待値Eを示す図である。図13に示されるように、合致判定要素の基準値のそれぞれに対応して期待値Eが設定されている。図13の例では、「レンズ方向」、「被写体距離」、「装置姿勢」、「画像の複雑度」及び「画像の色味」の基準値に対応する期待値Eの値がそれぞれE(a)〜E(e)である。この例において、例えば、「レンズ方向」の基準値「表示画面と同じ」に対応して求められた期待値Eの値が“0.5”だとすると、当該基準値「表示画面と同じ」と取得値との合致判定を行った際の適合度の値として“0.5”が期待できる。従って、この期待値Eの値が小さいほど、期待できる適合度も小さくなり、合致判定後に画像検索リストに残存する撮影画像の数も少なくなることが期待できる。
そこで、本実施の形態2に係る合致判定部13は、確定係数αではなく期待値Eに基づいて合致判定要素の処理順序を決定する。つまり、期待値Eに基づいて複数の基準値に対する合致判定での判定順序を決定する。これにより、迅速な画像の絞り込みが可能となり検索時間を短縮できる。
次に、本実施の形態2に係る携帯型撮像装置での画像検索動作について説明する。図14は本実施の形態2に係る画像検索動作を示すフローチャートである。ユーザによってデータ入力部8に対して所定の操作が行われると、実施の形態1と同様に、表示部6には被写体内容の分類値が表示される。ユーザが検索条件としてある分類値を指定すると、画像検索部55は指定された分類値に適合する画像の検索を開始する。図14に示されるように、まず上述のステップs1が実行されて合致判定要素が決定される。そして、ステップs2が実行されて、適合度の初期化と画像検索リストの作成が行われる。
次に、ステップs56が実行される。このステップs56では、合致判定部13が、ステップs1で決定した合致判定要素の中から処理対象の判定要素を決定する。本実施の形態2では、上述のように、期待値Eの値に基づいて処理対象の合致判定要素を決定する。具体的には、まだ合致判定処理が終了していない合致判定要素において、期待値Eの値が最も小さいもを処理対象とする。後述のように、期待値Eは期待値取得部17によって求められるが、初めて画像検索が行われる場合には、予めフラッシュROM4に記憶された初期値が用いられる。合致判定部13は、初めて画像検索が行われる場合には、ステップs1で決定したすべての合致判定要素に対応する期待値Eの初期値をメイン処理部11を介してフラッシュROM4から読み出し、それらの初期値のうちで最も値の小さいものに対応する合致判定要素を処理対象とする。
例えば図13の例において、「レンズ方向」の基準値に対応する期待値Eの値E(a)が最も小さい値であるとすると、「レンズ方向」が一番最初の処理対象となる。以後、画像検索を行う際に一番最初に処理される合致判定要素を「第1の合致判定要素」と呼ぶ。
ステップs2が実行されると、ステップs53において合致判定処理が実行される。図15は、本実施の形態2に係る合致判定処理を示すフローチャートである。図15に示されるように、合致判定処理では、まず上述のステップs31が実行されて、画像検索リストから処理対象の撮影画像が選択される。そして、上述のステップs32が実行される。これにより、処理対象の合致判定要素について、選択した撮影画像についての取得値と基準値との合致判定が実行される。
ステップs32において、基準値と取得値とが合致すると判定されると、ステップs530において、期待値取得部17は、合致判定部13からの情報に基づいて現在の処理対象の合致判定要素が第1の合致判定要素か否かを判断し、第1の合致判定要素であれば、画像選択部14で算出された現在の処理対象の撮影画像についての適合度を、すでに処理された撮影画像の適合度の累積値に足し合わせる。これにより、処理対象が第1の合致判定要素の場合には、ステップs530が実行されるたびに適合度が累積される。なお、第1の合致判定要素でない場合には適合度の累積は実行されない。
一方、ステップs32において、基準値と取得値とが合致しないと判定されると、上述のステップs33が実行されて、処理対象の撮影画像の適合度に確定係数αが掛け合わされて、当該適合度が更新される。適合度が更新されると、ステップs530が実行されて、適合度が累積される。
ステップs530が実行されると上述のステップs34が実行されて、適合度がしきい値以上か判定される。ステップs34において、適合度がしきい値以上であればステップs36が実行される。一方、ステップs34において、適合度がしきい値よりも小さければ、合致判定を行った撮影画像の特定情報が画像検索リストから削除され、その後ステップs36が実行される。
ステップs36において、画像検索リスト中の全ての撮影画像について合致判定が実行されていないと判断されると、再びステップs31が実行されて、画像検索リストから次の処理対象の撮影画像が選択される。
一方、ステップs36において、全ての撮影画像について合致判定が実行されたと判断されると、上述のステップs4が実行され、画像検索リスト中の全ての撮影画像について合致判定を実行したかどうかが判断される。ステップs4において、画像検索リスト中の全ての撮影画像について合致判定が実行されていないと判断されると、ステップs54において、期待値取得部17は、現在の処理対象の合致判定要素が第1の合致判定要素であれば、適合度の累積値を、フラッシュROM4内の撮影画像の総数で除算し、その値を、第1の合致判定要素の基準値に対応する新たな期待値EとしてフラッシュROM4に保存する。つまり、期待値取得部17は、第1の合致判定要素の基準値に対応する期待値Eとして、当該基準値に対する合致判定が行われた後の全撮影画像についての適合度の平均値を求める。このようにして第1の合致判定要素の基準値に対応する期待値Eが求められる。
なお、現在の処理対象が第1の合致判定要素でなければ、期待値Eの計算は行われない。また、今回の画像検索時に第1の合致判定要素にならなかった他の合致判定要素については、それ以後の画像検索の際に第1の合致判定要素になることによって、対応する期待値Eは算出される。
ステップs54が実行されると、ステップs55において、期待値取得部17は、残りの合致判定要素の基準値に対応する期待値Eを相関係数COで補正する。ここで、相関係数COとは、検索条件が特定する被写体内容に応じて定められた複数の基準値の間での相関の強さを示す情報であって、本例では、当該複数の基準値の任意の2つの間において個別に定められている。本実施の形態2では、相関係数COは、0<CO<1の値を採り、その値が大きいほど相関が強いことを示している。
2つの基準値の間の相関が強いということは、それらに対応する被写体内容を有する画像には両方の基準値が含まれている可能性が高い。従って、ある基準値に対して合致判定を行った後に、それと相関の強い基準値に対して合致判定を行ったとしても、合致判定後の検索対象画像の絞込みはあまり期待できない。
図16は、分類値「人(自分)」が検索条件として入力された場合の合致判定要素の基準値間の相関係数COの一例を示す図である。なお、図16では基準値の記載は省略している。図16に示されるように、「レンズ方向」の基準値と「被写体距離」の基準値との間、及び「レンズ方向」の基準値と「画像の色味」の基準値との間の相関係数COはそれぞれ“0.9”及び“0.4”であって、「レンズ方向」の基準値と「被写体距離」の基準値との間の相関は、「レンズ方向」の基準値と「画像の色味」の基準値との間の相関よりも強い。従って、被写体内容が「人(自分)」である撮影画像には、「レンズ方向」及び「被写体距離」の両方の基準値が含まれている可能性の方が、「レンズ方向」及び「画像の色味」の両方の基準値が含まれている可能性よりも高い。よって、合致判定処理において「レンズ方向」の基準値に対して合致判定を行った後には、「被写体距離」の基準値に対して合致判定を行うよりも、「画像の色味」の基準値に対して合致判定を行った方が、より効果的な画像の絞り込みが期待できる。
そこで、本実施の形態2では、ステップs55において、すでに合致判定が行われた基準値と、まだ行われていない基準値との間における相関係数COに基づいて、まだ行われていない基準値に対応する期待値Eを補正する。具体的には、ステップs53で合致判定を行った基準値と、まだ合致判定を行っていない基準値との間の相関係数COを、まだ合致判定を行っていない基準値に対応する期待値Eに乗算し、それによって得られる値を補正後の期待値Eとして取り扱う。これにより、適合度の期待値Eが適切に補正され、迅速な画像の絞り込みが可能となる。以下に、ステップs55での動作を図13,16に示される例を用いて説明する。
例えば、「レンズ方向」が第1の合致判定要素であって、ステップs53において「レンズ方向」の基準値に対して合致判定が行われた場合には、ステップs55では、「被写体距離」、「装置姿勢」、「画像の複雑度」及び「画像の色味」の基準値に対応する期待値Eの補正が行われる。図16の相関係数COより、「被写体距離」の基準値に対応する期待値E(b)には“0.9”が乗算され、「装置姿勢」の基準値に対応する期待値E(c)には“0.8”が乗算され、「画像の複雑度」の基準値に対応する期待値E(d)には“0.3”が乗算され、「画像の色味」の基準値に対応する期待値E(e)には“0.4”が乗算され、それらの乗算後の値が補正後の期待値Eとしてそれぞれ取り扱われる。
ステップs55が実行されると、再度ステップs56が実行され、補正後の期待値Eに基づいて処理対象の合致判定要素が決定される。つまり、まだ合致判定が行われていない基準値についての判定順序が、補正後の期待値Eに基づいて決定される。このステップs56では、まだ合致判定処理が終了していない合致判定要素において、補正後の期待値Eの値が最も小さいもを処理対象とする。そして、ステップs53が実行されて、次の合致判定要素に対する合致判定処理が実行される。
その後、ステップs4,s54が順次実行されると、再度ステップs55が実行される。このステップs55では、まだ合致判定が行われていない基準値に対応する期待値Eが補正されるが、このときの補正対象としての期待値Eは、前回のステップs55で補正された期待値Eが使用される。
図13,16の例において、例えば「レンズ方向」が第1の合致判定要素であって、「レンズ方向」及び「被写体距離」の順で合致判定処理が行われた場合、「被写体距離」の合致判定処理直後のステップs55では、「被写体距離」の基準値と、残りの「装置姿勢」、「画像の複雑度」及び「画像の色味」の基準値との間の相関係数COに基づいて、残りの合致判定要素の基準値に対応する期待値Eの補正が行われる。このときの補正は、前回のステップs55で補正された期待値Eに対して補正が行われる。図16の値より、「装置姿勢」の基準値に対応する補正後の期待値E(c)には“0.7”が乗算され、「画像の複雑度」の基準値に対応する補正後の期待値E(d)には“0.2”が乗算され、「画像の色味」の基準値に対応する補正後の期待値E(e)には“0.3”が乗算され、それらの乗算後の値が補正後の期待値Eとしてそれぞれ取り扱われる。なお、相関係数COは例えば以下のようにして求められる。
被写体内容が「人(自分)」であるサンプル画像を複数個用意するとともに、それぞれのサンプル画像についての撮影条件値、画像特徴量の情報、及び動き検出結果の情報を取得しておく。そして、それらのサンプル画像のうち、レンズ方向が「表示画面と同じ」であって、かつ被写体距離が「近い」画像の個数を求める。そして、求めた個数をサンプル画像の総数で除算した値が、被写体内容が「人(自分)」の場合における「レンズ方向」の基準値と「被写体距離」の基準値との間の相関係数COとなる。例えば、サンプル画像の総数が100枚で、求めた個数が90枚のとき、相関係数COは0.9(=90/100)となる。
同様に、サンプル画像のうち、レンズ方向が「表示画面と同じ」であって、かつ装置姿勢が「水平」の画像の個数を求め、求めた個数をサンプル画像の総数で除算した値が、被写体内容が「人(自分)」の場合における「レンズ方向」の基準値と「装置姿勢」の基準値との間の相関係数COとなる。
以上のようにして他の基準値間の相関係数COも求めると、図16に示されるような表が得られる。本実施の形態2では、図16に示される表が分類値ごとに予め用意されて、フラッシュROM4に記憶されている。
図14のステップs4において、画像検索リスト中の全ての撮影画像について合致判定が実行されたと判断されると、ステップs5において、そのときの画像検索リストに残っている撮影画像の特定情報が、検索条件に適合する撮影画像の特定情報としてメイン処理部11に通知される。メイン処理部11は、受け取った、検索条件に適合する撮影画像の特定情報を表示部6に通知し、表示部6はその特定情報に基づいて画像検索結果を表示画面に表示する。ユーザは、表示された画像検索結果から閲覧したい撮影画像を選択し、選択された撮影画像はフラッシュROM4から読み出されて表示部6に表示される。
以上のように、本実施の形態2に係る携帯型撮像装置では、検索条件が特定する被写体内容に応じて設けられた合致判定要素の基準値のそれぞれに対応して適合度の期待値Eが求められ、当該期待値Eに基づいて基準値に対する合致判定での判定順序が決定されるため、迅速な画像の絞込みが可能となる。従って、検索時間を短縮できる。
また、本実施の形態2では、合致判定を行っていない基準値についての適合度の期待値Eを、すでに合致判定を行った基準値との間の相関係数COに基づいて補正し、その補正後の期待値Eを用いて、まだ合致判定を行っていない基準値についての判定順序を決定している。従って、すでに合致判定を行った基準値とは相関の弱い基準値についての合致判定を次に行うことができ、更なる迅速な画像の絞り込みが可能となる。その結果、検索時間を短縮できる。
実施の形態3.
図17は本発明の実施の形態3に係る携帯型撮像装置が備えるCPU1の機能ブロックを示す図である。本実施の形態3に係る携帯型撮像装置は、上述の実施の形態1に係る携帯型撮像装置100において、基本的には画像検索部15の替わりに画像検索部115を備えるものである。以下では、本実施の形態3に係る携帯型撮像装置について、実施の形態1に係る携帯型撮像装置100とは異なる点だけ説明する。
図17は本発明の実施の形態3に係る携帯型撮像装置が備えるCPU1の機能ブロックを示す図である。本実施の形態3に係る携帯型撮像装置は、上述の実施の形態1に係る携帯型撮像装置100において、基本的には画像検索部15の替わりに画像検索部115を備えるものである。以下では、本実施の形態3に係る携帯型撮像装置について、実施の形態1に係る携帯型撮像装置100とは異なる点だけ説明する。
本実施の形態3に係る画像検索部115は、撮影画像についての取得値に基づいて当該撮影画像の被写体内容を推定する被写体内容推定部113と、被写体内容推定部113での推定結果に基づいて撮影画像から検索条件に適合する画像を選択する画像選択部114とを備えている。
被写体内容推定部113は、被写体内容の分類値のそれぞれにおいて、撮影画像についての取得値と基準値とが合致するか否かを判定し、その判定結果に基づいて当該撮影画像の被写体内容を推定する。以下に被写体内容推定方法について具体的に説明する。
被写体内容推定部113は、まずフラッシュROM4中の複数の撮影画像から処理対象の撮影画像を一つ決定して、その撮影画像についての取得値をフラッシュROM4から読み出す。そして、フラッシュROM4から上述の基準値テーブルと確定係数αを読み出して、複数の分類値のうちのある一つの分類値を選定し、選定した分類値の基準値を取得するとともに、当該基準値に対応する確定係数αを取得する。
被写体内容推定部113は、処理対象の撮影画像についての取得値と、選定した分類値の基準値とが合致するか否かを判定し、その判定結果に基づいてその撮影画像の分類値への適合度を求める。本実施の形態3では、実施の形態1,2に係る適合度の求め方と同様に、適合度をまず“1”で初期化し、1番目の基準値とそれに対応する取得値とが合致すれば適合度は変化させずに、合致しなければ当該1番目の基準値に対応する確定係数αを適合度に乗算し、それによって得られる値を新たな適合度とする。そして、2番目の基準値とそれに対応する取得値とが合致するか否かを判定し、合致すれば適合度は変化させずに、合致しなければ当該2番目の基準値に対応する確定係数αを適合度に乗算し、それによって得られる値を新たな適合度とする。同様にして、被写体内容推定部113は、残りの基準値に対しても取得値との合致判定を行い、最終的に得られる適合度を、その撮影画像の分類値への適合度としてRAM3に記憶する。
被写体内容推定部113は、同様の処理を残りのすべての分類値について行い、ある撮影画像についての各分類値への適合度を求める。そして、適合度が最も大きい分類値が示す被写体内容を、その撮影画像の被写体内容として推定する。
以上の処理をフラッシュROM内のすべての撮影画像について行うことにより、検索対象となる全撮影画像についての被写体内容を推定できる。被写体内容推定部113は、全撮影画像の被写体内容の推定結果をフラッシュROM4に保存する。
画像選択部114は、検索条件として被写体内容の分類値が入力された旨をメイン処理部11が受け取ると、フラッシュROM4内の被写体内容の推定結果を参照することによりその分類値と一致する被写体内容を有する撮影画像の情報を取得し、その情報を表示部6に通知する。表示部6は、受け取った情報を画像検索結果として表示する。
なお、本実施の形態3では、撮影条件値、画像特徴量の情報及び動き検出結果の情報のすべてに基づいて撮影画像の被写体内容を推定したが、複数の撮影条件値だけに基づいて、あるいは複数の撮影条件値と画像特徴量の情報だけに基づいて撮影画像の被写体内容を推定することも可能である。
このように、本実施の形態3に係る携帯型撮像装置では、取得した撮影条件値に基づいて被写体内容を推定するため、本例のように、ユーザは被写体内容で画像検索を行うことが可能になる。その結果、所望の画像を容易に検索することができるとともに、画像ごとに検索用のタイトルやキーワードを付加する必要も無くなる。更に、複数の撮影条件値を用いて被写体内容を推定しているため、高精度な被写体内容推定が可能となり、その結果、高精度な画像検索が可能となる。
また、本実施の形態3では、各撮影画像の被写体内容の推定結果に基づいて画像検索を行っているため、撮影画像の被写体内容と、検索条件が特定する被写体内容が一致するか否かで簡単に画像検索ができ、実施の形態1,2に係る携帯型撮像装置よりも検索時間を短縮することができる。
また、本実施の形態3では、撮影条件値だけではなく画像特徴量の情報も用いて撮影画像の被写体内容を推定しているため、被写体内容の推定精度が向上し、その結果、画像検索精度が向上する。
また、本実施の形態3では、動き検出結果の情報も用いて撮影画像の被写体内容を推定しているため、被写体内容の推定精度が更に向上し、その結果、画像検索精度が更に向上する。
1 CPU、2 撮影部、5 記憶部、7 タイマ、8 データ入力部、9 傾き検出センサー、11 メイン処理部、12 画像特徴量取得部、13 合致判定部、14,114 画像選択部、15,55,115 画像検索部、16 動き検出部、17 期待値取得部、23 撮像制御部。
Claims (14)
- 画像を撮影する撮影部と、
前記撮影部で撮影された複数の撮影画像のそれぞれについての複数の撮影条件値を取得する撮影条件値取得部と、
画像の被写体内容を特定する検索条件の入力を受付けるデータ入力部と、
前記複数の撮影条件値に基づいて、前記複数の撮影画像から前記検索条件に適合する画像を選出する画像検索部と
を備える、携帯型撮像装置。 - 請求項1に記載の携帯型撮像装置であって、
前記複数の撮影画像のそれぞれについての画像特徴量の情報を取得する画像特徴量取得部を更に備え、
前記画像検索部は、前記複数の撮影条件値及び前記画像特徴量の情報に基づいて、前記複数の撮影画像から、前記検索条件に適合する画像を選出する、携帯型撮像装置。 - 請求項2に記載の携帯型撮像装置であって、
前記複数の撮影画像のそれぞれの被写体の動き検出を行う動き検出部を更に備え、
前記画像検索部は、前記複数の撮影条件値、前記画像特徴量の情報及び前記動き検出部での検出結果の情報に基づいて、前記複数の撮影画像から、前記検索条件に適合する画像を選出する、携帯型撮像装置。 - 請求項1に記載の携帯型撮像装置であって、
前記複数の撮影条件値は、撮影時刻、露出時間、ホワイトバランス調整値、前記携帯型撮像装置の姿勢、被写体距離、及びレンズ方向の少なくとも二つの情報を含む、携帯型撮像装置。 - 請求項2に記載の携帯型撮像装置であって、
前記複数の撮影条件値は、撮影時刻、露出時間、ホワイトバランス調整値、前記携帯型撮像装置の姿勢、被写体距離、及びレンズ方向の少なくとも二つの情報を含み、
前記画像特徴量の情報は、画像の複雑度及び画像の色味の少なくとも一つの情報を含む、携帯型撮像装置。 - 請求項2に記載の携帯型撮像装置であって、
前記画像特徴量の情報は画像の複雑度の情報を含み、
前記複数の撮影画像のそれぞれをJPEGファイルで保存する記憶部を更に備え、
前記画像特徴量取得部は、前記JPEGファイルのファイルサイズと、前記JPEGファイルにおける量子化テーブルの代表値とに基づいて前記画像の複雑度を示す値を求める、携帯型撮像装置。 - 請求項1に記載の携帯型撮像装置であって、
前記画像検索部は、
前記複数の撮影条件値に基づいて、前記複数の撮影画像のそれぞれの被写体内容を推定する被写体内容推定部と、
前記被写体内容推定部での推定結果に基づいて、前記複数の撮影画像から前記検索条件に適合する画像を選出する画像選出部と
を備える、携帯型撮像装置。 - 請求項7に記載の携帯型撮像装置であって、
前記複数の撮影画像のそれぞれの画像特徴量の情報を取得する画像特徴量取得部を更に備え、
前記被写体内容推定部は、前記複数の撮影条件値及び前記画像特徴量の情報に基づいて、前記複数の撮影画像のそれぞれの被写体内容を推定する、携帯型撮像装置。 - 請求項8に記載の携帯型撮像装置であって、
前記複数の撮影画像のそれぞれの被写体の動き検出を行う動き検出部を更に備え、
前記被写体内容推定部は、前記複数の撮影条件値、前記画像特徴量の情報及び前記動き検出部での検出結果の情報に基づいて、前記複数の撮影画像のそれぞれの被写体内容を推定する、携帯型撮像装置。 - 請求項1に記載の携帯型撮像装置であって、
前記検索条件が特定する被写体内容に応じて定められた複数の基準撮影条件値を備える記憶部を更に備え、
前記画像検索部は、
前記複数の基準撮影条件値と前記複数の撮影条件値との合致判定を順に行う合致判定部と、
前記合致判定部での前記合致判定の結果に基づいて、前記複数の撮影画像から前記検索条件に適合する画像を選出する画像選出部と
を備える、携帯型撮像装置。 - 請求項10に記載の携帯型撮像装置であって、
前記画像選出部は、
前記合致判定の結果に基づいて、前記複数の撮影画像のそれぞれについての前記検索条件への適合度を求め、当該適合度に基づいて前記複数の撮影画像から前記検索条件に適合する画像を選出する、携帯型撮像装置。 - 請求項11に記載の携帯型撮像装置であって、
前記画像検索部は、前記複数の基準撮影条件値のそれぞれに対応して、当該対応する基準撮影条件値を用いて前記合致判定が行われる際の前記複数の撮影画像における前記適合度の期待値を求める期待値取得部を更に備え、
前記合致判定部は、前記期待値に基づいて前記合致判定における判定順序を決定する、携帯型撮像装置。 - 請求項12に記載の携帯型撮像装置であって、
前記記憶部は、前記複数の基準撮影条件値の間における相関係数を更に記憶し、
前記期待値取得部は、前記複数の基準撮影条件値のうち、すでに前記合致判定が行われた条件値と、まだ前記合致判定が行われていない条件値との間における前記相関係数に基づいて、前記合致判定が行われていない条件値についての前記期待値を補正し、
前記合致判定部は、前記期待値取得部で補正された前記期待値に基づいて、前記合致判定が行われていない条件値についての判定順序を決定する、携帯型撮像装置。 - 画像を撮影する撮影部と、
前記撮影部で撮影された撮影画像についての複数の撮影条件値を取得する撮影条件値取得部と、
前記複数の撮影条件値に基づいて、前記撮影画像の被写体内容を推定する被写体内容推定部と
を備える、携帯型撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004277187A JP2006092280A (ja) | 2004-09-24 | 2004-09-24 | 携帯型撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004277187A JP2006092280A (ja) | 2004-09-24 | 2004-09-24 | 携帯型撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006092280A true JP2006092280A (ja) | 2006-04-06 |
Family
ID=36233177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004277187A Pending JP2006092280A (ja) | 2004-09-24 | 2004-09-24 | 携帯型撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006092280A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010066959A (ja) * | 2008-09-10 | 2010-03-25 | Denso It Laboratory Inc | 画像検索装置、画像検索システム、画像検索方法およびプログラム |
JP2010170518A (ja) * | 2009-01-23 | 2010-08-05 | Fuji Xerox Co Ltd | 画像データベース形成方法、ナビゲーション方法、データベースシステム、ナビゲーション用モバイル装置、ナビゲーションシステムおよび画像データベースを形成するためのプログラム |
-
2004
- 2004-09-24 JP JP2004277187A patent/JP2006092280A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010066959A (ja) * | 2008-09-10 | 2010-03-25 | Denso It Laboratory Inc | 画像検索装置、画像検索システム、画像検索方法およびプログラム |
JP2010170518A (ja) * | 2009-01-23 | 2010-08-05 | Fuji Xerox Co Ltd | 画像データベース形成方法、ナビゲーション方法、データベースシステム、ナビゲーション用モバイル装置、ナビゲーションシステムおよび画像データベースを形成するためのプログラム |
US9683853B2 (en) | 2009-01-23 | 2017-06-20 | Fuji Xerox Co., Ltd. | Image matching in support of mobile navigation |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9681040B2 (en) | Face tracking for controlling imaging parameters | |
US10074165B2 (en) | Image composition device, image composition method, and recording medium | |
US7973833B2 (en) | System for and method of taking image and computer program | |
KR101629512B1 (ko) | 디지털 영상 캡처링 방법 및 이를 이용한 디지털 카메라 | |
US8200019B2 (en) | Method and system for automatically extracting photography information | |
US20140184852A1 (en) | Method and apparatus for capturing images | |
US8922669B2 (en) | Image processing apparatus having a display unit and image processing program for controlling the display unit | |
KR20120038721A (ko) | 감성 기반의 영상을 얻을 수 있는 디지털 영상 처리 장치 및 디지털 영상 처리 방법 | |
US7822327B2 (en) | Method for automatically selecting scene mode | |
CN112673311B (zh) | 确定人造照明设置和摄像机设置的方法、软件产品、摄像机装置和*** | |
US20180352151A1 (en) | Imaging apparatus | |
CN105391940B (zh) | 一种图像推荐方法及装置 | |
CN106791451B (zh) | 一种智能终端的拍照方法 | |
CN110581950B (zh) | 相机、选择相机设置的***和方法 | |
CN113824883A (zh) | 信息处理方法及电子设备 | |
CN111492653B (zh) | 相机白平衡快速调整方法、装置及计算机可读存储介质 | |
JP2003288601A (ja) | 画像撮像装置、画像処理装置、画像処理方法及び画像情報分類サービス方法 | |
WO2021051304A1 (zh) | 快门速度调节、安全快门标定方法、便携式设备及无人机 | |
US20150085159A1 (en) | Multiple image capture and processing | |
JP2006108915A (ja) | 画像撮影装置及び画像撮影方法 | |
US20180260650A1 (en) | Imaging device and imaging method | |
JP2004023656A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2006092280A (ja) | 携帯型撮像装置 | |
JP2010258765A (ja) | 撮像装置 | |
US8421881B2 (en) | Apparatus and method for acquiring image based on expertise |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070822 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091117 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100309 |