JP2014116789A - 撮影装置、その制御方法及びプログラム - Google Patents

Abstract

【課題】適切に被写体に関する情報を取得することに貢献し、ユーザが所望する画像、及び情報を容易に取得することに貢献すること。
【解決手段】撮影装置は、撮影部と、撮影部が取得した被写体画像に含まれる、１又は２以上の被写体を識別する識別部と、各被写体までの被写体距離を推定する距離推定部と、被写体距離に基づいて、被写体情報を推定する被写体情報推定部と、を備える。
【選択図】図１

Description

本発明は、撮影装置、その制御方法及びプログラムに関する。

近年、ユーザは、様々な用途でカメラを利用している。例えば、ユーザは、カメラで、人物、風景、食事等を撮影する。さらに、ユーザは、文書を撮影し、カメラをスキャナの代わりとして利用する場合もある。ユーザがカメラで所定の被写体を撮影する場合、被写体に応じて、ユーザが所望する情報は異なる。

特許文献１において、撮影時の撮影条件データを抽出し、この撮影条件データから被写体に関する情報を抽出する技術が開示されている。

特開２００５―１０８０２７号公報

なお、上記先行技術文献の開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明の観点からなされたものである。

上述の通り、被写体に応じて、ユーザが所望する情報は異なる。例えば、ユーザは、被写体として、特定の植物を撮影したい場合を考える。その場合、主要な被写体（撮影対象の植物等）の領域が、他の被写体（背景）より鮮明に撮影されることが好ましい。

また、ユーザが植物毎に、撮影画像を分類したい場合を考える。その場合、撮影対象の植物の領域が抽出されることが好ましい。そこで、ユーザが植物毎に、撮影画像を分類したい場合、ユーザは、撮影対象の植物の領域が抽出されるように、撮影する必要がある。さらに、ユーザは、撮影対象の植物に関する情報を入力する必要がある。

一方、雑誌に掲載された風景写真をカメラで撮影する場合、ユーザは、カメラをスキャナの代わりとして利用している可能性がある。その場合、撮影対象とする風景写真全体が、鮮明に撮影されることが好ましい。

特許文献１において開示された技術では、ユーザは、適切に、焦点距離等の撮影条件を設定することが求められる。つまり、特許文献１において開示された技術では、ユーザは、適切に撮影条件を設定しなければ、被写体に関する情報を得ることはできない。

従って、適切に被写体に関する情報を取得することに貢献し、ユーザが所望する画像、及び情報を容易に取得することに貢献する撮影装置、その制御方法及びプログラムが、望まれる。

本発明の第１の視点によれば、撮影部と、前記撮影部が取得した被写体画像に含まれる、１又は２以上の被写体を識別する識別部と、前記各被写体までの被写体距離を推定する距離推定部と、前記被写体距離に基づいて、被写体情報を推定する被写体情報推定部と、を備える撮影装置が、提供される。

本発明の第２の視点によれば、撮影部を備える撮影装置を制御する制御方法であって、被写体画像に含まれる、１又は２以上の被写体を識別する工程と、前記各被写体までの被写体距離を推定する距離推定工程と、前記被写体距離に基づいて、被写体情報を推定する被写体情報推定工程と、を含む撮影装置の制御方法が、提供される。
なお、本方法は、撮影部を備える撮影装置という特定の機械に結び付けられている。

本発明の第３の視点によれば、撮影部を備える撮影装置を制御するコンピュータに、被写体画像に含まれる、１又は２以上の被写体を識別する処理と、前記各被写体までの被写体距離を推定する距離推定処理と、前記被写体距離に基づいて、被写体情報を推定する被写体情報推定処理と、を実行させるプログラムが、提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

本発明の各視点によれば、適切に被写体に関する情報を取得することに貢献し、ユーザが所望する画像、及び情報を容易に取得することに貢献する撮影装置、その制御方法及びプログラムが、提供される。

一実施形態の概要を説明するための図である。 第１の実施形態に係る撮影装置１の全体構成の一例を示す平面図である。 第１の実施形態に係る撮影装置１の内部構成の一例を示すブロック図である。 第１の実施形態に係る撮影装置１の動作の一例を示すフローチャートである。 推定される距離の一例を示す図である。 推定される距離の一例を示す図である。 推定される距離の一例を示す図である。 第２の実施形態に係る撮影装置１ａの内部構成の一例を示すブロック図である。 傾きを補正する処理の一例を示す図である。 第２の実施形態に係る撮影装置１ａの動作の一例を示すフローチャートである。

初めに、図１を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。

上述の通り、被写体に応じて、ユーザが所望する情報は異なる。従って、適切に被写体に関する情報を取得することに貢献し、ユーザが所望する画像、及び情報を容易に取得することに貢献する撮影装置が、望まれる。

そこで、一例として図１に示す撮影装置１００を提供する。撮影装置１００は、撮影部１０１と、撮影部が取得した被写体画像に含まれる、１又は２以上の被写体を識別する識別部１０２と、各被写体までの被写体距離を推定する距離推定部１０３と、被写体距離に基づいて、被写体情報を推定する被写体情報推定部１０４と、を備える。

撮影装置１００は、まず、被写体画像に含まれる被写体を識別する。撮影装置１００は、複数の被写体を識別しても良い。そして、撮影装置１００は、各被写体の被写体距離を推定する。ここで、被写体距離は、撮影装置１００から、被写体までの距離を意味する。

そして、撮影装置１００は、被写体距離に基づいて、被写体情報を推定する。被写体情報とは、被写体に関する情報を意味する。そのため、撮影装置１００は、被写体に関する情報を、ユーザに入力させる必要がない。従って、撮影装置１００は、適切に被写体に関する情報を取得することに貢献し、ユーザが所望する画像、及び情報を容易に取得することに貢献する。

以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。

［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。

図２は、本実施形態に係る撮影装置１の全体構成の一例を示す平面図である。図２（ａ）は、撮影装置１の前面図である。図２（ｂ）は、撮影装置１の背面図である。なお、以下の説明では、撮影部１０の方向の面を前面とする。一方、撮影部１０と相対する面を背面とする。

撮影装置１は、撮影部１０と、表示部２０と、操作部３０と、を含んで構成される。なお、これは、撮影装置１を図２で示す形態に限定する趣旨ではない。例えば、携帯電話、スマートフォン、ゲーム機、タブレットＰＣ、ＰＤＡ（Personal Data Assistants：携帯情報端末）、デジタルカメラ、デジタルビデオカメラ等も、本実施形態に係る撮影装置１に該当する。

撮影部１０は、被写体の画像を取得する。

表示部２０は、撮影部１０が取得した画像等を表示する。表示部２０は、液晶パネル、有機ＥＬ（Electro Luminescence）パネル等が好ましい。

操作部３０は、撮影装置１に対するユーザの操作を受け付ける操作キー等である。操作部３０は、シャッターボタンを含む。操作部３０は、タッチセンサであっても良い。タッチセンサの方式には、静電容量方式を初めとして各種存在するが、その方式は問わない。なお、図２は、操作部３０の位置を、撮影装置１の背面に限定する趣旨ではない。操作部３０は、撮影装置１の前面、又は側面に配置しても良い。

操作部３０は、表示部２０と一体化したタッチパネルであっても良い。そして、撮影装置１は、表示部２０に表示されるアイコン等に対する操作を、操作部３０に対する操作としても良い。その際、タッチパネルの構成、入力検出方法等は各種あるが、その詳細は問わない。

図３は、撮影装置１の内部構成の一例を示す図である。撮影装置１は、撮影部１０と、表示部２０と、操作部３０と、記憶部４０と、制御部５０と、を含んで構成される。制御部５０は、識別部５１と、距離推定部５２と、被写体情報推定部５３と、撮影条件決定部５４と、を含んで構成される。図３には、簡単のため、本実施形態に係る撮影装置１に関係するモジュールを主に記載する。なお、表示部２０、操作部３０は、上述の通りであるため、更なる説明は省略する。

撮影部１０は、上述の通り、被写体画像を生成する。具体的には、撮影部１０は、レンズ（図示せず）と、撮像素子（図示せず）と、を含んで構成される。まず、レンズで集光した光信号は、撮像素子の受光面で結像する。そして、撮像素子は、受光した光信号を電気信号（アナログ信号）に変換する。そして、撮影部１０は、撮像素子が変換した電気信号に基づいて、被写体画像を生成する。なお、後述する撮影条件決定部５４が、撮影条件を決定した場合、撮影部１０は、決定された撮影条件に基づいて、被写体画像を生成する。なお、以下の説明では、撮像部１０が生成した画像データを、被写体画像と呼ぶ。また、以下の説明では、シャッターボタンを押下する前の被写体画像を、撮像画像と呼ぶ。また、シャッターボタンを押下し、記憶される被写体画像を、撮影画像と呼ぶ。

さらに、撮影部１０は、被写体距離に関する情報を取得できることが好ましい。例えば、撮影部１０は、２つのレンズを水平に配置した、ステレオカメラであっても良い。ステレオカメラの場合、２つのレンズの視差に基づいて、距離推定部５２は、撮影部１０から被写体までの距離を推定できる。

または、撮影部１０は、ライトフィールドカメラであっても良い。ライトフィールドカメラは、メインレンズと、撮像素子との間に、配列上に配置された、複数の小型レンズを備える。そして、ライトフィールドカメラは、配列上に配置された小型レンズに入射する光線を記録する。つまり、ライトフィールドカメラは、複数の視差画像を取得することができる。そのため、ライトフィールドカメラの場合、複数の小型レンズに入射する光線に基づいて、距離推定部５２は、撮影部１０から被写体までの距離を推定できる。

または、撮影部１０は、可視光カメラと、赤外線カメラと、を含んでいても良い。可視光カメラは、可視光線に基づいて、撮影する。また、赤外線カメラは、例えば、赤外線を照射し、被写体に反射して返ってくるまでの時間を算出する。そして、距離推定部５２は、赤外線カメラに入射する赤外線に基づいて、撮影部１０から被写体までの距離を推定できる。

あるいは、撮影部１０は、可視光と、赤外線と、を入射可能な撮像素子を含んでいても良い。具体的には、撮影部１０は、可視光を入射する領域と、赤外線を入射する領域と、が独立して構成された撮像素子を含んでいても良い。その場合、距離推定部５２は、撮像素子に入射する赤外線に基づいて、撮影部１０から被写体までの距離を推定できる。なお、撮影部１０の構成は各種あるが、その詳細は問わない。

記憶部４０は、撮影装置１の動作に必要な情報を記憶する。例えば、記憶部４０は、識別のための辞書データを記憶する。記憶部４０は、予め登録した画像を、辞書データとして、記憶することが好ましい。なお、記憶部４０は、物体の種類ごとの辞書データを記憶することが好ましい。

制御部５０は、撮影装置１の全体を制御すると共に、図３に示す各部を制御する。制御部５０は、撮影装置１に搭載されたコンピュータに、そのハードウェアを用いて、撮影装置１の処理を実行させるコンピュータプログラムにより実現することもできる。

識別部５１は、撮影部１０が取得した撮像画像に含まれる、被写体を識別する。識別部５１は、撮像画像に含まれる１又は２以上の被写体を識別しても良い。具体的には、識別部５１は、撮像画像と、予め登録された所定の画像と、の照合結果に基づいて、被写体を識別することが好ましい。

また、識別部５１は、撮像画像内において、所定の面積以下の被写体を、識別対象から除去しても良い。さらに、例えば、識別部５１は、複数の種類の被写体を検出した場合、最大の面積の被写体を、主の被写体（以下、メイン被写体と呼ぶ）としても良い。

距離推定部５２は、各被写体までの被写体距離を推定する。ここで、被写体距離とは、自撮影装置１から被写体までの距離を意味する。なお、被写体距離の推定方法は各種あるが、その詳細は問わない。

例えば、距離推定部５２が被写体距離を推定する場合、特開２０１０−０７９８０７号公報で開示される技術を用いてもよい。具体的には、まず、距離推定部５２は、被写体領域内の各特徴点に対応する、実空間における位置の距離を推定する。そして、距離推定部５２は、各距離において存在する特徴点の個数を算出する。つまり、距離推定部５２は、特徴点の個数と、推定される距離と、を対応付ける。そして、距離推定部５２は、被写体領域内において、特徴点の個数が最大である距離を、その被写体の被写体距離として推定してもよい。なお、これは、被写体距離の推定方法を限定する趣旨ではない。

さらに、距離推定部５２は、各被写体の被写体距離の相対距離を推定することが好ましい。例えば、距離推定部５２は、メイン被写体の被写体距離と、他の被写体の被写体距離と、の差分を、相対距離として推定することが好ましい。ここで、距離推定部５２は、メイン被写体の被写体距離と、背景の距離と、の差分を相対距離として推定しても良い。また、距離推定部５２は、２以上の被写体間の相対距離を推定しても良い。

被写体情報推定部５３は、被写体距離に基づいて、被写体情報を推定する。具体的には、被写体情報推定部５３は、少なくとも被写体距離、又は相対距離のいずれかに基づいて、被写体情報を推定することが好ましい。ここで、被写体情報とは、被写体の次元数、被写体領域、被写体の種類の少なくともいずれか一を含む情報を意味する。

撮影条件決定部５４は、被写体情報に基づいて、撮影条件を決定する。具体的には、撮影条件決定部５４は、推定された被写体の次元数、被写体領域、被写体の種類の少なくともいずれか一に基づいて、撮影条件を決定することが好ましい。ここで、撮影条件は、焦点距離、明度、色調、彩度、シャッター速度、露出、ホワイトバランスの少なくともいずれかのパラメータを含むことが好ましい。

また、距離推定部５２が、２以上の被写体間の相対距離を推定した場合、撮影条件決定部５４は、相対距離に基づいて、撮影条件を決定しても良い。その場合、距離推定部５２が、相対距離に基づいて、被写体の次元数を推定しても良い。そして、撮影条件決定部５４は、推定された被写体の次元数に基づいて、撮影条件を決定しても良い。

例えば、距離推定部５２が、２以上の被写体の相対距離を推定した場合を考える。そして、被写体間の相対距離が所定の閾値を超えている場合、それらの被写体は、異なる位置に配置されていると推定される。つまり、それらの被写体は３次元物体であると考えられる。その場合、撮影条件決定部５４は、被写体領域が鮮明な撮影画像となるように、撮影条件を決定することが好ましい。一方、被写体間の相対距離が所定の閾値以下である場合、それらの被写体は、平面に描画された絵（２次元物体）である可能性がある。その場合、撮影条件決定部５４は、被写体を含む領域（平面領域）が、鮮明な撮影画像となるように、撮影条件を決定することが好ましい。

次に、本実施形態に係る撮影装置１の動作について説明する。

図４は、本実施形態に係る撮影装置１の動作の一例を示すフローチャートである。

ステップＳ１において、撮影部１０は、撮像画像を生成する。ステップＳ２において、識別部５１は、撮像画像から、画像特徴を抽出する。そして、ステップＳ３に遷移する。

ここで、画像特徴は、エッジ、コーナー等の情報を含む。また、識別部５１は、識別対象の物体等の種類に応じて、異なる画像特徴を抽出することが好ましい。さらに、予め、識別対象の物体等の種類が設定されている場合、識別部５１は、その物体の識別に必要な画像特徴を抽出することが好ましい。

例えば、識別部５１は、人物の顔を識別対象の物体として設定している場合、撮像画像から、人物の眼、鼻などの特徴を画像特徴として抽出することが好ましい。また、識別部５１は、識別対象の物体の種類が設定されていない場合、辞書データに含まれる物体の種類に応じて、画像特徴を抽出することが好ましい。つまり、識別部５１は、撮像画像から、複数の種類の画像特徴を抽出しても良い。

ステップＳ３において、識別部５１は、撮像画像に含まれる被写体を識別する。ここで、識別部５１は、撮像画像から、複数の種類の画像特徴を抽出した場合、各物体の種類ごとに、被写体を識別する。なお、識別部５１は、照合処理を行う際に、辞書データに応じて、撮像画像のサイズ変更、回転等の処理を行っても良いことは、勿論である。さらに、識別部５１は、抽出された画像特徴の一部を用いて、識別処理を行っても良いことは勿論である。

ステップＳ４において、距離推定部５２は、被写体距離を推定する。そして、ステップＳ５において、被写体情報推定部５３は、被写体距離に基づいて、被写体情報を推定する。そして、ステップＳ６において、撮影条件決定部５４は、被写体情報に基づいて、撮影条件を決定する。

図５は、２次元物体に関して、推定される距離の一例を示す図である。図５（ａ）は、撮影装置１と、被写体と、の位置関係の一例を示す図である。図５（ｂ）は、図５（ａ）の場合に推定される距離の一例を示す図である。そして、図５（ｂ）において、点Ｐ２２１、点Ｐ２２２は、それぞれ、花２２１、花２２２の被写体距離を示す。具体的には、点Ｐ２２１は、距離推定部５２が、撮影装置１から花２２１までの距離として推定した距離を示す。また、点Ｐ２２２は、距離推定部５２が、撮影装置１から花２２２までの距離として推定した距離を示す。

ここで、図５（ａ）は、撮影装置１の前方に、花２２１と、花２２２と、が描画された平面２２３が配置された図である。そして、図５（ｂ）に示す、点Ｐ２２１で示す距離と、点Ｐ２２２で示す距離と、の差分は、所定の閾値以下であるとする。その場合、撮影条件決定部５４は、点Ｐ２２１と、点Ｐ２２２を結んだ延長線Ｌ１上の距離に位置する被写体を、平面に描画された物体であると推定する。そして、図５（ａ）の場合、例えば、撮影条件決定部５４は、焦点距離を、直線Ｌ１に対応する距離と決定しても良い。

図６は、３次元物体に関して、推定される距離の一例を示す図である。図６（ａ）は、撮影装置１と、被写体と、の位置関係の一例を示す図である。図６（ｂ）は、図６（ａ）の場合に推定される距離の一例を示す図である。そして、図６（ｂ）において、点Ｐ２３１、点Ｐ２３２は、それぞれ、花２３１、花２３２までの距離を示す。具体的には、点Ｐ２３１は、距離推定部５２が、撮影装置１から花２３１までの距離として推定した距離を示す。また、点Ｐ２３２は、距離推定部５２が、撮影装置１から花２３２までの距離として推定した距離を示す。

ここで、図６（ａ）は、撮影装置１の前方に、花２３１、花２３２が配置された図である。そして、花２３２は、撮影装置１に向かって、花２３１の後方に配置されている。そのため、図６（ｂ）に示すように、点Ｐ２３１で示す距離は、点Ｐ２３２で示す距離より小さい。従って、撮影条件決定部５４は、花２３１、花２３２を、３次元物体であると推定する。そして、図６（ａ）の場合、例えば、撮影条件決定部５４は、花２３１、又は花２３２が鮮明になるように、明度、焦点距離等の撮影条件を決定しても良い。

図７は、３次元物体、及び２次元物体に関して、推定される距離の一例を示す図である。図７（ａ）は、撮影装置１と、被写体と、の位置関係の一例を示す図である。図７（ｂ）は、図７（ａ）の場合に推定される距離の一例を示す図である。そして、図７（ｂ）において、点Ｐ２４１は、花２４１までの距離を示す。また、直線Ｌ２は、平面２４２までの距離を示す。

ここで、図７（ａ）は、撮影装置１の前方に、花２４１が配置された図である。そして、花２４１の後方に、平面２４２が配置されている。ここで、図７（ｂ）に示すように、点Ｐ２４１は、直線Ｌ２上ではない。従って、撮影条件決定部５４は、花２４１を、３次元物体であると推定する。そして、図７（ａ）の場合、例えば、撮影条件決定部５４は、最大の焦点距離を、直線Ｌ２に対応する距離と決定しても良い。

ステップＳ７において、シャッターボタンが押下されたか否かを、制御部５０は判断する。シャッターボタンが押下された場合（ステップＳ７のＹｅｓ分岐）には、撮影部１０は、決定された撮影条件で撮影する（ステップＳ８）。そして、制御部５０は、撮影画像を保存する（ステップＳ９）。具体的には、制御部５０は、撮影画像を記憶部４０に記憶させる。

一方、シャッターボタンが押下されない場合（ステップＳ７のＮｏ分岐）には、ステップＳ１に戻り、処理を継続する。制御部５０は、シャッターボタンが押下されるまで、撮像画像を、表示部２０に表示（プレビュー表示）しても良い。

［変形例１］
第１の実施形態に係る撮影装置１の変形例１として、距離推定部５２は、撮像画像内の被写体の大きさに基づいて、被写体距離を推定しても良い。具体的には、記憶部４０は、撮像画像内での被写体の大きさを、撮影装置１から被写体までの距離に対応させて記憶しても良い。つまり、記憶部４０は、被写体の種類ごとに、撮像画像内での被写体の大きさと、撮影装置１から被写体までの距離と、の対応関係を、テーブル、又は関数として記憶しても良い。

以上のように、本実施形態に係る撮影装置１は、撮像画像から、被写体を識別する。さらに、本実施形態に係る撮影装置１は、撮影装置１から被写体までの距離に基づいて、被写体情報を推定する。従って、本実施形態に係る撮影装置１は、適切に被写体に関する情報を取得することに貢献し、ユーザが所望する画像、及び情報を容易に取得することに貢献する。

［第２の実施形態］
次に、第２の実施形態について、図面を用いてより詳細に説明する。

本実施形態は、撮影画像を加工する形態である。具体的には、本実施形態では、アプリケーションの入力に適した画像に、撮影画像を加工する。

図８は、本実施形態に係る撮影装置１ａの内部構成の一例を示す図である。図８において図３と同一の構成要素には、同一の符号を付し、その説明を省略する。撮影装置１と撮影装置１ａの相違点は、制御部５０ａが画像加工部５５を備える点である。

画像加工部５５は、撮影画像を加工する。具体的には、画像加工部５５は、少なくとも、撮影条件、被写体距離、アプリケーションのいずれかに基づいて、撮影画像を加工することが好ましい。

例えば、制御部５０ａが、撮影画像に含まれる対象物（例えば、植物）を分類するアプリケーションに、撮影画像を入力する場合を考える。その場合、撮影条件決定部５４は、被写体である植物が、鮮明になるように、撮影条件を決定することが好ましい。そして、画像加工部５５は、対象物の領域（分類対象の植物の領域）を抽出することが好ましい。なぜなら、対象物以外の画像（背景領域等）が含まれていると、アプリケーションにおいて、対象物の分類精度が低下する恐れがあるからである。

さらに、画像加工部５５は、アプリケーションに応じて、対象物の領域の明度、彩度等を変更しても良い。また、画像加工部５５は、アプリケーションに応じて、対象物の領域の解像度が向上するように、画像処理を行っても良い。例えば、画像加工部５５は、まず、対象物の領域を抽出する。そして、画像加工部５５は、抽出した画像に基づいて、隣接する画素間において、分解能を上げた拡大画像を生成しても良い。

または、画像加工部５５は、対象物の領域において、例えば、光の反射した部分の画素値を、その周辺の画素値に基づいて、補正しても良い。なお、これは、画像加工部５５が行う処理を限定する趣旨ではない。画像加工部５５は、アプリケーションに応じて、各種の画像処理を行うことが好ましい。

また、撮影部１０がライトフィールドカメラである場合、画像加工部５５は、撮影画像の焦点位置を変更しても良い。なぜなら、ライトフィールドカメラは、異なる焦点の複数のレンズを備える。そのため、ライトフィールドカメラでは、焦点位置を変更した画像を容易に生成できるからである。

また、画像加工部５５は、被写体情報に基づいて、加工処理を変更しても良い。例えば、被写体情報推定部５３が、被写体距離に基づいて、被写体が二次元物体であると推定した場合を考える。その場合、ユーザは、スキャナの代わりとして、撮影装置１ａを使用した可能性がある。そのため、画像加工部５５は、被写体が含まれる平面を検出しても良い。そして、画像加工部５５は、検出した平面の傾きを補正した画像生成し、記憶部４０に記憶しても良い。

図９は、傾きを補正する処理の一例を示す図である。図９（ａ）の場合、撮影装置１ａの前方に、花３０１、花３０２が描画された平面３０３が配置されている。図９（ａ）の場合、撮影条件決定部５４は、花３０１と、花３０２と、の相対距離に基づいて、花３０１、花３０２が二次元物体であると推定する。その場合、画像加工部５５は、撮影画像から、平面３０３に対応する領域を検出する。そして、画像加工部５５は、検出した領域の傾きを補正し、図９（ｂ）に示す画像３１３を生成しても良い。

次に、本実施形態に係る撮影装置１ａの動作について説明する。

図１０は、撮影画像をアプリケーションの入力画像とする場合に、撮影画像を加工する処理の一例を示すフローチャートである。

ステップＳ１０１において、撮影画像をアプリケーションの入力画像とするか否かを、画像加工部５５は判断する。撮影画像をアプリケーションの入力画像とする場合（ステップＳ１０１のＹｅｓ分岐）には、ステップＳ１０２に遷移する。撮影画像をアプリケーションの入力画像としない場合（ステップＳ１０１のＮｏ分岐）には、撮影画像を加工する処理を終了する。

ステップＳ１０２において、アプリケーションが要求する対象物等、所定の対象物が、撮影画像に含まれるか否かを、画像加工部５５は判断する。アプリケーションが対象物を特定していない場合、例えば、撮影画像内に、所定の面積を超えるメイン被写体があるか否かを、画像加工部５５は判断しても良い。

所定の対象物が、撮影画像に含まれる場合（ステップＳ１０２のＹｅｓ分岐）には、ステップＳ１０３に遷移する。所定の対象物が、撮影画像に含まれない場合（ステップＳ１０２のＮｏ分岐）には、撮影画像を加工する処理を終了する。

ステップＳ１０３において、画像加工部５５は、アプリケーションに応じて、対象物の領域を抽出する。ステップＳ１０４において、画像加工部５５は、アプリケーションに応じて、対象物の領域内の画像を加工する。ステップＳ１０５において、制御部５０ａは、加工した画像をアプリケーションの入力画像にする。

以上のように、本実施形態に係る撮影装置１ａでは、アプリケーションに基づいて、撮影画像を加工する。つまり、本実施形態に係る撮影装置１ａでは、ユーザは、アプリケーションに応じて、撮影画像を加工する必要がない。従って、本実施形態に係る撮影装置１ａは、より一層、ユーザが所望する画像、及び情報を容易に取得することに貢献する。

なお、上記した実施形態では、撮影装置が、アプリケーションを実行するものとして説明した。しかし、撮影装置と異なる装置が、アプリケーションを実行しても良いことは勿論である。その場合、撮影装置は、撮影画像（加工した画像を含む）を、アプリケーションを実行する装置に送信しても良い。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

（付記１）上記第１の視点に係る撮影装置の通りである。

（付記２）前記距離推定部は、前記各被写体の前記被写体距離の相対距離を推定する付記１に記載の撮影装置。

（付記３）前記被写体情報推定部は、少なくとも前記被写体距離、又は前記相対距離のいずれかに基づいて、前記被写体情報を推定する付記２に記載の撮影装置。

（付記４）前記被写体情報は、被写体の次元数、被写体領域、被写体の種類の少なくともいずれか一の情報を含む付記１乃至３のいずれか一に記載の撮影装置。

（付記５）前記被写体情報に基づいて、撮影条件を決定する撮影条件決定部を備える付記１乃至４のいずれか一に記載の撮影装置。

（付記６）少なくとも、前記被写体情報、前記被写体距離、アプリケーションのいずれかに基づいて、前記被写体画像を加工する画像加工部を備える付記１乃至５のいずれか一に記載の撮影装置。

（付記７）前記距離推定部は、前記被写体画像内の前記被写体の大きさに基づいて、前記被写体距離を推定する付記１乃至６のいずれか一に記載の撮影装置。

（付記８）上記第２の視点に係る撮影装置の制御方法の通りである。

（付記９）前記距離推定工程において、前記各被写体の前記被写体距離の相対距離を推定する付記８に記載の撮影装置の制御方法。

（付記１０）前記被写体情報推定工程において、少なくとも前記被写体距離、又は前記相対距離のいずれかに基づいて、前記被写体情報を推定する付記９に記載の撮影装置の制御方法。

（付記１１）前記被写体情報に基づいて、撮影条件を決定する工程を含む付記８乃至１０のいずれか一に記載の撮影装置の制御方法。

（付記１２）少なくとも、前記被写体情報、前記被写体距離、アプリケーションのいずれかに基づいて、前記被写体画像を加工する工程を含む付記８乃至１１のいずれか一に記載の撮影装置の制御方法。

（付記１３）前記距離推定工程において、前記被写体画像内の前記被写体の大きさに基づいて、前記被写体距離を推定する付記８乃至１２のいずれか一に記載の撮影装置の制御方法。

（付記１４）上記第３の視点に係るプログラムの通りである。

（付記１５）前記距離推定処理において、前記各被写体の前記被写体距離の相対距離を推定する付記１４に記載のプログラム。

（付記１６）前記被写体情報推定処理において、少なくとも前記被写体距離、又は前記相対距離のいずれかに基づいて、前記被写体情報を推定する付記１５に記載のプログラム。

（付記１７）前記被写体情報に基づいて、撮影条件を決定する処理を実行する付記１４乃至１６に記載のプログラム。

（付記１８）少なくとも、前記被写体情報、前記被写体距離、アプリケーションのいずれかに基づいて、前記被写体画像を加工する処理を実行する付記１４乃至１７のいずれか一に記載のプログラム。

（付記１９）前記距離推定処理において、前記被写体画像内の前記被写体の大きさに基づいて、前記被写体距離を推定する請求項１４乃至１８のいずれか一に記載のプログラム。

なお、引用した上記の特許文献の開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１、１ａ、１００ 撮影装置
１０、１０１ 撮影部
２０ 表示部
３０ 操作部
４０ 記憶部
５０ 制御部
５１、１０２ 識別部
５２、１０３ 距離推定部
５３、１０４ 被写体情報推定部
５４ 撮影条件決定部
５５ 画像加工部
２２１、２２２、２３１、２３２、２４１、３０１、３０２ 花
２２３、２４２、３０３ 平面
３１３ 画像

Claims (9)

1. 撮影部と、
   前記撮影部が取得した被写体画像に含まれる、１又は２以上の被写体を識別する識別部と、
   前記各被写体までの被写体距離を推定する距離推定部と、
   前記被写体距離に基づいて、被写体情報を推定する被写体情報推定部と、
   を備えることを特徴とする撮影装置。
2. 前記距離推定部は、前記各被写体の前記被写体距離の相対距離を推定する請求項１に記載の撮影装置。
3. 前記被写体情報推定部は、少なくとも前記被写体距離、又は前記相対距離のいずれかに基づいて、前記被写体情報を推定する請求項２に記載の撮影装置。
4. 前記被写体情報は、被写体の次元数、被写体領域、被写体の種類の少なくともいずれか一の情報を含む請求項１乃至３のいずれか一に記載の撮影装置。
5. 前記被写体情報に基づいて、撮影条件を決定する撮影条件決定部を備える請求項１乃至４のいずれか一に記載の撮影装置。
6. 少なくとも、前記被写体情報、前記被写体距離、アプリケーションのいずれかに基づいて、前記被写体画像を加工する画像加工部を備える請求項１乃至５のいずれか一に記載の撮影装置。
7. 前記距離推定部は、前記被写体画像内の前記被写体の大きさに基づいて、前記被写体距離を推定する請求項１乃至６のいずれか一に記載の撮影装置。
8. 撮影部を備える撮影装置を制御する制御方法であって、
   被写体画像に含まれる、１又は２以上の被写体を識別する工程と、
   前記各被写体までの被写体距離を推定する距離推定工程と、
   前記被写体距離に基づいて、被写体情報を推定する被写体情報推定工程と、
   を含むことを特徴とする撮影装置の制御方法。
9. 撮影部を備える撮影装置を制御するコンピュータに、
   被写体画像に含まれる、１又は２以上の被写体を識別する処理と、
   前記各被写体までの被写体距離を推定する距離推定処理と、
   前記被写体距離に基づいて、被写体情報を推定する被写体情報推定処理と、
   を実行させるプログラム。

Images