JP6620394B2 - 制御装置、制御方法及びプログラム - Google Patents

Description

本開示は、制御装置、制御方法及びプログラムに関する。

従来、例えば下記の特許文献１には、電子カメラにおいて、合焦点の位置を示す情報を表示された画像に多重することが記載されている。また、下記の特許文献２には、特定した被写体部分における装置に対する奥行き方向の位置を３次元的に表現する所定の表示オブジェクトを、電子ビューファインダに表示中のスルー画像に重ねて描画することが記載されている。また、下記の特許文献３には、疑似空間を作成して立体的なアイコンで領域を指定することが記載されている。

特開２０１３−２６７４４号公報 特開２０１０−１０７３２号公報 特開２００９−６０３３８号公報

撮像装置などの装置で焦点を合わせる作業は、通常、２次元の表示画面上で被写***置を指定することによって行われる。例えば、画面上に複数の人物が写っており、特定の人物に焦点を合わせたい場合は、その特定の人物を画面上で指定することで、当該人物に焦点を合わせることができる。

しかしながら、焦点を合わせたい奥行き位置に被写体が存在しない場合、ユーザーが画面を参照しながら奥行き方向の位置を指定することには非常に困難が伴う。上記特許文献３に記載されているような立体的なアイコンを動かす手法では、直感的且つ容易に合焦させる位置を指定することは困難であった。

また、近時では、フルサイズの撮像素子の普及により被写界深度の浅い状況での撮影機会が増えているが、この様な状況下では撮影時に合焦位置を判別することが難しく、撮影した画像を注視しないと合焦位置が何処であったのか判別することが困難になっている。例えば、人物の顔を撮影する場合に、撮影時に画面を見ながら顔に焦点を合わせても、焦点が目の位置に合っているのか、鼻の位置に合っているのか、あるいは耳の位置にあっているのかが判別できない場合が生じていた。

そこで、焦点を合わせる位置を指定する際に、奥行き方向を含めて指定することを直感的且つ容易に行うことが求められていた。

本開示によれば、撮像画像内の被写体の奥行き情報を取得する奥行き情報取得部と、前記撮像画像又は前記撮像画像に対応する画像と前記奥行き情報から得られる合焦位置を指定するための情報とを重畳して表示する処理を行い、合焦位置と被写***置との関係に応じて前記合焦位置を指定するための情報の表示状態を変化させる表示処理部と、を備える、制御装置が提供される。

また、本開示によれば、撮像画像内の被写体の奥行き情報を取得することと、前記撮像画像又は前記撮像画像に対応する画像と前記奥行き情報から得られる合焦位置を指定するための情報とを重畳して表示することと、合焦位置と被写***置との関係に応じて前記合焦位置を指定するための情報の表示状態を変化させることと、を備える、制御方法が提供される。

また、本開示によれば、撮像画像内の被写体の奥行き情報を取得する手段、前記撮像画像又は前記撮像画像に対応する画像と前記奥行き情報から得られる合焦位置を指定するための情報とを重畳して表示する手段、合焦位置と被写***置との関係に応じて前記合焦位置を指定するための情報の表示状態を変化させる手段、としてコンピュータを機能させるためのプログラムが提供される。

以上説明したように本開示によれば、焦点を合わせる位置を指定する際に、奥行き方向を含めて指定することを直感的且つ容易に行うことが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の各実施形態に係る撮像装置の概略構成を示す模式図である。 第１の実施形態において、撮像装置が撮像して表示部に表示された画像を示す模式図である。 ＡＦ用画像を詳細に示す模式図である。 ＡＦ用画像を詳細に示す模式図である。 ＡＦ用画像を詳細に示す模式図である。 編集装置の構成例を示す模式図である。 編集装置の構成例を示す模式図である。 第２の実施形態において、撮像装置が撮像して表示部に表示された画像を示す模式図である。 写す角度を変えた画像を示す模式図である。 被写界深度が深く、ボケの無い画像を示す模式図である。 撮像光学系の光軸に対して９０°よりも小さい角度の方向に視点を移動して、その方向から被写体を見た状態を示す模式図である。 第３の実施形態において、撮像装置が撮像して表示部に表示された画像を示す模式図である。 画像上に奥行き方向の延びる線分が存在しない場合を示す模式図である。 画像上に奥行き方向の延びる線分が存在しない場合を示す模式図である。 線分Ｌ６，Ｌ７に合焦領域の深さ方向の解像度を表すグリッドを付加した例を示す模式図である。 第４の実施形態を説明するための模式図である。 第４の実施形態を説明するための模式図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．撮像装置の構成例
１．２．奥行き情報を重畳した画像の例
１．３．撮像装置以外の装置への適用例
２．第２の実施形態
２．１．奥行き情報を重畳した画像の例
３．第３の実施形態
３．１．奥行き情報を重畳した画像の例
４．第４の実施形態
４．１．奥行き情報を重畳した画像の例

＜１．第１の実施形態＞
［１．１．撮像装置の構成例］
まず、図１を参照して、本開示の各実施形態に係る撮像装置２０００の概略構成について説明する。図１に示すように、撮像装置２０００は、撮像光学系１００、撮像素子２００、現像処理部３００、デプスマップ作成部４００、重畳用画像作成部５００、被写界深度の深い画像作成部６００、表示用重畳処理部７００、表示部８００、レンズ駆動用ドライバＩＣ９００、制御部１０００、ユーザーインターフェース１１００を有して構成されている。また、撮像装置２０００は、撮像光学系１１０、撮像素子２１０を更に備えていても良い。

被写体像は、撮像光学系１００によって撮像素子２００の撮像面に合焦される。現像処理部３００は、撮像素子２００から得られた撮像のローデーターを現像処理して撮像画像の画像ファイルとし、表示用重畳処理部７００へ送る。

被写界深度の深い画像作成部６００は、撮像素子２００から送られた画像のローデーターから、被写界深度の深い画像を作成し、重畳用画像作成部５００へ送る。画像作成部６０は、現像処理部３００と同様にローデーターを現像処理する機能を備えている。画像作成部６００は、現像処理部３００で現像処理された撮像画像とは別に、この撮像画像よりも撮像光学系１００の絞り径を小さくして撮像されたローデーターから被写界深度の深い画像を作成する。また、画像作成部６００は、撮像装置２０００が更に別の撮像光学系１１０及び撮像素子２１０を備える場合は、撮像光学系１１０及び撮像素子２１０を用いて別途撮像された画像から被写界深度の深い画像を生成することもできる。

デプスマップ作成部４００は、撮像素子２００から送られた画像のローデーターから、画素毎に被写体の奥行き方向の位置を示す情報が与えられたデプスマップを作成し、重畳用画像作成部５００へ送る。デプスマップ作成部４００は、撮像素子２００が各画素の位相差情報を取得可能な位相差センサから構成されている場合は、撮像素子２００から得られた位相差情報からデプスマップを作成する。また、デプスマップ作成部４００は、撮像装置２０００が２つの撮像光学系１００，１１０と２つの撮像素子２００，２１０を備えているステレオカメラの場合は、撮像素子２００，２１０が撮像した各画素の視差からデプスマップを作成する。また、デプスマップ作成部４００は、撮像装置２０００が奥行き情報を計算するための情報を記録できるライトフィールドカメラの場合は、その情報に基づいてデプスマップを作成する。

重畳用画像作成部５００は、画像作成部６００から受け取った被写界深度の深い画像のデータとデプスマップから得られる合焦位置を指定するための情報とに基づいて、重畳用の画像データを作成し、表示用重畳処理部７００へ送る。より詳細には、重畳用画像作成部５００は、デプスマップから合焦位置を指定するための情報を作成し、被写界深度の深い画像３１００と重畳して画像データを作成する。合焦位置を指定するための情報は、後で詳細に説明するが、合焦位置を示す仮想面、等高線、ワイヤーフレーム表示等から構成される。

表示用重畳処理部７００は、現像処理部３００から受け取った画像データと重畳用画像作成部５００から受け取った画像データとを重畳し、表示用の画像データを作成する。表示部８００は、表示用重畳処理部７００から表示用の画像データを受け取り、表示を行う。

ユーザーインターフェース１１００は、タッチセンサ（タッチパネル）、操作ボタン、キーボード、マウス等のユーザーによる操作入力が入力される構成要素である。ユーザーインターフェース１１００からは、各種ユーザー設定、各種撮影操作等の情報が入力される。ユーザーは、合焦位置を指定するための表示を、ユーザーインターフェース１１００のダイヤルを回す、十字キーを上下する、などの１つの動作で操作することができる。

制御部１０００は、撮像装置２０００の各構成要素を制御する。制御部１０００は、操作ボタン等のユーザーインターフェース１１００から各種ユーザー設定、各種撮影操作等の情報を受け取り、撮像装置２０００の各構成要素を制御する。また、制御部１０００は、レンズ駆動用ドライバＩＣ９００に指令を送り、撮像光学系１００が所望のズーム位置、フォーカス位置となるように撮像光学系１００を駆動する。

本実施形態では、デプスマップから得られる合焦位置を指定するための情報（奥行き位置を示す情報）を画像に重畳することで、撮像画像の奥行き方向の位置をユーザーが指定できるようにする。合焦位置を指定するための情報は、合焦位置と被写***置との関係に応じて表示状態が変化する。これにより、ユーザーは、画面上で合焦位置を容易に設定することが可能となり、ピント合わせの際の操作性を大幅に向上することができる。以下、詳細に説明する。

［１．２．奥行き情報を重畳した画像の例］
図２は、第１の実施形態において、撮像装置２０００が撮像して表示部８００に表示された画像を示す模式図である。図２に示すように、画像３０００に対して、被写界深度の深いＡＦ用画像３１００がピクチャ・イン・ピクチャ（ＰｉｎＰ）として重畳されている。画像３０００は、現像処理部３００によって現像処理が行われた撮像画像であり、ユーザーが所望の条件で被写体を撮像した画像である。本実施形態では、画像３０００は被写界深度の浅い画像であるものとする。一方、ＡＦ用画像３１００は、被写界深度の深い画像作成部６００によって作成された画像とデプスマップから得られる合焦位置を指定するための情報とが重畳用画像作成部５００によって重畳された画像である。ＡＦ用画像３１００では、被写界深度が深いため、近距離から無限遠までの広い範囲で鮮明な画像が得られている。一方、画像３０００は、ユーザーが所望の条件で被写体を撮像したものであり、被写界深度が浅く、一部の被写体のみにピントが有っており、他の被写体はボケている画像である。ＡＦ用画像３１００は画像３０００と比較してより鮮明な画像であるため、ユーザーは、ＡＦ用画像３１００上で画像を確認しながら合焦操作を容易に行うことができる。図２に示す画像は、表示用重畳処理部７００によって画像３０００とＡＦ用画像３１００とが重畳されて表示部８００から出力されたものである。

図３〜図５は、ＡＦ用画像３１００を詳細に示す模式図である。ＡＦ用画像３１００は、被写界深度の深い画像作成部６００によって作成された被写界深度の深い画像を元に、デプスマップによる合焦位置を指定するための情報を付加することで、合焦位置が画面上のどの位置であるかが視覚的に判るように表示した画像である。図３に示す例では、合焦位置の仮想面を空間上に表示し、仮想面の奥と手前とで色（又は濃度）を変えるこことで合焦位置の仮想面を視覚的に把握できるようにしたものである。図３に示す例では、合焦位置の仮想面よりも奥の画像３１１０には所定の濃度（ドット）が付加されている。図３に示す濃度は、所定の色であっても良い。一方、合焦位置の仮想面よりも手前の画像３１２０は元画像のままであり、濃度は不可されていない。濃度の付加は、デプスマップの各画素の奥行き情報に基づいて行われ、この奥行き情報が合焦位置の仮想面よりも奥の画素には濃度が付加され、奥行き情報が合焦位置の仮想面よりも手前の画素には濃度が付加されない。合焦位置の仮想面の位置は、撮像光学系１００のフォーカスレンズの位置に応じて制御部１０００が取得する。制御部１０００は、合焦位置の仮想面の位置を重畳用画像作成部５００へ送る。重畳用画像作成部５００は、合焦位置の仮想面の位置に応じて、仮想面よりも奥の画像３１１０に所定の濃度（ドット）を付加して画像データを作成する。図３に示す例では、奥行き情報に基づいて付加される濃度が重畳用画像作成部５００によって重畳されるデプスマップによる合焦位置を指定するための情報に相当する。

これにより、ＡＦ用画像３１００を視認したユーザーは、濃度が付加された画像３１１０の最も手前側が合焦位置であると認識することができる。合焦位置は、ユーザーインターフェース１１００を操作して変化させることができる。合焦位置を変化させると、ＡＦ用画像３１００上で合焦位置の仮想面の位置が変化する。合焦位置が手前側に変化した場合は、濃度が付加されていなかった手前側の画像３１２０に新たに濃度が付加されることになり、合焦位置が奥側に変化した場合は、元の合焦位置と新たな合焦位置との間の画像３１１０に付加されていた濃度が削除される。従って、ユーザーは、合焦位置を変化させた際に、濃度が新たに付加された領域、あるいは濃度が削除された領域を視認することで、ＡＦ用画像３１００上で合焦位置を容易に判別することができる。このような手法によれば、例えば人の顔を撮影する場合に、合焦位置を変化させながら濃度の付加（または削除）された領域を観察することで、鼻にピントが合っているのか、耳にピントが合っているのか等を識別することが可能となり、より高精度に焦点を合わせることが可能となる。

ユーザーが合焦位置を所望の位置に変化させた後、合焦位置を決定する操作を行うことで、合焦位置が所望の位置に設定される。これにより、撮像光学系１００のフォーカスレンズの位置が、ユーザーが設定した合焦位置に相当する位置へ駆動される。また、ユーザーがＡＦ用画像３１００上で合焦位置を変化させる操作と連動してフォーカスレンズの位置を駆動しても良い。制御部１０００は、ユーザーインターフェース１１００の操作によって設定された合焦位置の情報を取得し、取得した合焦位置の情報に基づいてレンズ駆動用ドライバＩＣ９００へ指令を送る。撮像光学系１００のフォーカスレンズはレンズ駆動用ドライバＩＣ９００によって合焦位置に相当する位置へ駆動される。

図４に示す例では、等高線表示のような被写体距離を示す線３１４０を、画像作成部６００によって作成された被写界深度の深い画像に重畳して表示している。この場合、合焦位置に相当する線１４０ａは他の線３１４０と線種または色を変えておくことで、画面上に合焦位置を視覚的に判り易く示すことができる。図４に示す例では、合焦位置に相当する線を一点鎖線とし、他の線を破線として表示している。被写体距離を示す線３１４０の付加は、デプスマップの各画素の奥行き情報に基づいて行われ、各画素について、奥行き情報が等しい画素を結ぶことで、等高線表示のように被写体距離を表した複数の線３１４０を表示することができる。図４に示す例では、被写体距離を示す線３１４０が重畳用画像作成部５００によって重畳されるデプスマップによる合焦位置を指定するための情報に相当する。

図４に示す例においても、ユーザーが被写体距離を示す任意の線３１４０を選択することで、合焦位置を選択した線３１４０の位置に変化させることができる。そして、合焦位置を所望の位置に変化させた後、合焦位置を決定する操作を行うことで、合焦位置が所望の位置に設定される。これにより、撮像光学系１００のフォーカスレンズの位置が、ユーザーが設定した合焦位置に相当する位置へ駆動される。また、ユーザーがＡＦ用画像３１００上で合焦位置を変化させる操作と連動してフォーカスレンズの位置を駆動しても良い。

また、図５に示す例では、ワイヤーフレーム表示のような形式で合焦位置の範囲が示されている。図５において、最も手前の破線で囲まれた直方体３１３０の範囲が合焦位置に相当する。破線で囲まれた直方体３１３０の奥行き方向の厚さｄは、被写界深度が深くなるほど増加するように表示が行われる。このため、制御部１０００は、撮像光学系１００から絞り径を取得し、重畳用画像作成部５００へ送る。重畳用画像作成部５００は、絞り径に応じて直方体３１３０の厚さｄを設定して画像データを作成する。図５に示す例によれば、ユーザーは、合焦位置を被写界深度とともに認識することが可能である。図４と同様に、直方体３１３０の範囲を示す線の付加は、デプスマップの各画素の奥行き情報に基づいて行われ、複数の奥行き情報について、各奥行き情報が等しい画素を結ぶことで、図５に示すような直方体３１３０の範囲を表示することができる。図５に示す例では、直方体３１３０の範囲を示す線が重畳用画像作成部５００によって重畳されるデプスマップによる情報に相当する。

図５に示す例においても、ユーザーが直方体３１３０の位置を所望の位置に変化させた後、合焦位置を決定する操作を行うことで、合焦位置が所望の位置に設定される。これにより、撮像光学系１００のフォーカスレンズの位置が、ユーザーが設定した合焦位置に相当する位置へ駆動される。また、ユーザーがＡＦ用画像３１００上で合焦位置を変化させる操作と連動してフォーカスレンズの位置を駆動しても良い。また、ユーザーが直方体３１３０の幅ｄを変化させると、幅ｄの情報に基づいて制御部１０００がレンズ駆動用ドライバＩＣ９００に指令を出し、撮像光学系１００の絞りの径を変化させる。具体的には、幅ｄが大きくなるほど絞りの径が小さくなるように制御が行われる。これにより、画面上の操作で被写界深度を制御することもできる。

［１．３．撮像装置以外の装置への適用例］
上述した実施形態では、撮像装置２０００を例に挙げて本開示に係る合焦位置の表示、合焦位置の操作について説明したが、予め撮像した画像を編集する編集装置４０００に適用することもできる。この場合、図６に示す構成要素から編集装置４０００が構成される。

編集装置４００は、予め撮像された画像データをメモリ４１００に格納している。編集装置４０００は、メモリ４１００に記憶された画像データに対して上述した処理と同様の処理を行うことで、図２に示す画像を表示部８００に表示することができる。そして、ユーザーは、表示部８００を参照しながらユーザーインターフェース１１００を操作することで、合焦位置を所望の位置に設定することができる。

例えば、メモリ４１００に格納された画像データがライトフィールドカメラで撮影されたデータである場合、各画素のデータに基づいて合焦位置を事後的に所望の位置に制御することができる。ここで、ライトフィールドカメラについて説明すると、ライトフィールドカメラは公知の技術であり、複数のマイクロレンズを備えるマイクロレンズアレイが撮像素子の前面に配置されているものである。各マイクロレンズは異なる焦点を有し、焦点イメージを再構築処理することで、撮像光学系のフォーカス位置を可変することなく、撮影後に様々な合焦位置の画像を得ることができる。例えば、１つのマイクロレンズがＮ個の画素をカバーしている場合、マイクロレンズに対して同じ位置にある画素を配列してできるＮ個の小画像は、主レンズをＮ個の部分開口に分割して取得されるＮ個のステレオ画像群を形成する。従って、ライトフィールドカメラによれば、視差からデプスマップを作成することも可能である。メモリ４１００に格納された画像データがライトフィールドカメラで撮影されたデータである場合、画像データに図３〜図５で示したような合焦位置を指定する情報を重畳して表示することで、合焦位置を直感的かつ容易に所望の位置に制御することが可能である。なお、編集装置４０００の場合、撮影後の画像データの合焦位置が変更されるのみであり、実際にフォーカスレンズを駆動することない。

また、図７に示すように、編集装置４０００は、クラウド上のサーバに設けられていても良い。この場合、ユーザーは、撮像光学系１００、及び撮像素子２００を備えるカメラ、スマートフォン等の電子機器５０００で撮像した画像データを送受信部５１００から送り、画像データはネットワーク６０００を介して編集装置４０００へ送られる。編集装置４０００の受信部４２００は、電子機器５０００から送られた画像データを受信する。編集装置４０００は、受信した画像データに対して、図１と同様の処理を行う。送信部４３００は、表示用重畳処理部７００が重畳した表示用の画像データをネットワーク６０００を介してユーザーの電子機器５０００へ送り、この画像データは電子機器５０００が備える表示部５２００に表示される。また、撮像光学系１００のフォーカスレンズの位置、及び、ユーザーインターフェース５３００への操作入力は、ネットワーク６０００を介して編集装置４０００の制御部１０００へ送られる。制御部１０００は、フォーカスレンズの位置に応じて合焦位置を演算するとともに、合焦位置を変化させる操作が行われた場合は操作入力に応じて合焦位置を演算し、演算結果をネットワーク６０００を介して電子機器５０００へ送る。電子機器５０００は、合焦位置の演算結果を受け取ると、これに基づいてレンズ駆動用ドライバＩＣ５４００を動作させ、撮像光学系１００のフォーカスレンズを合焦位置へ駆動する。従って、表示装置８００上に上述した各実施形態と同様に合焦位置の情報を表示することで、ユーザーは、画面上で操作しながら所望の位置に合焦位置を設定することが可能である。また、図７に示す構成の場合、主要な演算は全てクラウド上のサーバにおける編集装置４００が行うため、電子機器５０００を簡素に構成することができる。

以上説明したように第１の実施形態によれば、デプスマップから得られる合焦位置を指定するための情報を被写界深度が深いＡＦ用画像３１００に重畳して表示するようにしたため、ユーザーは、合焦位置を指定するための情報に基づいて合焦位置を容易に認識することが可能となる。また、合焦位置を指定するための情報に基づいて操作を行うことで、合焦位置を容易に変化させることが可能となる。従って、ユーザーは、奥行き方向の合焦位置を容易に指定することができ、視覚的に合焦位置を容易に判別することが可能となる。

また、画面上で合焦位置を指定する場合、被写体に対するピーキング（縁取り）等により合焦位置を表示すると、同一面上で合焦位置が表示されることになり、奥行き方向の位置精度を確認することが困難になる。本実施形態の手法によれば、合焦位置を指定するための奥行き情報を重畳し、奥行き情報によって合焦位置を表示するため、合焦位置の奥行き方向の位置精度を高い精度で確保して表示することが可能となる。

更に、撮像画像である被写界深度が浅い画像３０００とは別に、画像３０００よりも被写界深度の深いＡＦ用画像３１００を作成することにより、ＡＦ用画像３１００を参照することで被写体の全体像を確実に把握することが可能となり、イメージした撮影を容易に行うことができる。また、被写界深度が浅い画像３０００と被写界深度の深いＡＦ用画像３１００を同時に見ることで、撮影する場面の全体像を容易に把握することが可能である。

＜２．第２の実施形態＞
［２．１．奥行き情報を重畳した画像の例］
次に、本開示の第２の実施形態について説明する。図８は、第２の実施形態において、撮像装置２０００が撮像して表示部８００に表示された画像を示す模式図である。図８に示すように、被写界深度が浅い画像３０００に対して、画像を写す角度を変えた画像３２００がピクチャ・イン・ピクチャ（ＰｉｎＰ）として重畳されている。

図９は、画像３２００を示す模式図である。画像３２００は、合焦位置を指定するため、撮像している画像３０００の視点を横方向に移動して仮想的に作成したものである。画像３２００は、デプスマップの情報に基づいて重畳用画像作成部５００が作成する。表示用重畳処理部７００は、画像３０００と画像３２００とを重畳する。図９に示す例では、画像３２００は、撮像光学系１００の光軸と直交する方向に視点を移動して、光軸と直交する方向から被写体を見た状態を示す画像として作成されている。画像３２００の作成は、例えば公知のライトフィールド技術を用いて、デプスマップの情報に基づいて行うことができる。表示用重畳処理部７００は、画像３０００と画像３２００を重畳する処理を行う。第２の実施形態においては、画像３２００から被写体の奥行き方向の位置を判別することができるため、画像作成部６００は被写界深度の深い画像を作成しなくても良い。画像３２００を作成する際には、図１０に示すような被写界深度が深く、ボケの無い画像３３００を用いて作成を行う。画像３３００は、第１の実施形態で説明した画像３１００と同様に取得することができる。

画像３２００は画像３３００の視点を仮想的に変えるため、作成元の画像３３００の画面上に移っていないものは表示されず、表示されない領域にはグレー等の色が付加される。画像３２００は、画像３０００に対して被写体を見る方向が異なっているため、ユーザーは、撮像光学系１００の光軸方向と直交する方向から被写体の奥行き方向の位置を認識することが可能となる。従って、画像３２００を参照することで、画像３０００内の各被写体の奥行き方向の位置を視覚的に容易に認識することができる。

また、画像３２００中には、合焦位置が太線３２００ａで示されている。また、太線３２００ａの幅（撮像光学系２００の光軸の奥行き方向の幅）は、被写界深度の深さに応じて異なるように表示される。ユーザーは、太線３２００ａの位置とその幅から、合焦位置と被写界深度を認識することができる。第１の実施形態と同様に、合焦位置は、撮像光学系１００のフォーカスレンズの位置に応じて制御部１０００が取得する。制御部１０００は、合焦位置を重畳用画像作成部５００へ送る。重畳用画像作成部５００は、合焦位置に応じて太線３２００ａの位置を設定して画像データを作成する。また、制御部１０００は、撮像光学系１００から絞り径を取得し、重畳用画像作成部５００へ送る。重畳用画像作成部５００は、絞り径に応じて太線３２００ａの幅を設定して画像データを作成する。

また、ユーザーは、ユーザーインターフェース１１００を操作することで、合焦位置を示す太線３２００の位置を矢印Ａ１方向に変化させることができる。そして、第１の実施形態と同様に、ユーザーが太線３２００の位置を操作して合焦位置を所望の位置に変化させた後、合焦位置を決定する操作を行うことで、合焦位置が所望の位置に設定される。これにより、撮像光学系１００のフォーカスレンズの位置が、ユーザーが設定した合焦位置に相当する位置へ駆動される。また、ユーザーが太線３２００ａの位置を操作して合焦位置を変化させる操作と連動してフォーカスレンズの位置を駆動しても良い。更に、第１の実施形態と同様に、太線３２００ａの幅を操作することで被写界深度を変化させるようにしても良い。

また、図１１に示す画像３４００は、撮像光学系１００の光軸に対して９０°よりも小さい角度の方向に視点を移動して、その方向から被写体を見た状態を示す画像として作成したものである。この場合、光軸に対して９０°よりも小さい角度の方向から被写体である「電車」が視認されるため、画像３４００には「電車」の正面を斜め方向から見た状態が写っている。一方、画像３２００は、撮像光学系１００の光軸と直交する方向から被写体である「電車」を視認した画像であるため、画像３２００に「電車」の正面は写っていない。図１１の画像３４００に示すように、光軸に対して９０°よりも小さい角度の方向から被写体を視認した場合においても、被写体の奥行き方向の位置を視覚的に容易に認識することが可能である。

図１１に示す画像３４００は、撮像光学系１００の光軸に対して９０°よりも小さい角度から被写体を視認した画像であるため、図１１に示すように、合焦指定位置は、合焦位置を示す面３４００ａとして表示される。画像３４００においても、ユーザーは平面３４００ａの位置、光軸方向の幅を操作することで、合焦位置と被写界深度を所望の状態に調節することができる。

以上説明したように第２の実施形態によれば、画像を写す角度を変えた画像３２００，３４００を作成して被写界深度が浅い画像３０００へ重畳して表示を行うようにした。これにより、ユーザーは撮像光学系１００の光軸方向とは異なる方向から被写体の奥行き方向の位置を認識することが可能となる。また、画像３２００，３４００では、合焦指定位置が太線３２００ａ又は面３４００ａで示されており、太線３２００ａ又は面３４００ａの位置を操作することで合焦位置を調整することが可能となる。また、太線３２００ａ又は面３４００ａの光軸方向の幅を調整することで、被写界深度を調整することも可能となる。

＜３．第３の実施形態＞
［３．１．奥行き情報を重畳した画像の例］
次に、本開示の第３の実施形態について説明する。図１２は、第３の実施形態において、撮像装置２０００が撮像して表示部８００に表示された画像を示す模式図である。図１２に示すように、画像３０００の中から、被写体中で奥行き方向に延びる線分Ｌ１，Ｌ２を抽出し、線分Ｌ１，Ｌ２上にグリッド（目盛）を表示する。グリッドを表示するための処理は、デプスマップの各画素の奥行き情報に基づいて、重畳用画像作成部５００が行う。グリッドとともに、撮像装置２０００からの距離を示す数値を表示しても良い。表示用重畳処理部７００は、画像３０００とデプスマップから得られたグリッドを重畳する処理を行う。第３の実施形態においても、画像作成部６００は被写界深度の深い画像を作成しなくても良いが、被写界深度の深い画像を作成してグリッドと重畳しても良い。第３の実施形態では、線分Ｌ１，Ｌ２上のグリッドが、デプスマップによる合焦位置を指定するための情報となる。第１及び第２の実施形態と同様に、制御部１０００は、撮像光学系１００のフォーカスレンズの位置に応じて合焦位置を取得する。制御部１０００は、合焦位置を重畳用画像作成部５００へ送る。重畳用画像作成部５００は、合焦位置に応じて、線分Ｌ１、Ｌ２上に合焦位置を示すマークＭを表示する。ユーザーは、線分Ｌ１、Ｌ２上でマークＭの位置の操作を行うことで、このグリッドが付された線分Ｌ１，Ｌ２のどの位置を合焦の位置に指定するかを一次元的に操作することができる。

図１２に示すように、画像３０００上から被写体である「電車」の側面の辺に沿った線分Ｌ１，Ｌ２が抽出され、デプスマップの情報に基づいて抽出した線分にグリッドが付加される。ユーザーは、ユーザーインターフェース１１００を操作して、抽出された複数の線分の中から所望の線分を選択して、付加されたグリッドを指定することで合焦位置（マークＭの位置）を指定することができる。第１及び第２の実施形態と同様に、ユーザーによる合焦位置を指定する操作に基づいて、制御部１０００がレンズ駆動用ドライバ９００を制御することで、撮像光学系１００のフォーカスレンズが指定された合焦位置に移動する。

図１３、図１４は、画像３０００上に奥行き方向の延びる線分が存在しない場合を示している。この場合、図１３及び図１４に示すように、画像３０００上の被写体の形状、輪郭とは直接関連しない任意の線分Ｌ３，Ｌ４，Ｌ５を画像３０００上に付加する。線分Ｌ３，Ｌ４，Ｌ５は、予め定められた所定の位置に付加しても良いし、ユーザーが始点と終点を指定することで任意の位置に付加できるようにしても良い。線分Ｌ３，Ｌ４，Ｌ５は、画面端から無限遠に延在する線分とされ、図１２と同様にグリッドが付加されている。図１２と同様に、ユーザーは、画面３０００上で線分Ｌ３，Ｌ４，Ｌ５上のグリッドの位置を指定することで、合焦位置を指定することができる。ユーザーの操作に基づいて制御部１０００がレンズ駆動用ドライバ９００を制御することで、撮像光学系１００のフォーカスレンズが指定された合焦位置に移動する。

図１５は、線分Ｌ６，Ｌ７に合焦領域の深さ方向の解像度を表すグリッドを付加した例を示す模式図である。被写体距離が所定の距離よりも遠い場合、被写体距離が無限遠の場合と同様に全てにピントが合うため、合焦領域の指定ができなくなる。図１５に示す線分Ｌ６，Ｌ７に付されたグリッドは、遠くに行くほど目盛間隔が広くなり、図１５中に示す領域Ｒではグリッドが付されておらず全て合焦となることを示している。従って、ユーザーは、Ｌ６，Ｌ７に付されたグリッドを視認することで、解像度が同じ奥行き方向の領域を認識することができ、領域Ｒ内の任意の位置を合焦位置として指定した場合は、領域Ｒの全域にピントが合うことを認識することができる。

以上説明したように第３の実施形態によれば、画像３０００中で奥行き方向に延びる線分を設定し、線分上にグリッド（目盛）を表示し、グリッド上でユーザーが指定した位置を合焦指定位置とするようにした。これにより、ユーザーは、奥行き方向に延びる線分のグリッド上で指定することで、合焦位置を容易に設定することが可能となる。従って、画面内で２次元的に被写体を指定して合焦位置を指定する手法に比べ、より直観的且つ容易に合焦位置を指定することが可能となる。

＜４．第４の実施形態＞
［４．１．奥行き情報を重畳した画像の例］
次に、本開示の第４の実施形態について説明する。図１６及び図１７は、第４の実施形態を説明するための模式図である。図１６に示すように、第４の実施形態では、第１〜第３の実施形態のいずれかのユーザーインターフェースを用いて、奥行き方向の任意の位置に合焦位置を示す直方体（ワイヤーフレーム）３５００を予め設定しておく。図１６に示す例では、第１の実施形態で説明した図５の例と同様に、直方体３５００は奥行き方向に幅ｄを有している。直方体３５００の奥行き方向の幅ｄは被写界深度の深さに対応している。制御部１０００は、撮像光学系１００のフォーカスレンズの位置に応じて合焦位置を取得し、また撮像光学系１００の絞り径を取得する。制御部１０００は、取得した合焦位置と絞り径を重畳用画像作成部５００へ送る。重畳用画像作成部５００は、取得した合焦位置に応じて、直方体３５００の奥行き方向の位置を設定して表示する。また、重畳用画像作成部５００は、絞り径に応じて直方体３５００の幅ｄを設定して表示する。第４の実施形態においては、直方体３５００が合焦位置を指定する情報に相当する。

図１７に示すように、設定した直方体３５００に動きのある被写体が到達した場合に、自動撮影を行う。重畳用画像作成部５００は、直方体３５００の奥行き方向の位置に動きのある被写体が到達したことを検出する。制御部１０００は、直方体３５００の奥行き方向の位置に動きのある被写体が到達したことを示す情報を重畳用画像作成部５００から受け取る。制御部１０００は、この情報を受け取ると、撮像素子２００を制御して撮影を行う。これにより、合焦位置を示す直方体３５００に動きのある被写体が到達した時点で自動的に撮影を行うことが可能であり、撮影者に向かって進んでくる被写体を容易に撮影することが可能となる。

なお、動きのある被写体は、撮像装置２０００が画像認識技術により主要被写体として決定したものであっても良いし、ユーザーが主要被写体として決定したものであっても良い。

図１７に示す例では、動きのある被写体として「電車」を示している。図１７に示すように、被写体「電車」のうち、合焦位置を示す直方体３５００に入った部分のみ被写体の色を変更させる。これにより、ユーザーは、被写体のどの部分が合焦領域を示す直方体３５００に入ったかを視認することができる。また、自動撮影を行わない場合は、被写体である「電車」の前面が直方体３５００内に入り、色が変わった瞬間にシャッターを押すことで、「電車」の前面にピントが合った画像を容易に撮影することが可能となる。上述した実施形態と同様に、直方体３５００の位置はユーザーがユーザーインターフェース１１００を操作することによって変更することができ、また直方体３５００の幅ｄを変更することで被写界深度を調整することもできる。

以上説明したように第４の実施形態によれば、合焦位置を示す直方体３５００を画像内に予め設定しておくことで、動きのある被写体が直方体３５００に入った場合に自動撮影を行うことができる。従って、対象物体が無い空間に対していわゆる置きピンで合焦位置を指定することがきる。また、表示された被写体のうち合焦位置を示す直方体３５００に入った部分のみ色を変更させることで、ユーザーは、被写体のどの部分が合焦領域を示す直方体に入ったかを視認することが可能となる。これにより、自動撮影を行わない場合においても、所望の被写体に確実にピントが合った画像を撮影することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１） 撮像画像内の被写体の奥行き情報を取得する奥行き情報取得部と、
前記撮像画像又は前記撮像画像に対応する画像と前記奥行き情報から得られる合焦位置を指定するための情報とを重畳して表示する処理を行い、合焦位置と被写***置との関係に応じて前記合焦位置を指定するための情報の表示状態を変化させる表示処理部と、
を備える、制御装置。
（２） ユーザーの操作が入力される操作入力部を更に備え、
前記表示処理部は、ユーザーの操作に応じて合焦位置を変化させて表示する、前記（１）に記載の制御装置。
（３） 前記表示処理部は、前記奥行き情報に基づいて、合焦位置を示す線又は面を表示する処理を行う、請求項（１）又は（２）に記載の制御装置。
（４） 前記表示処理部は、前記合焦位置を示す線又は面に所定の色又は濃度を付加する処理を行う、前記（３）に記載の制御装置。
（５） 前記表示処理部は、前記合焦位置を示す線又は面に被写界深度に応じた幅を持たせる、前記（３）に記載の制御装置。
（６） 前記表示処理部は、前記合焦位置を示す線又は面に動きのある被写体が到達すると、被写体の前記合焦位置を示す線又は面に到達した部位の色又は濃度を変化させる、前記（５）に記載の制御装置。
（７） 前記表示処理部は、前記奥行き情報に基づいて、撮像位置から等距離にある線又は面を表示する処理を行う、前記（１）に記載の制御装置。
（８） 前記表示処理部は、前記撮像画像と前記奥行き情報とに基づいて、前記撮像画像とは異なる視点からの画像を前記合焦位置を指定するための情報として表示する処理を行う、前記（１）に記載の制御装置。
（９） 前記表示処理部は、前記奥行き情報に基づいて、撮像画像の手前から奥に延在する線分を合焦位置とともに表示する処理を行う、前記（１）に記載の制御装置。
（１０） 前記線分は、奥行き位置を示すグリッドを含む、前記（９）に記載の制御装置。
（１１） 前記線分は、被写体中で奥行き方向に延在するエッジ部分に対応する、前記（９）に記載の制御装置。
（１２） 前記線分は、前記撮像画像又は前記撮像画像に対応する画像内の所定位置に予め設定されたものである、前記（９）に記載の制御装置。
（１３） ユーザーの操作が入力される操作入力部を更に備え、
前記線分は、ユーザーが前記撮像画像又は前記撮像画像に対応する画像内に始点と終点を規定することで設定される、前記（９）に記載の制御装置。
（１４） 前記撮像画像又は前記撮像画像に対応する画像を撮像する撮像素子と、
被写体像を前記撮像素子の撮像面に合焦させる撮像光学系と、
前記ユーザーの操作に応じて、前記合焦位置に応じて前記撮像光学系を駆動する駆動部と、
を更に備える、前記（２）に記載の制御装置。
（１５） 前記撮像画像に対応する画像は、前記撮像画像よりも被写界深度が深い画像である、前記（１）〜（１４）のいずれかに記載の制御装置。
（１６） 撮像画像内の被写体の奥行き情報を取得することと、
前記撮像画像又は前記撮像画像に対応する画像と前記奥行き情報から得られる合焦位置を指定するための情報とを重畳して表示することと、
合焦位置と被写***置との関係に応じて前記合焦位置を指定するための情報の表示状態を変化させることと、
を備える、制御方法。
（１７） 撮像画像内の被写体の奥行き情報を取得する手段、
前記撮像画像又は前記撮像画像に対応する画像と前記奥行き情報から得られる合焦位置を指定するための情報とを重畳して表示する手段、
合焦位置と被写***置との関係に応じて前記合焦位置を指定するための情報の表示状態を変化させる手段、
としてコンピュータを機能させるためのプログラム。

４００ デプスマップ作成部
５００ 重畳用画像作成部
２０００ 撮像装置
４０００ 編集装置

Claims (17)

1. 撮像画像内の所定の被写体の奥行き情報を取得する奥行き情報取得部と、
   前記撮像画像又は前記撮像画像に対応する画像と、前記奥行き情報から得られる合焦位置に基づき設定される情報であって、所定の空間の奥行き方向の位置を表す情報とを重畳して表示する処理を行い、前記合焦位置に対するユーザーの合焦操作に応じて変動する関係であって、所定の空間の奥行き方向の位置と所定の被写体の奥行き方向の位置との関係に応じて、前記画像において前記合焦位置よりも奥の被写体が撮像された画像および前記合焦位置よりも手前の被写体が撮像された画像が異なる態様で表示されるよう、前記合焦位置よりも奥の被写体が撮像された画像に所定の処理を施す表示処理部と、
   を備える、制御装置。
2. ユーザーの合焦操作が入力される操作入力部を更に備え、
   前記表示処理部は、ユーザーの合焦操作に応じて前記所定の空間の奥行き方向の位置を表す情報を変化させて表示する、請求項１に記載の制御装置。
3. 前記表示処理部は、前記奥行き情報に基づいて、前記所定の処理として、前記所定の空間の奥行き方向の位置を表す情報を示す線又は面を表示する処理を行う、請求項１又は２に記載の制御装置。
4. 前記表示処理部は、前記所定の空間の奥行き方向の位置を表す情報を示す線又は面に所定の色又は濃度を付加する処理を行う、請求項３に記載の制御装置。
5. 前記表示処理部は、前記所定の空間の奥行き方向の位置を表す情報を示す線又は面に被写界深度に応じた幅を持たせる、請求項３に記載の制御装置。
6. 前記表示処理部は、前記所定の空間の奥行き方向の位置を表す情報を示す線又は面に動きのある被写体が到達すると、被写体の前記所定の空間の奥行き方向の位置を表す情報を示す線又は面に到達した部位の色又は濃度を変化させる、請求項５に記載の制御装置。
7. 前記表示処理部は、前記奥行き情報に基づいて、撮像位置から等距離にある線又は面を表示する処理を行う、請求項１に記載の制御装置。
8. 前記表示処理部は、前記撮像画像と前記奥行き情報とに基づいて、前記撮像画像とは異なる視点からの画像を前記所定の空間の奥行き方向の位置を表す情報を指定するための情報として表示する処理を行う、請求項１に記載の制御装置。
9. 前記表示処理部は、前記奥行き情報に基づいて、撮像画像の手前から奥に延在する線分を所定の空間の奥行き方向の位置を表す情報とともに表示する処理を行う、請求項１に記載の制御装置。
10. 前記線分は、奥行き位置を示すグリッドを含む、請求項９に記載の制御装置。
11. 前記線分は、被写体中で奥行き方向に延在するエッジ部分に対応する、請求項９に記載の制御装置。
12. 前記線分は、前記撮像画像又は前記撮像画像に対応する画像内の所定位置に予め設定されたものである、請求項９に記載の制御装置。
13. ユーザーの操作が入力される操作入力部を更に備え、
    前記線分は、ユーザーが前記撮像画像又は前記撮像画像に対応する画像内に始点と終点を規定することで設定される、請求項９に記載の制御装置。
14. 前記撮像画像又は前記撮像画像に対応する画像を撮像する撮像素子と、
    被写体像を前記撮像素子の撮像面に合焦させる撮像光学系と、
    前記ユーザーの操作に応じた前記所定の空間の奥行き方向の位置に応じて前記撮像光学系を駆動する駆動部と、
    を更に備える、請求項２に記載の制御装置。
15. 前記撮像画像に対応する画像は、前記撮像画像よりも被写界深度が深い画像である、請求項１〜１４のいずれかに記載の制御装置。
16. 撮像画像内の所定の被写体の奥行き情報を取得することと、
    前記撮像画像又は前記撮像画像に対応する画像と、前記奥行き情報から得られる合焦位置に基づき設定される情報であって、所定の空間の奥行き方向の位置を表す情報とを重畳して表示することと、
    前記合焦位置に対するユーザーの合焦操作に応じて変動する関係であって、所定の空間の奥行き方向の位置と所定の被写体の奥行き方向の位置との関係に応じて、前記画像において前記合焦位置よりも奥の被写体が撮像された画像および前記合焦位置よりも手前の被写体が撮像された画像が異なる態様で表示されるよう、前記合焦位置よりも奥の被写体が撮像された画像に所定の処理を施すことと、
    を備える、制御方法。
17. 撮像画像内の所定の被写体の奥行き情報を取得する手段、
    前記撮像画像又は前記撮像画像に対応する画像と、前記奥行き情報から得られる合焦位置に基づき設定される情報であって、所定の空間の奥行き方向の位置を表す情報とを重畳して表示する手段、
    前記合焦位置に対するユーザーの合焦操作に応じて変動する関係であって、所定の空間の奥行き方向の位置と所定の被写体の奥行き方向の位置との関係に応じて、前記画像において前記合焦位置よりも奥の被写体が撮像された画像および前記合焦位置よりも手前の被写体が撮像された画像が異なる態様で表示されるよう、前記合焦位置よりも奥の被写体が撮像された画像に所定の処理を施す手段、
    としてコンピュータを機能させるためのプログラム。