JP2018056650A - 光学装置、撮像装置および制御方法 - Google Patents
光学装置、撮像装置および制御方法 Download PDFInfo
- Publication number
- JP2018056650A JP2018056650A JP2016187312A JP2016187312A JP2018056650A JP 2018056650 A JP2018056650 A JP 2018056650A JP 2016187312 A JP2016187312 A JP 2016187312A JP 2016187312 A JP2016187312 A JP 2016187312A JP 2018056650 A JP2018056650 A JP 2018056650A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- angular acceleration
- area
- angle
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Abstract
【課題】流し撮り撮影において撮影角度を算出することができる光学装置を提供する。【解決手段】撮像装置100が備える制御部103が、被写体角速度の変化量である被写体角加速度を算出する。また、制御部103は、算出した被写体角加速度の変化量を算出する。そして、制御部103が、被写体角加速度の符号と、被写体角加速度の変化量の符号とに基づいて、流し撮り時に被写体が撮影された角度領域を設定する。【選択図】図1
Description
本発明は、光学装置、撮像装置および制御方法に関する。
移動している被写体のスピード感を表現する撮影技術として、流し撮りがある。流し撮りは、撮影者が被写体の動きに合わせてカメラをパンニングすることにより、移動している被写体を静止させて背景は流すことを目的とする。流し撮りにおいては、撮影者が被写体の動きに合わせてカメラをパンニングする必要があるが、パンニング速度が速すぎたり遅すぎたりすることで、被写体の移動速度とパンニング速度の間に差ができて、被写体に係る像ブレ(被写体ブレ)が発生する場合がある。特許文献1は、露光前に算出した撮像装置に対する被写体の相対角速度と角速度センサから得た露光中の撮像装置の角速度とに基づき、露光中の光学系を移動させて、被写体ブレを補正する装置を開示している。
流し撮りでは、被写体の動きに合わせてカメラをパンニングさせながら撮影を行うので、撮影者が、画角内の最適な位置に被写体を配置することや、最適な撮影タイミングで撮影を行うことは容易ではない。一般的には、連写機能を用いて大量の画像を撮影し、その中から最適な位置に被写体が配置された画像や、最適な撮影タイミングで撮影された画像を選択する。撮影タイミングを逃さないようにする方法として、近年では4K動画を撮影しておき、後で所望のフレームを抜き出して静止画として保存する手法が用いられることがある。
しかし、連写機能によって撮影された大量の画像の中から所望の一枚を探すのは、時間がかかる。したがって、流し撮り撮影では、撮影角度の異なる画像が大量に撮影されるので、撮影角度によってグループ化できると有用である。また、流し撮りされた動画では、角度によって、所望のフレームを選択できると有用である。本発明は、流し撮り撮影において撮影角度を算出することができる光学装置の提供を目的とする。
本発明の一実施形態の光学装置は、被写体角速度の変化量である被写体角加速度を算出する第1の算出手段と、前記被写体角加速度の変化量を算出する第2の算出手段と、前記被写体角加速度の符号と、前記被写体角加速度の変化量の符号とに基づいて、流し撮り時に被写体が撮影された角度領域を設定する制御手段とを備える。
本発明の光学装置によれば、流し撮り撮影において撮影角度を算出することができる。
(実施例1)
図1は、本実施形態の光学装置の構成例を示す図である。
以下、本発明の例示的な実施形態のいくつかを、添付図面に基づいて詳細に説明する。なお、以下では、光学装置として撮像装置の一つであるデジタルカメラを例にとって説明するが、本発明において、撮像や撮像画像の記録に関する機能は必須ではない。
図1は、本実施形態の光学装置の構成例を示す図である。
以下、本発明の例示的な実施形態のいくつかを、添付図面に基づいて詳細に説明する。なお、以下では、光学装置として撮像装置の一つであるデジタルカメラを例にとって説明するが、本発明において、撮像や撮像画像の記録に関する機能は必須ではない。
デジタルカメラ100は、撮像光学系101乃至操作部110を備える。撮像光学系101は、レンズ、シャッター、絞りを有し、被写体からの光を撮像素子102に結像させる。撮像光学系101には、焦点調節するためのフォーカスレンズが含まれる。また、撮像光学系101に手振れ補正用のシフトレンズが含まれていてもよい。撮像光学系101が有する可動部材(シャッター、絞り、フォーカスレンズ、シフトレンズ)の駆動は、制御部103によって制御される。
撮像素子102は、CCDイメージセンサまたはCMOSイメージセンサであってよく、2次元配置された複数の画素を有する。CCDは、Charge Coupled Deviceの略称である。CMOSは、Complementary Metal Oxide Semiconductorの略称である。画素は光電変換機能を有し、撮像光学系101が撮像面に結像した被写体像を画素ごとに電気信号に変換する。振れセンサ105は、デジタルカメラ100の動きに応じた信号を発生し、制御部103に出力する。振れセンサ105は例えばジャイロセンサのような角速度センサであってよく、動きの方向成分(例えばx,y,z軸成分)ごとに信号を発生する。なお、振れセンサ105は撮像光学系101に設けてもよい。
制御部103は、例えばCPUやMPUのようなプログラマブルプロセッサを1つ以上有する。CPUは、Central Processing Unitの略称である。MPUは、Micro Processing Unitの略称である。制御部103は、例えば二次記憶装置108に記憶されたプログラムを一次記憶装置104に読み込んで実行することにより、デジタルカメラ100の各機能ブロックの動作を制御し、デジタルカメラ100の各種機能を実現させる。例えば、制御部103は、画像処理部106で検出された動きベクトルを用いて被写体領域と背景領域とを区別する処理や、被写体領域の特定位置の撮像素子102上の移動量を表す動きベクトルを生成する処理を実行する。
一次記憶装置104は、例えばRAMのような揮発性装置であり、データの一時的な記憶や、制御部103の動作に使われる。RAMは、Random Access Memoryの略称である。また、一次記憶装置104に記憶されている情報は、画像処理部106で利用されたり、記録媒体107に記録されたりもする。二次記憶装置108は、例えばEEPROMのような不揮発性記憶装置であり、制御部103が実行するプログラム、ファームウェア、各種の設定情報、GUIデータなどを記憶する。EEPROMは、Electrically Erazable Programmable Read−Only Memryの略称である。
記録媒体107は、不揮発性で、一次記憶装置104に記憶されている画像データなどの記録先として用いられる。記録媒体107の読み書きは、制御部103が制御する。記録媒体107が、例えば半導体メモリカードのようにデジタルカメラ100から取り外し可能である場合、デジタルカメラ100は、記録媒体107の着脱機構を有する。
表示部109は、ライブビュー表示、一次記憶装置104に記憶されている画像(記録媒体107への記録前の画像または記録媒体107から読み出された画像)の表示、対話的な操作のためのGUI画像などの表示に用いられる。表示部109は、タッチディスプレイであってもよい。
操作部110は、ユーザがデジタルカメラ100に各種の入力を行うための入力デバイス群である。操作部110には、例えばスイッチ、ボタン、レバー、タッチパネル等の物理的な操作を必要とする入力デバイスだけでなく、音声入力や視線入力を受け付ける入力デバイスが含まれてもよい。デジタルカメラ100は、操作部110に含まれるレリーズボタンのハーフストロークでONになるスイッチ(SW1)と、フルストロークでONになるスイッチ(SW2)を有している。
SW1のONは、撮影準備動作の開始指示である。撮影準備動作には、AF(オートフォーカス)処理およびAE(自動露出)処理が含まれる。AE処理やAF処理は、例えばライブビュー表示用の画像から得られる情報に基づいて、制御部103が実行することができる。また、SW2のONは、記録用画像の撮影動作の開始指示である。記録用画像は表示用画像と解像度が異なる以外は同様に生成され、一次記憶装置104に格納される。制御部103は、必要に応じて画像処理部106で符号化処理を行った後、記録形式に応じたデータファイルに格納し、記録媒体107に記録する。
画像処理部106は、撮像素子102が出力する電気信号に対してA/D変換や相関2重サンプリングなどの前処理や、前処理が適用された信号に対してホワイトバランス調整やデモザイク処理などの、いわゆる現像処理などを適用する。また、RGB−YCbCr変換などの信号形式の変換、記録形式に応じた符号化および復号、画像の縮小および拡大、画像の合成、色調の調整、AF評価値の生成、特定被写体の検出および認識処理など、様々な画像処理を実行することができる。代表的な特定被写体は人物の顔であり、特定被写体の認識処理は表情や個人の認識であるが、これらに限定されない。本実施形態では、画像処理部106が、複数の画像間における動きベクトルの検出を実行する。
なお、デジタルカメラ100には、画像処理部106が画像に適用可能な画像処理の組み合わせがパターンとしてあらかじめ登録されており、使用するパターンを操作部110から設定できる。画像処理部106の機能の少なくとも一部は、FPGAやASICのようなハードウェアで実現されてもよいし、例えば画像処理部106(あるいは制御部103)が有するプロセッサがプログラムを実行することによって実現されてもよい。
図2は、デジタルカメラの撮影モードにおける動作処理の例を説明するフローチャートである。
図2(A)は、実施例1における動作処理を示す。この動作処理は、例えば、デジタルカメラ100の起動後、または再生モードから撮影モードに切り替えられた場合に開始する。撮影モードにおいては、制御部103は、ライブビュー表示を行うための動画撮影を継続的に実行する。制御部103は、ライブビュー表示用の動画撮影に関する露出制御(撮像素子102の蓄積時間制御)および撮像光学系101の焦点調整を、例えば撮影で得られたフレーム画像から得られる輝度情報や評価値に基づいて実行する。
図2(A)は、実施例1における動作処理を示す。この動作処理は、例えば、デジタルカメラ100の起動後、または再生モードから撮影モードに切り替えられた場合に開始する。撮影モードにおいては、制御部103は、ライブビュー表示を行うための動画撮影を継続的に実行する。制御部103は、ライブビュー表示用の動画撮影に関する露出制御(撮像素子102の蓄積時間制御)および撮像光学系101の焦点調整を、例えば撮影で得られたフレーム画像から得られる輝度情報や評価値に基づいて実行する。
S200において、制御部103が、撮像素子102からフレーム画像を読み出し、一次記憶装置104へ保存する。画像処理部106は一次記憶装置104からフレーム画像を読み出し、表示用画像(ライブビュー画像)を生成する。制御部103は、ライブビュー画像を表示部109で表示させる。また、画像処理部106は、フレーム画像もしくはライブビュー画像からAE用の輝度情報とAF用の評価値を生成し、制御部103に出力する。制御部103は、輝度情報に基づいて、次フレームの蓄積時間(必要に応じてさらに撮影感度)を決定する。また、制御部103は、評価値に基づいて次フレームのフォーカスレンズ位置を決定し、必要に応じて撮像光学系101を制御してフォーカスレンズを駆動する。
次に、S201において、制御部103が、被写体の角速度(被写体角速度)を算出し、一次記憶装置104へ保存する。被写体角速度の算出の詳細については、特許文献1に記述されている方法を用いても良いし、振れセンサ105から入力される信号で表される角速度を用いても良い。
次に、S202において、制御部103が、操作部110からの入力に基づいて、静止画の撮影開始指示がされているかを判定する。制御部103は、例えば、画像処理部106において、撮影開始指示と見なせる結果が得られたか否かについても判定することできる。制御部103は、例えば、画像処理部106において、人物の予め定められた特定の表情(例えば笑顔やウインクなど)が検出された場合に、撮影開始指示がされたと判定してもよい。
撮影開始指示が入力されていると判定されない場合、処理がS201に戻り、被写体の角速度の算出が繰り返される。撮影開始指示が入力されていると判定された場合、処理が、S203に進む。S203において、制御部103が、記録用の撮影(露光)を行う。制御部103は、撮像光学系101に含まれるシャッターを用いて撮像素子102の露光時間を制御するとともに、絞りの開口の大きさを制御する。なお、絞りは、シャッターと兼用であってもよい。制御部103は、露出条件およびフォーカスレンズ位置を、例えば直近に撮影されたフレーム画像から画像処理部106が生成した輝度情報および評価値に基づいて決定することができる。
S204において、制御部103が、振れセンサ105から入力される信号(振れ検出信号)で表される角速度と、S201で算出した被写体の角速度との差分に基づいて、シフトレンズを駆動することで、被写体ブレを抑制する。被写体ブレの補正は、上述の差分に基づいて、シフトレンズまたは撮像素子を撮像光学系101の光軸に直交する方向に駆動したり、撮像素子102からの読み出し範囲を変更したりすることで実現できる。なお、振れセンサ105が撮像光学系101に設けられている場合、制御部103は、S201で算出した被写体の角速度の情報を撮像光学系101に与え、撮像光学系101が備える制御部が被写体ブレの補正を実行してもよい。また、被写体ブレの補正を必ずしも実施しなくても良い。
次に、S205において、制御部103が、露光が終了したかを判断する。露光が終了していない場合は、処理がS204に戻る。露光が終了した場合は、処理がS206に進む。S206において、制御部103が、撮影角度領域の算出処理を実行する。本実施例では、撮影角度領域は、流し撮り時に被写体が撮影された角度領域である。制御部103は、撮像素子102から読み出した画像信号を一次記憶装置104に保存する。そして、画像処理部106が、この画像信号に対して現像処理などを適用して記録用の画像データファイルを生成し、一次記憶装置104に保存する。そして、制御部103は、一次記憶装置104に保存された画像データファイルを、撮影角度領域と共に記録媒体107に記録し、処理をS200に戻す。
図3は、図2(A)のS206における撮影角度領域算出処理を説明するフローチャートである。
S100において、制御部103が、第1の算出手段として機能し、異なる時刻に図2のS201で得られた2つの被写体角速度を一次記憶装置104から読み出す。制御部103は、被写体角速度の変化量として、角速度の差分を計算する。制御部103は、計算した差分を角加速度(被写体角加速度)として一次記憶装置104に保存する。続いて、S101において、制御部103が、第2の算出手段として機能し、異なる時刻にS100で得られた2つの角加速度を一次記憶装置104から読み出す。制御部103は、角加速度の変化量として、角加速度の変化量を計算する。制御部103は、計算した角加速度の変化量を一次記憶装置104に保存する。
S100において、制御部103が、第1の算出手段として機能し、異なる時刻に図2のS201で得られた2つの被写体角速度を一次記憶装置104から読み出す。制御部103は、被写体角速度の変化量として、角速度の差分を計算する。制御部103は、計算した差分を角加速度(被写体角加速度)として一次記憶装置104に保存する。続いて、S101において、制御部103が、第2の算出手段として機能し、異なる時刻にS100で得られた2つの角加速度を一次記憶装置104から読み出す。制御部103は、角加速度の変化量として、角加速度の変化量を計算する。制御部103は、計算した角加速度の変化量を一次記憶装置104に保存する。
次に、S102において、制御部103が、S101で得られた被写体角速度の変化量を一次記憶装置104から読み出し、変化量の符号が正であるかを判定する。被写体角速度の変化量が正である場合は、処理がS103に進む。被写体角速度の変化量が負である場合は、処理がS106に進む。
S103において、制御部103が、S101で得られた被写体角加速度の変化量を一次記憶装置104から読み出し、変化量の符号が正であるかを判定する。被写体角加速度の変化量が正である場合は、処理がS104に進む。被写体角加速度の変化量が正でない場合は、処理がS105に進む。S104において、制御部103が、撮影角度領域を領域1に設定し、一次記憶装置104に保存した後、撮影角度領域算出処理を終了させる。なお、撮影角度領域についての詳細は後述する。また、S105において、制御部103は、撮影角度領域を領域2に設定し、一次記憶装置104に保存した後、撮影角度領域算出処理を終了させる。
S106において、制御部103は、S101で得られた被写体角加速度の変化量を一次記憶装置104から読み出し、変化量の符号が負であるかを判定する。被写体角加速度の変化量が負である場合は、処理がS107に進む。被写体角加速度の変化量が負でない場合は、処理がS108に進む。S107において、制御部103が、撮影角度領域を領域3に設定し、一次記憶装置104に保存した後、撮影角度領域の算出処理を終了させる。S108において、制御部103が、撮影角度領域を領域4に設定し、一次記憶装置104に保存した後、撮影角度領域の算出処理を終了させる。
図4は、撮影角度領域の例を説明する図である。
図4では、被写体の動きと撮影角度の関係を、二次元平面上に模式的に示している。速度v[m/s]で等速直線運動する被写体を黒い星印で示す。撮影者の位置を原点とし、被写体の軌跡と平行な方向をX軸、垂直な方向をY軸とする。被写体の軌跡までの距離をL[m]、Y軸と被写体とのなす角を撮影角度θ[deg]とすると、θはvとLと時刻t[s]を用いて、次の式(1)のように表すことができる。
図4では、被写体の動きと撮影角度の関係を、二次元平面上に模式的に示している。速度v[m/s]で等速直線運動する被写体を黒い星印で示す。撮影者の位置を原点とし、被写体の軌跡と平行な方向をX軸、垂直な方向をY軸とする。被写体の軌跡までの距離をL[m]、Y軸と被写体とのなす角を撮影角度θ[deg]とすると、θはvとLと時刻t[s]を用いて、次の式(1)のように表すことができる。
式(1)を時間で微分すると、角速度を得ることができる。角速度をω[deg/s]とすると、次の式(2)で表すことができる。
撮影角度が0度のときの角速度をω0とする。以降、この角速度ω0を基準角速度と呼ぶ。式(1)から、撮影角度が0度のときの時刻は0であることが分かる。したがって、式(2)式から、ω0は、次のように表される。
式(3)を用いると、式(1)式および式(2)は、以下の式(4)、式(5)のように表すことができる。
基準角速度は、撮影角度が30度もしくは−30度のときの角速度からも算出することができる。式(4)から、撮影角度が30度の時の時刻は、以下の式(6)のように表わせる。
式(6)と式(5)とから、次の式(7)を得ることができる。
図5は、角速度の変化量と、角加速度の変化量とを示す図である。
図5(A)は、角速度の変化量を示す。横軸は、撮影角度θを示す。縦軸は、角速度ωの変化量を示す。角速度の変化量は角加速度と等価である。図5(A)から、撮影角度が0より小さい場合に、角速度の変化量は正となることが分かる。また、撮影角度が0より大きい場合に、角速度の変化量は負となることが分かる。
図5(A)は、角速度の変化量を示す。横軸は、撮影角度θを示す。縦軸は、角速度ωの変化量を示す。角速度の変化量は角加速度と等価である。図5(A)から、撮影角度が0より小さい場合に、角速度の変化量は正となることが分かる。また、撮影角度が0より大きい場合に、角速度の変化量は負となることが分かる。
図5(B)は、角加速度の変化量を示す。横軸は、撮影角度θを示す。縦軸は、角加速度の変化量を示す。図5(B)から、撮影角度が−30度より小さいか、撮影角度が30度より大きい場合に、角加速度の変化量は正となることが分かる。また、撮影角度が−30度より大きく30度より小さい場合に、角加速度の変化量は負となることが分かる。
撮影角度θと角速度の変化量の関係、および撮影角度θと角加速度の変化量の関係から、次のことが導かれる。角速度の変化量、角加速度の変化量がともに正であれば、撮影角度は−30度より小さい。−30度より小さい撮影角度領域を領域1とする。領域1で撮影された場合、被写体の前面が撮影できる。また、領域1は、角速度が比較的小さい領域であるので、露光時間が長めになり、像ブレ補正が失敗しやすい。
角速度の変化量が正で、かつ角加速度の変化量が負であれば、撮影角度は−30度より大きく、0度より小さい。−30度より大きく、0度より小さい撮影角度領域を領域2とする。領域2で撮影された場合、被写体の前面が撮影できる。また、領域2は、角速度が比較的大きい領域であるので、露光時間が短めになり、像ブレ補正が成功しやすい。
角速度の変化量、角加速度の変化量がともに負であれば、撮影角度は0度より大きく、30度より小さい。0度より大きく、30度より小さい撮影角度領域を領域3とする。領域3で撮影された場合、被写体の背面を撮影できる。また、領域3は、角速度が比較的大きい領域であるので、露光時間が短めになり、像ブレ補正が成功しやすい。
角速度の変化量が負で、かつ角加速度の変化量が正であれば、撮影角度は30度より大きい。30度より大きい撮影角度領域を領域4とする。領域4で撮影された場合、被写体の背面を撮影できる。また、領域4は、角速度が比較的小さい領域であるので、露光時間が長めになり、像ブレ補正が失敗しやすい。
以上説明したように、本実施例の撮像装置は、角速度および角加速度の変化量から撮影角度領域を算出する。撮像装置は、算出された撮影角度領域を画像データと共にファイルに記録しておくことで、流し撮り画像の撮影角度領域検索や撮影角度毎のグループ表示といった機能に活用することができる。
(実施例2)
実施例2の光学装置は、画像の表示優先度の算出を行う点が、実施例2と異なる。表示優先度は、撮影画像を表示する際の優先度である。実施例2の光学装置は、構図として優先すべき画像に対し、表示優先度を設けることで撮影者の意図したとおりに撮影された画像を優先的に表示できる。デジタルカメラ100の機能構成や他の処理に関しては説明を省略し、本実施例に固有の処理を主に説明する。
実施例2の光学装置は、画像の表示優先度の算出を行う点が、実施例2と異なる。表示優先度は、撮影画像を表示する際の優先度である。実施例2の光学装置は、構図として優先すべき画像に対し、表示優先度を設けることで撮影者の意図したとおりに撮影された画像を優先的に表示できる。デジタルカメラ100の機能構成や他の処理に関しては説明を省略し、本実施例に固有の処理を主に説明する。
図2(B)は、実施例2におけるデジタルカメラ100の撮影モードにおける動作処理を説明するフローチャートである。
制御部103は、実施例1と同様に、S200からS206まで処理を行い、S207において、表示優先度を算出する第3の算出手段として機能する。表示優先度の算出の詳細については後述する。制御部103は撮像素子102から読み出した画像信号を一次記憶装置104に保存する。そして、画像処理部106が、この画像信号に対して現像処理などを適用して、記録用の画像データファイルを生成し、一次記憶装置104に保存する。そして、制御部103は、一次記憶装置104に保存された画像データファイルを、S206で算出された撮影角度領域と、表示優先度と共に記録媒体107に記録し、処理をS200に戻す。
制御部103は、実施例1と同様に、S200からS206まで処理を行い、S207において、表示優先度を算出する第3の算出手段として機能する。表示優先度の算出の詳細については後述する。制御部103は撮像素子102から読み出した画像信号を一次記憶装置104に保存する。そして、画像処理部106が、この画像信号に対して現像処理などを適用して、記録用の画像データファイルを生成し、一次記憶装置104に保存する。そして、制御部103は、一次記憶装置104に保存された画像データファイルを、S206で算出された撮影角度領域と、表示優先度と共に記録媒体107に記録し、処理をS200に戻す。
図6は、図2(B)のS207における表示優先度算出処理を説明するフローチャートである。
S300において、制御部103が、画像処理部106が実行した動きベクトルの検出結果に基づいて、被写体領域を算出する。続いて、S301において、制御部103が、被写体領域の中心座標と測距領域の中心座標との距離を算出する。なお、測距領域とは、制御部103が、焦点調節処理の実行に用いる評価値を算出する領域(焦点検出領域)をいう。焦点調節処理は、図2(B)のS200において実行され、制御部103が、評価値に基づいて次フレームのフォーカスレンズ位置を決定し、必要に応じて撮像光学系101を制御してフォーカスレンズを駆動する。
S300において、制御部103が、画像処理部106が実行した動きベクトルの検出結果に基づいて、被写体領域を算出する。続いて、S301において、制御部103が、被写体領域の中心座標と測距領域の中心座標との距離を算出する。なお、測距領域とは、制御部103が、焦点調節処理の実行に用いる評価値を算出する領域(焦点検出領域)をいう。焦点調節処理は、図2(B)のS200において実行され、制御部103が、評価値に基づいて次フレームのフォーカスレンズ位置を決定し、必要に応じて撮像光学系101を制御してフォーカスレンズを駆動する。
画像処理部106が顔検出機能を有している場合、検出された顔領域を測距領域としても良い。また、測距領域は、操作部110が備える十字釦によって移動させることが可能である。表示部109がタッチパネルを備えている場合、タッチした座標を中心として測距領域を配置しても良い。測距領域の大きさは、顔が検知されている場合、顔領域のサイズと同じにしても良い。また、予め決められた設定を二次記憶装置108から読み出して測距領域の大きさに用いても良い。制御部103は、水平方向と垂直方向とについて、別々に中心間の距離を算出する。
S302において、制御部103が、第1の閾値(閾値1)と第2の閾値(閾値2)とを算出する。制御部103は、水平方向と垂直方向とについて別々に閾値1と閾値2の算出を行う。この例では、閾値2のほうが閾値1よりも大きい。続いて、S303において、制御部103が、座標間の距離と閾値1とを比較し、座標間の距離が閾値1より小さいかを判定する。制御部103は、水平方向と垂直方向のそれぞれについて比較を行い、どちらの方向も条件を満たした場合に、真と判定する。
座標間の距離が閾値1より小さい場合は、処理がS304に進む。S304において、制御部103が、表示優先度を第1の優先度(高)に設定する。第1の優先度(高)は、第2の優先度(中)よりも高い表示優先度である。
座標間の距離が閾値1より小さくない場合は、処理がS305に進む。S305において、制御部103が、座標間の距離と閾値2とを比較し、比較結果に基づいて、座標間の距離が閾値未満(距離<閾値2)であるかを判定する。制御部103は、水平方向と垂直方向のそれぞれについて比較を行い、どちらの方向も条件を満たした場合に、真と判定する。
座標間の距離が閾値2未満である場合は、処理がS306に進む。S306において、制御部103が、表示優先度を第2の優先度(中)に設定する。第2の優先度(中)は、第3の優先度(低)よりも高い表示優先度である。距離が閾値以上(距離≧閾値2)である場合は、処理がS307に進む。そして、S307において、制御部103が、表示優先度を第3の優先度(低)に設定する。
図7は、動きベクトル検出を行う際の検出枠と測距領域と被写体領域との関係を説明する図である。
制御部103は、動きベクトルを検出するために、画像処理部106を制御して、10×10個の検出枠を設置する。被写体として検出した枠が全て囲われる領域を被写体領域とする。制御部103は、異なる時間で取得された画像に対し、一方の画像のそれぞれの検出枠で囲まれた領域が、他方の画像上のどの座標でパターンが一致するかどうかを判定する。制御部103は、枠を設定した座標とパターンが一致した座標との差分が動きベクトルとなる。なお、制御部103は、検出枠群の中心座標と測距領域の中心座標が一致するように画像上に検出枠を配置する。被写体の動きベクトルは、振れセンサ105から入力された角速度に相当する動きベクトルを除外することで得られる。
制御部103は、動きベクトルを検出するために、画像処理部106を制御して、10×10個の検出枠を設置する。被写体として検出した枠が全て囲われる領域を被写体領域とする。制御部103は、異なる時間で取得された画像に対し、一方の画像のそれぞれの検出枠で囲まれた領域が、他方の画像上のどの座標でパターンが一致するかどうかを判定する。制御部103は、枠を設定した座標とパターンが一致した座標との差分が動きベクトルとなる。なお、制御部103は、検出枠群の中心座標と測距領域の中心座標が一致するように画像上に検出枠を配置する。被写体の動きベクトルは、振れセンサ105から入力された角速度に相当する動きベクトルを除外することで得られる。
制御部103は、閾値1を、被写体領域と測距領域のサイズのうちの小さい方を2で割った値に設定する。被写体領域の中心と測距領域の中心との距離が閾値1より小さくなる時、どちらかの領域がもう一方の領域と重なっている状態となる。このような状態では、被写体の中央付近にフォーカスが合った画像が得られていると考えられる。すなわち、撮影者が意図した構図で撮影が行われたといえる。したがって、制御部103は、中心間の距離が閾値1より小さい場合、表示優先度を第1の優先度(高)に設定する。
また、制御部103は、閾値を、被写体領域と測距領域のサイズを加算して2で割った値に設定する。被写体領域の中心と測距領域の中心との距離が閾値2以上である時、どちらの領域も重なっていない状態となる。このような状態では、被写体にフォーカスがあった画像が得られていないと考えられる。すなわち、撮影者が意図した構図で撮影が行われていないといえる。したがって、制御部103は、中心間の距離が閾値2以上である場合、表示優先度を第3の優先度(低)に設定する。
どちらの条件にも当てはまらない場合、すなわち、中心間の距離が閾値より小さくなく、かつ、閾値2より小さい場合は、少なくとも被写体の一部にフォーカスがあった画像が得られていると考えられる。したがって、この場合には、制御部103は、表示優先度を第2の優先度(中)に設定する。
以上説明したように、本実施例では、被写体領域の中心と測距領域の中心の距離に対する、測距領域のサイズもしくは被写体領域のサイズの関係に応じて、表示優先度を算出する。算出された表示優先度を画像データと共にファイルに記録しておくことで、流し撮り画像を表示する際に優先度の高い画像を表示することが可能になる。
(実施例3)
実施例3の撮像装置は、動画からのフレームの切り出しにおいて撮影角度領域を利用する点が、実施例1と異なる。したがって、デジタルカメラ100の機能構成や他の処理に関しては説明を省略し、本実施例に固有の処理を主に説明する。
実施例3の撮像装置は、動画からのフレームの切り出しにおいて撮影角度領域を利用する点が、実施例1と異なる。したがって、デジタルカメラ100の機能構成や他の処理に関しては説明を省略し、本実施例に固有の処理を主に説明する。
図8は、実施例2におけるデジタルカメラの動画切り出しモードにおける動作を説明するフローチャートである。
図8に示す動作は、例えば、デジタルカメラ100が動画切り出しモードを有する場合に、該モードに切り替えられた場合に開始する。
図8に示す動作は、例えば、デジタルカメラ100が動画切り出しモードを有する場合に、該モードに切り替えられた場合に開始する。
制御部103は、処理が開始されると、処理対象となる動画ファイルを記録媒体107から読み出して、動画ファイルに記録された角速度データを一次記憶装置104へと展開する。その後、S400において、制御部103が、第4の算出手段として機能し、角度範囲を算出する。この角度範囲は、動画からフレームを切り出す際の角度領域に相当する。そして、S401において、制御部103が、算出された角度範囲から、フレームの切り出し角度を指定する。
図9は、切り出し角度の指定方法の例を説明する図である。
図9には、切り出し角度を指定する際に、画面に表示されるアイコンを示す。点線で表わされる半円が、−90度から90度を表している。実線で表される領域が、図8のS400で算出された角度範囲を表わしている。黒丸を有する直線が、指定された角度の位置を表わしている。黒丸の上の数字が、指定された角度を表している。ユーザは、操作部110によって、表示された角度範囲の中で、任意の角度を指定することができる。表示部109がタッチパネルを備えている場合、ユーザが黒丸部分をタッチしたまま、パネル上で指を移動(スワイプ操作)したときに、角度を変更できるようにしても良い。
図9には、切り出し角度を指定する際に、画面に表示されるアイコンを示す。点線で表わされる半円が、−90度から90度を表している。実線で表される領域が、図8のS400で算出された角度範囲を表わしている。黒丸を有する直線が、指定された角度の位置を表わしている。黒丸の上の数字が、指定された角度を表している。ユーザは、操作部110によって、表示された角度範囲の中で、任意の角度を指定することができる。表示部109がタッチパネルを備えている場合、ユーザが黒丸部分をタッチしたまま、パネル上で指を移動(スワイプ操作)したときに、角度を変更できるようにしても良い。
図8の説明に戻る。S402において、制御部103が、S401で指定された角度に対応するフレームを抽出する。制御部103は、動画ファイルを記録媒体107から読み出して、動画ファイルに記録された画像フレームを一次記憶装置104に展開する。制御部103は、画像処理部106を制御して、展開された画像フレームを復号処理を行い、画像データを生成する。その後、制御部103は、画像処理部106を制御して、画像データを符号化処理し、記録用の画像データファイルを生成し、一次記憶装置104に保存する。S403において、制御部103が、一次記憶装置104に保存された画像データファイルを記録媒体107に記録する。
図10は、図8のS400における角度範囲算出処理を説明するフローチャートである。
S500において、制御部103が、一次記憶装置104から異なる時刻に取得された2つ以上の被写体角速度データを読み込む。動画に記録された角速度データがカメラのパンニング速度を示す角速度のみの場合は、この角速度を被写体角速度として用いても良い。画像処理部106が動きベクトル検知機能を有する場合、動画の画像データから動きベクトルを算出することで被写体角速度を算出してもよい。
S500において、制御部103が、一次記憶装置104から異なる時刻に取得された2つ以上の被写体角速度データを読み込む。動画に記録された角速度データがカメラのパンニング速度を示す角速度のみの場合は、この角速度を被写体角速度として用いても良い。画像処理部106が動きベクトル検知機能を有する場合、動画の画像データから動きベクトルを算出することで被写体角速度を算出してもよい。
S100において、制御部103が、角速度の変化量を算出する。S100の処理は図3を参照して前述のとおりであり、ここでの説明は省略する。続いて、S501において、制御部103が、角速度の変化量が0かどうかを判定する。図5(A)で示したように角速度の変化量が0の場合に、撮影角度は0となる。変化量が0でないと判定された場合は、処理がS101に進む。角速度の変化量が0であると判定された場合は、処理がS502に進む。
S502において、制御部103が、現在の角速度を基準角速度に設定する。続いて、S503において、制御部103が、開始フレームと終了フレームの角度を算出し、角度範囲算出処理を正常終了させる。現在のフレームが時刻0に相当することから、開始フレームまたは終了フレームの時刻が分かるので、式(5)を用いて角度を算出することが出来る。例えば、現在のフレーム番号が120、フレームレートが60fpsとすると、最初のフレームは、現在のフレームの2秒前である。現在のフレームの時刻は0であるので、最初のフレームは−2秒となる。基準角速度を35deg/秒とし、式(5)を用いると、開始角度は約−50度となる。
S101において、制御部103が、S100で算出した角加速度の変化量を算出する。S101の処理は前述のとおりであり、ここでの説明は省略する。続いて、S504において、制御部103が、角加速度の変化量が0かどうかを判定する。図5(B)で示したように、角加速度の変化量が0の場合、撮影角度は−30度もしくは30度のどちらかとなる。なお、−30度と30度の区別は、角速度の変化量が正か負かによって判断できる。
角加速度の変化量が0でないと判定された場合は、処理がS506に進む。角加速度の変化量が0であると判定された場合は、処理がS505に進む。S505において、制御部103が、基準角速度を算出する。制御部103は、基準角速度を、現在の角速度と、式(7)とを用いて算出する。また、制御部103は、算出された基準角速度から、現在のフレームの時刻を式(6)式を用いて算出する。
次に、S503において、制御部103が、開始フレーム及び終了フレームの角度を算出し、角度範囲算出処理を正常終了させる。例えば、現在のフレーム番号が120、終了フレーム番号が150、フレームレートが60fpsとすると、終了フレームは、現在のフレームの0.5秒後である。現在のフレームの撮影角度が30度、基準角速度が35deg/秒とすると、式(6)から現在のフレームの時刻は0.9秒となる。したがって、終了フレームの時刻は1.4秒となり、式(5)式から終了角度は約40度となる。
S506において、制御部103が、現在のフレームが最終フレームかどうかを判定する。現在のフレームが最終フレームであると判定されなければ、処理がS500に戻る。現在のフレームが最終フレームであると判定された場合、制御部103は角度範囲算出処理を異常終了させる。撮影角度が0度、−30度、30度のいずれかとなるフレームが発見できなかったため、角度範囲が算出できなかったからである。角度範囲算出処理が正常に終了しなかった場合、制御部103は、図8のS401以降の処理をスキップさせると共に、切り出しフレームの角度指定が出来ない動画である旨のメッセージを表示部109に表示しても良い。もしくは、S401で、フレーム番号を指定して切り出す処理に切り替えて、S402以降の処理を行っても良い。
以上説明したように、実施例3の撮像装置は、動画切り出しにおいて、動画ファイルに記録された角速度を用いて、角速度および角加速度の変化量から撮影角度を算出する。これにより、角度で動画フレームを指定することが可能になる。
上述の実施例は本発明の理解を提供するための具体的な構成の例示であり、いかなる意味においても実施例に記載された構成に本発明を限定する意図はない。特許請求の範囲の記載に包含される変形例および代替例もまた本発明に含まれる。また、上述した実施例1乃至実施例3のうちのいずれかを適宜組み合わせて適用することもできる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 デジタルカメラ
103 制御部
103 制御部
Claims (11)
- 被写体角速度の変化量である被写体角加速度を算出する第1の算出手段と、
前記被写体角加速度の変化量を算出する第2の算出手段と、
前記被写体角加速度の符号と、前記被写体角加速度の変化量の符号とに基づいて、流し撮り時に被写体が撮影された角度領域を設定する制御手段とを備える
ことを特徴とする光学装置。 - 前記制御手段は、前記被写体角加速度の符号が正であり、前記被写体角加速度の変化量の符号が正である場合に、前記流し撮り時に被写体が撮影された角度領域として、−30度より小さい角度領域を設定する
ことを特徴とする請求項1に記載の光学装置。 - 前記制御手段は、前記被写体角加速度の符号が正であり、前記被写体角加速度の変化量の符号が負である場合に、前記流し撮り時に被写体が撮影された角度領域として、−30度から0度までの角度領域を設定する
ことを特徴とする請求項1または請求項2に記載の光学装置。 - 前記制御手段は、前記被写体角加速度の符号が負であり、前記被写体角加速度の変化量の符号が負である場合に、前記流し撮り時に被写体が撮影された角度領域として、0度から30度までの角度領域を設定する
ことを特徴とする請求項1乃至3のいずれか1項に記載の光学装置。 - 前記制御手段は、前記被写体角加速度の符号が負であり、前記被写体角加速度の変化量の符号が正である場合に、前記流し撮り時に被写体が撮影された角度領域として、30度より大きい角度領域を設定する
ことを特徴とする請求項1乃至4のいずれか1項に記載の光学装置。 - 被写体領域と焦点検出領域との距離に応じて、撮影画像を表示する際の優先度を算出する第3の算出手段を備える
ことを特徴とする請求項1乃至5のいずれか1項に記載の光学装置。 - 前記第3の算出手段は、前記被写体領域の中心と前記焦点検出領域の中心との距離と、閾値との比較結果に基づいて、前記優先度を算出する
ことを特徴とする請求項6に記載の光学装置。 - 前記第3の算出手段は、
前記被写体領域と前記焦点検出領域のうち、小さいほうのサイズを2で割った値を第1の閾値、前記被写体領域と前記焦点検出領域のサイズを加算して2で割った値を第2の閾値とし、
前記被写体領域の中心と前記焦点検出領域の中心との距離が前記第1の閾値未満である場合に、第1の優先度を設定し、
前記被写体領域の中心と前記焦点検出領域の中心との距離が前記第1の閾値以上で前記第2の閾値未満である場合に、前記第1の優先度より低い第2の優先度を設定し、
前記被写体領域の中心と前記焦点検出領域の中心との距離が前記第2の閾値以上である場合に、前記第2の優先度より低い第3の優先度を設定する
ことを特徴とする請求項6または請求項7に記載の光学装置。 - 動画からフレームを切り出す際の角度領域を算出する第4の算出手段と、
前記第4の算出手段によって算出された角度領域から前記フレームの切り出し角度を指定する指定手段と、
前記指定された切り出し角度に対応するフレームを前記動画から抽出して静止画として保存する抽出手段とを備える
ことを特徴とする請求項1乃至8のいずれか1項に記載の光学装置。 - 請求項1乃至9のいずれか1項に記載の光学装置として機能する撮像装置。
- 被写体角速度の変化量である被写体角加速度を算出する第1の算出工程と、
前記被写体角加速度の変化量を算出する第2の算出工程と、
前記被写体角加速度の符号と、前記被写体角加速度の変化量の符号とに基づいて、流し撮り時に被写体が撮影された角度領域を設定する制御工程とを有する
ことを特徴とする光学装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016187312A JP2018056650A (ja) | 2016-09-26 | 2016-09-26 | 光学装置、撮像装置および制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016187312A JP2018056650A (ja) | 2016-09-26 | 2016-09-26 | 光学装置、撮像装置および制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018056650A true JP2018056650A (ja) | 2018-04-05 |
Family
ID=61837166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016187312A Pending JP2018056650A (ja) | 2016-09-26 | 2016-09-26 | 光学装置、撮像装置および制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018056650A (ja) |
-
2016
- 2016-09-26 JP JP2016187312A patent/JP2018056650A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6106921B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
US9344634B2 (en) | Imaging apparatus having subject detection function, method for controlling the imaging apparatus, and storage medium | |
US9648229B2 (en) | Image processing device and associated methodology for determining a main subject in an image | |
JP6157242B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6539091B2 (ja) | 撮像装置およびその制御方法 | |
US9774782B2 (en) | Image pickup apparatus and image pickup method | |
WO2016002355A1 (ja) | 撮影装置及び撮影方法 | |
JP6128109B2 (ja) | 撮影装置、撮影方向の制御方法及びプログラム | |
JP2021124669A (ja) | 電子機器 | |
JP6312460B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体 | |
JP2021039167A (ja) | 画像処理装置及び画像処理装置の制御方法 | |
JP2013110754A (ja) | カメラ装置、及びその撮影方法とプログラム | |
JP4807582B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
JP6483661B2 (ja) | 撮像制御装置、撮像制御方法およびプログラム | |
JP5448868B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP6746473B2 (ja) | 撮像装置および制御方法 | |
JP5800600B2 (ja) | 撮像装置、撮像方法およびプログラム | |
JP5484129B2 (ja) | 撮像装置 | |
JP2015233211A (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP6858065B2 (ja) | 撮像装置およびその制御方法 | |
JP2018056650A (ja) | 光学装置、撮像装置および制御方法 | |
US10681274B2 (en) | Imaging apparatus and control method thereof | |
US20240179393A1 (en) | Imaging apparatus, control method of the same, and storage medium | |
JP5826309B2 (ja) | 画像処理装置及び画像処理装置の制御方法 | |
JP5921646B2 (ja) | 画像処理装置及び画像処理方法 |