以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
<<第1実施形態>>
本発明の第1実施形態を説明する。図1は、本発明の第1実施形態に係る撮像装置1の全体ブロック図である。撮像装置1は、符号11〜28によって参照される各部位を有する。撮像装置1は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。撮像装置1内の各部位は、バス24又は25を介して、各部位間の信号(データ)のやり取りを行う。尚、表示部27及び/又はスピーカ28は、撮像装置1の外部装置(不図示)に設けられたものであってもよい。
撮像部11は、撮像素子(イメージセンサ)33の他、図示されない光学系、絞り及びドライバを備える。撮像素子33は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子33は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等からなる固体撮像素子である。撮像素子33の各受光画素は、光学系及び絞りを介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をAFE12(Analog Front End)に出力する。光学系を構成する各レンズは、被写体の光学像を撮像素子33上に結像させる。
AFE12は、撮像素子33(各受光画素)から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部13に出力する。AFE12における信号増幅の増幅度はCPU(Central Processing Unit)23によって制御される。映像信号処理部13は、AFE12の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク14は、撮像装置1の周辺音をアナログの音声信号に変換し、音声信号処理部15は、このアナログの音声信号をデジタルの音声信号に変換する。
圧縮処理部16は、映像信号処理部13からの映像信号及び音声信号処理部15からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ17は、DRAM(Dynamic Random Access Memory)などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ18は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部16による圧縮後の映像信号及び音声信号を互いに関連付けた状態で記録する。
伸張処理部19は、外部メモリ18から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部19による伸張後の映像信号又は映像信号処理部13からの映像信号は、表示処理部20を介して、液晶ディスプレイ等から成る表示部27に送られて画像として表示される。また、伸張処理部19による伸張後の音声信号は、音声出力回路21を介してスピーカ28に送られて音として出力される。
TG(タイミングジェネレータ)22は、撮像装置1全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置1内の各部に与える。タイミング制御信号は、垂直同期信号Vsyncと水平同期信号Hsyncを含む。CPU23は、撮像装置1内の各部位の動作を統括的に制御する。操作部26は、動画像の撮影及び記録の開始/終了を指示するための録画ボタン26a、静止画像の撮影及び記録を指示するためのシャッタボタン26b及び操作キー26c等を有し、ユーザによる各種操作を受け付ける。操作部26に対する操作内容はCPU23に伝達される。
撮像装置1の動作モードには、画像(静止画像又は動画像)の撮影及び記録が可能な撮影モードと、外部メモリ18に記録された画像(静止画像又は動画像)を表示部27に再生表示する再生モードと、が含まれる。操作キー26cに対する操作に応じて、各モード間の遷移は実施される。再生モードにて動作する時の撮像装置1は、画像再生装置として機能する。
撮影モードでは、次々と被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表すデジタルの映像信号を画像データとも呼ぶ。
尚、画像データの圧縮及び伸張は、本発明の本質とは関係ないため、以下の説明では、画像データの圧縮及び伸張の存在を無視する(即ち例えば、圧縮された画像データを記録することを、単に、画像データを記録すると表現する)。また、本明細書では、或る画像の画像データのことを単に画像と言うこともある。
図2に示す如く、任意の二次元画像300が配置される、空間領域(spatial domain)の二次元座標系XYを定義する。二次元座標系XYを画像空間と言い換えることもできる。画像300は、例えば、上述の撮影画像、又は、後述のストロボ画像、プレビュー画像、対象画像若しくはフレーム画像である。X軸及びY軸は、二次元画像300の水平方向及び垂直方向に沿った軸である。二次元画像300は、水平方向及び垂直方向の夫々に複数の画素がマトリクス状に配列されて形成されており、二次元画像300上の何れかの画素である画素301の位置を(x,y)にて表す。本明細書では、画素の位置を、単に画素位置とも言う。x及びyは、夫々、画素301のX軸及びY軸方向の座標値である。二次元座標系XYにおいて、或る画素の位置が右側に1画素分ずれると該画素のX軸方向における座標値は1だけ増大し、或る画素の位置が下側に1画素分ずれると該画素のY軸方向における座標値は1だけ増大する。従って、画素301の位置が(x,y)である場合、画素301の右側、左側、下側及び上側に隣接する画素の位置は、夫々、(x+1,y)、(x−1,y)、(x,y+1)及び(x,y―1)にて表される。
撮像装置1の撮影モードの一種に、特殊連写モードがある。特殊連写モードでは、図3に示す如く、注目すべき特定被写体が望ましい位置間隔で配置された複数の撮影画像(図3に示す例では、画像311〜314)を連写によって取得する。特殊連写モードにて連写される撮影画像を、以下、対象画像という。連写によって得られた複数の対象画像を合成することで、各対象画像上の特定被写体を1枚の画像上に表現したストロボ画像を生成することができる。図3の画像315は、画像311〜314に基づくストロボ画像である。
ユーザは、操作部26に対して所定操作を施すことで、撮像装置1の動作モードを特殊連写モードに設定することができる。以下、第1実施形態では、特殊連写モードにおける撮像装置1の動作を説明する。
図4は、特殊連写モードにて撮影される画像列の構成画像を示した図である。画像列とは、時系列で並ぶ複数の静止画像の集まりを指す。シャッタボタン26bは2段階の押下操作が可能に形成されている。ユーザがシャッタボタン26bを軽く押し込むと、シャッタボタン26bは半押しの状態となり、その状態から更にシャッタボタン26bを押し込むとシャッタボタン26bは全押しの状態となる。シャッタボタン26bの状態を全押しの状態にする操作を、特にシャッタ操作とも言う。特殊連写モードにおいて、シャッタ操作が行われると、その直後において、p枚の対象画像が連写される(即ち、p枚の対象画像が連続的に撮影される)。pは、2以上の整数である。ユーザは、対象画像の枚数(即ち、pの値)を自由に決めることができる。
p枚の対象画像の内、1番目、2番目、・・・、p番目に撮影される対象画像を、夫々、符号In、In+1、・・・、In+p−1にて表す(nは整数)。1番目の対象画像Inの撮影前の撮影によって得られる撮影画像をプレビュー画像と呼ぶ。プレビュー画像は、一定のフレームレート(例えば、60fps(frame per second))にて順次撮影される。プレビュー画像列に対して、符号I1〜In−1を割り当てる。図4に示す如く、時間が進行するにつれ、プレビュー画像I1、I2、・・・、In−3、In−2、In−1の順番で撮影が行われ、プレビュー画像In−1の撮影の次に対象画像Inの撮影が行われるものとする。プレビュー画像列は動画像として表示部27に表示され、ユーザは表示画像を確認しつつシャッタ操作の実行タイミングを検討する。
図5は、撮像装置1に内包される、特殊連写モードの動作に特に関与する部位のブロック図である。図5に示される各部位は、図1のCPU23又は映像信号処理部13によって実現される。例えば、追尾処理部(物体検出部)51及びストロボ画像生成部(画像合成部)54を映像信号処理部13に実装しておくことができ、CPU23内に追尾対象特性算出部(物体特性導出部)52及び連写制御部53を設けておくことができる。連写制御部53には、連写可否判断部55及び報知制御部56が設けられている。
追尾処理部51は、入力動画像の画像データに基づいて入力動画像上における注目物体を入力動画像上で追尾する追尾処理を実行する。ここにおける入力動画像とは、プレビュー画像I1〜In−1を含むプレビュー画像列と対象画像In〜In+p−1を含む対象画像列とから成る動画像を指す。注目物体は、入力動画像の撮影時における撮像装置1の注目被写体である。追尾処理によって追尾されるべき注目物体を、以下、追尾対象という。
ユーザは、追尾対象を指定することができる。例えば、表示部27に所謂タッチパネル機能を設けておく。そして、プレビュー画像を表示部27の表示画面上で表示している時において、注目物体が表示されている、表示画面上の表示領域を、ユーザが指で触れることにより、該注目物体が追尾対象として設定される。或いは例えば、ユーザは、操作部26に対する所定操作によって追尾対象を指定することもできる。更に或いは、顔認識処理を利用して撮像装置1が自動的に追尾対象を設定するようにしても良い。つまり例えば、プレビュー画像の画像データに基づきプレビュー画像から人物の顔を含む領域である顔領域を抽出した後、顔認識処理によって当該顔領域に含まれる顔が予め登録された人物の顔と一致しているか否かを照合し、一致が確認された場合に、その顔領域に含まれる顔を有する人物を追尾対象として設定するようにしても良い。
更に或いは、プレビュー画像列上における移動物体を自動的に追尾対象に設定するようにしても良い。この場合は、公知の方法を用いて、時間的に隣接する2枚のプレビュー画像間のオプティカルフローから追尾対象として設定されるべき移動物体を抽出すればよい。オプティカルフローは、画像上の物体の動きの向き及び大きさを表す動きベクトルの束である。
説明の便宜上、以下では、プレビュー画像I1において追尾対象が設定されたものとする。追尾対象の設定後、追尾処理では、入力動画像の画像データに基づき、各プレビュー画像及び各対象画像上における追尾対象の位置及び大きさが逐次検出される。実際には、追尾対象を表す画像データの存在する画像領域が追尾対象領域として各プレビュー画像及び各対象画像に設定され、追尾対象領域の中心位置及び大きさが追尾対象の位置及び大きさとして検出される。プレビュー画像に設定された追尾対象領域内の画像は、当該プレビュー画像の一部画像である(対象画像等についても同様)。追尾対象の大きさとして検出される追尾対象領域の大きさを、追尾対象領域内に属する画素の数によって表現することができる。尚、本発明の各実施形態の説明文中における文言“中心位置”を“重心位置”に読み替えても構わない。
追尾処理部51は、各プレビュー画像及び各対象画像における追尾対象の位置及び大きさを表す情報を含む追尾結果情報を出力する。追尾結果情報によって、追尾対象領域の形状をもが規定されるものとする。例えば、(後述の図6等に示される状況とは異なるが)追尾対象領域が矩形領域である場合には、その矩形領域の対角線上の2頂点の座標値を追尾対象領域に含めておけば良い、或いは、その矩形領域の一頂点の座標値と該矩形領域の水平及び垂直方向の大きさを追尾対象領域に含めておけば良い。
第1及び第2の被演算画像間における追尾処理を次のように実行することができる。ここにおける第1の被演算画像とは、既に追尾対象の位置及び大きさが検出されているプレビュー画像又は対象画像を指し、第2の被演算画像とは、これから追尾対象の位置及び大きさが検出されるべきプレビュー画像又は対象画像を指す。第2の被演算画像は、通常、第1の被演算画像の次に撮影される画像である。
例えば、追尾処理部51は、追尾対象が有する画像特徴に基づいて追尾処理を行うことができる。画像特徴は、輝度情報及び色情報を含む。より具体的には例えば、第2の被演算画像内に、追尾対象領域の大きさと同程度の大きさを有すると推定される追尾枠を設定して、第2の被演算画像における追尾枠内の画像の画像特徴と、第1の被演算画像における追尾対象領域内の画像の画像特徴との類似性評価を追尾枠の位置を探索領域内で順次変更しながら実行し、最大の類似性が得られた追尾枠の中心位置に、第2の被演算画像における追尾対象領域の中心位置が存在すると判断する。第2の被演算画像に対する探索領域は、第1の被演算画像における追尾対象の位置を基準にして設定される。
第2の被演算画像における追尾対象領域の中心位置が判明した後、公知の輪郭抽出処理等を適宜用いて、その中心位置を内包する、エッジで囲まれた閉領域を、第2の被演算画像における追尾対象領域として抽出することができる。又は、その閉領域を単純な図形形状(矩形や楕円)を有する領域にて近似したものを追尾対象領域として抽出するようにしてもよい。以下の説明では、図6に示す如く、追尾対象が人物であって、且つ、追尾対象領域が該人物の胴体及び頭部を含む楕円状領域に近似されることを想定する。
尚、画像上の追尾対象の位置及び大きさを検出する方法として、上述した方法と異なる他の任意の方法(例えば、特開2004−94680号公報に記載された方法や特開2009−38777号公報に記載された方法)を採用することも可能である。
追尾対象特性算出部52は、プレビュー画像列に対して行った追尾処理の追尾結果情報に基づいて、画像空間上における追尾対象の移動速度SPを算出すると共に追尾対象の大きさに応じた被写体サイズ(物体サイズ)SIZEを算出する。移動速度SPは、対象画像列上における追尾対象の移動速度の推定値として機能し、被写体サイズSIZEは、各対象画像上における追尾対象の大きさの推定値として機能する。
2枚以上のプレビュー画像についての追尾結果情報に基づいて、即ち、2枚以上のプレビュー画像における追尾対象領域の位置及び大きさに基づいて、移動速度SP及び被写体サイズSIZEを算出することができる。
2枚のプレビュー画像についての追尾結果情報から移動速度SP及び被写体サイズSIZEを算出する方法を説明する。移動速度SP及び被写体サイズSIZEを算出するための2枚のプレビュー画像をIA及びIBにて表す。プレビュー画像IBは、対象画像Inの撮影時刻に対してなるだけ近い時刻に撮影されたプレビュー画像であり、プレビュー画像IAはプレビュー画像IBよりも先に撮影されたプレビュー画像である。例えば、プレビュー画像IA及びIBは、夫々、プレビュー画像In−2及びIn−1である。但し、プレビュー画像IA及びIBを、夫々、プレビュー画像In−3及びIn−1とすることも可能であるし、或いは、プレビュー画像In−3及びIn−2とすることも可能であるし、或いは、それ以外とすることも可能である。以下では、特に記述なき限り、プレビュー画像IA及びIBが夫々プレビュー画像In−2及びIn−1であると仮定する。
プレビュー画像IAにおける追尾対象領域の中心位置(xA,yA)とプレビュー画像IBにおける追尾対象領域の中心位置(xB,yB)とから、下記式(1)に従って移動速度SPを算出することができる。図7に示す如く、dABは、画像空間上における中心位置(xA,yA)及び(xB,yB)間の距離である。図7及び後述の図8において、破線330A及び330Bで囲まれた楕円状領域は、夫々、プレビュー画像IA及びIB上における追尾対象領域である。INTPRは、プレビュー画像IA及びIBの撮影間隔である。上述したように、プレビュー画像IA及びIBがプレビュー画像In−2及びIn−1であるため、INTPRは、隣接するプレビュー画像の撮影間隔、即ち、プレビュ−画像列のフレームレートの逆数である。従って、プレビュー画像列のフレームレートが60fpsであるならば、INTPRは1/60秒である。
SP=dAB/INTPR ・・・(1)
一方、プレビュー画像IAにおける追尾対象領域の特定方向サイズLAとプレビュー画像IBにおける追尾対象領域の特定方向サイズLBから、被写体サイズSIZEを算出することができる。図8は、プレビュー画像IA上における追尾対象領域330Aとプレビュー画像IB上における追尾対象領域330Bを共通の画像空間(二次元座標系XY)上に示した図である。中心位置(xA,yA)及び(xB,yB)間を結ぶ直線332は追尾対象領域330Aの外形と交点334及び335で交わり、直線332は追尾対象領域330Bの外形と交点336及び337で交わる。交点334及び335間の距離が特定方向サイズLAとして求められ、交点336及び337間の距離が特定方向サイズLBとして求められる。そして、特定方向サイズLA及びLBの平均値が被写体サイズSIZEに代入される。
プレビュー画像In−2及びIn−1であるプレビュー画像IA及びIBについての追尾結果情報に加え、プレビュー画像In−3であるプレビュー画像ICについての追尾結果情報をも更に用いて移動速度SP及び被写体サイズSIZEを算出する方法を説明する。この場合は、「SP=(dCA+dAB)/(2・INTPR)」に従って移動速度SPを算出することができる。ここで、dCAは、画像空間上における中心位置(xC,yC)及び(xA,yA)間の距離であり、中心位置(xC,yC)は、プレビュー画像ICにおける追尾対象領域の中心位置である。また、中心位置(xC,yC)及び(xA,yA)間を結ぶ直線とプレビュー画像IC上における追尾対象領域330Cの外形とが交わる2交点の位置を特定し、その2交点間の距離を特定方向サイズLCとして求め、特定方向サイズLA、LB及びLCの平均値を被写体サイズSIZEとして求めることができる。4枚以上のプレビュー画像の追尾結果情報から移動速度SP及び被写体サイズSIZEを算出する場合も同様とされる。
上述の方法に従って求められた、移動速度SP(追尾対象の平均的な移動速度)と被写体サイズSIZE(追尾対象の平均的なサイズ)は、連写制御部53に送られる。
連写制御部53は、
式「(連写間隔INTTGT)=(目標被写体間隔α)/(移動速度SP)」に従って、
より明確には、下記式(2)に従って対象画像列の撮影時における連写間隔INTTGTを設定する。
INTTGT=α/SP ・・・(2)
連写間隔INTTGTとは、時間的に隣接する2枚の対象画像(例えば、In及びIn+1)の撮影時刻間の間隔を指す。対象画像Inの撮影時刻とは、厳密には例えば、対象画像Inの露光期間の開始時刻又は中間時刻を指す(対象画像In+1等についても同様)。
目標被写体間隔αとは、時間的に隣接する2枚の対象画像上における追尾対象領域の中心位置間距離の目標値を指す。つまり例えば、対象画像In上における追尾対象領域の中心位置(xn,yn)と対象画像In+1上における追尾対象領域の中心位置(xn+1,yn+1)との距離の目標値が、目標被写体間隔αである。連写制御部53は、被写体サイズSIZEに応じて目標被写体間隔αを決定する。例えば、「α=SIZE」となるように、又は、「α=k0×SIZE」となるように、又は、「α=SIZE+k1」となるように、被写体サイズSIZEから目標被写体間隔αを決定する。k0及びk1は、予め定められた係数である。但し、目標被写体間隔αをユーザの指示に従って定めることも可能である。また、係数k0及びk1の値をユーザが定めても良い。
連写制御部53は、連写間隔INTTGTの設定後、原則として連写間隔INTTGTにてp枚の対象画像が連写されるようにTG22(図1参照)と協働して撮像部11を制御し、これによって略一定の位置間隔で追尾対象が配置されたp枚の対象画像を取得しようとする。但し、連写開始時における追尾対象の位置等によっては、そのようなp枚の対象画像を取得できない場合もある。
そこで、連写制御部53に内包される連写可否判断部55(図5参照)は、p枚の対象画像の連写に先立ち、p枚の対象画像の連写可否を判断する。説明の具体化のためp=5であると仮定した上で、図9及び図10を参照しつつ、この判断方法を説明する。図9に示される画像In’は、1番目の対象画像Inを仮想した画像(以下、仮想対象画像という)である。仮想対象画像In’は、実際の撮影によって得られた画像ではなく、追尾結果情報から推定される。位置350は、仮想対象画像In’上における追尾対象領域の中心位置である。矢印360は、画像空間上における追尾対象の移動方向を表している。移動方向360は、上述の中心位置(xA,yA)から中心位置(xB,yB)に向かう方向(図7及び図8参照)、又は、中心位置(xC,yC)から中心位置(xB,yB)に向かう方向と一致する。
位置350は、プレビュー画像In−1上における追尾対象領域の中心位置から、移動方向360へ距離(SP×INTPR)だけずれた位置である。但し、ここでは、プレビュー画像In−1及び対象画像Inの撮影時刻間の時間差がプレビュ−画像の撮影間隔INTPRと一致しているものとする。
連写可否判断部55は、対象画像列の撮影期間中、対象画像列上において追尾対象が移動方向360へ移動速度SPにて移動すると仮定した上で、対象画像列上における追尾対象の移動可能距離DISALを算出する。位置350を起点として移動方向360に向かって伸びる線分361を定義し、線分361と仮想対象画像In’の外形との交点362を求める。位置350と交点362との距離が移動可能距離DISALとして算出される。
一方、連写可否判断部55は、p枚の対象画像の撮影期間中における、画像空間上(及び対象画像列上)の追尾対象の移動距離DISESTを推定する。図10を参照する。図10には、共通の画像空間上に、5つの位置350〜354が示されている。図10における位置350は、上述したように、仮想対象画像In’上における追尾対象領域の中心位置である。図10において、位置350、351、352、353及び354を内包する実線楕円領域370、371、372、373及び374は、夫々、対象画像In、In+1、In+2、In+3及びIn+4上における追尾対象領域を推定したものである。推定された追尾対象領域370〜374の大きさ及び形状は、プレビュー画像In−1上における追尾対象領域のそれと同じである。
位置351、352、353、354は、夫々、対象画像In+1、In+2、In+3及びIn+4上における追尾対象領域の中心位置を推定したものである。位置351は、位置350から、移動方向360へ目標被写体間隔αだけずれた位置である。位置352、353及び354は、夫々、位置350から、移動方向360へ、(2×α)、(3×α)及び(4×α)だけずれた位置である。
連写可否判断部55は、位置350及び354間の距離を、移動距離DISESTとして推定する。即ち、対象画像列の撮影期間中、対象画像列上において追尾対象が移動方向360へ移動速度SPにて移動すると仮定した上で、移動距離DISESTが推定される。p=5であるため、移動距離DISESTの推定式(3)は、
DISEST=(4×α)=α×(p−1)=INTTGT×SP×(p−1) ・・・(3)
となる(上記式(2)参照)。
p枚(今の例において5枚)の対象画像の夫々に追尾対象領域の全体が含まれると推定される場合にのみ、連写可否判断部55は、p枚の対象画像の連写が可能と判断し、そうでない場合には、p枚の対象画像の連写が不可能であると判断する。図10からも理解されるように、判断式(4)が成立する場合に連写が可能と判断され、判断式(4)が不成立の場合に連写が不可能と判断される。但し、マージンをみて、判断式(4)の代わりに判断式(5)を用いるようにしても良い(Δ>0)。
DISAL≧DISEST+SIZE/2 ・・・(4)
DISAL≧DISEST+SIZE/2+Δ ・・・(5)
連写可否判断部55によって連写が不可能であると判断された場合、報知制御部56(図5)は、その旨を表す情報をユーザに対し、音声や映像により知らせる。
以下の説明では、特に記述なき限り、連写可否判断部55にてp枚の対象画像の連写が可能であると判断され、実際に撮影されたp枚の対象画像の夫々に追尾対象領域の全体(即ち、追尾対象の全体像)が含まれているものとする。
ストロボ画像生成部54は、対象画像In〜In+p−1に対する追尾結果情報と対象画像In〜In+p−1の画像データに基づき、対象画像In〜In+p−1の追尾対象領域内の画像を合成することでストロボ画像を生成する。生成されたストロボ画像を外部メモリ18に記録することができる。尚、対象画像In〜In+p−1を外部メモリ18に記録することもできる。
具体的には、対象画像In+1〜In+p−1に対する追尾結果情報に基づいて対象画像In+1〜In+p−1から対象画像In+1〜In+p−1上の追尾対象領域内の画像を抽出し、対象画像In上に、対象画像In+1、In+2、・・・In+p−1から抽出した画像を順次上書きすることで、図3のストロボ画像315のようなストロボ画像を生成する。これにより、対象画像列の撮影期間中、実際に対象画像列上において追尾対象が移動方向360へ移動速度SPにて移動したとしたならば、ストロボ画像上に、対象画像In〜In+p−1上における共通の追尾対象が目標被写体間隔αにて分散配置される。
或いは、対象画像In〜In+p−1に対する追尾結果情報に基づいて対象画像In〜In+p−1から対象画像In〜In+p−1上の追尾対象領域内の画像を抽出する一方で、白画像又は黒画像のような背景画像を用意しておき、背景画像上に、対象画像In、In+1、In+2、・・・In+p−1から抽出した画像を順次上書きすることでストロボ画像を生成するようにしても良い。
対象画像に対する追尾結果情報を用いることなくストロボ画像を生成することも可能である。例えば、p=5である場合、対象画像In+1〜In+4から、夫々、図10の領域371〜374内の画像を抽出し、対象画像In上に対象画像In+1〜In+4から抽出した画像を順次上書きすることでストロボ画像を生成するようにしてもよいし、或いは、対象画像In〜In+4から、夫々、図10の領域370〜374内の画像を抽出し、上記背景画像上に対象画像In〜In+4から抽出した画像を順次上書きすることでストロボ画像を生成するようにしてもよい。
<<動作フロー>>
次に、図11を参照して、特殊連写モードにおける撮像装置1の動作の流れを説明する。図11は、この動作の流れを表すフローチャートである。まず、ステップS11において、追尾対象の設定が成されるのを待機する。追尾対象が設定されると、ステップS11からステップS12に移行し、上述の追尾処理が実行開始される。追尾対象の設定後においては、ステップS12以外においても追尾処理が継続的に実行される。
追尾処理の実行開始後、ステップS13においてシャッタボタン26bが半押しの状態となっているかが確認される。シャッタボタン26bの半押しが確認されると、その時点で得られている最新の追尾結果情報(2枚以上のプレビュー画像の追尾結果情報)に基づいて、移動速度SP及び被写体サイズSIZEが算出され、続いて、連写間隔INTTGTの設定及び連写可否判断部55による連写可否の判断が成される(ステップS14及びS15)。
連写可否判断部55により連写が可能と判断されると(ステップS16のY)、ステップS17において、報知制御部56は、連写間隔INTTGTに応じた情報を撮像装置1の外部に報知する。この報知は、その情報をユーザが認識出るように視覚的又は聴覚的な手段を用いて実行される。具体的には例えば、断続的な電子音をスピーカ28から出力するようにし、連写間隔INTTGTが比較的短いときには該電子音の出力間隔を比較的短くし(例えば、0.5秒かけて「ピピピッ」と聞こえる音をスピーカ28から出力し)、連写間隔INTTGTが比較的長いときには該電子音の出力間隔を比較的長くする(例えば、1.5秒かけて「ピーピーピー」と聞こえる音をスピーカ28から出力する)。連写間隔INTTGTに応じたアイコン等を表示部27に表示するようにしてもよい。ステップS17の報知により、ユーザは、これから行われる連写撮影の連写速度を認識することができると共に対象画像列の撮影時間を概略的に推定することができる。この結果、対象画像列の撮影中に、対象画像列の撮影が終わったと勘違いして、ユーザが撮影方向を変えてしまう或いは撮像装置1の電源を切ってしまう、といったことが防止される。
ステップS17における報知の後、ステップS18において、シャッタボタン26bが全押しの状態となっているか否かが確認される。シャッタボタン26bが全押しの状態となっていない場合にはステップS12に戻るが、シャッタボタン26bが全押しの状態となっている場合には、ステップS19にてp枚の対象画像の連写が行われる。尚、ステップS17における報知の実行中に、シャッタボタン26bが全押しの状態となっていることが確認された場合においても、直ちにステップS19へと移行してp枚の対象画像の連写が行われる。
ステップS19にて連写されるp枚の対象画像の連写間隔INTTGTとして、ステップS14にて設定されたそれを用いることができる。但し、シャッタボタン26bの全押しが確認された時点で得られている最新のプレビュー画像を含む複数のプレビュー画像(例えば、プレビュー画像In−2及びIn−1)についての追尾結果情報を用いて、移動速度SP及び被写体サイズSIZEを再算出すると共に連写間隔INTTGTを再設定し、再設定した連写間隔INTTGTに従ってステップS19における連写を実行するようにしても良い。
ステップS19に続くステップS20では、ステップS19にて得られたp枚の対象画像からストロボ画像が生成される。
連写可否判断部55により連写が不可能と判断された場合には(ステップS16のN)、ステップS21に移行して警告表示が行われる。具体的には例えば、ステップS21において、図12(a)に示す如く、“最適な被写体間隔(目標被写体間隔α)では対象画像列を連写できない”という内容に対応する文章を表示部27に表示する(該文章は、最新のプレビュー画像上に重畳表示される)。或いは例えば、ステップS21において、図12(b)に示す如く、追尾対象の移動方向側の表示領域(図12(b)の斜線領域に対応)を点滅させるなどして、最適な被写体間隔では対象画像列を連写できない旨をユーザに伝えるようにしてもよい(該点滅は、表示部27に表示されている最新のプレビュー画像上で行われる)。更に或いは例えば、ステップS21において、図12(c)に示す如く、表示部27に表示されている最新のプレビュー画像上に推奨の追尾対象位置を重畳表示するようにしても良い。図12(c)において、枠391が推奨の追尾対象位置を表している。枠391内に追尾対象が収まるように撮影方向を調整した状態でシャッタ操作を行なったならば最適な被写体間隔で対象画像列を連写できるであろう位置に、枠391は表示される。枠391の表示位置を、移動距離DISESTと被写体サイズSIZEを用いて求めることができる。
ステップS21に続くステップS22では、シャッタボタン26bの状態が半押しの状態に維持されているか否かが確認され、シャッタボタン26bの半押しが解除されている場合にはステップS12に戻る一方、シャッタボタン26bの半押しが解除されていない場合にはステップS17に移行する。ステップS22からステップS17に移行し、その後、シャッタボタン26bが全押しの状態となったならばp枚の対象画像が連写される。但し、この場合においては、後の方で撮影される対象画像(例えば、対象画像In+p−1)に追尾対象が含まれない場合もあるため、ステップS20にて生成されるストロボ画像上における追尾対象の数がp個未満になる可能性が高い。
本実施形態によれば、追尾対象の移動速度に応じて追尾対象が望ましい位置間隔で配置されるように連写間隔が最適化される。即ち、異なる時刻の追尾対象の位置間隔を所望のものに調整することが可能となり、結果例えば、ストロボ画像上において異なる時刻の追尾対象の像が重なり合うこと等を防止することができる(図20参照)。また、後の方で撮影される対象画像(例えば、対象画像In+p−1)に追尾対象が含まれなくなる(図21参照)、或いは、追尾対象の位置変化の乏しい対象画像列が撮影される(図20参照)、といった事態の発生も防止される。
尚、本実施形態では、p枚の対象画像からストロボ画像を生成しているが、ストロボ画像の生成は必須ではない。p枚の対象画像は追尾対象に注目した所謂コマ送り画像として機能し、p枚の対象画像に注目した場合においても、異なる時刻の追尾対象の位置間隔が所望のものに調整される等の作用及び効果は実現されている。
<<第2実施形態>>
本発明の第2実施形態を説明する。第2実施形態に係る撮像装置も、第1実施形態と同様、図1の撮像装置1である。第2実施形態では、撮像装置1の再生モードにおける特異な動作を主として説明する。この特異な動作を実現する再生モードの一種を、特殊再生モードという。
図13は、撮像装置1に内包される、特殊再生モードの動作に特に関与する部位のブロック図である。図13に示される各部位は、図1のCPU23又は映像信号処理部13によって実現される。例えば、追尾処理部(物体検出部)61及びストロボ画像生成部(画像合成部)63を映像信号処理部13に実装しておくことができ、画像選択部62の機能をCPU23に担わせることができる。
図13の追尾処理部61は、第1実施形態における追尾処理部51と同じ機能を有する。但し、第1実施形態の追尾処理部51がプレビュー画像又は対象画像上における追尾対象領域の位置及び大きさを検出していたのに対して、追尾処理部61は、追尾処理によって、フレーム画像列を形成する各フレーム画像上における追尾対象領域の位置及び大きさを検出する。ここにおけるフレーム画像列とは、特殊再生モードの動作の実行に先立って、撮影モードにて撮影された画像列である。より具体的には、所定のフレームレートにて撮像部11が順次撮影を行うことで得た画像列をフレーム画像列として外部メモリ18に保存しておき、特殊再生モードにおいて、外部メモリ18から該フレーム画像列の画像データを読み出す。読み出された画像データを追尾処理部61に与えることで、フレーム画像列に対して追尾処理を実行することができる。尚、フレーム画像列を撮影する時のフレームレートは、通常、一定とされるが、そのフレームレートが一定である必要は必ずしも無い。
追尾処理部61は、追尾対象の設定後、第1実施形態にて述べた方法に従って各フレーム画像に対して追尾処理を実行することにより、各フレーム画像上における追尾対象領域の位置及び大きさを表す情報を含む追尾結果情報を生成する。追尾結果情報の生成方法は、第1実施形態で述べたものと同様である。追尾処理部61にて生成された追尾結果情報は、画像選択部62及びストロボ画像生成部63に送られる。
画像選択部62は、追尾処理部61からの追尾結果情報に基づいて、フレーム画像列の中から複数のフレーム画像を複数の選択画像として選択及び抽出し、各選択画像の画像データをストロボ画像生成部63に送る。選択画像の枚数は、フレーム画像列を形成するフレーム画像の枚数よりも少ない。
ストロボ画像生成部63は、各選択画像に対する追尾結果情報と各選択画像の画像データに基づき、各選択画像の追尾対象領域内の画像を合成することでストロボ画像を生成する。生成されたストロボ画像を外部メモリ18に記録することができる。ストロボ画像の元になる画像の名称がストロボ画像生成部63及び54間で異なる点を除き、ストロボ画像生成部63によるストロボ画像の生成方法は、第1実施形態に係るストロボ画像生成部54のそれと同様である。
今、外部メモリ18から読み出されたフレーム画像列が、図14に示す10枚のフレーム画像FI1〜FI10から形成されている場合を想定して、選択画像の抽出方法等を詳細に説明する。フレーム画像FIi+1は、フレーム画像FIiの次に撮影された画像であり(iは整数)、フレーム画像FI1〜FI10の画像データが時系列順に追尾処理部61に与えられる。尚、図14では、後述の具体例にて選択画像として抽出されることとなるフレーム画像(FI1、FI4及びFI9)の外枠を太線で示している
特殊再生モードでは、まず1番目のフレーム画像FI1が表示部27に表示され、この表示がなされている状態で、ユーザによる追尾対象を設定する操作を受け付ける。例えば、図15に示す如く、表示部27の表示画面27a上にフレーム画像FI1を表示すると共に矢印型アイコン510を表示する。ユーザは、矢印型アイコン510の表示位置を操作部26に対する所定操作によって変更することができる。そして、操作部26を用いて表示画面27a上における矢印型アイコン510の表示位置を注目物体(注目被写体)の表示位置に重ね合わせた状態で所定の決定操作を行うことで、ユーザは該注目物体を追尾対象に設定することができる。図15に示す例の如く、矢印型アイコン510の表示位置を人物の表示位置に重ね合わせた状態で決定操作が成された場合、追尾処理部61は、公知の輪郭抽出処理や顔検出処理を利用して、矢印型アイコン510の表示位置に表示されている物体の輪郭を抽出し、抽出結果から該物体を追尾対象として設定すると共に該物体の画像データの存在する画像領域をフレーム画像FI1上の追尾対象領域として設定することができる。尚、表示部27に所謂タッチパネル機能が設けられている場合には、表示画面27a上の注目物体を指にて触れる操作により追尾対象を設定することもできる。
追尾処理部61は、フレーム画像FI1〜FI10の画像データに基づいて各フレーム画像上における追尾対象領域の位置及び大きさを導出する。フレーム画像FIi及びFIj上の追尾対象領域の中心位置を、夫々、(xi,yi)及び(xj,yj)にて表す(i及びjは整数であって、i≠j)。また、図16に示す如く、中心位置(xi,yi)と中心位置(xj,yj)との間の、画像空間上における距離をd[i,j]にて表し、それを追尾対象間距離とも言う。図16において、破線530及び531で囲まれた領域は、夫々、フレーム画像FIi及びFIj上における追尾対象領域を表している。中心位置(xi,yi)及び(xj,yj)間を結ぶ直線532と追尾対象領域530の外形とが交わる2つの交点間の距離が特定方向サイズLiとして求められ、直線532と追尾対象領域531の外形とが交わる2つの交点間の距離が特定方向サイズLjとして求められる。距離d[i,j]並びに特定方向サイズLi及びLjは、フレーム画像FIi及びFIjの追尾結果情報に基づき、画像選択部62によって求められる。
画像選択部62は、まず、1番目のフレーム画像FI1を1番目の選択画像として抽出する。1番目の選択画像であるフレーム画像FI1よりも後に撮影されたフレーム画像は、2番目の選択画像の候補となる。画像選択部62は、2番目の選択画像を抽出するために、変数jに2〜10までの整数を順次代入しつつ追尾対象間距離d[1,j]と目標被写体間隔βとを比較する。そして、不等式「d[1,j]>β」を成立させる1以上のフレーム画像の中から、1番目の選択画像よりも後に撮影され且つ1番目の選択画像に対して最も時間的に近くに撮影されたフレーム画像FIjを2番目の選択画像として選ぶ。今、jが2又は3である時には常に不等式「d[1,j]>β」が成立しない一方、jが4以上10以下の整数である時には常に不等式「d[1,j]>β」が成立していたものとする。そうすると、フレーム画像FI4が2番目の選択画像として抽出される。
目標被写体間隔βとは、時間的に隣接する2枚の選択画像上における追尾対象領域の中心位置間距離の目標値を指す。つまり例えば、i番目及び(i+1)番目の選択画像上における追尾対象領域の中心位置間の距離の目標値が、目標被写体間隔βである。画像選択部62は、被写体サイズSIZE’に応じて、基準距離ともいうべき目標被写体間隔βを決定することができる。不等式「d[i,j]>β」の成否を判断する場合における被写体サイズSIZE’として、特定方向サイズLi及びLjの平均値を用いることができる。但し、3つ以上の特定方向サイズに基づいて被写体サイズSIZE’を決定しても良い。即ち例えば、特定方向サイズL1〜L10の平均値を被写体サイズSIZE’に代入しても良い。
画像選択部62は、例えば、「β=SIZE’」となるように、又は、「β=k0×SIZE’」となるように、又は、「β=SIZE’+k1」となるように、被写体サイズSIZE’から目標被写体間隔βを決定する。k0及びk1は、予め定められた係数である。但し、目標被写体間隔βをユーザの指示に従って定めることも可能である。また、係数k0及びk1の値をユーザが定めても良い。
このように、追尾処理部61による追尾対象の位置の検出結果に基づく、1番目及び2番目の選択画像上における追尾対象間距離(d[1,4])が、追尾処理部61による追尾対象の大きさの検出結果に基づく、基準距離とも言うべき目標被写体間隔β(例えば、L1及びL4の平均値)よりも大きくなるように、選択画像の抽出処理が成される。3番目以降の選択画像も同様にして抽出される。
即ち、2番目の選択画像であるフレーム画像FI4よりも後に撮影されたフレーム画像は、3番目の選択画像の候補となる。画像選択部62は、3番目の選択画像を抽出するために、変数jに5〜10までの整数を順次代入しつつ追尾対象間距離d[4,j]と目標被写体間隔βとを比較する。そして、不等式「d[4,j]>β」を成立させる1以上のフレーム画像の中から、2番目の選択画像よりも後に撮影され且つ2番目の選択画像に対して最も時間的に近くに撮影されたフレーム画像FIjを3番目の選択画像として選ぶ。今、jが5以上8以下である時には常に不等式「d[4,j]>β」が成立しない一方、jが9又は10である時には常に不等式「d[4,j]>β」が成立していたものとする。そうすると、フレーム画像FI9が3番目の選択画像として抽出される。
3番目の選択画像であるフレーム画像FI9よりも後に撮影されたフレーム画像は、4番目の選択画像の候補となる。本例では、フレーム画像FI10のみが4番目の選択画像を候補となる。画像選択部62は、4番目の選択画像を抽出するために、変数jに10を代入しつつ追尾対象間距離d[9,j]と目標被写体間隔βとを比較する。そして、不等式「d[9,j]>β」が成立する場合にはフレーム画像FI10を4番目の選択画像として抽出する。一方、不等式「d[9,j]>β」が成立しない場合には、フレーム画像FI10を4番目の選択画像として抽出することなく、選択画像の抽出処理を完了する。今、変数jが10である時において、不等式「d[9,j]>β」が成立しなかった場合を想定する。そうすると、最終的に、フレーム画像FI1、FI4及びFI9から成る3枚の選択画像が抽出されることとなる。図17に、この3枚の選択画像から生成されたストロボ画像を示す。
<<動作フロー>>
次に、図18を参照して、特殊再生モードにおける撮像装置1の動作の流れを説明する。図18は、この動作の流れを表すフローチャートである。まず、ステップS61及びS62において、1番目のフレーム画像FI1を外部メモリ18から読み出して表示部27に表示し、その状態において、ユーザによる追尾対象の設定操作を受け付ける。上述したように、1番目のフレーム画像FI1を1番目の選択画像として抽出することができる。追尾対象の設定が成されると、ステップS63にて変数nに2を代入した後、ステップS64においてフレーム画像FInに追尾処理を実行することで、フレーム画像FIn上における追尾対象領域の位置及び大きさを検出する。
続くステップS65において、追尾処理部61からの追尾結果情報に基づき、上述したような追尾対象間距離(d[i,j]に対応)と目標被写体間隔βとの比較を行う。そして、前者が後者(β)よりも大きい場合には、ステップS66にてフレーム画像FInを選択画像として抽出する一方、そうでない場合にはステップS68に直接移行する。ステップS66に続くステップ67では、選択画像の抽出数が予め定められた必要数と一致しているか否かが判断され、それらが一致している場合には、その時点で選択画像の抽出を終了する一方、それらが一致していない場合にはステップS67からステップS68に移行する。ユーザは、上記必要数を指定することができる。
ステップS68では変数nとフレーム画像列を形成するフレーム画像の総枚数(図14に示す例において、10)が比較される。そして、現時点の変数nが該総枚数と一致している場合には選択画像の抽出を終了する一方で、そうでない場合には変数nに1を加算してから(ステップS69)ステップS64に戻って上述の各処理を繰り返す。
本実施形態によれば、追尾対象が望ましい位置間隔で配置された選択画像列の抽出及びストロボ画像の生成が実現される。即ち、異なる時刻の追尾対象の位置間隔を所望のものに調整することが可能となり、結果例えば、ストロボ画像上において異なる時刻の追尾対象の像が重なり合うこと等を防止することができる(図20参照)。また、追尾対象の位置変化の乏しい選択画像列が抽出される、といった事態の発生も防止される。
更に本実施形態では、上記特許文献1と異なり、追尾処理を用いて選択画像の抽出が成されるため、追尾対象の存在していない所謂背景画像は必須とならず、背景画像が存在していなくても、所望の選択画像列の抽出及びストロボ画像の生成を行うことが可能となる。また、ユーザの希望に応じて、目標被写体間隔βを被写体サイズSIZE’よりも小さくすることも可能であり、その場合は、異なる時刻の追尾対象の像を少しずつ重ねたようなストロボ画像を生成することもできる(特許文献1の方法では、そのようなストロボ画像の生成は不可能である)
尚、本実施形態では、複数の選択画像からストロボ画像を生成しているが、ストロボ画像の生成は必須ではない。複数の選択画像は追尾対象に注目した所謂コマ送り画像として機能し、複数の選択画像に注目した場合においても、異なる時刻の追尾対象の位置間隔が所望のものに調整される等の作用及び効果は実現されている。
<<第3実施形態>>
本発明の第3実施形態を説明する。注目すべき特定被写体が望ましい位置間隔で配置された複数の撮影画像(図3に示す例では、画像311〜314)は、動画像中のフレーム画像列であっても良い。動画像を形成するフレーム画像列からストロボ画像を生成する方法を第3実施形態において説明する。第3実施形態は、第1実施形態を基礎とする実施形態であり、第3実施形態において特に述べない事項に関しては、矛盾なき限り第1実施形態の記載を本実施形態にも適用することができる。第3実施形態における以下の説明は、特に記述なき限り、撮影モードにおいて有効に機能する撮像装置1の構成及び撮影モードにおける撮像装置1の動作の説明である。
撮像部11の撮影によって得られる動画像が、画像I1、I2、I3、・・・In、In+1、In+2・・・を含んで形成されるものとする(nは整数)。第1実施形態では、画像In〜In+p−1が対象画像であって且つ画像In−1及びそれ以前に撮影された画像がプレビュー画像であると捉えたが(図4参照)、本実施形態において、それらは全て動画像600を形成するフレーム画像であると捉える。フレーム画像Ii+1はフレーム画像Iiの次に撮影されるフレーム画像である(iは整数)。
図24に、動画像600を形成するフレーム画像列の一部を示す。動画像600は、録画ボタン26a(図1参照)の押下操作に従って撮影されるものであっても良く、外部メモリ18に記録されるべき動画像であっても良い。ユーザは、動画像600の撮影中に、ストロボ用特定操作を成すことができる。ストロボ用特定操作は、例えば、図1の操作部26に対する所定操作又は所定のタッチパネル操作である。ストロボ用特定操作が成されると、動画像600を形成する一部のフレーム画像列が対象フレーム画像列として設定され、対象フレーム画像列から、第1実施形態で述べたようなストロボ画像が生成される。ここでは、ストロボ用特定操作がフレーム画像Inの撮影直前において成され、その結果、フレーム画像In〜In+p−1が、対象フレーム画像列を形成する複数の対象フレーム画像に設定された場合を想定する。pは、対象フレーム画像の枚数を表している。第1実施形態で述べたようにpは2以上の整数である。pは、予め設定した固定値であっても良いし、ユーザが自由に定められる値であっても良い。尚、対象フレーム画像よりも前に撮影されたフレーム画像(即ち例えば、フレーム画像In−1等)を、特に、非対象フレーム画像とも呼ぶ。
図25は、撮像装置1に内包される部位のブロック図である。図25に示される各部位は、図1のCPU23又は映像信号処理部13によって実現される。例えば、追尾処理部(物体検出部)151及びストロボ画像生成部(画像合成部)154を映像信号処理部13に実装しておくことができ、CPU23内に追尾対象特性算出部(物体特性導出部)152及び撮影制御部153を設けておくことができる。
図25の追尾処理部151、追尾対象特性算出部152、撮影制御部153及びストロボ画像生成部154は、夫々、第1実施形態における追尾処理部51、追尾対象特性算出部52、連写制御部53及びストロボ画像生成部54の機能を実現でき(図5参照)、それらの機能に関して第1実施形態で述べた事項を本実施形態に適用する際、第1実施形態における入力動画像、プレビュー画像、対象画像及び連写間隔を、夫々、本実施形態においては動画像600、非対象フレーム画像、対象フレーム画像及び撮影間隔に読み替えればよい。
即ち、追尾処理部151は、動画像600の画像データに基づいて動画像600上における追尾対象を動画像600上で追尾する追尾処理を実行し、各フレーム画像における追尾対象の位置及び大きさを表す情報を含む追尾結果情報を出力する。
追尾対象特性算出部152は、非対象フレーム画像列に対して行った追尾処理の追尾結果情報に基づいて、画像空間上における追尾対象の移動速度SPを算出すると共に追尾対象の大きさに応じた被写体サイズ(物体サイズ)SIZEを算出する。移動速度SPは、対象フレーム画像列上における追尾対象の移動速度の推定値として機能し、被写体サイズSIZEは、各対象フレーム画像上における追尾対象の大きさの推定値として機能する。2枚以上の非対象フレーム画像における追尾対象領域の位置及び大きさに基づいて、移動速度SP及び被写体サイズSIZEを算出することができる。この算出方法は、第1実施形態で述べた方法、即ち、2枚以上のプレビュー画像における追尾対象領域の位置及び大きさに基づき移動速度SP及び被写体サイズSIZEを算出する方法と同様である。例えば、2枚の非対象フレーム画像をIA及びIBで表した場合、非対象フレーム画像IA及びIBにおける追尾対象領域の位置及び大きさから移動速度SP及び被写体サイズSIZEを算出することができ(図7参照)、非対象フレーム画像IA及びIBは、例えば夫々非対象フレーム画像In−2及びIn−1である。
撮影制御部153は、追尾対象特性算出部152にて算出された移動速度SPに基づき、第1実施形態にて述べた式(2)に従って、INTTGTの値を決定する。この際、第1実施形態で述べたように、式(2)における目標被写体間隔αを、追尾対象特性算出部152にて算出された被写体サイズSIZEに基づき、或いは、ユーザの指示に基づき決定することができる。第1実施形態ではINTTGTによって表される物理量を連写間隔と呼んでいたが、本実施形態においては、INTTGTによって表される物理量を撮影間隔と呼ぶ。撮影間隔INTTGTは、時間的に隣接する2枚の対象フレーム画像(例えば、In及びIn+1)の撮影時刻間の間隔を指す。対象フレーム画像Inの撮影時刻とは、厳密には例えば、対象フレーム画像Inの露光期間の開始時刻又は中間時刻を指す(他の任意のフレーム画像についても同様)。
撮影制御部153は、撮影間隔INTTGTの設定後、撮影間隔INTTGTにてp枚の対象フレーム画像が連続的に撮影されるように、即ち、フレームレート(1/INTTGT)にてp枚の対象フレーム画像が撮影されるように、TG22(図1参照)と協働して撮像部11を制御し、これによって略一定の位置間隔で追尾対象が配置されたp枚の対象フレーム画像を取得する。図25に示す如く、撮影制御部153に撮影可否判断部155及び報知制御部156を設けておき、撮影可否判断部155及び報知制御部156に、図5の連写可否判断部55及び報知制御部56と同様の機能を持たせるようにしても良い。
ストロボ画像生成部154は、対象フレーム画像In〜In+p−1に対する追尾結果情報と対象フレーム画像In〜In+p−1の画像データに基づき、対象フレーム画像In〜In+p−1の追尾対象領域内の画像を合成することでストロボ画像を生成する。生成されたストロボ画像を外部メモリ18に記録することができる。画像In〜In+p−1に基づくストロボ画像の生成方法は、第1実施形態で述べた通りである。尚、上述してきたストロボ画像は静止画像である。静止画像としてのストロボ画像と、以下に示す動画像形式のストロボ画像とを区別すべく、静止画像としてのストロボ画像を、必要に応じて以下ではストロボ静止画像とも呼ぶ。
ストロボ画像生成部154は、ストロボ動画像を生成することもできる。pが3であって且つ対象フレーム画像In〜In+2が、夫々、図26に示す画像611〜613である場合を想定して、それらに基づくストロボ動画像630を説明する。ストロボ動画像630は、3枚のフレーム画像631〜633から成る動画像である。フレーム画像631は、画像611と同じものである。フレーム画像632は、画像611及び612に対する追尾結果情報と画像611及び612の画像データに基づき、画像611及び612の追尾対象領域内の画像を合成することで得たストロボ静止画像である。フレーム画像633は、画像611〜613に対する追尾結果情報と画像611〜613の画像データに基づき、画像611〜613の追尾対象領域内の画像を合成することで得たストロボ静止画像である。このようにして得たフレーム画像631〜633を、この順番で時系列上に並べることにより、ストロボ動画像630が形成される。生成されたストロボ動画像630を外部メモリ18に記録することができる。
図27を参照して、第3実施形態に係る撮像装置1の動作の流れを説明する。図27は、この動作の流れを表すフローチャートである。まず、ステップS111において、追尾対象の設定が成されるのを待機する。追尾対象が設定されると、ステップS111からステップS112に移行し、追尾対象に対する追尾処理が実行開始される。追尾対象の設定後においては、ステップS112以外においても追尾処理が継続的に実行される。説明の便宜上、追尾対象の設定後、フレーム画像の夫々に追尾対象領域の全体(即ち、追尾対象の全体像)が含まれているものとする。尚、外部メモリ18への動画像600の記録は、追尾対象の設定前から開始されていても良いし、追尾対象の設定後に開始されても良い。
追尾処理の実行開始後、ステップS113においてストロボ用特定操作が成されたか否かが確認され、ストロボ用特定操作が成されたことが確認されると、その時点で得られている最新の追尾結果情報(2枚以上の非対象フレーム画像の追尾結果情報)に基づき、移動速度SP及び被写体サイズSIZEが算出され、更に移動速度SP及び被写体サイズSIZEを用いて撮影間隔INTTGTが設定されて対象フレーム画像列が撮影される(ステップS114及びS115)。即ち、対象フレーム画像列用のフレームレート(1/INTTGT)が設定され、その設定内容に従って実際に撮像部11のフレームレートが基準レートから(1/INTTGT)へと変更されてから、対象フレーム画像In〜In+p−1が撮影される。基準レートは、非対象フレーム画像に対するフレームレートである。
対象フレーム画像In〜In+p−1の撮影が完了すると、フレームレートは基準レートへと戻される(ステップS116)。その後、任意のタイミングにおいて、対象フレーム画像列から、ストロボ静止画像(例えば、図26のストロボ静止画像633)又はストロボ動画像(例えば、図26のストロボ動画像630)が生成される。
ストロボ用特定操作が成されたとき、対象フレーム画像列の撮影前に(或いは撮影中に)、撮影可否判断部155による対象フレーム画像の撮影可否判断及び/又は報知制御部156による撮影間隔報知を実行するようにしても良い。即ち例えば、ストロボ用特定操作が成されたとき、図28のステップS121〜S123の処理を実行するようにしても良い。ステップS121において、撮影可否判断部155は、p枚の対象フレーム画像の撮影可否を判断する。この判断方法は、図5の連写可否判断部55による、p枚の対象画像の連写可否の判断方法と同様である。連写可否判断部55によってp枚の対象画像の連写が可能と判断される状況下においては、撮影可否判断部155によってp枚の対象フレーム画像の撮影は可能と判断され、連写可否判断部55によってp枚の対象画像の連写が不可能と判断される状況下においては、撮影可否判断部155によってp枚の対象フレーム画像の撮影は不可能と判断される。撮影可否判断部155によってp枚の対象フレーム画像の撮影が不可能であると判断された場合、ステップS122において、報知制御部156は、音声や映像により、その旨をユーザに知らせる。また、ステップS123において、報知制御部156は、撮影間隔INTTGTに応じた情報を撮像装置1の外部に報知する。報知の方法は、第1実施形態で述べたものと同様である。
本実施形態によれば、追尾対象の移動速度に応じて追尾対象が望ましい位置間隔で配置されるようにフレームレートが最適化される。即ち、異なる時刻の追尾対象の位置間隔が最適化され、結果例えば、ストロボ画像上において異なる時刻の追尾対象の像が重なり合うこと等を防止することができる(図20参照)。また、後の方で撮影される対象フレーム画像(例えば、対象フレーム画像In+p−1)に追尾対象が含まれなくなる(図21参照)、或いは、追尾対象の位置変化の乏しい対象フレーム画像列が撮影される(図20参照)、といった事態の発生も防止される。
第1及び第3実施形態間には共通点が多い。第1実施形態においては、連写によってp枚の対象画像から成る対象画像列が得られるのに対し、第3実施形態においては、動画像600の撮影に伴ってp枚の対象フレーム画像から成る対象フレーム画像列が得られる。第1実施形態における連写制御部53又は第3実施形態における撮影制御部153(図5又は25参照)は、p枚の対象画像又はp枚の対象フレーム画像を撮像部11に取得させる撮影制御部として機能する。第1実施形態における連写間隔INTTGTは、時間的に隣接する2枚の対象画像(例えば、In及びIn+1)の撮影時刻間の間隔であるから、第1実施形態における連写間隔を、第3実施形態と同様、撮影間隔と呼ぶこともできる。また、第1実施形態におけるプレビュー画像を非対象画像と呼ぶこともできる。また、対象画像列の連写可否と対象画像列の撮影可否は同義であるから、図5の連写可否判断部55を、対象画像列の撮影可否を判断する撮影可否判断部と呼ぶこともできる。
尚、ストロボ画像の生成は必須ではない(後述の他の実施形態においても同様)。複数の対象フレーム画像(又は、後述の複数の選択画像)は追尾対象に注目した所謂コマ送り画像として機能し、複数の対象フレーム画像(又は、後述の複数の選択画像)に注目した場合においても、異なる時刻の追尾対象の位置間隔が所望のものに調整される等の作用及び効果は実現されている。
また、追尾対象特性算出部152にて算出された移動速度SPに基づき、各対象フレーム画像の露光期間の時間長さ(以下、露光時間と呼ぶ)を設定するようにしても良い。具体的には例えば、その移動速度SPが大きくなるに従って各対象フレーム画像の露光時間が短くなるように、各対象フレーム画像の露光時間を設定すると良い。これにより、各対象フレーム画像上における追尾対象の像ぶれを抑制することが可能となる。この露光時間の設定処理は、上述の第1実施形態にも適用可能である。即ち、上述の第1実施形態において、追尾対象特性算出部52にて算出された移動速度SPに基づき、移動速度SPが大きくなるに従って各対象画像の露光時間が短くなるように、各対象画像の露光時間を設定すると良い。
<<第4実施形態>>
本発明の第4実施形態を説明する。動画像を形成するフレーム画像列からストロボ画像を生成する他の方法を第4実施形態において説明する。第4実施形態は、第1及び第3実施形態を基礎とする実施形態であり、第4実施形態において特に述べない事項に関しては、矛盾なき限り第1又は第3実施形態の記載を本実施形態にも適用することができる。第4実施形態における以下の説明は、特に記述なき限り、撮影モードにおいて有効に機能する撮像装置1の構成及び撮影モードにおける撮像装置1の動作の説明である。
第4実施形態においても、第3実施形態と同様、フレーム画像I1、I2、I3、・・・In、In+1、In+2・・・を含んで形成される動画像600が撮影によって得られることを想定する。
図29に、動画像600を形成するフレーム画像列の一部を示す。ユーザは、動画像600の撮影中に、ストロボ用特定操作を成すことができる。第3実施形態と異なり、第4実施形態では、ストロボ用特定操作が成されると、動画像600を形成する一部のフレーム画像が対象フレーム画像候補に設定される。その後、複数の対象フレーム画像候補から複数の対象フレーム画像が選択され、複数の対象フレーム画像に基づき、第1若しくは第3実施形態で述べたようなストロボ静止画像又は第3実施形態で述べたようなストロボ動画像が生成される。ここでは、ストロボ用特定操作がフレーム画像Inの撮影直前において成され、その結果、フレーム画像In及びそれ以降に得られるフレーム画像の夫々が対象フレーム画像候補に設定された場合を想定する。尚、対象フレーム画像候補よりも前に撮影されたフレーム画像(即ち例えば、フレーム画像In−1等)を、特に、非対象フレーム画像とも呼ぶ。
図30は、撮像装置1に内包される部位のブロック図である。図30に示される撮影制御部153aを図1のCPU23によって実現することができる。撮影制御部153aは、図25の撮影制御部153に対象画像選択部157を付与したものである。但し、撮影制御部153aは、撮影制御部153が実行するようなフレームレート制御を実行しない。
図30の追尾処理部151、追尾対象特性算出部152、撮影制御部153a及びストロボ画像生成部154は、夫々、第1実施形態における追尾処理部51、追尾対象特性算出部52、連写制御部53及びストロボ画像生成部54の機能を実現でき(図5参照)、それらの機能に関して第1実施形態で述べた事項を本実施形態に適用する際、第1実施形態における入力動画像、プレビュー画像、対象画像及び連写間隔を、夫々、本実施形態においては動画像600、非対象フレーム画像、対象フレーム画像及び撮影間隔に読み替えればよい。追尾処理部151、追尾対象特性算出部152及びストロボ画像生成部154の動作は、第3及び第4実施形態間で同じである。
対象画像選択部157は、追尾対象特性算出部152にて算出された移動速度SPに基づき、第1実施形態にて述べた式(2)に従って、INTTGTの値を決定する。この際、第1実施形態で述べたように、式(2)における目標被写体間隔αを、追尾対象特性算出部152にて算出された被写体サイズSIZEに基づき、或いは、ユーザの指示に基づき決定することができる。第1実施形態ではINTTGTによって表される物理量を連写間隔と呼んでいたが、本実施形態においては、INTTGTによって表される物理量を基準間隔と呼ぶ。基準間隔INTTGTは、時間的に隣接する2枚の対象フレーム画像(例えば、In及びIn+3)の撮影時刻の理想的な間隔を指す。
第3実施形態とは異なり、第4実施形態では、動画像600の撮影におけるフレームレートが一定のレートにて固定される。対象画像選択部157は、基準間隔INTTGTに基づき、対象フレーム画像候補の中からp枚の対象フレーム画像を選択する。この選択後、ストロボ画像生成部154は、第3実施形態で述べた方法に従い、任意のタイミングにおいて、p枚の対象フレーム画像及び追尾結果情報に基づき、ストロボ静止画像又はストロボ動画像を生成することができる。
説明の具体化のため、動画像600の撮影におけるフレームレートが60fps(frame per second)にて固定され且つp=3である場合を想定して、対象フレーム画像の選択方法を説明する。この場合、時間的に隣接するフレーム画像の撮影間隔は、1/60秒である。図31(a)に示す如く、フレーム画像Inの撮影時刻をtOで表し、フレーム画像In+iの撮影時刻を(tO+i×1/60)で表す。時刻(tO+i×1/60)は、時刻tOから(i×1/60)秒だけ経過した時刻を指す。図31(a)では、対象フレーム画像として選択されることとなるフレーム画像In、In+3及びIn+6の外枠を太線で示している(後述の図31(b)及び(c)も同様)。
まず、対象画像選択部157は、基準間隔INTTGTに関係なく、1番目の対象フレーム画像候補であるフレーム画像Inを1番目の対象フレーム画像として選択する。次に、対象画像選択部157は、全ての対象フレーム画像候補の内、撮影時刻が時刻(tO+1×INTTGT)に最も近い対象フレーム画像候補を、2番目の対象フレーム画像に設定する。続いて、対象画像選択部157は、全ての対象フレーム画像候補の内、撮影時刻が時刻(tO+2×INTTGT)に最も近い対象フレーム画像候補を、3番目の対象フレーム画像に設定する。pが4以上である場合にも同様である。一般化すれば、対象画像選択部157は、全ての対象フレーム画像候補の内、撮影時刻が時刻(tO+(j−1)×INTTGT)に最も近い対象フレーム画像候補を、j番目の対象フレーム画像に設定することととなる(ここにおけるjは2以上の整数)。
従って例えば、動画像600のフレームレートが60fpsである場合において、基準間隔INTTGTが1/20秒であるならば画像In+3及びIn+6が2及び3番目の対象フレーム画像として選択され(図31(a)参照)、基準間隔INTTGTが1/16.5秒であるならば画像In+4及びIn+7が2及び3番目の対象フレーム画像として選択され(図31(b)参照)、基準間隔INTTGTが1/15秒であるならば画像In+4及びIn+8が2及び3番目の対象フレーム画像として選択される(図31(c)参照)。但し、基準間隔INTTGTが1/16.5秒であるときには、時間的に隣接する対象フレーム画像の撮影間隔を一定にするべく、画像In+4及びIn+8を2及び3番目の対象フレーム画像として選択するようにしても良い。
図32を参照して、第4実施形態に係る撮像装置1の動作の流れを説明する。図32は、この動作の流れを表すフローチャートである。まず、ステップS131において、追尾対象の設定が成されるのを待機する。追尾対象が設定されると、ステップS131からステップS132に移行し、追尾対象に対する追尾処理が実行開始される。追尾対象の設定後においては、ステップS132以外においても追尾処理が継続的に実行される。説明の便宜上、追尾対象の設定後、フレーム画像の夫々に追尾対象領域の全体(即ち、追尾対象の全体像)が含まれているものとする。尚、外部メモリ18への動画像600の記録は、追尾対象の設定前から開始されていても良いし、追尾対象の設定後に開始されても良い。但し、少なくとも1番目の対象フレーム画像候補の撮影前には、外部メモリ18への動画像600の記録が開始されているものとする。
追尾処理の実行開始後、ステップS133においてストロボ用特定操作が成されたか否かが確認される。ストロボ用特定操作が成されたことが確認されると、ステップS134において、その時点で得られている最新の追尾結果情報(2枚以上の非対象フレーム画像の追尾結果情報)に基づき移動速度SP及び被写体サイズSIZEが算出され、移動速度SP及び被写体サイズSIZEを用いて基準間隔INTTGTが算出される。対象画像選択部157は、上述したように、基準間隔INTTGTを用いて対象フレーム画像候補の中からp枚の対象フレーム画像を選択する。
動画像600を形成するフレーム画像の画像データは時系列順に外部メモリ18へと記録されるが、この際、対象フレーム画像に対しては合成用タグが付与される(ステップS135)。具体的には例えば、動画像600の画像データを格納する画像ファイルのヘッダ領域に、対象フレーム画像が何れのフレーム画像であるのかを指し示す合成用タグを格納しておけばよい。当該画像ファイルを外部メモリ18に保存することで、動画像600の画像データ及び合成用タグが互いに関連付けられた状態で外部メモリ18に記録されることとなる。
動画像600の記録後、任意のタイミングにおいて、ストロボ画像生成部154は、外部メモリ18に記録された合成用タグに基づき外部メモリ18からp枚の対象フレーム画像を読み出すことができ、読み出したp枚の対象フレーム画像から、ストロボ静止画像(例えば、図26のストロボ静止画像633)又はストロボ動画像(例えば、図26のストロボ動画像630)を生成することができる。
尚、ストロボ用特定操作が成されたとき、第3実施形態と同様、対象フレーム画像候補の撮影前に(或いは撮影中に)、撮影可否判断部155による対象フレーム画像の撮影可否判断及び/又は報知制御部156による撮影間隔報知を実行するようにしても良い。
本実施形態によれば、追尾対象が望ましい位置間隔で配置されるように対象フレーム画像が選択される。即ち、対象フレーム画像列上において異なる時刻の追尾対象の位置間隔が最適化され、結果例えば、ストロボ画像上において異なる時刻の追尾対象の像が重なり合うこと等を防止することができる(図20参照)。また、後の方で撮影される対象フレーム画像に追尾対象が含まれなくなる(図21参照)、或いは、追尾対象の位置変化の乏しい対象フレーム画像列が取得される(図20参照)、といった事態の発生も防止される。
尚、第3実施形態でも述べたように、追尾対象特性算出部152にて算出された移動速度SPに基づき、各対象フレーム画像候補の露光時間を設定するようにしても良い。具体的には例えば、その移動速度SPが大きくなるに従って各対象フレーム画像候補の露光時間が短くなるように、各対象フレーム画像候補の露光時間を設定すると良い。これにより、各対象フレーム画像候補及び各対象フレーム画像上における追尾対象の像ぶれを抑制することが可能となる。
<<第5実施形態>>
本発明の第5実施形態を説明する。第5実施形態は、第2実施形態を基礎とする実施形態であり、第5実施形態において特に述べない事項に関しては、矛盾なき限り第2実施形態の記載を本実施形態にも適用することができる。第5実施形態においても、第2実施形態と同様、特殊再生モードにおける撮像装置1の動作を説明する。特殊再生モードにおいては、図13の追尾処理部61、画像選択部62及びストロボ画像生成部63が有意に動作する。
第2実施形態で述べたように、所定のフレームレートにて撮像部11が順次撮影を行うことで得た画像列をフレーム画像列として外部メモリ18に保存しておき、特殊再生モードにおいて、外部メモリ18から該フレーム画像列の画像データを読み出す。本実施形態におけるフレーム画像とは、特に記述なき限り、特殊再生モードにおいて外部メモリ18から読み出されたフレーム画像である。
追尾処理部61は、追尾対象の設定後、各フレーム画像に対して追尾処理を実行することにより、各フレーム画像上における追尾対象領域の位置及び大きさを表す情報を含む追尾結果情報を生成する。画像選択部62は、追尾処理部61からの追尾結果情報に基づいて、フレーム画像列の中から複数のフレーム画像を複数の選択画像として選択及び抽出し、各選択画像の画像データをストロボ画像生成部63に送る。ストロボ画像生成部63は、各選択画像に対する追尾結果情報と各選択画像の画像データに基づき、各選択画像の追尾対象領域内の画像を合成することでストロボ画像を生成する。生成されたストロボ画像を外部メモリ18に記録することができる。生成されるストロボ画像は、図26のストロボ静止画像633のようなストロボ静止画像であっても良いし、図26のストロボ動画像630のようなストロボ動画像であっても良い。第5実施形態において、選択画像の枚数をpにて表す(pは2以上の整数)。
外部メモリ18から読み出されるフレーム画像列としての動画像を、動画像700と呼ぶ。図33に、動画像700を形成するフレーム画像を示す。動画像700は、フレーム画像FI1、FI2、FI3、・・・FIn、FIn+1、FIn+2・・・を含んで形成されるものとする。第2実施形態で述べたように、フレーム画像FIi+1は、フレーム画像FIiの次に撮影された画像である(iは整数)。全てのフレーム画像に追尾対象の画像データが存在している必要はないが、説明の便宜上、動画像700を形成する全フレーム画像に追尾対象の画像データが存在しているものとする。また、動画像700のフレームレートFRは一定であるものとする。動画像700のフレームレートが60fpsのとき、FRは60である。FRの単位は、秒の逆数である。
ユーザは、選択画像の候補となるフレーム画像を、動画像700を形成するフレーム画像の中から自由に指定することができる。通常は、時間的に連続する複数のフレーム画像が選択画像の候補に設定される。今、図33に示す如く、m枚のフレーム画像FIn〜FIn+m−1が選択画像の候補として設定された場合を想定し、フレーム画像FIn〜FIn+m−1を候補画像(m枚の入力画像)とも呼ぶ。また、フレーム画像FInよりも前の撮影によって得られたフレーム画像(例えば、フレーム画像FIn−1)を、特に非候補画像(非対象入力画像)とも呼ぶ。mは2以上の整数であって、m>pを満たす。
画像選択部62は、追尾対象の移動速度SPの検出結果を利用して選択画像を決定することができる。画像選択部62による移動速度SPの検出方法は、非候補画像に基づく移動速度検出方法と候補画像に基づく移動速度検出方法とに大別される。
非候補画像に基づく移動速度検出方法では、非候補画像に対する追尾結果情報を利用し、複数の非候補画像上における追尾対象領域の位置に基づいて、候補画像列上における追尾対象の移動速度SPを推定検出する。例えば、互いに異なる2枚の非候補画像を図16のフレーム画像FIi及びFIjとして捉え、フレーム画像FIi及びFIjに対して求められた追尾対象間距離d[i,j]と動画像700のフレームレートFRから移動速度SPを算出する。動画像700のフレームレートFRからフレーム画像FIi及びFIj間の撮影時間差(即ち、フレーム画像FIiの撮影時刻とフレーム画像FIjの撮影時刻との間の時間差)を導出し、追尾対象間距離d[i,j]を該撮影時間差で割ることで移動速度SPを算出することができる。2枚の非候補画像としてのフレーム画像FIi及びFIjは、時間的に隣接するフレーム画像(例えば、フレーム画像FIn−2及びFIn−1、又は、フレーム画像FIn−3及びFIn−2)であっても良いし、時間的に隣接しないフレーム画像(例えば、フレーム画像FIn−3及びFIn−1、又は、フレーム画像FIn−4及びFIn−1)であっても良い。例えば、フレーム画像FIi及びFIjとして非候補画像FIn−2及びFIn−1を利用した場合、“SP=d[n−2,n−1]÷1/FR”に従って移動速度SPが算出され、フレーム画像FIi及びFIjとして非候補画像FIn−3及びFIn−1を利用した場合、“SP=d[n−3,n−1]÷2/FR”に従って移動速度SPが算出される。
候補画像に基づく移動速度検出方法では、候補画像に対する追尾結果情報を利用し、複数の候補画像上における追尾対象領域の位置に基づいて、候補画像列上における追尾対象の移動速度SPを検出する。例えば、互いに異なる2枚の候補画像を図16のフレーム画像FIi及びFIjとして捉え、フレーム画像FIi及びFIjに対して求められた追尾対象間距離d[i,j]と動画像700のフレームレートFRから移動速度SPを算出する。動画像700のフレームレートFRからフレーム画像FIi及びFIj間の撮影時間差(即ち、フレーム画像FIiの撮影時刻とフレーム画像FIjの撮影時刻との間の時間差)を導出し、追尾対象間距離d[i,j]を該撮影時間差で割ることで移動速度SPを算出することができる。2枚の候補画像としてのフレーム画像FIi及びFIjは、時間的に隣接するフレーム画像(例えば、フレーム画像FIn及びFIn+1、又は、フレーム画像FIn+1及びFIn+2)であっても良いし、時間的に隣接しないフレーム画像(例えば、フレーム画像FIn及びFIn+2、又は、フレーム画像FIn及びFIn+m−1)であっても良い。例えば、フレーム画像FIi及びFIjとして候補画像FIn及びFIn+1を利用した場合、“SP=d[n,n+1]÷1/FR”に従って移動速度SPが算出され、フレーム画像FIi及びFIjとして候補画像FIn及びFIn+2を利用した場合、“SP=d[n,n+2]÷2/FR”に従って移動速度SPが算出される。
一方で、画像選択部62は、第2実施形態で述べた目標被写体間隔βを決定する。画像選択部62は、第2実施形態で述べた方法に従って目標被写体間隔βを決定することができる。即ち例えば、被写体サイズSIZE’に応じて目標被写体間隔βを決定することができる。被写体サイズSIZE’の算出方法として、第2実施形態で述べた方法を利用することができる。即ち例えば、特定方向サイズLi及びLjの平均値(より具体的には、特定方向サイズLn及びLn+1など)を被写体サイズSIZE’として求めるようにしても良いし、被写体サイズSIZE’の導出前にmの値が定まっているならば特定方向サイズLn〜Ln+m−1の平均値を被写体サイズSIZE’として求めるようにしても良い。
画像選択部62は、まず、1番目の候補画像であるフレーム画像FInを1番目の選択画像に設定する。そして、検出した移動速度SPに基づき、異なる候補画像間における追尾対象の移動距離を推定する。動画像700のフレームレートはFRであるから、図34に示す如く、フレーム画像FIn及びFIn+i間における追尾対象の推定移動距離は“i×SP/FR”である。追尾処理部61による追尾対象の位置の検出結果に基づく推定移動距離“i×SP/FR”は、フレーム画像FIn及びFIn+i上における追尾対象間距離(換言すれば、フレーム画像FIn上における追尾対象の位置とフレーム画像FIn+i上における追尾対象の位置との間の距離)の推定値に相当する。
画像選択部62は、上記推定移動距離に基づく1番目及び2番目の選択画像上における追尾対象間距離が、追尾処理部61による追尾対象の大きさの検出結果に基づく基準距離とも言うべき目標被写体距離βよりも大きくなるように2番目の選択画像を候補画像列の中から抽出する。1番目の選択画像であるフレーム画像FInよりも後に撮影されたフレーム画像は、2番目の選択画像の候補となる。画像選択部62は、2番目の選択画像を抽出するために、変数jに(n+1)〜(n+m−1)までの整数を順次代入しつつ追尾対象間距離d[n,j]の推定値である推定移動距離“(j−n)×SP/FR”と目標被写体間隔βとを比較する。そして、不等式「(j−n)×SP/FR>β」を成立させる1以上の候補画像の中から、1番目の選択画像よりも後に撮影され且つ1番目の選択画像に対して最も時間的に近くに撮影された候補画像FIjを2番目の選択画像として選ぶ。今、jが(n+1)又は(n+2)である時には常に上記不等式が成立しない一方、jが(n+3)以上の整数である時には常に上記不等式が成立していたものとする。そうすると、候補画像FIn+3が2番目の選択画像として抽出される。
3番目以降の選択画像も同様にして選定される。即ち、画像選択部62は、推定移動距離に基づく2番目及び3番目の選択画像上における追尾対象間距離が、目標被写体距離βよりも大きくなるように3番目の選択画像を候補画像列の中から抽出する(但し、この際、2番目及び3番目の選択画像の撮影時間差をなるだけ小さくするという条件が課せられる)。
尚、3番目の選択画像を、1番目及び2番目の選択画像の撮影間隔から自動的に決定しても良い。即ち、1番目及び2番目の選択画像の撮影間隔と2番目及び3番目の選択画像の撮影間隔が同じとなるように、3番目の選択画像を決定するようにしても良い。この場合例えば、フレーム画像FIn+3が2番目の選択画像として抽出されると、自動的に、3番目の選択画像はフレーム画像FIn+6に決定される。4番目及びそれ以降の選択画像についても同様である。
図35を参照して、特殊再生モードにおける撮像装置1の動作の流れの一例を説明する。図35は、この動作の流れを表すフローチャートである。まず、ステップS161及びS162において、動画像700の再生を開始する一方で追尾対象の設定操作及び候補画像列の設定操作を促すメニューを表示部27に表示し、その状態において、ユーザによる追尾対象の設定操作及び候補画像列の設定操作を受け付ける。候補画像列の設定操作によって、ユーザは、動画像700中の任意の映像区間内のフレーム画像列を候補画像列に設定することができる。上述したように、候補画像列における1番目のフレーム画像を1番目の選択画像として抽出することができる。追尾対象及び候補画像列の設定が成されると、ステップS163にて変数iに1を代入した後、ステップS164においてフレーム画像FIn+iに追尾処理を実行することで、フレーム画像FIn+i上における追尾対象領域の位置及び大きさを検出する。尚、非候補画像を用いて移動速度SPを算出する場合には、非候補画像列に対しても追尾処理が成される。
続くステップS165において、追尾処理部61からの追尾結果情報に基づき、上述したような追尾対象間距離の推定値と目標被写体間隔βとの比較を行う。そして、前者が後者(β)よりも大きい場合には、ステップS166にてフレーム画像FIn+iを選択画像として抽出する一方、そうでない場合にはステップS168に直接移行する。ステップS166に続くステップ167では、選択画像の抽出数が予め定められた必要数(即ちpの値)と一致しているか否かが判断され、それらが一致している場合には、その時点で選択画像の抽出を終了する一方、それらが一致していない場合にはステップS167からステップS168に移行する。ユーザは、上記必要数を指定することができる。
ステップS168では変数iと候補画像の総枚数(即ち、mの値)が比較される。そして、現時点の変数iが該総枚数と一致している場合には、候補画像列の再生が終了したと判断して選択画像の抽出処理を終了する一方で、そうでない場合には変数iに1を加算してから(ステップS169)ステップS164に戻って上述の各処理を繰り返す。
本実施形態によっても、第2実施形態と同様の効果が得られる。
<<第6実施形態>>
本発明の第6実施形態を説明する。第6実施形態では、画像データの圧縮及び伸張の存在を考慮し、第2及び第5実施形態に適用可能な技術を説明する。説明の具体化のため、図33に示す動画像700が外部メモリ18に記録されている状態を考える。
動画像700を外部メモリ18に記録する際、図1の圧縮処理部16により、動画像700の画像データは所定の圧縮方式にて圧縮される。圧縮方式は任意である。例えば、MPEG(Moving Picture Experts Group)に規定された圧縮方式や、H.264に規定された圧縮方式を利用することができる。以下、圧縮された画像データを特に圧縮画像データとも呼び、圧縮の成されていない画像データを特に非圧縮画像データとも呼ぶ。動画像700を表示部27上で再生する際、外部メモリ18から読み出された動画像700の圧縮画像データは図1の伸張処理部19に送られ、伸張処理部19は、圧縮画像データを非圧縮画像データに戻す伸張処理を実行する。これによって得られた動画像700の非圧縮画像データを表示処理部20に転送することで、動画像700が映像として表示部27に表示される。
動画像700の非圧縮画像データは、各々が独立した静止画像の集まりである。従って、表示処理部20に転送されるものと同じ非圧縮画像データを、必要分だけ図1の内部メモリ17に書き込むようにすれば、内部メモリ17に保持された非圧縮画像データから、ストロボ静止画像又はストロボ動画像を生成することが可能である。実際には、ユーザによる候補画像列の設定操作(図35のステップS162参照)が成された後、候補画像列の再生区間中に表示処理部20に転送されるものと同じ非圧縮画像データを、内部メモリ17に書き込むようにすれば良い。圧縮画像データを元にしてストロボ画像を生成するためには、まず圧縮画像データを伸張する必要があるが、上述の如く、この伸張に映像再生用に成される伸張処理を利用することができる。
また、MPEGでは、フレーム間差分を利用して、圧縮動画像であるMPEG動画像が生成される。周知の如く、MPEG動画像は、3種類のピクチャ、即ち、フレーム内符号化画像(Intra-Coded Picture)であるIピクチャ、フレーム間予測符号化画像(Predictive-Coded Picture)であるPピクチャ、及び、フレーム内挿双方向予測符号化画像(Bidirectionally Predictive-Coded Picture)であるBピクチャから構成される。Iピクチャは、1枚のフレーム画像の映像信号を当該フレーム画像内で符号化することで得た画像であるため、Iピクチャ単独で1枚のフレーム画像の映像信号を復号することが可能である。一方で、Pピクチャ単独では、1枚のフレーム画像の映像信号を復号することができず、Pピクチャに対応するフレーム画像を復号するためには、他のピクチャとの差分演算等が必要である。Bピクチャについても同様である。従って、Pピクチャ及びBピクチャに対応するフレーム画像を復号するために必要な演算負荷は、Iピクチャのそれよりも重い。
これを考慮し、演算負荷の軽減を図るべく、第5実施形態における候補画像列をIピクチャのみにて形成するようにしても良い(同様に、第2実施形態におけるフレーム画像FI1〜FI10をIピクチャのみにて形成するようにしても良い)。この場合、動画像700のフレームレートが60fpsであっても、候補画像列のフレームレートは例えば3〜10fps程度となるが、追尾対象の移動速度がそれほど大きくない場合においては、問題が少ない。
<<変形等>>
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈1及び注釈2を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
[注釈1]
図13の追尾処理部61、画像選択部62及びストロボ画像生成部63を含んで形成される画像処理装置が撮像装置1内に設けられている例を上述したが、その画像処理装置は、撮像装置1の外部に設けられたものであっても良い。この場合、その外部の画像処理装置に対して、撮像装置1の撮影によって得られたフレーム画像列の画像データを供給することにより、その外部の画像処理装置にて選択画像の抽出及びストロボ画像の生成が成される。
[注釈2]
撮像装置1は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図5、図13、図25又は図30に示される各部位にて実行される処理の全部又は一部は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置1を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。