次に本発明の実施の形態について図面を参照して詳細に説明する。
図1は、本発明の実施の形態における撮像装置100の機能構成例を示すブロック図である。撮像装置100は、撮像部110と、カメラワーク検出部120と、記録制御部130と、ファイル取得部140と、画像変換部150と、操作受付部160と、画像合成部170と、画像メモリ180と、表示領域取出部190と、動画記憶部200と、メタデータ記憶部210と、表示用メモリ230と、表示制御部240と、表示部250とを備える。撮像装置100は、例えば、撮像された動画について、映像解析により特徴量を抽出し、この抽出された特徴量を用いて各種画像処理を施すことが可能なデジタルビデオカメラによって実現することができる。
撮像部110は、撮像レンズ(図示せず)を介して入射された被写体からの光を受光して光電変換を行うことにより、光の受光量に応じた画像信号を生成し、この画像信号に各種の信号処理を施すものである。そして、この信号処理が施された画像信号が動画(撮像動画)としてカメラワーク検出部120および記録制御部130に出力される。
カメラワーク検出部120は、撮像部110から出力された動画を解析して、撮影時における撮像装置100の動き情報(カメラワーク)を検出するものであり、この撮像装置100の動き情報に基づいて算出されたアフィン変換パラメータ(カメラワークパラメータ)を記録制御部130に出力する。すなわち、カメラワーク検出部120は、動画を構成する各画像から特徴点を抽出するとともに、この特徴点に対するオプティカルフロー(動きベクトル)を抽出し、この抽出された特徴点に対するオプティカルフローを解析して支配的な動きを見せた特徴点を選択し、この支配的な動きを見せた特徴点に対するオプティカルフローに基づいて撮像装置100の動きを推定する。ここで、支配的な動きとは、複数の特徴点に対するオプティカルフローの中で、比較的多数のオプティカルフローが示す規則的な動きを意味する。なお、カメラワーク検出部120については、図3を参照して詳細に説明する。
記録制御部130は、撮像部110から出力された動画を動画ファイルとして動画記憶部200に記録するとともに、カメラワーク検出部120から出力されたアフィン変換パラメータを、対応する動画およびフレームに関連付けてメタデータファイルとしてメタデータ記憶部210に記録するものである。
動画記憶部200は、記録制御部130の制御に基づいて撮像部110から出力された動画を動画ファイルとして記憶するものである。また、動画記憶部200は、ファイル取得部140からの要求に応じて動画ファイルをファイル取得部140に供給する。なお、動画記憶部200に記憶される動画ファイルについては、図4を参照して詳細に説明する。
メタデータ記憶部210は、記録制御部130の制御に基づいてカメラワーク検出部120から出力されたアフィン変換パラメータをメタデータファイルとして記憶するものである。また、メタデータ記憶部210は、ファイル取得部140からの要求に応じてメタデータファイルをファイル取得部140に供給する。なお、メタデータ記憶部210に記憶されるメタデータファイルについては、図4を参照して詳細に説明する。
ファイル取得部140は、操作受付部160により受け付けられた操作入力に応じて、動画記憶部200またはメタデータ記憶部210に記憶されている各ファイルの少なくとも1つを取得し、取得された各ファイルの情報を各部に供給するものである。具体的には、ファイル取得部140は、動画を再生する指示操作が操作受付部160により受け付けられた場合には、再生が指示された動画ファイルを動画記憶部200から取得するとともに、この動画ファイルに関連付けられてメタデータ記憶部210に記憶されているメタデータファイルを取得し、取得された動画ファイルの動画およびメタデータファイルのアフィン変換パラメータを画像変換部150に出力する。
画像変換部150は、ファイル取得部140から出力された動画ファイルの動画を構成する画像について、この画像に対応するアフィン変換パラメータを用いてフレーム毎にアフィン変換を施し、アフィン変換された画像を画像合成部170に出力するものである。なお、これらの画像変換については、図8乃至図19等を参照して詳細に説明する。
操作受付部160は、各種操作部材を備え、これらの操作部材から操作入力を受け付けると、受け付けた操作入力の内容をファイル取得部140または表示領域取出部190に出力するものである。なお、これらの操作部材については、図2を参照して詳細に説明する。また、操作受付部160の少なくとも一部と表示部250とをタッチパネルとして一体として構成するようにしてもよい。
画像合成部170は、画像メモリ180に保持されている直前までの各フレームに対応する合成画像に、画像変換部150によるアフィン変換後の画像を上書きすることにより画像を合成し、合成された新たな合成画像を画像メモリ180に保存するものである。また、画像合成部170は、表示倍率の値に応じて決定される表示領域の大きさに基づいて、画像変換部150によるアフィン変換前の現画像を表示用メモリ230に保持される合成画像に上書きすることにより合成する。なお、表示用メモリ230における現画像の合成については、図19等を参照して詳細に説明する。また、これらの画像合成については、図8乃至図19等を参照して詳細に説明する。ここで、画像合成部170は、画像変換部150によるアフィン変換後の画像を圧縮して画像メモリ180に保持されている合成画像に上書きし、表示用メモリ230に保持される合成画像に上書きされる現画像を非圧縮画像または圧縮された履歴画像よりも高解像度の撮像画像とする。これにより、合成画像を出力する際の履歴画像を圧縮画像とし、現画像を非圧縮画像または圧縮された履歴画像よりも高解像度の撮像画像とすることができる。
画像メモリ180は、画像合成部170により合成された合成画像を保持するワークバッファであり、保持されている合成画像を画像合成部170または表示領域取出部190に供給するものである。すなわち、画像メモリ180は、履歴画像を保持する画像メモリである。
表示領域取出部190は、画像メモリ180に保持されている合成画像から、表示の対象となる領域である表示領域の範囲内に存在する画像を取り出すものであり、取り出された画像を表示用メモリ230に保持させる。なお、この表示領域の範囲内に含まれる画像の取出しについては、図17乃至図19等を参照して詳細に説明する。
表示用メモリ230は、表示領域取出部190により画像メモリ180から取り出された画像を保持する表示用バッファであり、保持されている画像が表示部250に表示される。
表示制御部240は、表示用メモリ230に保持されている合成画像をフレーム毎に表示部250に順次表示させるものである。
表示部250は、表示制御部240の制御に基づいて、表示用メモリ230に保持されている現画像や合成画像を表示するものである。例えば、図2に示すように、液晶パネル251により実現することができる。
図2は、本発明の実施の形態における撮像装置100の外観を示す図である。すなわち、図2は、液晶パネル251およびその周辺部分を示す図である。
撮像装置100は、液晶パネル251と、ズームボタン161と、十字ボタン162とを備える。なお、ズームボタン161および十字ボタン162は、図1に示す操作受付部160に対応する。また、液晶パネル251は、図1に示す表示部250に対応する。なお、撮像装置100には、電源スイッチ、撮像画像記録指示ボタン等の他の操作部材が操作受付部160として備えられているが、ここでの図示および説明は省略する。
液晶パネル251は、撮像部110から出力された撮像動画を表示する液晶パネルである。なお、液晶パネル251は、各種の選択ボタン等を表示し、これらの選択ボタン等の領域を指等で触ることにより操作入力を行うことが可能なタッチパネルとするようにしてもよい。
ズームボタン161は、ズームの倍率を調整する際に操作されるボタンである。具体的には、図2に示すW(ワイド)ボタンおよびT(テレ)ボタンがズームボタン161に備えられている。そして、撮像時において、Wボタンが押下されている状態では、ズームレンズがワイド端側(広角側)に移動し、Tボタンが押下されている状態では、ズームレンズがテレ端側(望遠側)に移動する。また、動画再生時において、Wボタンが押下されている状態では、再生中の動画が順次縮小して表示され、Tボタンが押下されている状態では、再生中の動画が順次拡大して表示される。
十字ボタン162は、動画の再生時における表示領域を上下左右方向に移動させる場合に操作されるボタンである。具体的には、十字ボタン162の4つの矢印のうちの少なくとも1つを押下することにより、矢印で示される方向に表示領域を移動させることができる。
図3は、本発明の実施の形態におけるカメラワーク検出部120の機能構成例を示すブロック図である。カメラワーク検出部120は、特徴点抽出部121と、オプティカルフロー計算部122と、カメラワークパラメータ算出部123とを備える。
特徴点抽出部121は、撮像部110から出力された動画を構成するフレームに対応する画像から特徴点を抽出し、抽出された特徴点をオプティカルフロー計算部122に出力するものである。ここで、特徴点抽出部121は、撮像部110から出力された動画を構成するフレームのうちの先頭のフレームについては、画像全体から特徴点を抽出し、先頭以外のフレームについては、直前のフレームに対応する画像と比較して新しく撮影された領域部分から特徴点を抽出する。なお、特徴点として、例えば、縦方向または横方向にエッジの勾配が強い点(一般に「コーナー点」と呼ばれている。以下では、「コーナー点」と称する。)を抽出することができる。このコーナー点は、オプティカルフローの計算に強い特徴点であり、エッジ検出を用いて求めることができる。なお、このコーナー点の抽出については、図5および図6を参照して詳細に説明する。また、この例では、特徴点抽出部121は、先頭のフレームについては画像全体から特徴点を抽出し、先頭以外のフレームについては直前の画像と比較して新しく撮影された領域部分から特徴点を抽出するが、処理能力等に応じて、先頭以外の各フレームについても、画像全体から特徴点を抽出するようにしてもよい。
オプティカルフロー計算部122は、特徴点抽出部121から出力された各特徴点に対するオプティカルフローを計算するものであり、計算して求められたオプティカルフローをカメラワークパラメータ算出部123に出力する。具体的には、撮像部110から出力された動画を構成する連続する2つのフレーム(現フレームおよびこの直前のフレーム)に対応する各画像を比較することにより、直前のフレームに対応する画像における各特徴点に対応するオプティカルフローを、現フレームのオプティカルフローとして求める。また、オプティカルフローは、動画を構成するフレーム毎に求められる。なお、オプティカルフローを検出する検出方法として、勾配法やブロックマッチング方法等の検出方法を用いることができる。なお、このオプティカルフローの計算については、図5および図6を参照して詳細に説明する。
カメラワークパラメータ算出部123は、オプティカルフロー計算部122から出力された各特徴点に対応するオプティカルフローを用いて、カメラワークパラメータを算出するカメラワークパラメータ算出処理を行うものであり、算出されたカメラワークパラメータを記録制御部130に出力する。ここで、本発明の実施の形態では、再生の対象となる複数の動画を構成する各画像を撮像装置100の動きに合わせてそれぞれ変換して表示する。この画像の変換を行うため、オプティカルフロー計算部122により計算されたオプティカルフローを用いて撮像装置100の動きが抽出され、この抽出された動きに基づいて、カメラワークパラメータ(変換パラメータ)が計算される。なお、本発明の実施の形態では、再生の対象となる動画を構成する画像を変換する画像変換方法として、アフィン変換を用いる例について説明する。また、カメラワークパラメータとして、オプティカルフローに基づいて算出されたアフィン変換パラメータの行列の逆行列に対応するアフィン変換パラメータを用いる例について説明する。すなわち、本発明の実施の形態では、変換情報として用いられるアフィン変換パラメータを、連続する画像間の特徴点の動きを表すアフィン行列ではなく、連続する画像のうちの1つの画像を基準画像とした場合に、この基準画像の次の画像がどこに移動するかを示すアフィン行列に対応するアフィン変換パラメータと定義する。また、カメラワークパラメータとして、アフィン変換パラメータを用いる例について説明するが、射影変換等の他の画像変換方法を用いるようにしてもよい。なお、アフィン変換パラメータは、3点のベクトルを用いて計算して求めることができる。また、射影変換パラメータは、4点のベクトルを用いて計算して求めることができる。ここで、カメラワークパラメータは、撮像動画を構成する撮像画像のうちの少なくとも1つの撮像画像を基準にして他の撮像画像を変換するための変換情報であり、少なくとも撮像装置100の座標系で記述される位置情報および姿勢情報を含むものである。すなわち、カメラワークパラメータは、撮影者により撮影されている場合における撮像装置100の位置や姿勢に関する情報を含むものである。また、カメラワークパラメータ算出部123により求められたアフィン変換パラメータに基づいて、例えば、ズームイン、ズームアウト、パン、チルト、ローテーション等の撮影者の操作による撮像装置100の動きを推定することができる。なお、アフィン変換パラメータの計算については、図5および図6を参照して詳細に説明する。
図4は、本発明の実施の形態における動画記憶部200およびメタデータ記憶部210に記録されている各ファイルを模式的に示す図である。図4(a)では、動画記憶部200に記憶されている動画ファイル201乃至204と、動画ファイル201乃至204に関連付けてメタデータ記憶部210に記憶されているメタデータファイル211乃至213とを示す。ここで、動画記憶部200に記憶されている各動画ファイルを識別するための識別情報である動画IDが、各動画ファイルに付与されているものとする。例えば、動画ファイル201には「#1」が付与され、動画ファイル202には「#2」が付与され、動画ファイル204には「#n」が付与されている。
図4(b)では、動画記憶部200に記憶されている動画ファイル201と、動画ファイル201に関連付けてメタデータ記憶部210に記憶されているメタデータファイル211とを模式的に示す図である。ここで、動画ファイル201は、n枚のフレームで構成された動画のファイルであり、これらのn枚のフレームをフレーム「1」205乃至「n」208として示す。
また、メタデータファイル211には、動画ID214と、フレーム番号215と、アフィン変換パラメータ216とが関連付けて格納されている。
動画ID214は、対応する動画ファイルに付与されている動画IDであり、例えば、動画ファイル201に付与されている「#1」が格納される。
フレーム番号215は、対応する動画ファイルの動画を構成する各フレームの通し番号であり、例えば、動画ファイル201の動画を構成するフレーム「1」205乃至「n」208に対応する「1」乃至「n」が格納される。
アフィン変換パラメータ216は、フレーム番号215に対応する動画の各フレームについて計算されたアフィン変換パラメータである。なお、フレーム番号215の「1」に対応するアフィン変換パラメータ216「a1,b1,c1,d1,e1,f1」は、単位行列のアフィン変換パラメータである。また、フレーム番号215の「m(mは2以上の整数)」に対応するアフィン変換パラメータ216の「am,bm,cm,dm,em,fm」は、フレーム「m」の直前フレーム「m−1」に対するアフィン変換パラメータである。
次に、画像変換に用いられるアフィン変換パラメータを検出する検出方法について図面を参照して詳細に説明する。
図5(a)乃至(c)は、動画を構成するフレームに対応する画像の一例を示す図である。図6(a)は、図5に示す画像300に対応するフレームの1つ前のフレームに対応する画像について背景等を省略して簡略化した画像を示す図である。また、図6(b)および(c)は、図5に示す画像300について背景等を省略して簡略化した画像を示す図である。
図5および図6に示す画像300、320、330には、人が跨っている馬の像301、321、331と、この馬の像301、321、331の手前に設置されている蛇の像302、322、332とが含まれている。また、図5に示すように、これらの像の背景には旗や椅子等が存在し、この旗が風になびいている。
図6(a)に示す画像320は、図5(a)乃至(c)および図6(b)および(c)に示す画像300、330に対応するフレームの1つ前のフレームに対応する画像を簡略化した画像である。また、2つの連続するフレームに対応する画像320および330は、画面内の被写体がしだいに大きくなる場合における遷移を示す画像である。すなわち、この撮影時には、画面内の被写体をしだいに大きくする操作であるズームイン操作がされている。
本発明の実施の形態では、動画を構成する画像から特徴点を検出し、この特徴点に対応するオプティカルフローを用いてアフィン変換パラメータを計算する方法を例にして説明する。また、この例では、特徴点としてコーナー点を用いる場合について説明する。
ここで、図6(a)乃至(c)では、画像320および330から検出された3つのコーナー点に対応するオプティカルフローを用いてアフィン変換パラメータを計算する方法を例にして説明する。
例えば、図6(a)に示す画像320において、特徴点として、馬の像321における口付近のコーナー点323と、馬の像321における人のお尻付近のコーナー点324と、蛇の像322の口付近のコーナー点325とが検出されているものとする。この場合において、図6(b)に示す画像330において、勾配法やブロックマッチング法等により、画像320におけるコーナー点323、324および325に対するオプティカルフロー337、338および339が検出される。そして、この検出されたオプティカルフロー337、338および339に基づいて、画像320におけるコーナー点323、324および325に対応するコーナー点333、334および335が検出される。
ここで、例えば、図6(a)および(b)に示す画像320および330に含まれる馬の像321、331や蛇の像322、332は、地面に設置されているものであるため、撮像装置100の動きとは無関係に動くものではない。このため、馬の像321、331や蛇の像322、332について検出されたコーナー点に対して求められたオプティカルフローに基づいて、撮像装置100の動きを正確に推定することができる。例えば、図6(c)に示すように、画像330において検出された3つのオプティカルフロー337乃至339に基づいて、画像330が、点336を中心にして画像320を拡大したものであることを推定することができる。これにより、画像330の撮影時における撮像装置100の動きは、点336を中心とするズームイン動作であると判断することができる。このように、撮像装置100の動きとは無関係に動くものではない物体についてコーナー点を検出し、このコーナー点に対して求められたオプティカルフローに基づいて、一定の規則性を備える撮像装置100の動きを正確に検出することができる。このため、これらのコーナー点に対して求められたオプティカルフローを用いて、アフィン変換パラメータを計算して求めることができる。
しかしながら、風になびいている旗等のように、撮像装置100の動きとは無関係に動く物体が画像内に含まれる場合が考えられる。例えば、図5に示す画像300には、風になびいている旗が含まれている。このような撮像装置100の動きとは無関係に動く物体についてコーナー点が検出され、このコーナー点に対して求められたオプティカルフローを用いて撮像装置100の動きを推定する場合には、撮像装置100の動きを正確に推定することができない。
例えば、図5(b)に示す画像300において検出されたオプティカルフローを矢印で示すとともに、このオプティカルフローにより検出されたコーナー点を矢印の先端に白抜きの丸で示す。ここで、コーナー点303乃至305は、図6(b)および(c)に示すコーナー点333乃至335に対応するコーナー点である。また、コーナー点306乃至311は、馬の像301の背景に存在する旗について検出されたコーナー点である。そして、これらの旗が風になびいているため、風の影響による旗の動きがオプティカルフローとして検出されている。すなわち、コーナー点306乃至311に対応する各オプティカルフローは、撮像装置100の動きとは無関係に動く旗について検出されたものである。このため、アフィン変換パラメータを計算する場合に用いられる3つのオプティカルフローに、コーナー点306乃至311のうちの少なくとも1つのコーナー点に対応するオプティカルフローが含まれている場合には、正確な撮像装置100の動きを検出することができない。この場合には、正確なアフィン変換パラメータを計算することができない。
以上で示したように、例えば、撮像装置100の動きとは無関係に動く物体に対するオプティカルフロー(図5(b)に示すコーナー点306乃至311に対応する各オプティカルフロー)と、撮像装置100の動きとの関係で一定の規則性を備えるオプティカルフロー(図5(b)に示すコーナー点306乃至311に対応する各オプティカルフロー以外のオプティカルフロー)とが、撮影画像から検出されることがある。
そこで、本発明の実施の形態では、3個のオプティカルフローに基づいてアフィン変換パラメータを計算するアフィン変換パラメータ計算処理を複数回行い、複数のアフィン変換パラメータを求め、これらの複数のアフィン変換パラメータの中から最適なアフィン変換パラメータを選択する例について説明する。なお、この例では、動画を構成する各画像に含まれている動物体の大きさが、画像の面積に対して比較的小さいものとする。
ここで、アフィン変換について簡単に説明する。2次元上において、移動元の位置を(x,y)とし、アフィン変換後の移動先の位置を(x´,y´)とした場合に、アフィン変換の行列式は、式1で表すことができる。
ここで、a乃至fは、アフィン変換パラメータである。また、このアフィン変換パラメータによるアフィン行列AMを次の式で表すことができる。また、X方向のズーム成分XZ、Y方向のズーム成分YZ、X方向の並進成分XT、Y方向の並進成分YT、回転成分Rについては、それぞれ次の式で求めることができる。なお、単位行列の場合には、a=e=1、b=c=d=f=0となる。
次に、アフィン変換パラメータの計算方法について説明する。
最初に、動画を構成するフレームの中の1つのフレームである現フレームに対応する画像において、オプティカルフローが検出された特徴点の中から3個の特徴点が選択される。例えば、図5(b)に示す画像300において検出されたコーナー点(白抜きの丸で示す)の中からランダムに3個のコーナー点が選択される。なお、カメラワークパラメータとして、射影変換パラメータを用いる場合には、4個の特徴点がランダムに選択される。
続いて、選択された3個の特徴点に対応する3個のオプティカルフローを用いてアフィン変換パラメータが計算される。例えば、図5(b)に示す画像300におけるコーナー点(白抜きの丸で示す)の中から選択された3個のコーナー点に対応するオプティカルフロー(白抜きの丸に接続される矢印で示す)を用いてアフィン変換パラメータが計算される。このアフィン変換パラメータは、式1を用いて求めることができる。
続いて、求められたアフィン変換パラメータに基づいて、アフィン変換パラメータのスコアが計算される。具体的には、求められたアフィン変換パラメータを用いて、現フレームの直前のフレームに対応する画像における全ての特徴点の移動先の位置を求める。そして、このアフィン変換パラメータを用いて求められた特徴点の位置と、現フレームにおいて検出された特徴点の位置とを比較して、互いに対応する2つの特徴点の位置の差分値が特徴点毎に計算される。差分値として、例えば、互いに対応する2つの特徴点の位置間の絶対距離が計算される。続いて、計算された差分値と、予め設定されている閾値とを特徴点毎に比較して、その差分値が閾値よりも小さい特徴点の個数をアフィン変換パラメータのスコアとして求める。このように、オプティカルフローが検出された特徴点の中から3個の特徴点をランダムに選択し、これらの特徴点に対応するオプティカルフローに基づいてアフィン変換パラメータのスコアを算出する処理を所定回数繰り返し、アフィン変換パラメータのスコアを複数算出する。この所定回数は、比較の対象となる画像の種類や撮像装置100の処理能力等に応じて適宜設定するようにしてもよく、固定値を用いるようにしてもよい。この所定回数として、例えば、撮像装置100の処理能力を考慮して20回程度と設定することができる。
例えば、図5(b)に示す画像300において検出されたコーナー点の中から、コーナー点306乃至311以外のコーナー点が3個選択された場合を考える。このように選択された3個のコーナー点に対応する3個のオプティカルフローを用いてアフィン変換パラメータが計算されると、上述したように、この3個のオプティカルフローは一定の規則性を備えているため、直前のフレームに対応する画像を一定の規則に従って変換させるアフィン変換パラメータが求められる。このため、アフィン変換パラメータを用いて求められたコーナー点の位置と、現フレームにおいて検出されたコーナー点の位置とについて、コーナー点306乃至311以外のコーナー点に関して求められる差分値は、比較的小さい値が算出される。このため、アフィン変換パラメータのスコアは、大きい値になる。
一方、図5(b)に示す画像300において検出されたコーナー点の中から、コーナー点306乃至311のうちの少なくとも1個を含む3個のコーナー点が選択された場合を考える。このように選択された3個のコーナー点に対応する3個のオプティカルフローを用いてアフィン変換パラメータが計算されると、上述したように、この3個のオプティカルフローには、一定の規則性を備えていないオプティカルフローが含まれるため、直前のフレームに対応する画像を一定の規則に従って変換させるものではないアフィン変換パラメータが求められる。このため、アフィン変換パラメータを用いて求められたコーナー点の位置と、現フレームにおいて検出されたコーナー点の位置とについて求められる差分値は、任意のコーナー点で比較的大きい値が算出される。このため、アフィン変換パラメータのスコアは、小さい値になる。
続いて、求められた複数のアフィン変換パラメータのスコアの中で、スコアの値が最も大きいアフィン変換パラメータを代表アフィン変換パラメータとして選択する。そして、選択された代表アフィン変換パラメータの行列に対する逆行列を算出して、この逆行列のアフィン変換パラメータを現フレームに関連付けてメタデータ記憶部210に記録する。これにより、動画を構成する画像をアフィン変換する場合に、最適なアフィン変換パラメータを用いてアフィン変換することができる。
以上で示したように、動画を構成する各画像に人物や車等の動いている物体(動物体)が含まれている場合でも、画像の面積に対するその動物体の大きさが比較的小さい場合には、動物体の影響を受けずに撮像装置100の動きを抽出することができる。
また、撮像装置100の動きを抽出することによって、ズームイン、ズームアウト、パン、チルト、ローテーション等の意図的に撮影者が移動させたと思われる動きを推定することができる。
次に、本発明の実施の形態における撮像装置100の動作について図面を参照して説明する。
図7は、本発明の実施の形態における撮像装置100によるアフィン変換パラメータ検出処理の処理手順を示すフローチャートである。
最初に、撮像部110からの動画が入力される(ステップS900)。続いて、撮像部110から出力された動画がデコードされ、時系列の順序で1つのフレームの画像が取得される(ステップS901)。続いて、取得された1つのフレームが、撮像部110から出力された動画の先頭のフレームであるか否かが判断される(ステップS902)。取得された1つのフレームが、先頭のフレームである場合には(ステップS902)、この先頭のフレームに対応する画像の全体から特徴点が抽出される(ステップS903)。例えば、図5(b)に示すように、画像において複数のコーナー点が抽出される。続いて、アフィン変換パラメータとして単位行列のアフィン変換パラメータが選択され(ステップS904)、ステップS914に進む。
一方、取得された1つのフレームが、先頭のフレームではない場合には(ステップS902)、直前のフレームに対応する画像を基準として新たに撮影された領域から特徴点が抽出される(ステップS905)。すなわち、直前のフレームに対応する画像において既に抽出されている特徴点については、この特徴点に対応するオプティカルフローにより求めることができるため、現フレームに対応する画像においては抽出されない。
続いて、直前のフレームに対応する画像から抽出された各特徴点に対するオプティカルフローが計算される(ステップS906)。すなわち、図5(b)に示すように、各コーナー点に対するオプティカルフローが計算される。
続いて、変数iが「1」に初期化される(ステップS907)。続いて、オプティカルフローが検出された特徴点の中から、M個の特徴点が選択される(ステップS908)。例えば、カメラワークパラメータとして、アフィン変換パラメータを用いる場合には、3個の特徴点がランダムに選択される。また、カメラワークパラメータとして、射影変換パラメータを用いる場合には、4個の特徴点がランダムに選択される。続いて、選択されたM個の特徴点に対応して計算されたM個のオプティカルフローに基づいて、アフィン変換パラメータが計算される(ステップS909)。
続いて、計算して求められたアフィン変換パラメータに基づいて、アフィン変換パラメータのスコアが計算される(ステップS910)。具体的には、計算して求められたアフィン変換パラメータを用いて、直前のフレームに対応する画像における全ての特徴点の移動先の位置を求める。そして、このアフィン変換パラメータを用いて求められた特徴点の位置と、ステップS906でオプティカルフローを計算した際に求められた現フレームに対応する画像における特徴点の位置とを比較して、互いに対応する2つの特徴点の位置の差分値が特徴点毎に計算される。差分値として、例えば、互いに対応する2つの位置間の絶対距離が計算される。続いて、計算された差分値と、予め設定されている閾値とを特徴点毎に比較して、その差分値が閾値よりも小さい特徴点の個数をアフィン変換パラメータのスコアとして求める。
続いて、変数iに「1」が加算され(ステップS911)、変数iが、定数Nよりも大きいか否かが判断される(ステップS912)。変数iが、定数N以下である場合には(ステップS912)、ステップS908に戻り、アフィン変換パラメータのスコア算出処理を繰り返す(ステップS908乃至S910)。例えば、定数Nとして、20を用いることができる。
一方、変数iが定数Nよりも大きい場合には(ステップS912)、求められたアフィン変換パラメータのスコアのうちで、スコアの値が最も大きいアフィン変換パラメータが代表アフィン変換パラメータとして選択される(ステップS913)。続いて、選択された代表アフィン変換パラメータの行列に対する逆行列のアフィン変換パラメータが、現フレームに関連付けてメタデータ記憶部210に記録される(ステップS914)。なお、現フレームが先頭のフレームである場合には、選択された単位行列のアフィン変換パラメータが、先頭のフレームに関連付けてメタデータ記憶部210に記録される。続いて、現フレームに対応する画像と、この画像における特徴点とが上書き保存される(ステップS915)。
続いて、現フレームが、撮像部110から出力された動画の最後のフレームであるか否かが判断される(ステップS916)。現フレームが、最後のフレームではない場合には(ステップS916)、ステップS901に戻り、アフィン変換パラメータ検出処理を繰り返す(ステップS901乃至S915)。一方、現フレームが、最後のフレームである場合には(ステップS916)、アフィン変換パラメータ検出処理を終了する。
本発明の実施の形態では、カメラワークパラメータの検出として、動画を構成する画像において検出されたオプティカルフローに基づいてアフィン変換パラメータを検出する例について説明したが、加速度センサやジャイロセンサ等のセンサやズーム操作をする際に用いられるズームボタン161によって撮影時における撮像装置100の移動量を検出し、この撮像装置100の移動量に基づいてカメラワークパラメータを求めるようにしてもよい。また、手振れ補正用に求められた動きベクトルに基づいてカメラワークパラメータを求めるようにしてもよい。さらに、加速度センサやジャイロセンサ等のセンシングデバイスにより検出された情報と、手振れ補正用に求めている動きベクトルとを組み合わせた情報に基づいてカメラワークパラメータを求めるようにしてもよい。なお、これらの撮影時において検出された撮像装置100の移動量については、カメラワークパラメータ算出部123により求められたカメラワークパラメータが正しいか否かを判断する際に用いることができる。また、カメラワークパラメータ算出部123により複数のカメラワークパラメータを検出しておき、撮影時において検出された撮像装置100の移動量に基づいて、この複数のカメラワークパラメータの中から1つのカメラワークパラメータを選択するようにしてもよい。
次に、カメラワーク検出部120により算出されたアフィン変換パラメータを用いて、動画を構成する各画像を合成する場合について図面を参照して詳細に説明する。なお、図8乃至図16に示す各画像は、説明のため、簡略化するとともに、連続する2つのフレーム間の移動量を大きくして示している。
最初に、撮像装置100の撮影時において、倍率が変更されないものの、撮像装置100の位置を中心として、撮像装置100のレンズの方向が上下左右の何れかに移動されている場合について説明する。
図8は、撮像装置100により撮影された動画の遷移の一例を示す図である。図8には、山を背景にして人400を撮影した場合における動画に含まれる連続するフレームに対応する画像401乃至403を示す図である。この例では、撮像装置100のレンズの方向を右および上側に移動しながら、撮影者が撮影を行っている場合を示す。この場合には、撮像装置100により撮影される動画に含まれる人400が、その動画を構成する画像において右側から左側に移動するとともに下側に移動する。
図9は、図8に示す各画像において、直前のフレームに対応する画像を破線で示すとともに、検出されるオプティカルフローの一例を示す図である。図9(a)に示す画像401は、図8(a)に示す画像401と同じものである。また、図9(b)に示す画像402のうちの実線の部分は、図8(b)に示す画像402と同じものであり、図9(b)に示す画像402のうちの破線の部分は、図9(a)に示す画像401の実線の部分と同じものである。また、図9(b)に示す画像402における矢印404乃至406は、画像402から検出されたオプティカルフローの一例を示す。同様に、図9(c)に示す画像403のうちの実線の部分は、図8(c)に示す画像403と同じものであり、図9(c)に示す画像403のうちの破線の部分は、図9(b)に示す画像402の実線の部分と同じものである。また、図9(c)に示す画像403における矢印407乃至409は、画像403から検出されたオプティカルフローの一例を示す。
図9(b)および(c)に示すように、撮像装置100の移動に合わせて、画像に含まれる人400および背景の山が移動する。この移動により検出されるオプティカルフローに基づいてアフィン変換パラメータをフレーム毎に求めることができる。
図10は、図8に示す画像401乃至403を含む動画を合成しながら再生する場合における画像合成例を示す図である。なお、本発明の実施の形態では、2つの動画を構成する各画像が合成されるため、再生時間の経過とともに、表示部250に表示される画像が通常の画像よりも大きくなる。このため、最初に表示される画像は、表示部250の表示領域の大きさよりも比較的小さくして表示される。なお、最初に表示される画像の大きさや位置等をユーザが指定するようにしてもよい。
図10(a)に示すように、最初は、先頭のフレームに対応する画像401のみが表示される。ここで、画像401に対応するアフィン変換パラメータの行列(3×3の行列)をA1とする場合に、A1の値が求められ、先頭のフレームの画像401の位置および大きさを基準にして、求められたA1の行列により画像401がアフィン変換される。ここで、Aは単位行列であるため、画像401の位置および大きさは変換されない。続いて、次のフレームに対応する画像402が表示される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて画像402がアフィン変換される。具体的には、画像402に対応するアフィン変換パラメータの行列をA2とし、画像401に対応するアフィン変換パラメータの行列をA1とする場合において、A1×A2の値が求められ、先頭のフレームの画像401の位置および大きさを基準にして、求められたA1×A2の行列により画像402がアフィン変換される。図10(b)に示す画像においては、画像402の位置のみが変換される。そして、アフィン変換パラメータによりアフィン変換された画像402が、直前のフレームに対応する画像401に重なるように上書きされる。すなわち、画像401の領域のうちで、画像402と重複する領域410については、画像402の画像が上書きされる。また、画像401の領域のうちで、画像402と重複しない領域411については、画像401の画像が合成される。すなわち、2つ目のフレームに対応する画像402が表示される場合には、図10(b)に示すように、画像402の全体部分と、画像401のうちの領域411に対応する部分とが合成された画像が表示される。また、表示されている画像のうちで最新の画像であることを示す画像枠を現フレームに対応する画像の周りに表示させることができる。図10(b)では、画像402に画像枠が表示される。また、画像402をアフィン変換したアフィン変換パラメータが画像変換部150に保持される。
続いて、次のフレームに対応する画像403が表示される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて画像403がアフィン変換される。すなわち、画像403に対応するアフィン変換パラメータの行列と、直前のアフィン変換に用いられた画像402に対応するアフィン変換パラメータの行列とを用いて求められたアフィン変換パラメータにより画像403がアフィン変換される。具体的には、画像403に対応するアフィン変換パラメータの行列をA3とし、画像402に対応するアフィン変換パラメータの行列をA2とし、画像401に対応するアフィン変換パラメータの行列をA1とする場合において、A1×A2×A3の値が求められ、先頭のフレームの画像401の位置および大きさを基準にして、求められたA1×A2×A3の行列により画像403がアフィン変換される。図10(c)に示す画像においては、画像403の位置のみが変換される。そして、アフィン変換パラメータによりアフィン変換された画像403が、前のフレームに対応する画像401および402の合成画像に重なるように上書きされる。すなわち、画像401および402の合成画像の領域のうちで、画像403と重複する領域413および414については、画像403の画像が上書きされる。また、画像401および402の合成画像の領域のうちで、画像403と重複しない領域411および412については、画像401および402の合成画像が合成される。すなわち、3つ目のフレームに対応する画像403が表示される場合には、図10(c)に示すように、画像403の全体部分と、画像401のうちの領域411に対応する部分と、画像402のうちの領域412に対応する部分とが合成された画像が表示される。また、表示されている画像のうちで最新の画像であることを示す画像枠を現フレームに対応する画像の周りに表示させる場合には、図10(c)に示す画像403に画像枠が表示される。また、画像403をアフィン変換したアフィン変換パラメータが画像変換部150に保持される。すなわち、画像402および403のそれぞれに対応するアフィン変換パラメータの行列の乗算により求められたアフィン変換パラメータが画像変換部150に保持される。このように、現フレームに対応する画像をアフィン変換する場合には、現フレームに対応するアフィン変換パラメータの行列と、この直前までの各フレームに対応するアフィン変換パラメータの行列とを用いて求められたアフィン変換パラメータにより、現フレームに対応する画像がアフィン変換される。このアフィン変換の際に求められたアフィン変換パラメータが画像変換部150に保持され、次のアフィン変換で用いられる。また、図13および図16の場合についても同様である。
次に、撮像装置100の撮影時において、撮像装置100のレンズの方向は移動されないものの、倍率が変更されている場合について説明する。
図11は、撮像装置100により撮影された動画の遷移の一例を示す図である。図11には、山を背景にして人420を撮影した場合における動画に含まれる連続するフレームに対応する画像421乃至423を示す図である。この例では、撮像装置100のレンズの倍率を上げながら、撮影者が撮影を行っている場合を示す。この場合には、撮像装置100により撮影される動画に含まれる人420が、その動画を構成する画像において次第に大きくなる。なお、倍率を上げる際に撮像装置100の位置が多少移動する場合があるものの、この例では、撮像装置100の位置の移動については考慮せずに説明する。
図12は、図11に示す各画像において、直前のフレームに対応する画像を破線で示すとともに、検出されるオプティカルフローの一例を示す図である。図12(a)に示す画像421は、図11(a)に示す画像421と同じものである。また、図12(b)に示す画像422のうちの実線の部分は、図11(b)に示す画像422と同じものであり、図12(b)に示す画像422のうちの破線の部分は、図11(a)に示す画像421の実線の部分と同じものである。また、図12(b)に示す画像422における矢印424乃至426は、画像422から検出されたオプティカルフローの一例を示す。同様に、図12(c)に示す画像423のうちの実線の部分は、図11(c)に示す画像423と同じものであり、図12(c)に示す画像423のうちの破線の部分は、図11(b)に示す画像422の実線の部分と同じものである。また、図12(c)に示す画像423における矢印427乃至429は、画像423から検出されたオプティカルフローの一例を示す。
図12(b)および(c)に示すように、倍率の変更に合わせて、画像に含まれる人420および背景の山の大きさが変更する。この変更により検出されるオプティカルフローに基づいてアフィン変換パラメータをフレーム毎に求めることができる。
図13は、図11に示す画像421乃至423を含む動画を再生する場合における表示例を示す図である。
図13(a)に示すように、最初は、先頭のフレームに対応する画像421のみが表示される。続いて、次のフレームに対応する画像422が表示される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて画像422がアフィン変換される。図13(b)に示す画像においては、画像422の大きさのみが変換される。そして、アフィン変換パラメータによりアフィン変換された画像422が、直前のフレームに対応する画像421に重なるように上書きされる。すなわち、画像421の領域のうちで、画像422と重複する領域については、画像422の画像が上書きされる。この場合には、画像421は、画像422の全ての領域と重複しているため、画像421に画像422の全ての画像が上書きされる。また、画像421の領域のうちで、画像422と重複しない領域431については、画像421の画像が合成される。すなわち、2つ目のフレームに対応する画像422が表示される場合には、図13(b)に示すように、画像422の全体部分と、画像421のうちの領域431に対応する部分とが合成された画像が表示される。また、表示されている画像のうちで最新の画像であることを示す画像枠を現フレームに対応する画像の周りに表示させることができる。図13(b)では、画像422に画像枠が表示される。また、画像422をアフィン変換したアフィン変換パラメータが画像変換部150に保持される。
続いて、次のフレームに対応する画像423が表示される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて画像423がアフィン変換される。すなわち、画像423に対応するアフィン変換パラメータの行列と、直前のアフィン変換に用いられた画像422に対応するアフィン変換パラメータの行列とを乗算して求められたアフィン変換パラメータにより画像423がアフィン変換される。図13(c)に示す画像においては、画像423の大きさのみが変換される。そして、アフィン変換された画像423が、前のフレームに対応する画像421および422の合成画像に重なるように上書きされる。すなわち、画像421および422の合成画像の領域のうちで、画像423と重複する領域については、画像423の画像が上書きされる。この場合には、画像423は、画像421および422の全ての領域と重複しているため、画像421および422の合成画像に画像423の全ての画像が上書きされる。また、画像421および422の合成画像の領域のうちで、画像423と重複しない領域432および433については、画像421および422の合成画像が合成される。すなわち、3つ目のフレームに対応する画像423が表示される場合には、図13(c)に示すように、画像423の全体部分と、画像421のうちの領域432に対応する部分と、画像422のうちの領域433に対応する部分とが合成された画像が表示される。また、表示されている画像のうちで最新の画像であることを示す画像枠を現フレームに対応する画像の周りに表示させる場合には、図13(c)に示す画像423に画像枠が表示される。また、画像423をアフィン変換したアフィン変換パラメータが画像変換部150に保持される。すなわち、画像422および423のそれぞれに対応するアフィン変換パラメータを用いて求められたアフィン変換パラメータが画像変換部150に保持される。
次に、撮像装置100の撮影時において、撮像装置100のレンズの方向や倍率は変更されないものの、撮影方向を回転中心にして撮像装置100が回転されている場合について説明する。
図14は、撮像装置100により撮影された動画の遷移の一例を示す図である。図14には、山を背景にして人440を撮影した場合における動画に含まれる連続するフレームに対応する画像441乃至443を示す図である。この例では、撮影方向を回転中心にして撮像装置100を回転しながら、撮影者が撮影を行っている場合を示す。この場合には、撮像装置100により撮影される動画に含まれる人440が、その動画を構成する画像において回転していく。なお、撮像装置100の回転により撮像装置100の位置が多少移動する場合があるものの、この例では、撮像装置100の位置の移動については考慮せずに説明する。
図15は、図14に示す各画像において、直前のフレームに対応する画像を破線で示すとともに、検出されるオプティカルフローの一例を示す図である。図15(a)に示す画像441は、図14(a)に示す画像441と同じものである。また、図15(b)に示す画像442のうちの実線の部分は、図14(b)に示す画像442と同じものであり、図15(b)に示す画像442のうちの破線の部分は、図14(a)に示す画像441の実線の部分と同じものである。また、図15(b)に示す画像442における矢印444乃至446は、画像442から検出されたオプティカルフローの一例を示す。同様に、図15(c)に示す画像443のうちの実線の部分は、図14(c)に示す画像443と同じものであり、図15(c)に示す画像443のうちの破線の部分は、図14(b)に示す画像442の実線の部分と同じものである。また、図15(c)に示す画像443における矢印447乃至449は、画像443から検出されたオプティカルフローの一例を示す。
図15(b)および(c)に示すように、撮像装置100の回転に合わせて、画像に含まれる人440および背景の山が回転移動する。この回転移動により検出されるオプティカルフローに基づいてアフィン変換パラメータをフレーム毎に求めることができる。
図16は、図14に示す画像441乃至443を含む動画を再生する場合における表示例を示す図である。
図16(a)に示すように、最初は、先頭のフレームに対応する画像441のみが表示される。続いて、次のフレームに対応する画像442が表示される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて画像442がアフィン変換される。図16(b)に示す画像においては、画像442の角度のみが変換される。そして、アフィン変換パラメータによりアフィン変換された画像442が、直前のフレームに対応する画像441に重なるように上書きされる。すなわち、画像441の領域のうちで、画像442と重複する領域450については、画像442の画像が上書きされる。また、画像441の領域のうちで、画像442と重複しない領域451および452については、画像441の画像が合成される。すなわち、2つ目のフレームに対応する画像442が表示される場合には、図16(b)に示すように、画像442の全体部分と、画像441のうちの領域451および452に対応する部分とが合成された画像が表示される。また、表示されている画像のうちで最新の画像であることを示す画像枠を現フレームに対応する画像の周りに表示させることができる。図16(b)では、画像442に画像枠が表示される。また、画像442をアフィン変換したアフィン変換パラメータが画像変換部150に保持される。
続いて、次のフレームに対応する画像443が表示される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて画像443がアフィン変換される。すなわち、画像443に対応するアフィン変換パラメータの行列と、直前のアフィン変換に用いられた画像442に対応するアフィン変換パラメータの行列とを用いて求められたアフィン変換パラメータにより画像443がアフィン変換される。図16(c)に示す画像においては、画像443の角度のみが変換される。そして、アフィン変換された画像443が、前のフレームに対応する画像441および442の合成画像に重なるように上書きされる。すなわち、画像441および442の合成画像の領域のうちで、画像443と重複する領域453乃至457については、画像443の画像が上書きされる。また、画像441および442の合成画像の領域のうちで、画像443と重複しない領域458乃至461については、画像441および442の合成画像がさらに合成される。すなわち、3つ目のフレームに対応する画像443が表示される場合には、図16(c)に示すように、画像443の全体部分と、画像441のうちの領域459に対応する部分と、画像442のうちの領域458および460に対応する部分とが合成された画像が表示される。また、表示されている画像のうちで最新の画像であることを示す画像枠を現フレームに対応する画像の周りに表示させる場合には、図16(c)に示す画像443に画像枠が表示される。また、画像443をアフィン変換したアフィン変換パラメータが画像変換部150に保持される。すなわち、画像442および443のそれぞれに対応するアフィン変換パラメータを用いて求められたアフィン変換パラメータが画像変換部150に保持される。
次に、表示部250に表示される合成画像を取り出す方法について図面を参照して詳細に説明する。
図17は、本発明の実施の形態における動画記憶部200に記憶されている動画ファイルの各フレームと、表示領域との関係を模式的に示す図である。ここでは、画像メモリ180、メタデータ記憶部210および操作受付部160についてのみ図示し、これら以外の構成についての図示を省略する。また、図4(b)に示す動画ファイル201を構成するフレーム「1」乃至「3」について、メタデータファイル211に記憶されているアフィン変換パラメータ216を用いて画像メモリ180に合成画像が作成される場合を例にして説明する。
図17(a)には、図4(b)に示す動画ファイル201を構成するフレームのうちの最初のフレームであるフレーム1(205)が画像メモリ180に保存される場合を示す。例えば、動画記憶部200に記憶されている動画ファイル201の再生を指示する再生指示の操作入力が操作受付部160により受け付けられると、図17(a)に示すように、動画ファイル201のフレーム1(205)に対応する画像351が画像メモリ180に保存される。ここで、最初のフレームに対応する画像351が画像メモリ180に保存される位置は、例えば、メタデータファイル211に記憶されている動画ファイル201に関するアフィン変換パラメータ216を用いてフレーム「1」乃至「n」までの合成画像の大きさを計算し、この計算に基づいて画像351が保存される位置を決定することができる。なお、この例では、画像メモリ180上に配置された画像351の左上の位置を原点とし、横方向(横軸)をx軸とし、縦方向(縦軸)をy軸として説明する。
図17(a)に示すように、画像メモリ180上に画像351が配置された場合における表示領域を表示領域361とする。表示領域361は、例えば、画像351が保存されている位置および大きさに基づいて、操作受付部160により受け付けられた表示倍率の値に応じて決定される。例えば、通常の再生時には、現画像のみを再生させる表示倍率が指定されているため、表示領域361は、画像351と同じ大きさとなる。また、例えば、現画像をズームアウトする「0.5倍」の表示倍率が指定されている場合には、表示領域361は、画像351を中心として画像351の2倍の大きさとなる。なお、画像351に対する表示領域361の位置は、アフィン変換パラメータにより決定することができる。すなわち、現画像をズームアウトする「0.5倍」の表示倍率が指定されている場合には、x方向およびy方向のズーム成分が2倍となるアフィン変換パラメータを用いて表示領域が設定される。また、現画像に対して表示領域を平行移動させる場合や回転させる場合についても、アフィン変換パラメータを用いることにより表示領域の位置および範囲を決定することができる。なお、この例では、現画像の変換とともに、表示領域が変換されるものの、フレーム1(205)に対応するアフィン変換パラメータは単位行列のパラメータであるため、フレーム1(205)に対応する表示領域361は、操作受付部160からの表示倍率指定のみが考慮されて決定される。
図17(b)には、図4(b)に示す動画ファイル201を構成するフレームのうちのフレーム2(665)が画像メモリ180に保存される場合を示す。この場合には、上述したように、フレーム番号215の「1」および「2」に関連付けてメタデータファイル211に記憶されているアフィン変換パラメータ216を用いてフレーム2(665)に対応する画像352が変換され、画像351に上書き合成されるとともに、表示領域についてもアフィン変換が施される。すなわち、画像351の位置および大きさを基準として、フレーム番号215の「1」および「2」に関連付けてメタデータファイル211に記憶されているアフィン変換パラメータ216を用いてフレーム2(665)に対応する画像352が変換される。そして、操作受付部160により受け付けられた表示倍率の値に応じて決定されるアフィン変換パラメータを用いて画像352の位置および大きさが変換され、この変換後の位置および大きさにより決定される領域が表示領域362となる。具体的には、フレーム番号215の「1」および「2」に対応するアフィン変換パラメータの行列をそれぞれA1、A2とし、操作受付部160により受け付けられた表示倍率の値に応じて決定されるアフィン変換パラメータの行列をB(例えば、現画像を基準とする行列)とする場合には、A1×A2×Bの値が求められ、画像351の位置および大きさを基準として、求められたA1×A2×Bの行列により表示領域362が決定される。
図17(c)には、図4(b)に示す動画ファイル201を構成するフレームのうちのフレーム3が画像メモリ180に保存される場合を示す。この場合についても、上述したように、フレーム番号215「1」乃至「3」に関連付けてメタデータファイル211に記憶されているアフィン変換パラメータ216を用いてフレーム3に対応する画像353が変換され、画像351および352に上書き合成されるとともに、表示領域についてもアフィン変換が施されて、画像353に対する表示領域363が決定される。具体的には、フレーム番号215の「1」乃至「3」に対応するアフィン変換パラメータの行列をそれぞれA1乃至A3とし、操作受付部160により受け付けられた表示倍率の値に応じて決定されるアフィン変換パラメータの行列をBとする場合には、A1×A2×A3×Bの値が求められ、画像351の位置および大きさを基準として、求められたA1×A2×A3×Bの行列により表示領域363が決定される。
図18は、動画の表示倍率を変更して表示させる場合における画像メモリ180に保持される画像と液晶パネル251に表示される画像との関係を概略的に示す図である。図18(a)には、液晶パネル251に現画像のみを表示させる場合を示し、図18(b)には、液晶パネル251に表示される動画を縮小表示(ズームアウト)させる場合を示し、図18(c)には、液晶パネル251に表示される動画を拡大表示(ズームイン)させる場合を示す。この例では、現画像の被写体に魚が含まれている場合を示す。
最初に動画の再生が指示された場合には、図18(a)に示すように、現画像491と表示領域492とが同一とされ、表示領域492の範囲内に含まれる合成画像が画像メモリ180から取り出されて液晶パネル251に表示される。すなわち、液晶パネル251には現画像のみが順次表示される。
また、動画再生時において、Wボタンが押下されている状態では、図18(b)に示すように、画像メモリ180上における表示領域493がWボタンの押下時間に応じて拡大され、表示領域493に含まれる合成画像が液晶パネル251に順次表示される。一方、動画再生時において、Tボタンが押下されている状態では、図18(c)に示すように、画像メモリ180上における表示領域495がTボタンの押下時間に応じて縮小され、表示領域495に含まれる合成画像が液晶パネル251に順次表示される。なお、これらの拡大縮小処理は、現画像491が中心となるように表示領域取出部190により行われる。すなわち、上述したように、操作受付部160により受け付けられた表示倍率の値に応じて決定されるアフィン変換パラメータを用いて現画像491の位置および大きさが変換され、この変換後の位置および大きさにより表示領域が決定される。図18(b)に示す例では、表示倍率を下げる操作入力がされているため、この表示倍率の縮小に応じてアフィン変換パラメータのズーム成分が決定され、図18(c)に示す例では、表示倍率を上げる操作入力がされているため、この表示倍率の上昇に応じてアフィン変換パラメータのズーム成分が決定される。このように、表示領域の大きさを変更するのみで、現画像を含む画像を拡大または縮小させて表示することができる。なお、十字ボタン162の操作により、表示領域を上下左右に移動させることが可能である。
以上で示したように、画像メモリ180上に配置される表示領域の範囲内に存在する画像を表示することによって、再生中の合成画像を順次表示させることができる。ここで、現画像がアフィン変換されて画像メモリ180に合成される際には、低い解像度に変換する解像度変換処理や圧縮処理等の画質の変換が施されることがある。このため、表示倍率を高くして現画像を拡大表示させる場合には、現画像を含む合成画像がぼけてしまうことが考えられる。そこで、本発明の実施の形態では、現在再生中の現画像については、画像メモリ180に合成される前の画像を用いて合成画像を表示させる。以下では、この表示方法について図面を参照して詳細に説明する。
図19は、本発明の実施の形態における動画記憶部200に記憶されている動画ファイルの各フレームの流れを模式的に示す図である。ここでは、操作受付部160、動画記憶部200、メタデータ記憶部210、画像メモリ180および表示用メモリ230の関係についてのみ図示し、これら以外の構成についての図示を省略する。
図19(a)には、図4(b)に示す動画ファイル201およびメタデータファイル211を簡略化して示す。以下では、動画ファイル201を構成するフレームi(207)に対応する画像が表示される例について説明する。すなわち、動画ファイル201を構成するフレーム1乃至「i−1」に対応する画像については、合成画像が作成されているものとする。
図19(b)には、動画ファイル201を構成する各フレームに対応する画像が合成された合成画像が保持されている画像メモリ180を模式的に示す。図17(b)に示すように、動画ファイル201を構成するフレーム1(205)に対応する画像351が画像メモリ180に最初に保持される。なお、図17(a)に示す表示領域361を破線で示す。そして、画像351が画像メモリ180に保持された後に、動画ファイル201を構成するフレーム2乃至「i−1」に対応する各画像が、フレーム2乃至「i−1」のそれぞれに関連付けてメタデータファイル211に記憶されているアフィン変換パラメータ216の値を用いて順次アフィン変換され、アフィン変換された画像が画像メモリ180に順次上書きされて保持される。ここで、表示領域は、操作受付部160からの表示倍率指定に係る操作入力(WボタンまたはTボタンの押下)に応じて大きさが決定されるとともに、現画像に応じたアフィン変換により算出される。そして、画像メモリ180に保持されている合成画像から、算出された表示領域内に存在する画像を、表示領域取出部190がフレーム毎に取り出す。
フレーム1乃至「i−1」に対応する各画像による合成画像が画像メモリ180に保持されている状態で、動画ファイル201を構成するフレームi(207)に対応する画像が、フレーム1乃至iに関連付けてメタデータファイル211に記憶されているアフィン変換パラメータ216を用いてアフィン変換され、アフィン変換された現画像692が画像メモリ180に上書きされて保持される。すなわち、現画像である画像351を基準として、フレーム番号215の「1」乃至「i」に関連付けてメタデータファイル211に記憶されているアフィン変換パラメータ216を用いてフレームi(207)に対応する画像が画像692に変換され、画像メモリ180に保存される。そして、フレームi(207)に対応する表示領域695については、操作受付部160により受け付けられた表示倍率の値に応じて決定されるアフィン変換パラメータを用いて画像692の位置および大きさが変換され、表示領域695が決定される。この表示領域の決定は、表示領域取出部190により行われる。そして、画像メモリ180に保持されている合成画像から、表示領域695内に存在する画像を、表示領域取出部190が取り出し、取り出された画像を、例えば、図19(c)に示すように表示用メモリ230に保持させる。
図19(c)には、表示領域取出部190により取り出された画像が保持されている表示用メモリ230を模式的に示す。ここで、表示用メモリ230に保持される画像(現画像696以外の画像)は、表示領域取出部190により取り出された画像(表示領域695の範囲内に存在する画像)が、表示領域695の変換に用いられたアフィン変換パラメータに係る行列に対する逆行列を用いて変換された画像である。すなわち、画像メモリ180上に配置される表示領域の形状は、アフィン変換により平行四辺形となる場合等がある。このようにアフィン変換された表示領域内の合成画像を表示部250に表示させるため、現在の現画像をアフィン変換する際に用いられたアフィン変換パラメータに係る行列の逆行列を用いて表示領域内の合成画像を変換する。例えば、フレーム番号215の「1」乃至「i」に関連付けてメタデータファイル211に記憶されているアフィン変換パラメータの行列をそれぞれA1、…、Aiとし、表示領域695を決定するためのアフィン変換パラメータの行列(例えば、現画像を基準とする行列)をBとする場合には、表示領域内の合成画像を変換するための行列として、Inv(A1×…×Ai×B)を用いる。これにより、例えば、図19(c)に示すように、平行四辺形に変換された画像を長方形に変換して表示部250に表示させることができる。また、表示領域取出部190により取り出された画像のうちの現フレームに対応する画像696は、表示領域取出部190により画像メモリ180から取り出された画像の代わりに、動画記憶部200から取得されてアフィン変換されていない画像を用いる。ここで、表示用メモリ230において画像696が保存される位置および大きさは、操作受付部160からの表示倍率に応じて決定される。
図19(c)に示すように、表示領域取出部190により取り出された画像が表示用メモリ230に保持されるとともに、表示領域取出部190により取り出された画像に、動画記憶部200から取得された画像が上書きされて表示用メモリ230に保持される。これにより、一旦アフィン変換がされた合成画像を、逆行列によりアフィン変換がされていない状態に戻して表示することができる。また、現画像については、アフィン変換後に縮小等の処理が施されて画像メモリ180に保持される前の状態の画像を用いることによって、比較的綺麗な現画像を表示することができる。また、ユーザの操作により拡大等がされた場合についても現画像を綺麗な状態で表示することができる。
以上で示したように、現画像については、画像メモリ180に保持される合成画像の代わりに、動画記憶部200から取得されてアフィン変換される前の画像を用いることができるため、比較的綺麗な画像を視聴することができる。この合成例については、図20および図21を参照して詳細に説明する。
図20(a)は、撮像装置100により撮影された動画を再生する場合における合成例を示す図である。この例では、大きな建物がある芝生の広場で遊んでいる親子を、撮像装置100を主に左右方向に移動させながら撮影した場合の動画により形成される合成画像を逆行列によりアフィン変換する前の状態を画像480として示す。ここで、画像480には、動画を構成する各クレームに対応する画像により合成された画像481がパノラマ状に形成されている。また、画像480における現フレームに対応する画像は、現画像482である。
ここで、枠483で囲まれた画像領域を拡大表示する場合について説明する。表示部250に表示されている画像について拡大縮小表示をする場合には、ユーザがズームボタン161を操作することにより所望の表示倍率を指定することができる。例えば、図20(a)に示すように、表示部250に画像480が表示されている場合において、枠483で囲まれた画像領域を拡大表示する場合には、ユーザがズームボタン161を操作して表示倍率を指定するとともに、十字ボタン162を操作して位置を指定することにより、枠483で囲まれた画像領域を拡大表示することができる。
図20(b)は、画像480における現画像482がアフィン変換される前の状態の画像484を示す図である。
図21(a)は、図20(a)に示す枠483で囲まれた画像領域が拡大された場合における画像485を示す図である。図21(a)に示す画像485は、アフィン変換後の現画像が画像メモリ180に保存される前の状態で表示用メモリ230に合成された画像である。このように、現画像486の領域には、画像メモリ180に保存される前の状態の比較的精細な画像が表示される。このため、現画像486と、この領域以外の領域とを比較した場合に、他の領域よりも比較的綺麗な現画像486を見ることができる。一方、図21(b)に示す画像487は、アフィン変換後の現画像が画像メモリ180に保存された状態で表示用メモリ230に保存された画像である。このように表示される場合には、現画像488の領域についても、他の領域の画像と同程度の画像が表示される。すなわち、本発明の実施の形態によれば、画像合成表示する際に、表示用メモリ230に保持された履歴画像は圧縮される場合があるものの、現在(カレント)の画像については非圧縮の画像、または、履歴画像よりも高い解像度の画像を使用することができるため、高画質な画像合成表示を実現することができる。なお、この例では、説明のため、表示の対象となる画像を逆行列によりアフィン変換する前の状態を示すため、現画像が矩形ではないものの、上述した逆行列によりアフィン変換を施すことにより現画像を矩形とすることができる。
次に、本発明の実施の形態における撮像装置100の動作について図面を参照して説明する。
図22は、本発明の実施の形態における撮像装置100による動画再生処理の処理手順を示すフローチャートである。この例では、ユーザにより再生すべき動画が選択された場合を示す。
最初に、動画を構成する画像のサイズよりも大きいワークバッファが画像メモリ180に確保される(ステップS921)。続いて、ファイル取得部140が、操作受付部160により選択された動画ファイルを動画記憶部200から取得するとともに、これらの動画ファイルに関連付けられているメタデータファイルをメタデータ記憶部210から取得する(ステップS922)。
続いて、ファイル取得部140が、動画ファイルをデコードし、動画ファイルを構成する1つのフレームである現フレームを取得する(ステップS923)。続いて、ファイル取得部140が、取得された現フレームに対応するアフィン変換パラメータをメタデータファイルから取得する(ステップS924)。ここで、現フレームが先頭フレームである場合には、単位行列のアフィン変換パラメータが取得される。
続いて、画像変換部150が、アフィン変換パラメータを用いて現フレームに対応する画像をアフィン変換する(ステップS925)。なお、現フレームが先頭フレームである場合には、単位行列を用いてアフィン変換がされるため、実際の画像は変換されない。
続いて、画像合成部170が、アフィン変換された現フレームに対応する画像を、この現フレームよりも前のフレームに対応する各画像の合成画像に上書きして合成し、この現フレームに対応する画像が合成された画像を画像メモリ180に保存する(ステップS926)。
続いて、表示領域取出部190は、最初のフレームから現フレームまでのアフィン変換パラメータと、表示倍率に対応するアフィン変換パラメータとを用いて表示領域の位置および大きさを決定する(ステップS927)。続いて、表示領域取出部190は、表示領域に含まれる合成画像を画像メモリ180から取り出す(ステップS928)。続いて、表示領域取出部190は、表示領域の決定に用いられたアフィン変換パラメータの行列に対する逆行列を用いて、画像メモリ180から取り出された合成画像をアフィン変換する(ステップS929)。
続いて、表示領域取出部190は、画像メモリ180から取り出されてアフィン変換された合成画像を表示用メモリ230に保存する(ステップS930)。続いて、画像合成部170は、表示用メモリ230に保存されている合成画像に現画像を上書き合成する(ステップS931)。続いて、表示制御部240が、表示用メモリ230に保存されている合成画像を表示部250に表示させる(ステップS932)。
続いて、選択された動画ファイルを構成するフレームの中で、現フレームが最後のフレームであるか否かが判断される(ステップS933)。現フレームが最後のフレームではない場合には(ステップS933)、ステップS923に戻り、動画の合成再生処理を繰り返す(ステップS923乃至S932)。一方、現フレームが最後のフレームである場合には(ステップS933)、確保されているワークバッファを解放して(ステップS934)、動画再生処理を終了する。
以上では、現フレームに対応する現画像にアフィン変換を順次施して合成画像を作成して画像メモリに順次保存するとともに、この画像メモリの合成画像から、表示の対象となる領域である表示領域を取り出して動画を再生させる例について説明した。ここでは、前の各フレームに対応する合成画像に、アフィン変換パラメータの方向とは逆方向にアフィン変換を施して合成画像を作成することにより、現フレームに対応する現画像を表示部250の真中部分等に固定して動画を再生する動画再生方法について図面を参照して詳細に説明する。
最初に、図8乃至図16で示した画像401乃至403、421乃至423、441乃至443を用いて動画を合成再生する場合について図面を参照して詳細に説明する。なお、図23乃至図25に示す各画像は、図8乃至図16と同様に、説明のため、簡略化するとともに、連続する2つのフレーム間の移動量を大きくして示している。
最初に、撮像装置100の撮影時において、倍率が変更されないものの、撮像装置100の位置を中心として、撮像装置100のレンズの方向が上下左右の何れかに移動されている場合について説明する。
図23は、図8に示す画像401乃至403を含む動画を再生する場合における表示例を示す図である。図10に示す表示例は、現フレームの前の各フレームに対応する合成画像(最初は1つの画像)を固定して、アフィン変換された現フレームに対応する画像をその合成画像に上書きして合成し、この合成された画像を表示するものである。これに対して、図23に示す表示例は、現フレームに対応する画像の位置を固定とし、現フレームの前の各フレームに対応する合成画像をアフィン変換パラメータの方向とは逆方向にアフィン変換し、このアフィン変換された合成画像に現フレームに対応する画像を上書きして合成し、この合成された画像を表示するものである。すなわち、図10および図23に示す表示例は、固定位置に表示される画像、および、アフィン変換の対象となる画像が異なるものの、他の部分は共通する。このため、図10に共通する部分については、共通の符号を付して説明する。
図23(a)に示すように、最初は、先頭のフレームに対応する画像401のみが表示される。ここで、画像401は先頭フレームであるため、前のフレームが存在しない。続いて、次のフレームに対応する画像402が表示される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて直前の画像である画像401がアフィン変換される。具体的には、画像402に対応するアフィン変換パラメータの行列をA2とし、画像401に対応するアフィン変換パラメータの行列をA1とする場合において、Inv(A1×A2)の値が求められ、求められたInv(A1×A2)の行列により画像401がアフィン変換される。ここで、InvA(Aは行列)は、Aの逆行列を示す。図23(b)に示す画像においては、画像401の位置のみが変換される。そして、アフィン変換された画像401に、現フレームに対応する画像402が重なるように上書きされる。なお、画像401に画像402が上書きされた合成画像は、図10(b)に示す合成画像と同じであるため、ここでの説明は省略する。
続いて、次のフレームに対応する画像403が表示される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて、前のフレームに対応する画像401および画像402の合成画像がアフィン変換パラメータの方向とは逆方向にアフィン変換される。具体的には、画像403に対応するアフィン変換パラメータの行列をA3とし、画像402に対応するアフィン変換パラメータの行列をA2とし、画像401に対応するアフィン変換パラメータの行列をA1とする場合において、Inv(A1×A2×A3)の値が求められ、Inv(A1×A2×A3)の行列により画像401および402の合成画像がアフィン変換される。図23(c)に示す画像においては、画像401および画像402の合成画像の位置のみが変換される。そして、現フレームに対応する画像403が、アフィン変換された画像401および402の合成画像に重なるように上書きされる。なお、画像401および402に画像403が上書きされた合成画像は、図10(c)に示す合成画像と同じであるため、ここでの説明は省略する。
次に、撮像装置100の撮影時において、撮像装置100のレンズの方向は移動されないものの、倍率が変更されている場合について説明する。
図24は、図11に示す画像421乃至423を含む動画を再生する場合における表示例を示す図である。図13および図24に示す表示例の相違は、図10および図23に示す表示例の相違と同様であり、固定位置に表示される画像、および、アフィン変換の対象となる画像が異なるものの、他の部分は共通する。このため、図13に共通する部分については、共通の符号を付して説明する。
図24(a)に示すように、最初は、先頭のフレームに対応する画像421のみが表示される。続いて、次のフレームに対応する画像422が表示される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて直前の画像である画像421が、アフィン変換パラメータの方向とは逆方向にアフィン変換される。図24(b)に示す画像においては、画像421の大きさのみが変換される。そして、アフィン変換された画像421に、現フレームに対応する画像422が重なるように上書きされる。なお、画像421に画像422が上書きされた合成画像については、大きさが異なるものの、その他の点は、図13(b)に示す合成画像と同じであるため、ここでの説明は省略する。
続いて、次のフレームに対応する画像423が表示される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて、前のフレームに対応する画像421および画像422の合成画像が、アフィン変換パラメータの方向とは逆方向にアフィン変換される。図24(c)に示す画像においては、画像421および422の合成画像の大きさのみが変換される。そして、現フレームに対応する画像423が、アフィン変換された画像421および422の合成画像に重なるように上書きされる。なお、画像421および422の合成画像に画像423が上書きされた合成画像は、大きさが異なるものの、その他の点は、図13(c)に示す合成画像と同じであるため、ここでの説明は省略する。
次に、撮像装置100の撮影時において、撮像装置100のレンズの方向や倍率は変更されないものの、撮影方向を回転中心にして撮像装置100が回転されている場合について説明する。
図25は、図14に示す画像441乃至443を含む動画を再生する場合における表示例を示す図である。図16および図25に示す表示例の相違は、図10および図23に示す表示例の相違と同様であり、固定位置に表示される画像、および、アフィン変換の対象となる画像が異なるものの、他の部分は共通する。このため、図16に共通する部分については、共通の符号を付して説明する。
図25(a)に示すように、最初は、先頭のフレームに対応する画像441のみが表示される。続いて、次のフレームに対応する画像442が表示される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて直前の画像である画像441が、アフィン変換パラメータの方向とは逆方向にアフィン変換される。図25(b)に示す画像においては、画像441の角度のみが変換される。そして、アフィン変換された画像441に、現フレームに対応する画像442が重なるように上書きされる。なお、画像441に画像442が上書きされた合成画像については、角度が異なるものの、その他の点は、図16(b)に示す合成画像と同じであるため、ここでの説明は省略する。
続いて、次のフレームに対応する画像443が表示される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて、前のフレームに対応する画像441および画像442の合成画像が、アフィン変換パラメータの方向とは逆方向にアフィン変換される。図25(c)に示す画像においては、画像441および442の合成画像の角度のみが変換される。そして、現フレームに対応する画像443が、アフィン変換された画像441および442の合成画像に重なるように上書きされる。なお、画像441および442に画像443が上書きされた合成画像は、角度が異なるものの、その他の点は、図16(c)に示す合成画像と同じであるため、ここでの説明は省略する。
次に、表示部250に表示される合成画像を取り出す方法について図面を参照して詳細に説明する。
図26は、本発明の実施の形態における動画記憶部200に記憶されている動画ファイルの各フレームと、表示領域との関係を模式的に示す図である。ここでは、画像メモリ180、メタデータ記憶部210および操作受付部160についてのみ図示し、これら以外の構成についての図示を省略する。また、図26では、図17と同様に、図4(b)に示す動画ファイル201を構成するフレーム「1」乃至「3」について、メタデータファイル211に記憶されているアフィン変換パラメータ216を用いて画像メモリ180に合成画像が作成される場合を例にして示す。
ここで、図17では、現フレームに対応する現画像にアフィン変換を順次施して合成画像を作成して画像メモリ180に順次保存するとともに、画像メモリ180の合成画像から、現画像に応じて変換された表示領域の範囲内に含まれる合成画像を取り出す例について説明した。図26では、前の各フレームに対応する合成画像に、アフィン変換パラメータの方向とは逆方向にアフィン変換を施して合成画像を作成することにより、現画像に応じて表示領域を変換させずに、現フレームに対応する現画像を表示部250の特定位置に固定する例である。この場合に、画像変換部150は、画像メモリ180に保持されている直前までの各フレームに対応する合成画像にアフィン変換を施し、画像合成部170は、このアフィン変換後の合成画像に現画像を上書きすることにより画像を合成し、合成された新たな合成画像を画像メモリ180に保存する。なお、図17と同一のものについては、同一の符号を付す。このように、現画像に応じて表示領域を変換させずに、現画像を表示部250の特定位置に固定することができる。また、現画像については、図19で示したように、画像メモリ180に保持される合成画像の代わりに、動画記憶部200から取得されてアフィン変換される前の画像を用いることができる。
以上では、1つの動画を構成する各画像を合成する場合を例にして説明したが、以下では、2つの動画についての各画像を合成する場合における合成例について図面を参照して詳細に説明する。
図27は、本発明の実施の形態における撮像装置101の機能構成例を示すブロック図である。ここで、撮像装置101は、図1に示す撮像装置100の一部を変形したものであり、撮像部110と、カメラワーク検出部120と、記録制御部131と、ファイル取得部141と、画像変換部151と、操作受付部165と、画像合成部171と、画像メモリ180と、表示領域取出部190と、動画記憶部200と、メタデータ記憶部210と、相対関係情報記憶部220と、表示用メモリ231と、表示制御部240と、表示部250と、一致点選択部260と、相対関係情報算出部270と、対象画像変換情報算出部280と、一致点検索部340とを備える。なお、撮像部110、カメラワーク検出部120、画像メモリ180、表示領域取出部190、メタデータ記憶部210、表示制御部240および表示部250の構成は、図1に示す撮像装置100と同様であるため、これらの構成についての説明は省略する。また、以下では、図1に示す撮像装置100と異なる部分を中心に説明する。
記録制御部131は、撮像部110から出力された動画を動画ファイルとして動画記憶部200に記録するとともに、カメラワーク検出部120から出力されたアフィン変換パラメータを、対応する動画およびフレームに関連付けてメタデータファイルとしてメタデータ記憶部210に記録するものである。また、記録制御部131は、相対関係情報算出部270から出力されたアフィン変換パラメータを、このアフィン変換パラメータに対応する動画およびフレームに関連付けて相対関係情報記憶部220に記録する。
動画記憶部200は、記録制御部131の制御に基づいて撮像部110から出力された動画を動画ファイルとして記憶するものである。また、動画記憶部200は、ファイル取得部141からの要求に応じて動画ファイルをファイル取得部141に供給し、一致点検索部340からの要求に応じて少なくとも2つの動画ファイルを一致点検索部340に供給する。
相対関係情報記憶部220は、記録制御部131の制御に基づいて、相対関係情報算出部270から出力されたアフィン変換パラメータと、これに対応する動画およびフレームとを関連付けて相対関係メタデータファイルとして記憶するものである。また、相対関係情報記憶部220は、ファイル取得部141からの要求に応じて相対関係メタデータファイルをファイル取得部141に供給する。なお、相対関係情報記憶部220に記憶される相対関係メタデータファイルについては、図29、図35を参照して詳細に説明する。
ファイル取得部141は、操作受付部165により受け付けられた操作入力に応じて、動画記憶部200に記憶されている1または複数の動画ファイル、これらの各動画ファイルに関連付けられてメタデータ記憶部210に記憶されているメタデータファイル、これらの動画ファイルに共通して関連付けられて相対関係情報記憶部220に記憶されている相対関係メタデータファイルの少なくとも1つを取得し、取得された各ファイルの情報を各部に供給するものである。具体的には、ファイル取得部141は、操作受付部165により通常の動画再生を指示する指示操作が受け付けられた場合には、動画記憶部200に記憶されている1または複数の動画ファイルを取得し、取得された動画ファイルの動画を一致点選択部260および表示用メモリ231に順次出力する。この通常の動画再生が行われている際に、操作受付部165により動画再生の停止に係る操作入力が受け付けられた場合には、ファイル取得部141は、動画の出力を停止する。また、ファイル取得部141は、1または複数の動画の合成再生を指示する指示操作が操作受付部165により受け付けられた場合には、動画記憶部200に記憶されている指示された動画ファイルと、これらの各動画ファイルに関連付けられてメタデータ記憶部210に記憶されているメタデータファイルと、これらの動画ファイルに共通して関連付けられて相対関係情報記憶部220に記憶されている相対関係メタデータファイルとを取得し、取得された動画ファイルの動画およびメタデータファイルのアフィン変換パラメータを画像変換部151に出力する。また、取得されたメタデータファイルおよび相対関係メタデータファイルの内容を対象画像変換情報算出部280に出力する。
画像変換部151は、ファイル取得部141から出力された動画ファイルの動画を構成する画像について、この画像に対応するアフィン変換パラメータを用いてフレーム毎にアフィン変換を施し、アフィン変換された画像を画像合成部171に出力するものである。ここで、複数の動画合成が指示された場合には、画像変換部151は、再生の対象となる複数の動画のうちの1つの動画を基準動画とし、この基準動画については、この基準動画を構成する画像に対応するアフィン変換パラメータを用いて、フレーム毎にアフィン変換を施す。一方、再生の対象となる複数の動画のうちの基準動画以外の他の動画については、対象画像変換情報算出部280により算出された対象画像変換情報(アフィン変換パラメータ)と、動画を構成する画像に対応するアフィン変換パラメータとを用いて、フレーム毎にアフィン変換を施す。なお、他の動画の変換方法については、図32、38等を参照して詳細に説明する。
操作受付部165は、各種操作部材を備え、これらの操作部材から操作入力を受け付けると、受け付けた操作入力の内容をファイル取得部141、一致点選択部260、画像合成部171、表示領域取出部190、または、一致点検索部340に出力するものである。なお、これらの操作部材については、図2で説明したものと同様である。
一致点選択部260は、操作受付部165により一致点を指定する指定操作の操作入力が受け付けられた場合には、ファイル取得部141から出力された動画ファイルの動画を構成する画像における一致点を選択するものであり、1つの画像について少なくとも3つの一致点が選択された場合には、この選択された一致点の位置および選択順序と、選択対象の画像とを相対関係情報算出部270に出力する。この一致点の選択操作は、複数の画像について同時に行うようにしてもよく、1つの動画毎に順次行うようにしてもよい。
一致点検索部340は、動画記憶部200に記憶されている複数の動画ファイルの中の少なくとも2つの動画についての相対関係情報の作成を指示する指示操作が操作受付部165により受け付けられた場合には、指定された複数の動画を構成する各画像について、少なくとも3つの一致点を検索するものであり、この検索された一致点の位置を含む各画像を相対関係情報算出部270に出力する。この一致点の検索は、例えば、画像の大小にかかわらず、画像に含まれる物体を認識することが可能な一般物体認識等の技術(例えば、特開2002−65399号を参照。)を用いることによって実現することができる。また、一致点検索部340については、図28を参照して詳細に説明する。
相対関係情報算出部270は、一致点選択部260または一致点検索部340から出力された少なくとも2つの画像およびこれらの画像における少なくとも3つの一致点に基づいて、これらの画像に関する相対関係情報としてのアフィン変換パラメータを算出するものであり、算出されたアフィン変換パラメータと、このアフィン変換パラメータの算出に用いられた動画の動画IDおよび画像のフレーム番号を記録制御部131に出力する。なお、これらの画像に関するアフィン変換パラメータの算出については、図30、図31等を参照して詳細に説明する。また、本発明の実施の形態では、相対関係情報として、アフィン変換パラメータを用いる例について説明するが、射影変換パラメータ等の他の画像変換情報を用いるようにしてもよい。なお、アフィン変換パラメータは、3点のベクトルを用いて計算して求めることができ、射影変換パラメータは、4点のベクトルを用いて計算して求めることができる。
対象画像変換情報算出部280は、複数動画の合成再生が指示された場合に、ファイル取得部141から出力されたメタデータファイルおよび相対関係メタデータファイルのアフィン変換パラメータに基づいて、再生の対象となる複数の動画の中の1つの動画を構成する少なくとも1つの画像を基準画像とし、他の動画を構成する各画像を対象画像とした場合に、この対象画像の変換に用いられる対象画像変換情報を算出するものである。そして、算出された対象画像変換情報を画像変換部151に出力する。1つの動画における基準画像については、例えば、1つの動画を構成する画像の中の先頭フレームに対応する画像を用いることができる。また、対象画像変換情報は、例えば、基準画像に対する対象画像の変換に用いられるアフィン変換パラメータである。なお、対象画像変換情報の算出については、図32等を参照して詳細に説明する。
画像合成部171は、画像メモリ180に保持されている直前までの各フレームに対応する合成画像に、画像変換部151によるアフィン変換後の画像を上書きすることにより画像を合成し、合成された新たな合成画像を画像メモリ180に保存するものである。また、画像合成部171は、複数動画の合成再生が指示された場合には、画像メモリ180に保持されている直前までの各フレームに対応する合成画像に、基準画像を基準として画像変換部151によりアフィン変換された各画像を上書きすることにより画像を合成し、合成された新たな合成画像を画像メモリ180に保存する。なお、画像合成部171は、表示倍率の値に応じて決定される表示領域の大きさに基づいて、画像変換部151によるアフィン変換前の現画像を表示用メモリ231に保持される合成画像に上書きすることにより合成する。ここで、表示用メモリ231に合成される現画像の大きさについては、表示倍率の値に応じて決定される。なお、複数の動画の再生開始位置については、操作受付部165からの操作入力に応じて、それぞれ決定するようにしてもよい。なお、これらの画像合成については、図32乃至図34等を参照して詳細に説明する。
表示用メモリ231は、表示領域取出部190により画像メモリ180から取り出された画像を保持する表示用バッファであり、保持されている画像が表示部250に表示される。
図28は、本発明の実施の形態における一致点検索部340の機能構成例を示すブロック図である。一致点検索部340は、動画取得部145と、多重解像度生成部341と、特徴点抽出部342と、特徴量抽出部343と、モデル辞書登録部344と、多重解像度生成部345と、特徴点抽出部346と、特徴量抽出部347と、kdツリー構築部348と、特徴量比較部349とを備える。そして、一致点検索部340は、複数の動画を構成するフレーム間の部分的な一致度を計算し、この計算された一致度に基づいて複数の動画を自動的に関連付けるものである。
動画取得部145は、操作受付部165からの動画取得に係る操作入力に応じて、動画記憶部200に記憶されている2つの動画ファイルを取得するものであり、取得された1つの動画ファイルを構成する画像をフレーム毎に多重解像度生成部341に出力する。また、他の動画ファイルを構成する画像をフレーム毎に多重解像度生成部345に出力する。
多重解像度生成部341は、動画取得部145から出力された画像について、予め定められている割合で解像度を低下させることにより、複数の異なる解像度の画像からなる多重解像度画像を、認識時における場合よりも細かい精度で生成するものであり、生成された多重解像度画像を特徴点抽出部342に出力する。
特徴点抽出部342は、多重解像度生成部341から出力された多重解像度画像のそれぞれの解像度の画像について特徴点を抽出するものであり、抽出された特徴点を特徴量抽出部343に出力する。この特徴点の抽出方法は、例えば、図2に示す特徴点抽出部121による特徴点抽出方法と同様の方法を用いることができる。
特徴量抽出部343は、特徴点抽出部342から出力された特徴点における少なくとも2つの局所的な特徴量を抽出するものであり、抽出された特徴量をモデル辞書登録部344に登録させるものである。ここで、特徴量抽出部343により抽出される2つの局所的な特徴量は、第1のタイプの特徴量として特徴点近傍の濃度勾配の方向ヒストグラムが抽出され、第2のタイプの特徴量として次元縮退濃度勾配ベクトルが抽出される。
モデル辞書登録部344は、特徴量抽出部343から出力された特徴量を登録するものであり、登録されている特徴量をkdツリー構築部348に供給する。
多重解像度生成部345は、動画取得部145から出力された画像について、予め定められている割合で解像度を低下させることにより、複数の異なる解像度の画像からなる多重解像度画像を、学習時における場合よりも粗い精度で生成するものであり、生成された多重解像度画像を特徴点抽出部346に出力する。
特徴点抽出部346は、多重解像度生成部345から出力された多重解像度画像のそれぞれの解像度の画像について特徴点を抽出するものであり、抽出された特徴点を特徴量抽出部343に出力する。この特徴点の抽出方法は、例えば、特徴点抽出部342と同様の方法を用いることができる。
特徴量抽出部347は、特徴点抽出部342から出力された特徴点における少なくとも2つの局所的な特徴量を抽出するものであり、抽出された特徴量を特徴量比較部349に出力するものである。この特徴量抽出は、例えば、特徴量抽出部343と同様の方法を用いることができる。
kdツリー構築部348は、モデル辞書登録部344に登録されている各特徴量に基づいて、特徴量比較部349による特徴量の比較に用いられるkdツリーを構築するものであり、構築されたkdツリーを特徴量比較部349に出力する。ここで、特徴量比較部349により特徴量が比較される場合、特徴量抽出部347から抽出された各特徴点特徴量と、モデル辞書登録部344に登録されている各特徴点特徴量とが比較され、類似する特徴量抽出部347から抽出された特徴点特徴量とモデル辞書登録部344に登録されている特徴点特徴量との組み合わせが検索される。この特徴量比較方法として、最も単純な方法は全探索である。すなわち、特徴量抽出部347から抽出された各特徴点特徴量に対して、モデル辞書登録部344に登録されている各特徴点特徴量との特徴量間類似度の計算を行い、この計算された類似度に基づいて、類似する特徴点特徴量の組み合わせを選択する方法が最も単純な方法である。しかしながら、全探索による方法は、処理時間が長くなる。そこで、本発明の実施の形態では、大量のデータ群からデータを高速に探索するために、kdツリーというデータ構造を用いたツリー探索手法(J.H.Friedman, J.L.Bentley, R.A.Finkel:"An algorithm for finding best matches in logarithmic expected time,"ACM Transactions on Mathematical Software, Vol.3, No.3, pp.209-226, September 1977.)を用いる例について説明する。Kdツリーは、k次元の木構造のツリーを意味する。なお、本発明の実施の形態では、タイプ1の特徴量の36dツリー(k=36)とタイプ2の特徴量の18dツリー(k=18)がそれぞれ構築される。構築されたツリーの各リーフ(終端ノード)には、1つの特徴点特徴量が、その特徴量がどのフレームの多重解像度画像群の、どの画像の、どのスケールから抽出された、どの特徴点の特徴量なのか等を参照することができるラベル等の情報とともに保持される。
特徴量比較部349は、特徴量抽出部347から抽出された各特徴点特徴量と、kdツリー構築部348により構築されたKdツリーとして表現された各特徴点特徴量とを比較して、k−NN(k Nearest Neighbor)探索することにより、類似度を計算して類似する特徴点特徴量の組み合わせを検索し、検索された特徴点特徴量の組み合わせに対応する特徴点の位置を一致点として相対関係情報算出部270に出力する。ここで、1または複数の動画に関する特徴量をモデル辞書登録部344に予め登録しておき、動画取得部145が動画記憶部200に記憶されている他の動画ファイルを順次取得して、登録された動画と他の動画とについて一致点を順次検索するようにしてもよい。また、動画記憶部200に記憶されている各動画ファイルを、一致点検索部340が順次取得して、動画記憶部200に記憶されている各動画ファイルに関する一致点を自動的に順次検索するようにしてもよい。なお、検索の対象となる一致点については、図31を参照して詳細に説明する。
図29は、本発明の実施の形態における動画記憶部200および相対関係情報記憶部220に記録されている各ファイルを模式的に示す図である。この例では、動画記憶部200に記憶されている動画ファイル201乃至204と、動画ファイル201乃至204に関連付けて相対関係情報記憶部220に記憶されている相対関係メタデータファイル221乃至223とを模式的に示す図である。この例では、動画ファイル(#1)201を構成するフレーム「5」361およびフレーム「8」362と、動画ファイル(#2)202を構成するフレーム「7」363およびフレーム「9」364と、動画ファイル(#3)203を構成するフレーム「3」365およびフレーム「10」366とが、相対関係情報記憶部220に記憶されている相対関係メタデータファイル221乃至223に関連付けて記憶されている例について説明する。なお、動画記憶部200に記憶されている各動画ファイルについては、図4に示す動画ファイルと同様であるため、ここでの説明を省略する。
相対関係メタデータファイル221乃至223には、動画ID224と、フレーム番号225と、アフィン変換パラメータ226とが関連付けてそれぞれ格納されている。
動画ID224は、少なくとも3つの一致点を互いに含む2つの画像に対応する2つの動画ファイルに付与されている動画IDであり、例えば、相対関係メタデータファイル221には、動画ファイル201に付与されている「#1」および動画ファイル202に付与されている「#2」が格納される。
フレーム番号225は、少なくとも3つの一致点を互いに含む2つの画像に対応する2つのフレームの通し番号であり、例えば、相対関係メタデータファイル221には、動画ファイル201の動画を構成するフレームのフレーム番号「5」および動画ファイル202の動画を構成するフレームのフレーム番号「7」が格納される。
アフィン変換パラメータ226は、動画ID224およびフレーム番号225に対応する少なくとも2つの画像について計算されたアフィン変換パラメータであり、例えば、相対関係メタデータファイル221には、動画ファイル201の動画を構成するフレーム「5」および動画ファイル202の動画を構成するフレーム「7」に対応するアフィン変換パラメータとして「ao,bo,co,do,eo,fo」が格納される。なお、本発明の実施の形態では、アフィン変換パラメータ226は、対応する2つの動画ID224およびフレーム番号225のうちの図29に示す下側のフレーム番号に対応する画像を基準画像として、上側を対象画像とした場合におけるアフィン変換パラメータであるものとする。例えば、相対関係メタデータファイル221に格納されているアフィン変換パラメータ226は、動画ファイル(#1)201の動画を構成するフレーム「5」361の動画ファイル(#2)202の動画を構成するフレーム「7」363に対するアフィン変換パラメータである。
図30は、画像に含まれる一致点を選択することにより2つの画像に関するアフィン変換パラメータを算出するアフィン変換パラメータ算出方法、および、その選択された一致点に基づいて2つの画像を合成させた場合を概略的に示す図である。図30(a)には、基準となる1つの動画を構成する基準画像の一例である画像370を示し、図30(b)には、比較対象となる他の動画を構成する比較対象画像の一例である画像376を示す。図30(a)および(b)に示す画像370および376は、画像370または376の何れかを含む2つの動画を表示部250での再生中に停止させた状態を示す画像である。この例では、表示部250に動画を停止させた状態で、この動画の停止の際に表示されている画像における一致点を手動で指定する場合における選択方法を概略的に示す。図30(c)には、画像370および376において選択された各一致点を用いて、アフィン変換パラメータを算出する場合に用いられるオプティカルフローの検出例を示す。また、図30(d)には、画像370および376において選択された各一致点に基づいて、画像370および376を合成させた場合の一例を示す。
図30(a)および(b)に示す画像370および376には、同一の対象物である家371が含まれているものとする。ここで、画像370を含む動画、および画像376を含む動画に関する相対関係メタデータファイルをユーザの手動操作により作成する場合には、これらの2つの動画をユーザが手動操作により再生させ、同一の対象物が含まれる画像を表示部250に表示させる。例えば、同一の対象物である家371が含まれている画像370および376を表示部250に表示させる。この場合に、画像370および376の2つの画像を表示部250における同一の画面上に表示させるようにしてもよく、1つの画像を順次表示させるようにしてもよい。
例えば、図30(a)に示す画像370が表示部250に表示されている状態で、操作受付部165においてユーザが操作入力を行うことにより、カーソル375を用いて家371の屋根の上部分372、家371の下側の角部分373および374を指定する。カーソル375は、例えば、十字ボタン162による操作入力により移動させるようにしてもよく、他の操作部材による操作入力により移動させるようにしてもよい。例えば、指定すべき部分にカーソル375を重ねた状態で指定操作を行うことにより所望の部分を指定することができる。このように指定操作が行われた場合には、例えば、図30(a)に示すように、指定操作がされた部分に丸印を付してその部分をユーザに認識させることができる。また、図30(b)に示す画像376についても、同様に、家371の屋根の上部分377と、家371の下側の角部分378および379を指定する。これらの指定操作がユーザにより行われると、この指定された位置を一致点選択部260が画像における一致点として選択して、この選択された一致点の位置および指定された順序を画像とともに相対関係情報算出部270に出力する。
図30(a)および(b)に示すように、2つの画像370および376において、それぞれ3つの一致点が選択された場合には、相対関係情報算出部270が、これらの一致点に基づいてベクトルを算出し、この算出されたベクトルを用いて、アフィン変換パラメータを算出する。このベクトルは、例えば、指定された一致点の順序に基づいて、2つの画像において対応する一致点の組合せを選択して、この一致点の組合せにより算出される。例えば、画像370において家371の屋根の上部分372、家371の下側の角部分373、374の順序で指定操作が行われ、さらに、画像376において、家371の屋根の上部分377、家371の下側の角部分378、379の順序で指定操作が行われた場合には、画像370における上部分372と、画像376における上部分377とについてベクトルが算出され、画像370における角部分373と、画像376における角部分378とについてベクトルが算出され、画像370における角部分374と、画像376における角部分379とについてベクトルが算出される。このように、画像370および376において選択された各一致点に基づいて算出されたベクトルを、図30(c)に矢印381乃至383で示す。なお、図30(c)に示す画像380では、図30(a)に示す画像370に含まれる線を点線で示し、図30(b)に示す画像376に含まれる線を実線で示す。このように算出されたベクトルを用いて、アフィン変換パラメータが算出される。このアフィン変換パラメータの算出については、図6および図7で示した算出方法と同様である。なお、本発明の実施の形態では、一致点を用いて算出されたアフィン変換パラメータの行列の逆行列に対応するアフィン変換パラメータを、相対関係メタデータとして用いる例について説明する。すなわち、相対関係メタデータとして用いられるアフィン変換パラメータを、一致点が求められた2つの画像間のベクトルにより表されるアフィン行列ではなく、2つの画像のうちの1つの画像を基準画像とした場合に、他の画像がどこに移動するかを示すアフィン行列に対応するアフィン変換パラメータと定義する。
なお、相対関係情報算出部270は、指定された順序を用いずにアフィン変換パラメータを算出するようにしてもよい。例えば、各画像において一致点として選択された3点のそれぞれの組合せについてベクトルを算出する。2つの画像において3つの一致点がそれぞれ選択されている場合には、各画像における一致点の組合せとして6通りの組合せが考えられる。続いて、この6通りの組合せについて算出された各ベクトルを用いて、6通りのアフィン変換パラメータを算出する。続いて、2つの画像のうちの一方の画像を基準画像とし、他の画像を比較対象画像として、算出された6通りのアフィン変換パラメータを用いて、比較対象画像を順次アフィン変換する。これにより、1つの基準画像と、6つのアフィン変換された比較対象画像とが作成される。続いて、基準画像における3つの一致点を頂点とする三角形の内部に存在する画素と、アフィン変換された比較対象画像における3つの一致点を頂点とする三角形の内部に存在する画素とを比較することにより、各三角形の内部に存在する画素の輝度値の差分値を順次算出する。これにより、6通りのアフィン変換パラメータに対応する6つの差分値の2乗の合計値が算出される。続いて、算出された6つの差分値の中から、値が最も小さい差分値に係るアフィン変換パラメータを選択し、この選択されたアフィン変換パラメータを、一致点の指定操作がされた2つの画像に関するアフィン変換パラメータとして決定する。
また、例えば、画像370および376において選択された各一致点に基づいて算出されたアフィン変換パラメータを用いて、画像370をアフィン変換して画像376に上書き合成した場合には、図30(d)に示す画像384が作成される。このように、算出されたアフィン変換パラメータを用いて画像370および376を合成することにより、家371の周りの背景が各画像における背景よりも広範囲に含まれた合成画像が作成される。
図31は、画像に含まれる一致点を選択することにより2つの画像に関するアフィン変換パラメータを算出するアフィン変換パラメータ算出方法を概略的に示す図である。ここでは、図27および図28に示す一致点検索部340により画像に含まれる一致点が検索され、この検索された一致点を用いて2つの画像に関するアフィン変換パラメータを算出する例について説明する。なお、図31(a)乃至(c)に示す画像370、376、380は、一致点検索部340により検索された各特徴点を丸で示す点以外は、図30(a)乃至(c)に示す画像370、376、380と同じものである。上述したように、一致点検索部340は、動画を構成するフレーム間の部分的な一致度を計算し、この計算された一致度に基づいて複数の画像を自動的に関連付ける。2つの動画について一致点の検索が行われる場合に、例えば、画像370における特徴点として特徴点801乃至810、372乃至374が抽出され、画像376における特徴点として特徴点811乃至823、377乃至379が抽出される。そして、抽出された特徴点の中から、各画像において類似する特徴点の組合せが選択される。例えば、画像370および376においては、特徴点805乃至810、372乃至374と、特徴点818乃至823、377乃至379とが選択される。図31(a)および(b)では、このマッチする特徴点を太丸で示す。このように選択された特徴点の中から、アフィン変換パラメータの算出に用いられる3つの特徴点が一致点として検索される。例えば、画像370および376においては、特徴点372乃至374と、特徴点377乃至379とが一致点として検索される。この一致点の検索は、例えば、類似度のスコアが最も高いスコアである特徴点の組合せを選択する。そして、この検索された一致点に基づいてベクトルが算出され、このベクトルに基づいてアフィン変換パラメータが算出される。なお、これらのアフィン変換パラメータの算出については、図30で示した算出方法と同様である。
図32は、2つの動画を合成する場合における合成例を模式的に示す図である。この例では、動画500を構成する画像501乃至514と、動画520を構成する画像521乃至527とを合成する場合について説明する。また、内部を斜線で示す画像508および524は、動画500および520に関する相対関係メタデータに含まれるフレーム番号に対応する画像であるものとする。
図32(a)では、動画500を構成する画像501乃至514を、各フレームに関連付けて記憶されているアフィン変換パラメータを用いて順次アフィン変換していき、画像メモリ180上に合成する場合を示す。例えば、最初に、先頭フレームに対応する画像501が画像メモリ180に保持される。そして、画像501を基準にして画像502乃至514が順次アフィン変換されて画像メモリ180に合成される。このアフィン変換による現画像の流れを矢印515で示す。すなわち、矢印515に沿うように画像501乃至514が順次合成される。
図32(b)では、動画520を構成する画像521乃至527を、各フレームに関連付けて記憶されているアフィン変換パラメータを用いて順次アフィン変換していき、画像メモリ180上に合成する場合を示す。また、図32(c)では、動画500および520に関する相対関係メタデータに含まれるアフィン変換パラメータにより、画像501を基準画像として画像524をアフィン変換した場合における画像508および画像524の相対関係位置を示す。ここで、図32(b)に示す合成画像は、図32(c)に示す画像508および画像524の相対関係位置を基準にして、画像521乃至527が合成された場合を示すものである。この場合のアフィン変換による現画像の流れを矢印528で示す。すなわち、矢印528に沿うように画像521乃至527が順次合成される。このように、図32(c)に示す画像508および画像524の相対関係位置を基準にして、図32(a)に示す合成画像および図32(b)に示す合成画像が合成された場合における合成例を図32(d)に示す。なお、図32(d)に示す例では、画像508および524が同時刻に再生される場合を示し、同時刻に再生される各画像は、動画520が動画500よりも上書き合成される例を示す。
ここで、具体的な各動画の保持位置に関する計算方法について説明する。最初に、複数の動画のうちの1つの動画を構成する少なくとも1つの動画の位置が決定される。例えば、動画500を構成する先頭フレームに対応する画像501の位置が決定される。この決定される位置は、操作受付部165においてユーザが指定してもよく、上述した計算により算出された位置を用いて決定してもよい。続いて、他の動画を構成する画像のうちの少なくとも1つの画像の保持位置が算出される。例えば、画像501乃至514に対応する各フレームに関連付けられているアフィン変換パラメータの行列を、A1乃至A14とする。また、画像521乃至527に対応する各フレームに関連付けられているアフィン変換パラメータの行列を、B1乃至B7とする。さらに、動画500および520に関連付けて記憶されている相対関係メタデータのアフィン変換パラメータの行列をC1とする。ここで、基準画像は画像501とする。画像メモリ180上における画像501の保持位置を基準とした場合に、画像508の保持位置は、A1乃至A8の乗算により算出される。すなわち、A1×…×A8を用いて算出される。また、画像メモリ180上における画像501の保持位置を基準とした場合に、画像524の保持位置は、A1乃至A8、C1の乗算により算出される。すなわち、A1×…×A8×C1を用いて算出される。ここで、例えば、動画520の先頭フレームに対応する画像521の保持位置を算出する場合には、A1乃至A8およびC1と、B1乃至B4の逆行列の乗算により算出することができる。すなわち、「A1×…×A8×C1×Inv(B1×…×B4)」を用いて画像521の保持位置を算出することができる。また、動画520を構成する他の画像についての保持位置についても同様に、A1乃至A8およびC1と、B1乃至B4の逆行列またはB5乃至B7とを用いて算出することが可能である。
また、基準画像を含む動画以外の動画を構成する画像をアフィン変換する場合には、先頭フレームに対応する画像の保持位置の算出に用いられた行列と、画像に関連付けられたアフィン変換パラメータを用いて行う。例えば、動画520の画像522をアフィン変換する場合には、画像522に対応する行列B2を用いて、「A1×…×A8×C1×Inv(B3×B4)」の行列により変換される。また、例えば、動画520の画像523をアフィン変換する場合も同様に、「A1×…×A8×C1×Inv(B4)」の行列により変換される。同様に、動画520の各画像が変換される。
このように、複数の動画について合成して再生する場合には、1つの動画の基準画像の画像メモリ180における位置および大きさを決定した後に、各動画のそれぞれに関連付けられているメタデータファイルと、各動画に関連付けられている相対関係メタデータファイルとを用いて、各画像の位置および大きさを算出することができる。このため、複数の動画について合成して再生する場合には、各動画の何れかの位置からも再生させることが可能である。例えば、図32(d)に示す画像メモリ180上では、動画500を構成する画像501乃至504が合成された後に、動画520を構成する画像521が合成される例を示す。すなわち、画像505および521が同時に合成され、続いて、画像506および522が同時に合成される。以降も同様に合成される。なお、この例では、同時刻に再生される各画像は、動画520が動画500よりも上書き合成される例を示すが、上書きする動画を操作受付部165において指定するようにしてもよい。また、表示領域は、基準動画に係る現画像に基づいて決定される。
図33は、2つの動画を合成する場合における合成例を模式的に示す図である。図33(a)には、動画530を構成する画像531乃至537の遷移を示し、図33(b)には、動画540を構成する画像541乃至547の遷移を示し、図33(c)には、動画530および540が合成された場合における合成画像である画像551乃至557の遷移を示す。なお、動画530および540は、時刻t1乃至t7に記録された動画であるものとする。また、時刻t3における画像533および543は、図30に示す画像370および376に対応する画像であり、画像533および543について図30に示す一致点の選択操作がされているものとする。また、この選択操作により算出された相対関係メタデータを用いて、動画530および540を合成するものとする。
図34は、図33に示す合成画像が表示部250に表示される場合における表示例を示す図である。画像561乃至567は、動画530および540により合成された合成画像の遷移を示す画像であり、実線は現画像を示し、点線は現画像の前の各画像の領域を示す。図34に示すように、図30に示す家371を中心にして家371の周りの背景が広がるように表示される。このように、ほぼ同じ場所を撮像された動画530および540を同時に再生する場合に、動画530および540を合成することによって、通常の動画では常時見ることができない背景等を見ながら、2つの動画を再生して見ることができる。また、動画530および540を合成することによって、動画530および540の撮像場所の相対関係を容易に把握することができる。この例では、同時刻に撮像された画像については、動画530を構成する画像上に、動画540を構成する画像を上書き合成する例について示すが、操作受付部165からの操作入力に応じて、何れかを上書きするかを選択するようにしてもよい。ここで、撮像時刻が同じものを、時刻に従って合成する例について説明したが、異なる時刻同士の画像を、操作受付部165からの操作入力に応じた位置から順次合成する場合についても同様に適用することができる。
以上では、2つの動画に関するアフィン変換パラメータを格納する相対関係メタデータファイルを用いて、2つの動画を合成しながら再生する例について説明したが、1つの相対関係メタデータファイルに3以上の動画に関するアフィン変換パラメータを格納しておき、これらのアフィン変換パラメータを用いて3以上の動画を合成しながら再生することができる。以下では、3以上の動画を合成しながら再生する例について図面を参照して詳細に説明する。
図35は、本発明の実施の形態における動画記憶部200および相対関係情報記憶部220に記録されている各ファイルを模式的に示す図である。この例では、動画記憶部200に記憶されている動画ファイル(#12)651乃至(#14)653と、動画ファイル(#12)651乃至(#14)653に関連付けて相対関係情報記憶部220に記憶されている相対関係メタデータファイル660とを模式的に示す図である。この例では、1つの相対関係メタデータファイル660に3つの動画ファイル(#12)651乃至(#14)653に関するアフィン変換パラメータが格納されている例について説明する。なお、動画記憶部200に記憶されている各動画ファイルの構成については、図4および図29等に示す動画ファイルと同様であるため、ここでの説明を省略する。また、相対関係情報記憶部220に記憶されている相対関係メタデータファイルの構成については、1つの相対関係メタデータファイルに3以上の動画に関するアフィン変換パラメータが格納されている点以外の構成は、図29に示す相対関係メタデータファイルと同様であるため、ここでの説明を省略する。
相対関係メタデータファイル660には、動画ID224と、フレーム番号225と、アフィン変換パラメータ226とが関連付けて格納されている。また、動画ファイル(#12)651乃至(#14)653を構成する各画像の中で、それぞれ2つの各画像の相対関係に関するアフィン変換パラメータが、相対関係メタデータファイル630に格納されている。具体的には、動画ファイル(#12)651を構成するフレーム「2」654を基準とした場合における動画ファイル(#13)652を構成するフレーム「5」656の位置を算出するアフィン変換パラメータ「at,bt,ct,dt,et,ft」と、動画ファイル(#12)651を構成するフレーム「9」655を基準とした場合における動画ファイル(#14)653を構成するフレーム「6」657の位置を算出するアフィン変換パラメータ「au,bu,cu,du,eu,fu」とが、相対関係メタデータファイル630に格納されている。これにより、3つの動画を合成しながら再生する場合に、3つの動画の相対的な関連性が考慮された動画を再生することができる。
図36は、3つの動画に関する画像に含まれる一致点を選択する場合における各画像を示す図である。なお、図36(a)および(b)に示す画像370および376は、図30(a)および(b)に示す画像370および376と同じであり、一致点372乃至374、372乃至374が選択されているものとする。また、図36(b)に示す画像376では、一致点372乃至374以外の一致点として、家371の右側にある電柱の上部分671乃至673が選択されているものとする。図36(c)に示す画像674においては、電柱の上部分675乃至677が選択されているものとする。なお、図36(a)乃至(c)に示す画像上における一致点の選択およびアフィン変換パラメータの算出については、図30に示す方法と同様であるため、ここでの説明を省略する。
図37は、3つの動画に関する画像において選択された一致点に基づいて3つの画像を合成させた場合の一例を示す図である。図37では、図36(a)乃至(c)に示す画像370、376、674において選択された各一致点に基づいて算出されたアフィン変換パラメータを用いて、画像370、376、674がアフィン変換されて合成された合成画像680を示す。このように、算出されたアフィン変換パラメータを用いて、3つの動画を合成することにより、家371の周りの背景が各画像における背景よりもさらに広範囲に含まれた合成画像680が作成される。
図38は、3つの動画を合成する場合における合成例を模式的に示す図である。この例では、動画500を構成する画像501乃至514と、動画520を構成する画像521乃至527と、動画690を構成する画像691乃至697とを合成する場合について説明する。なお、動画500を構成する画像501乃至514と、動画520を構成する画像521乃至527とについては、図32に示すものと同一であるため、ここでの説明を省略する。また、内部を斜線で示す画像508および524は、動画500および520に関する相対関係メタデータに含まれるフレーム番号に対応する画像であるものとし、同様に、内部を斜線で示す画像510および694は、動画500および690に関する相対関係メタデータに含まれるフレーム番号に対応する画像であるものとする。図38(a)に示す動画500は、内部を斜線で示す画像510以外は、図32に示す動画500と同様である。
図38(b)では、動画690を構成する画像691乃至697を、各フレームに関連付けて記憶されているアフィン変換パラメータを用いて順次アフィン変換していき、画像メモリ180上に合成する場合を示す。ここで、図38(b)に示す合成画像は、画像510および画像694の相対関係位置を基準にして、画像691乃至697が合成された場合を示すものである。この場合のアフィン変換による現画像の流れを矢印698で示す。すなわち、矢印698に沿うように画像691乃至697が順次合成される。このように、画像510および画像694の相対関係位置を基準にして、図38(a)に示す合成画像、図38(b)に示す合成画像、および、図32(b)に示す合成画像が合成された場合における合成例を図38(c)に示す。なお、図38(c)に示す例では、画像508および524が同時刻に再生されるとともに、画像510および694が同時刻に再生される場合を示し、同時刻に再生される各画像は、動画520が動画500よりも上書き合成されるとともに、動画690が動画500よりも上書き合成される例を示す。なお、具体的な各動画の保持位置に関する計算方法については、図32で示した算出方法と同様の算出方法を用いることができる。なお、再生の対象となる複数の動画に関する相対関係メタデータが存在しない場合でも、他の動画に関する相対関係メタデータを用いて、再生の対象となる複数の動画を合成して再生することが可能である。例えば、図38(c)に示す動画500、動画520、動画690のうちで、動画520および動画690を合成させる場合には、動画500および520に関する相対関係メタデータと、動画500および690に関する相対関係メタデータとを用いて、動画520および動画690の何れかを基準動画とした場合における他の動画の位置を算出することができる。例えば、動画520を基準動画とする場合には、画像508および画像524の相対関係位置を用いて、動画500を構成する画像508の位置を算出することができる。また、画像508に基づいて画像510の位置が算出することができる。そして、画像510および画像694の相対関係位置を用いて、画像510を基準とした場合における動画690を構成する各画像の位置を算出することができる。このように、共通の相対関係メタデータが存在しない動画520および動画690についても、動画500を介して、合成して再生させることができる。また、2以上の動画を介して複数の動画を合成して再生する場合についても同様に適用することができる。
図39は、静止画と複数の動画とを合成する場合の一例を示す図である。図39(a)は、静止画である画像701乃至718が、画像メモリ180に保持されている場合を示す図であり、図39(b)は、画像メモリ180に保持されている画像701乃至718上に、動画500、520、690を上書き合成する場合を示す図である。同図では、画像701乃至718の枠線を太線で示す。同図に示すように、複数の動画とともに静止画を合成することができる。この場合には、静止画と、動画を構成する少なくとも1つの画像との相対関係に関するアフィン変換パラメータを、相対関係メタデータファイルとして格納しておき、この相対関係メタデータファイルを用いて合成を行う。また、動画を構成する画像の間に静止画を合成するようにしてもよく、動画上に静止画が合成されるようにしてもよい。
また、本発明の実施の形態における撮像装置101をインターネット等のネットワークと接続し、このネットワークを介して受信される画像または動画と組み合わせて、動画を再生するようにしてもよい。例えば、ネットワークを介して所定の公園の風景画像を撮像装置101が受信し、この受信された公園の風景画像を背景画像とし、この背景画像上に、子供が撮像された動画を合成しながら再生させることができる。これにより、その公園を子供が移動しているような擬似的な再生画像を提供することが可能である。
次に、本発明の実施の形態における特徴点抽出処理およびオプティカルフロー計算処理をマルチコアプロセッサにより行う場合について図面を参照して詳細に説明する。
図40は、本発明の実施の形態におけるマルチコアプロセッサ800の一構成例を示す図である。マルチコアプロセッサ800は、1つのCPU(Central Processing Unit)パッケージ上に異なる種類のプロセッサコアが複数搭載されているプロセッサである。すなわち、マルチコアプロセッサ800には、各プロセッサコア単体の処理性能を維持するとともに、シンプルな構成にするため、あらゆる用途(アプリケーション)に対応する1種類のコアと、所定の用途にある程度最適化されている他の種類のコアとの2種類のプロセッサコアが複数搭載されている。
マルチコアプロセッサ800は、制御プロセッサコア801と、演算プロセッサコア(#1)811乃至(#8)818と、バス802とを備え、メインメモリ781と接続されている。また、マルチコアプロセッサ800は、例えば、グラフィックスデバイス782やI/Oデバイス783等の他のデバイスと接続される。マルチコアプロセッサ800として、例えば、本願出願人等により開発されたマイクロプロセッサである「Cell(セル:Cell Broadband Engine)」を採用することができる。
制御プロセッサコア801は、オペレーティング・システムのような頻繁なスレッド切り替え等を主に行う制御プロセッサコアである。なお、制御プロセッサコア801については、図41を参照して詳細に説明する。
演算プロセッサコア(#1)811乃至(#8)818は、マルチメディア系の処理を得意とするシンプルで小型の演算プロセッサコアである。なお、演算プロセッサコア(#1)811乃至(#8)818については、図42を参照して詳細に説明する。
バス802は、EIB(Element Interconnect Bus)と呼ばれる高速なバスであり、制御プロセッサコア801および演算プロセッサコア(#1)811乃至(#8)818のそれぞれが接続され、各プロセッサコアによるデータアクセスはバス802を経由して行われる。
メインメモリ781は、バス802に接続され、各プロセッサコアにロードすべき各種プログラムや、各プロセッサコアの処理に必要なデータを格納するとともに、各プロセッサコアにより処理されたデータを格納するメインメモリである。
グラフィックスデバイス782は、バス802に接続されているグラフィックスデバイスであり、I/Oデバイス783は、バス802に接続されている外部入出力デバイスである。
図41は、本発明の実施の形態における制御プロセッサコア801の一構成例を示す図である。制御プロセッサコア801は、制御プロセッサユニット803および制御プロセッサストレージシステム806を備える。
制御プロセッサユニット803は、制御プロセッサコア801の演算処理を行う核となるユニットであり、マイクロプロセッサのアーキテクチャをベースとする命令セットを備え、一次キャッシュとして命令キャッシュ804およびデータキャッシュ805が搭載されている。命令キャッシュ804は、例えば、32KBの命令キャッシュであり、データキャッシュ805は、例えば、32KBのデータキャッシュである。
制御プロセッサストレージシステム806は、制御プロセッサユニット803からメインメモリ781へのデータアクセスを制御するユニットであり、制御プロセッサユニット803からのメモリアクセスを高速化させるために512KBの二次キャッシュ807が搭載されている。
図42は、本発明の実施の形態における演算プロセッサコア(#1)811の一構成例を示す図である。演算プロセッサコア(#1)811は、演算プロセッサユニット820およびメモリフローコントローラ822を備える。なお、演算プロセッサコア(#2)812乃至(#8)818は、演算プロセッサコア(#1)811と同様の構成であるため、ここでの説明を省略する。
演算プロセッサユニット820は、演算プロセッサコア(#1)811の演算処理を行う核となるユニットであり、制御プロセッサコア801の制御プロセッサユニット803とは異なる独自の命令セットを備える。また、演算プロセッサユニット820には、ローカルストア(LS:Local Store)821が搭載されている。
ローカルストア821は、演算プロセッサユニット820の専用メモリであるとともに、演算プロセッサユニット820から直接参照することができる唯一のメモリである。ローカルストア821として、例えば、容量が256Kバイトのメモリを用いることができる。なお、演算プロセッサユニット820が、メインメモリ781や他の演算プロセッサコア(演算プロセッサコア(#2)812乃至(#8)818)上のローカルストアにアクセスするためには、メモリフローコントローラ822を利用する必要がある。
メモリフローコントローラ822は、メインメモリ781や他の演算プロセッサコア等との間でデータのやり取りするためのユニットであり、MFC(Memory Flow Controller)と呼ばれるユニットである。ここで、演算プロセッサユニット820は、チャネルと呼ばれるインタフェースを介してメモリフローコントローラ822に対してデータ転送等を依頼する。
以上で示したマルチコアプロセッサ800のプログラミング・モデルとして、さまざまなものが提案されている。このプログラミング・モデルの中で最も基本的なモデルとして、制御プロセッサコア801上でメインプログラムを実行し、演算プロセッサコア(#1)811乃至(#8)818上でサブプログラムを実行するモデルが知られている。本発明の実施の形態では、このモデルを用いたマルチコアプロセッサ800の演算方法について図面を参照して詳細に説明する。
図43は、本発明の実施の形態におけるマルチコアプロセッサ800の演算方法を模式的に示す図である。この例では、データ785を用いて制御プロセッサコア801がタスク784を実行する場合に、タスク784の一部であるタスク786の処理に必要なデータ787(データ785の一部)を用いて、タスク786を各演算プロセッサコアに実行させる場合を例に図示する。
同図に示すように、データ785を用いて制御プロセッサコア801がタスク784を実行する場合には、タスク784の一部であるタスク786の処理に必要なデータ787(データ785の一部)を用いて、タスク786を各演算プロセッサコアに実行させる。本発明の実施の形態では、動画を構成するフレーム毎に各演算プロセッサコアにより演算処理が行われる。
同図に示すように、マルチコアプロセッサ800が演算を行うことにより、演算プロセッサコア(#1)811乃至(#8)818を並列に利用して、比較的少ない時間で多くの演算を行うことができるとともに、演算プロセッサコア(#1)811乃至(#8)818上でSIMD(Single Instruction/Multiple Data:単一命令/複数データ)演算を利用して、さらに少ない命令数により、比較的多くの演算処理を行うことができる。なお、SIMD演算については、図47乃至図50等を参照して詳細に説明する。
図44は、本発明の実施の形態におけるマルチコアプロセッサ800により演算を行う場合におけるプログラムおよびデータの流れを模式的に示す図である。ここでは、演算プロセッサコア(#1)811乃至(#8)818のうちの演算プロセッサコア(#1)811を例にして説明するが、演算プロセッサコア(#2)812乃至(#8)818についても同様に行うことができる。
最初に、制御プロセッサコア801は、メインメモリ781に格納されている演算プロセッサコアプログラム823を演算プロセッサコア(#1)811のローカルストア821にロードする指示を演算プロセッサコア(#1)811に送る。これにより、演算プロセッサコア(#1)811は、メインメモリ781に格納されている演算プロセッサコアプログラム823をローカルストア821にロードする。
続いて、制御プロセッサコア801は、ローカルストア821に格納された演算プロセッサコアプログラム825の実行を演算プロセッサコア(#1)811に指示する。
続いて、演算プロセッサコア(#1)811は、ローカルストア821に格納された演算プロセッサコアプログラム825の実行処理に必要なデータ824をメインメモリ781からローカルストア821に転送する。
続いて、演算プロセッサコア(#1)811は、ローカルストア821に格納された演算プロセッサコアプログラム825に基づいて、メインメモリ781から転送されたデータ826を加工し、条件に応じた処理を実行して処理結果をローカルストア821に格納する。
続いて、演算プロセッサコア(#1)811は、ローカルストア821に格納された演算プロセッサコアプログラム825に基づいて実行された処理結果をローカルストア821からメインメモリ781に転送する。
続いて、演算プロセッサコア(#1)811は、制御プロセッサコア801に演算処理の終了を通知する。
次に、マルチコアプロセッサ800を用いて行うSIMD演算について図面を参照して詳細に説明する。ここで、SIMD演算とは、複数のデータに対する処理を1つの命令で行う演算方式である。
図45(a)は、複数のデータに対する処理をそれぞれの命令で行う演算方式の概要を模式的に示す図である。図45(a)に示す演算方式は、通常の演算方式であり、例えば、スカラー演算と呼ばれている。例えば、データ「A1」およびデータ「B1」を加算する命令によりデータ「C1」の処理結果が求められる。また、他の3つの演算についても同様に、同一の行にあるデータ「A2」、「A3」、「A4」と、データ「B2」、「B3」、「B4」とを加算する命令がそれぞれの処理について行われ、この命令により、各行の値が加算処理され、この処理結果がデータ「C2」、「C3」、「C4」として求められる。このように、スカラー演算では、複数のデータに対する処理については、それぞれに対して命令を行う必要がある。
図45(b)は、複数のデータに対する処理を1つの命令で行う演算方式であるSIMD演算の概要を模式的に示す図である。ここで、SIMD演算用に1まとまりにしたデータ(点線827および828で囲まれる各データ)は、ベクターデータと呼ばれることがある。また、このようなベクターデータを用いて行われるSIMD演算は、ベクトル演算と呼ばれることがある。
例えば、点線827で囲まれるベクターデータ(「A1」、「A2」、「A3」、「A4」)と、点線828で囲まれるベクターデータ(「B1」、「B2」、「B3」、「B4」)とを加算する1つの命令により「C1」、「C2」、「C3」、「C4」の処理結果(点線829で囲まれているデータ)が求められる。このように、SIMD演算では、複数のデータに対する処理を1つの命令で行うことができるため、演算処理を迅速に行うことができる。また、これらのSIMD演算に関する命令を、マルチコアプロセッサ800の制御プロセッサコア801が行い、この命令に対する複数データの演算処理について演算プロセッサコア(#1)811乃至(#8)818が並列処理を行う。
一方、例えば、データ「A1」と「B1」とを加算し、データ「A2」と「B2」とを減算し、データ「A3」と「B3」とを乗算し、データ「A4」と「B4」とを除算する処理については、SIMD演算では行うことができない。すなわち、複数のデータのそれぞれに対して異なる処理をする場合には、SIMD演算による処理を行うことがではできない。
次に、特徴点抽出処理およびオプティカルフロー算出処理を行う場合におけるSIMD演算の具体的な演算方法について図面を参照して詳細に説明する。
図46は、本発明の実施の形態における制御プロセッサコア801または演算プロセッサコア(#1)811により実行されるプログラムの構成例を示す図である。ここでは、演算プロセッサコア(#1)811についてのみ図示するが、演算プロセッサコア(#2)812乃至(#8)818についても同様の処理が行われる。
制御プロセッサコア801は、デコード851としてデコード852、インターレース853およびリサイズ854を実行する。デコード852は、動画ファイルをデコードする処理である。インターレース853は、デコードされた各フレームについてインターレース除去する処理である。リサイズ854は、インターレース除去された各フレームについて縮小する処理である。
また、制御プロセッサコア801は、演算プロセッサコア管理856として命令送信857および859、終了通知受信858および860を実行する。命令送信857および859は、演算プロセッサコア(#1)811乃至(#8)818に対するSIMD演算の実行命令を送信する処理であり、終了通知受信858および860は、上記命令に対する演算プロセッサコア(#1)811乃至(#8)818からのSIMD演算の終了通知を受信する処理である。さらに、制御プロセッサコア801は、カメラワーク検出861としてカメラワークパラメータ算出処理862を実行する。カメラワークパラメータ算出処理862は、演算プロセッサコア(#1)811乃至(#8)818によるSIMD演算により算出されたオプティカルフローに基づいてフレーム毎にアフィン変換パラメータを算出する処理である。
演算プロセッサコア(#1)811は、特徴点抽出処理863として、ソベルフィルタ(Sobel Filter)処理864、二次モーメント行列(Second Moment Matrix)処理865、セパラブルフィルタ(Separable Filter)処理866、ハリスコーナー点抽出(Calc Harris)処理867、膨張処理(Dilation)868、並べ替え処理(Sort)869を実行する。
ソベルフィルタ処理864は、P2のフィルタ(x方向)を使って得られるx方向の値dxと、Y方向のフィルタを使って得られるy方向の値dyとを算出する処理である。なお、x方向の値dxの算出については、図47乃至図50を参照して詳細に説明する。
二次モーメント行列処理865は、ソベルフィルタ処理864により算出されたdxおよびdyを用いて、dx2,dy2,dx・dyの各値を算出する処理である。
セパラブルフィルタ処理866は、二次モーメント行列処理865により算出されたdx2,dy2,dx・dyの画像に対してガウシアンフィルタ(ぼかし処理)を掛ける処理である。
ハリスコーナー点抽出処理867は、セパラブルフィルタ処理866により、ぼかし処理が施されたdx2,dy2,dx・dyの各値を用いて、ハリスコーナーのスコアを算出する処理である。このハリスコーナーのスコアSは、例えば、次の式により算出される。
S=(dx2×dy2−dx・dy×dx・dy)/(dx2+dy2+ε)
膨張処理868は、ハリスコーナー点抽出処理867により算出されたハリスコーナーのスコアで構成された画像に対してぼかし処理を行う処理である。
並べ替え処理869は、ハリスコーナー点抽出処理867により算出されたハリスコーナーのスコアが高い順に画素を並べ、このスコアが高い方から所定の数だけピックアップし、このピックアップされた点を特徴点として抽出する処理である。
演算プロセッサコア(#1)811は、オプティカルフロー(Optical Flow)演算処理870として、ピラミッド画像(Make Pyramid Image)処理871、オプティカルフロー算出(Calc Optical Flow)処理872を実行する。
ピラミッド画像処理871は、撮像装置による撮像時の画サイズから所定数の段階に縮小された画像を順次作成する処理であり、作成された画像は多重解像度画像と呼ばれる。
オプティカルフロー算出処理872は、ピラミッド画像処理871により作成された多重解像度画像のうちで、最も小さい画像についてオプティカルフローを計算し、この計算結果を用いて、1つ上の解像度の画像について再びオプティカルフローを計算する処理であり、この一連の処理を最も大きい画像に辿り着くまで繰り返し行う。
このように、例えば、図3等に示す特徴点抽出部121により行われる特徴点抽出処理と、オプティカルフロー計算部122により行われるオプティカルフロー算出処理とについては、マルチコアプロセッサ800を用いてSIMD演算によって並列処理することにより処理結果を求めることができる。なお、図46等で示す特徴点抽出処理およびオプティカルフロー算出処理は、一例であり、動画を構成する画像に対する各種フィルタ処理や閾値処理等により構成される他の処理を用いて、マルチコアプロセッサ800によるSIMD演算を行うようにしてもよい。
図47は、本発明の実施の形態におけるメインメモリ781に格納されている画像データ(撮像装置により撮像された動画を構成する1つのフレームに対応する画像データ)について、ソベルフィルタ830を用いてフィルタリング処理を行う場合におけるデータ構造と処理の流れを概略的に示す図である。なお、同図に示すメインメモリ781に格納されている画像データについては、横の画素数を32画素として簡略化して示す。また、ソベルフィルタ830は、3×3のエッジ抽出フィルタである。同図に示すように、メインメモリ781に格納されている画像データについて、ソベルフィルタ830を用いたフィルタリング処理を行い、このフィルタリング処理の結果が出力される。この例では、SIMD演算を用いて4つ分のフィルタ結果を一度に得る例について説明する。
図48は、本発明の実施の形態におけるメインメモリ781に格納されている画像データについてソベルフィルタ830を用いてSIMD演算を行う場合におけるデータの流れを概略的に示す図である。最初は、メインメモリ781に格納されている画像データのうちの最初のラインを含む所定数のライン(例えば、3ライン)が演算プロセッサコアのローカルストア821に備えられる第一バッファ831にDMA(Direct Memory Access)転送されるとともに、第一バッファ831にDMA転送された各ラインを1つ下にずらした所定数のラインが第二バッファ832にDMA転送される。このように、ダブルバッファを使用することにより、DMA転送による遅延を隠蔽することができる。
図49は、本発明の実施の形態におけるソベルフィルタ830を用いてフィルタリング処理を行う場合において、第一バッファ831に格納されている画像データから9つのベクトルを作成するベクトル作成方法を概略的に示す図である。図48に示すように、DMA転送が行われた後に、第一バッファ831に格納されている画像データから9つのベクトルが作成される。具体的には、第一バッファ831に格納されている画像データの1ラインにおいて左隅から4つのデータによりベクターデータ841が作成され、その4つのデータを右側に1つずらした4つのデータによりベクターデータ842が作成され、同様に、その4つのデータを右側に1つずらした4つのデータによりベクターデータ843が作成される。また、2ラインおよび3ラインにおいても同様に4つのデータによりベクターデータ844乃至849が作成される。
図50は、本発明の実施の形態におけるソベルフィルタ830を用いてフィルタリング処理を行う場合において、ベクターデータ841乃至849についてSIMD命令を用いてベクトル演算を行うベクトル演算方法を概略的に示す図である。具体的には、ベクターデータ841乃至843についてSIMD演算が順次行われ、ベクトルAが求められる。このSIMD演算では、最初に、『「−1」×「ベクターデータ841」』のSIMD演算が実行される。続いて、『「0」×「ベクターデータ842」』のSIMD演算が実行され、『「1」×「ベクターデータ843」』のSIMD演算が実行される。ここで、『「0」×「ベクターデータ842」』については、演算結果が「0」であると確定しているため、省略することが可能である。また、『「1」×「ベクターデータ843」』については、演算結果が「ベクターデータ843」と同じ値であることが確定しているため、省略することが可能である。
続いて、『「−1」×「ベクターデータ841」』の演算結果と、『「0」×「ベクターデータ842」』の演算結果との加算処理がSIMD演算により実行される。続いて、この加算処理の結果と、『「1」×「ベクターデータ843」』の演算結果との加算処理がSIMD演算により実行される。ここで、例えば、「ベクターデータ1」×「ベクターデータ2」+「ベクターデータ3」となるデータ構造の演算については、SIMD演算により実行することが可能である。そこで、ベクトルAの演算については、例えば、『「0」×「ベクターデータ842」』および『「1」×「ベクターデータ843」』についてのSIMD演算を省略し、『「−1」×「ベクターデータ841」+「ベクターデータ843」』を一度のSIMD演算により実行するようにしてもよい。
また、同様に、ベクターデータ844乃至846についてSIMD演算が行われ、ベクトルBが求められ、ベクターデータ847乃至849についてSIMD演算が行われ、ベクトルCが求められる。
続いて、SIMD演算により求められたベクトルA乃至CについてSIMD演算が行われ、ベクトルDが求められる。このように、SIMD演算を行うことにより、ベクトルの要素数分(この例では4つのデータ)の結果をまとめて得ることができる。
ベクトルDが算出された後は、図48に示す第一バッファ831に格納されている画像データにおいて、取り出すデータの位置を右側に1つずらしながら、同様の処理を繰り返し実行して、それぞれのベクトルDの算出を順次行う。そして、図48に示す第一バッファ831に格納されている画像データの右端までの処理が終了した場合には、処理結果をメインメモリ781にDMA転送する。
続いて、メインメモリ781に格納されている画像データのうちで、第二バッファ832にDMA転送された各ラインを1つ下にずらした所定数のラインが第一バッファ831にDMA転送されるとともに、第二バッファ832に格納されている画像データについて、上述した処理を繰り返し行う。そして、メインメモリ781に格納されている画像データの各ラインのうちの下端のラインに達するまで、同様の処理を繰り返し行う。
同様に、特徴点抽出とオプティカルフロー算出の大部分の処理をSIMD演算により行うことによって高速化を実現することができる。
図51は、本発明の実施の形態におけるカメラワークパラメータ算出処理の流れを時系列で概略的に示す図である。上述したように、例えば、マルチコアプロセッサ800を用いてSIMD演算を行うことにより、動画についてのデコードおよび解析処理を並列化して行うことができる。このため、動画を構成する1フレームの解析時間を、デコード時間よりも短縮することが可能である。
例えば、同図において、t1は、制御プロセッサコア801が動画を構成する1フレームのデコード処理に要する時間を示し、t2は、演算プロセッサコア(#1)811乃至(#8)818が動画を構成する1フレームの特徴点抽出処理に要する時間を示し、t3は、演算プロセッサコア(#1)811乃至(#8)818が動画を構成する1フレームのオプティカルフロー算出処理に要する時間を示し、t4は、制御プロセッサコア801が動画を構成する1フレームのカメラワーク検出処理に要する時間を示す。なお、t5は、制御プロセッサコア801および演算プロセッサコア(#1)811乃至(#8)818が動画を構成する1フレームについて、カメラワーク検出処理に要する時間を示す。また、t6は、t6は、制御プロセッサコア801が演算プロセッサコア(#1)811乃至(#8)818を管理する処理に要する時間を示す。例えば、t1を「25.0ms」とし、t2を「7.9ms」とし、t3を「6.7ms」とし、t4を「1.2ms」とし、t5を「15.8ms」とすることができる。
次に、本発明の実施の形態におけるメタデータファイルを用いた動画コンテンツを再生する場合について図面を参照して詳細に説明する。
図52(a)は、記録媒体の一例であるブルーレイディスク(Blu-ray Disc(登録商標))880を模式的に示す上面図であり、図52(b)は、ブルーレイディスク880に記録されている各データ881乃至884を模式的に示す図である。ブルーレイディスク880には、例えば、カメラ等により撮像された動画である動画コンテンツ882、動画コンテンツ882の字幕883、および、動画コンテンツ882について解析されて得られたメタデータ(例えば、図4(b)に示すメタデータファイル、図29、図35に示す相対関係メタデータファイル)884とともに、本発明の実施の形態における動画再生に係るJava(登録商標)プログラム881が記録されている。
図52(c)は、ブルーレイディスク880を再生可能なブルーレイ再生機(Blu-ray Disc Player)890の内部構成を模式的に示す図である。ここで、ブルーレイディスクを再生可能なブルーレイ再生機890は、CPU891およびOS892とともに、Java VM(Java仮想マシン)およびライブラリ893が標準で搭載されているため、Javaプログラムを実行することが可能である。このため、ブルーレイディスク880をブルーレイ再生機890に装着することにより、ブルーレイ再生機890がJavaプログラム881をロードして実行することが可能である。これにより、ブルーレイ再生機890が動画コンテンツ882を再生する場合に、メタデータ884を用いて、本発明の実施の形態における動画再生を行うことが可能である。すなわち、専用のPCソフト等を使わずに、全てのブルーレイ再生機で本発明の実施の形態における動画再生を実現することが可能になる。
以上で示したように、本発明の実施の形態では、撮像装置において1または複数の動画を再生する場合に、現在表示されている画像よりも前のフレームに対応する各画像を現在の画像に合成しながら表示するため、撮影の中心となっている対象物とともに、少なくとも一部の時間帯で撮影された背景等を俯瞰的に閲覧することができる。すなわち、撮影時の画サイズで再生されている初期状態から、ズームアウト操作により画像を拡大させた場合には、現画像全体が小さくなるとともに、現画像の周りに過去のフレームに対応する画像が表示されるため、空間的なズームアウトを実現することができる。これにより、撮影画サイズよりも広範囲の画像を俯瞰することができる。
また、例えば、少なくとも一部の時間帯で撮影された背景等を再度見たい場合には、巻き戻し操作や検索操作等をしなくても、ズームアウト操作により、現在表示されている画像と同時にその背景等を見ることができる。これにより、撮像装置により撮影された動画を閲覧する場合に、その動画の内容を容易に把握することができる。さらに、例えば、同一の対象物が含まれている動画を再生する場合には、その対象物の部分では、複数の動画が重ねられて表示されるため、複数の動画の相対的な関係を容易に把握することができる。
すなわち、過去のフレームを活用して、複数の動画を空間的に展開して鑑賞することができる。これにより、例えば、複数の画像を再生しながらパノラマ画像を完成させていくような鑑賞方法を提供することができるため、閲覧者は面白み豊かに動画を観賞することができる。また、現画像については、画像メモリ180に保存される前の状態の画像を順次表示させることができるため、比較的綺麗な画像を表示させることができる。
また、本発明の実施の形態では、予め検出されたアフィン変換パラメータを用いて再生表示をする例について説明したが、再生の際にアフィン変換パラメータを算出し、この算出されたアフィン変換パラメータを用いて再生表示をするようにしてもよい。例えば、マルチコアプロセッサを用いたSIMD演算によりアフィン変換パラメータを算出することにより、1フレームのデコードの処理時間内に、1フレームのアフィン変換パラメータを算出することが可能である。これにより、アフィン変換パラメータが算出されていない動画を再生する場合でも、アフィン変換パラメータを算出しながら動画再生を行うことが可能であるため、動画を空間的に展開する鑑賞を迅速に行うことができる。
また、本発明の実施の形態では、複数の動画ファイルを動画記憶部200に記憶するとともに、この動画に対応するアフィン変換パラメータを、対応する動画およびフレームと関連付けてメタデータファイルとしてメタデータ記憶部210に記憶し、さらに、複数の動画に関する相対関係情報を相対関係情報記憶部220に記憶する例について説明したが、動画と、この動画に対応するアフィン変換パラメータと、この動画に関する相対関係情報とを関連付けて動画ファイルとして動画記憶部に記録しておき、再生時には、動画ファイルから各情報を抽出して用いるようにしてもよい。
また、本発明の実施の形態では、先頭のフレームから最後のフレームに向かって合成再生する例について説明したが、最後のフレームから先頭のフレームに向かって合成再生する場合についても同様に適用することができる。この場合には、フレームに関連付けられているアフィン変換パラメータの逆行列を用いてアフィン変換を行う。
また、画像合成部により合成された合成画像を記録媒体等に記録して、他の再生表示に用いるようにしてもよい。また、本発明の実施の形態では、動画を例にして説明したが、例えば、連続して記録された撮像画像等の静止画についても同様に合成表示することができる。すなわち、動画または静止画の再生機能と、再生時の表示倍率を切り替える機能とを備えるパーソナルコンピュータの動画再生アプリケーション、デジタルスチルカメラ、カムコーダ、携帯電話等の撮像装置に本発明の実施の形態を適用することができる。
また、本発明の実施の形態では、画像合成部により合成された画像を表示部に表示する撮像装置を例にして説明したが、画像合成部により合成された画像を他の画像表示装置において表示させるための画像情報を出力する画像出力手段を設けた撮像装置に本発明の実施の形態を適用することができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
すなわち、請求項1において、撮像手段は、例えば撮像部110に対応する。また、変換情報算出手段は、例えばカメラワーク検出部120に対応する。また、画像保持手段は、例えば画像メモリ180に対応する。また、画像変換手段は、例えば画像変換部150および151に対応する。また、画像合成手段は、例えば画像合成部170および171に対応する。また、操作受付手段は、例えば操作受付部160および165に対応する。また、制御手段は、例えば表示領域取出部190および表示制御部240に対応する。
また、請求項7において、撮像手段は、例えば撮像部110に対応する。また、変換情報算出手段は、例えばカメラワーク検出部120に対応する。また、画像保持手段は、例えば画像メモリ180に対応する。また、画像変換手段は、例えば画像変換部150に対応する。また、画像合成手段は、例えば画像合成部170に対応する。また、操作受付手段は、例えば操作受付部160に対応する。また、制御手段は、例えば表示領域取出部190および表示制御部240に対応する。
また、請求項8または9において、変換情報算出手順は、例えばステップS903乃至S913に対応する。また、履歴画像として画像保持手段に保持させる手順は、例えばステップS926に対応する。また、画像変換手順は、例えばステップS925に対応する。また、画像合成手順は、例えばステップS926に対応する。また、操作受付手順は、例えば操作受付部160および165により行われる。また、制御手順は、例えばステップS927乃至S932に対応する。
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。