JP5370542B1 - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】多視点画像からユーザの満足度が高い動画を生成する。
【解決手段】出力する動画の各フレームについて、仮動画生成部３４１０がＬＦＩからデフォルト値を用いて再構成した仮画像をフレームとする仮動画を生成する。そして、出力部３５０に出力する。指定取得部３２０が仮動画上の注目被写体の座標を指定する情報を取得する。リスト生成部３４２０が、現在のフレームのＬＦＩから生成された奥行きマップを用いて、注目被写体の奥行きを取得し、奥行き値から再構成距離を求めて指定リストに登録する。補正部３４３０が、指定リストを補正する。本動画生成部３４４０が、補正後の指定リストが指定する焦点距離に合焦した再構成画像をフレームとする本動画を生成し、出力部３５０に出力する。
【選択図】図６

Description

本発明は、画像処理装置、撮像装置、画像処理方法及びプログラムに関する。

異なる視点から被写体を撮影して、被写体の立体的な情報を取得する技術が知られている。このような技術に関連して、特許文献１は被写体を撮影した複数の画像から構成される多視点画像（ライトフィールド画像）を取得して、該複数の画像から焦点距離・被写界深度等を変化させた被写体の画像を再構成する技術を開示している。

特表２００８−５１５１１０号公報

多視点画像から再構成された画像をフレームとして動画を生成することが考えられる。ところで、特許文献１が開示する技術では、再構成画像の焦点距離が所望の設定から外れることがあり、ユーザの満足度が高い動画が生成できないという問題があった。

本発明は上記事情に鑑みてなされたもので、多視点画像からユーザの満足度が高い動画を生成できる画像処理装置、撮像装置、画像処理方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明に係る画像処理装置は、
動画のフレームに、当該フレームの法線軸を成分に含む座標系における合焦位置の座標を設定する第１設定部と、
動画のフレームに、当該フレームの法線軸を成分に含む座標系における合焦位置の座標を、当該動画の他のフレームについて前記第１設定部が設定した座標に基づいて設定する第２設定部と、
前記動画のフレーム毎に、前記第１設定部及び／又は第２設定部が設定した座標から定まる焦点距離に合焦した、当該フレームの被写体を複数の視点から撮影した多視点画像から再構成した画像を取得する画像取得部と、
前記画像取得部が取得した画像をフレームとする動画を生成する生成部と、
前記生成部が生成した動画を出力する出力部と、
を備えることを特徴とする。

本発明によれば、多視点画像からユーザの満足度が高い動画を生成できる。

本発明の実施形態１に係るデジタルカメラの構成を示す図である。 実施形態１に係るデジタルカメラの光学系の構成を示す図である。 （ａ）は実施形態１に係るライトフィールド画像の例を、（ｂ）はライトフィールド画像の概念図を、（ｃ）はライトフィールド奥行きマップの例を、それぞれ示す図である。 （ａ）は実施形態１に係るライトフィールド画像の例を、（ｂ）はライトフィールド画像から再構成された再構成画像を、（ｃ）は再構成奥行きマップを、（ｄ）再構成された再構成画像を、それぞれ示す図である。 実施形態１に係る光線追跡を説明するための図である。 （ａ）は実施形態１に係る動画生成装置の物理的構成を、（ｂ）は動画生成装置の機能的構成を、それぞれ示す図である。 （ａ）は実施形態１に係る補正前の指定リストの例を、（ｂ）は補正前の指定リストの例を、それぞれ示す図である。 （ａ）は実施形態１に係る補正処理の例を、（ｂ）は実施形態１に係る補正処理の例を、それぞれ示す図である。 実施形態１に係る動画出力処理を示すフローチャートである。 実施形態１に係る指定リスト生成処理を示すフローチャートである。 実施形態１に係る補正処理を示すフローチャートである。 実施形態１に係る奥行き値−焦点距離対応リストの例を示す図である。 本発明の実施形態２に係る補正処理を示すフローチャートである。 本発明の実施形態３に係るデジタルカメラの構成を示す図である。 実施形態３に係る補正処理の例を示す図である。 実施形態３に係る指定リストの例を示す図である。 実施形態３に係る動画出力処理を示すフローチャートである。 実施形態３に係る抽出処理を示すフローチャートである。 実施形態３に係る指定リスト生成処理を示すフローチャートである。 実施形態３に係る補正処理を示すフローチャートである。 本発明の実施形態４に係る補正処理の例を示す図である。 実施形態４に係る補正処理を示すフローチャートである。

以下、本発明を実施するための形態に係るデジタルカメラ及び動画生成装置（画像処理装置）を、図を参照しながら説明する。なお、図中同一又は相当する部分には同一符号を付す。

（実施形態１）
実施形態１に係る動画生成装置３０（画像処理装置）は、図１に示すデジタルカメラ１に搭載されている。デジタルカメラ１は、以下のｉ）〜ｖｉ）の機能を持つ。
ｉ）被写体を複数の視点から撮影した複数のサブイメージからなるライトフィールド画像を順次撮影する機能
ｉｉ）ライトフィールド画像から被写体の画像を再構成した再構成画像を生成する機能
ｉｉｉ）再構成した被写体の奥行きを示す奥行きマップを生成する機能
ｉｖ）再構成画像をフレームとする動画を生成するにあたって、再構成画像の合焦位置の座標をフレーム毎に設定する機能
ｖ）設定した座標を補正する機能
ｖｉ）補正後の座標に合焦した再構成画像をフレームとする動画を生成する機能
動画生成装置３０は、このうち特にｉｖ）〜ｖｉ）の機能を受け持つ。

デジタルカメラ１は、図１に示すように、撮像部１０と、動画生成装置３０を含む情報処理部２０と、記憶部４０と、インターフェース部（Ｉ／Ｆ部）５０と、から構成される。デジタルカメラ１は、このような構成により、外部から被写体の光線情報を取得して、被写体の動画を生成する。

撮像部１０は、光学装置１１０と、イメージセンサ１２０と、から構成され、設定されたフレームレートで撮像動作を行う。

光学装置１１０は、図２に示すように、メインレンズＭＬと、サブレンズアレイＳＬＡ（マイクロレンズアレイ）と、から構成される。光学装置１１０は、外部（被写体ＯＢ１〜被写体ＯＢ３）からの光線をメインレンズＭＬによって捉え、サブレンズアレイＳＬＡを構成する各サブレンズＳＬの光学中心を視点として得られる光学像をイメージセンサ１２０に投影する。

イメージセンサ１２０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子と、撮像素子が生成した電気信号を情報処理部２０に伝達する伝達部と、から構成される。イメージセンサ１２０はこのような物理構成により光学装置１１０が投影した光学像を電気信号に変換して、順次情報処理部２０に伝達する。

メインレンズＭＬは、一又は複数の凸レンズ、凹レンズ、非球面レンズ等から構成され、撮影時の被写体（例えば被写体ＯＢ１〜被写体ＯＢ３）の光を光学像としてメインレンズＭＬとサブレンズアレイＳＬＡとの間の仮想的な結像面ＭＩＰ上に結像させる。なお、撮影時の被写体（被写体ＯＢ１〜被写体ＯＢ３）は、図２に示すようにメインレンズＭＬからそれぞれ異なる距離だけ離れた複数の構成物であるとする。

サブレンズアレイＳＬＡは、平面上に格子状に配置されたＭ×Ｎ個のサブレンズ（マイクロレンズ）ＳＬから構成される。サブレンズアレイＳＬＡは、メインレンズＭＬが結像面ＭＩＰ上に結像させた光学像を、それぞれのサブレンズＳＬの光学中心を視点として観測した光学像として、イメージセンサ１２０の撮像面ＩＥ上に結像する。メインレンズＭＬが成す平面と撮像面ＩＥが成す平面とから構成される空間をライトフィールドと呼ぶ。

メインレンズＭＬについて、最大径ＬＤと、有効径ＥＤと、が定義できる。最大径ＬＤは、メインレンズＭＬの物理的な直径である。一方、有効径ＥＤはメインレンズＭＬのうち撮影に使用できる領域の直径である。メインレンズＭＬのうち、有効径ＥＤの外部は、メインレンズＭＬに貼り付けられた各種フィルタやメインレンズＭＬ周辺の物理構造によってメインレンズに入出力する光線が遮られるため、画像を撮影・再構成するために有効でない領域（非有効領域）である。
最大径ＬＤと有効径ＥＤは、予め測定され、工場出荷時に記憶部４０に記憶されている。

図２の例では、複数の被写体（被写体ＯＢ１〜被写体ＯＢ３）のうち、被写体ＯＢ２のある部分ＰＯＢからの光線がメインレンズＭＬの有効径ＥＤをなす部分（有効部）を通過し、複数のサブレンズＳＬ上に投影されている。このように、ある被写体ＯＢの部分ＰＯＢから発された光が、メインレンズＭＬの有効部を通過してサブレンズアレイＳＬＡ上に投影される領域を、部分ＰＯＢのメインレンズブラーＭＬＢと呼ぶ。このうち、主光線が到達する部位をメインレンズブラー中心ＭＬＢＣと呼ぶ。
なお、以後複数の被写体について、遠い（メインレンズからの距離が大きい）被写体から順に被写体ＯＢ１〜被写体ＯＢ３と表記する。

メインレンズＭＬの光学中心からメインレンズの結像面ＭＩＰまでの距離をｂ１、結像面ＭＩＰからサブレンズアレイＳＬＡがなす面までの距離をａ２、サブレンズアレイＳＬＡからイメージセンサの撮像面ＩＥの距離をｃ２とする。

撮像部１０は、上記構成により、ライトフィールドを通過する光線の情報（到達部位、光量、方向）を含んだライトフィールド画像（ＬＦＩ）を撮影する。
ブロック状の被写体ＯＢを撮影したＬＦＩの一例を図３（ａ）に示す。
このＬＦＩは、格子状に配置されたＭ×Ｎ個のサブレンズＳＬ（マイクロレンズ）のそれぞれに対応する画像（サブイメージＳＩ、Ｓ_１１〜Ｓ_ＭＮ）から構成されている。例えば、左上のサブイメージＳ_１１は、被写体ＯＢを左上から撮影した画像に相当し、右下のサブイメージＳ_ＭＮは被写体ＯＢを右下から撮影した画像に相当する。

各サブイメージは、サブイメージを結像させたサブレンズの位置に対応したＬＦＩ上の位置に配置されている。
第ｉ行のサブイメージ（横の一列のサブイメージ）Ｓ_ｉ１〜Ｓ_ｉＮは、メインレンズＭＬが結像した像を、サブレンズアレイＳＬＡの第ｉ行の横に並んだサブレンズＳＬで結像したステレオ画像に相当する。同様に、第ｊ列のサブイメージ（縦の一列のサブイメージ）Ｓ_１ｊ〜Ｓ_Ｍｊは、メインレンズＭＬが結像した像を、サブレンズアレイＳＬＡ（マイクロレンズアレイ）の第ｊ列の縦に並んだサブレンズＳＬで撮影したステレオ画像に相当する。

図１に示す情報処理部２０は、物理的にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、内部バスと、Ｉ／Ｏポートと、から構成される。情報処理部２０はこのような物理構成により、画像処理部２１０、再構成部２２０、動画生成装置３０及び撮像制御部２３０として機能する。

画像処理部２１０は、イメージセンサ１２０から電気信号を取得し、取得した電気信号を記憶部４０の設定記憶部４１０が記憶する設定情報（撮影設定情報を含む）に含まれる撮像設定情報に基づいて画像データ（ＬＦＩ）に変換する。画像処理部２１０は、設定されたフレームレートに対応する速度で、順次ＬＦＩを生成して記憶部４０の画像記憶部４２０に記憶する。ここでは、後述する本動画と同じフレームレートでＬＦＩを生成することとする。以下、画像記憶部４２０に記憶された、撮影された一連のＬＦＩを動画のフレームとしたデータをＬＦＩ動画と呼ぶ。
なお、設定記憶部４１０が記憶する設定情報については後述する。

再構成部２２０は、ＬＦＩ上のサブイメージ上の各画素について、被写体の奥行きを推定する。このとき、被写体の奥行きは、その被写体に対応する画素が各サブイメージ上でズレている程度を算出する。そのズレの大きさを奥行きを示す係数とする。そして、推定した奥行きを示す係数を各画素の位置に配置した情報（ライトフィールド奥行きマップ、ＬＦＤＭ）を生成する。奥行き係数が大きいほど、その画素に写った被写体が手前（メインレンズＭＬに近い位置）にあると推定される。

ＬＦＤＭは、ＬＦＩに含まれるサブ画素のそれぞれについて、奥行きを示す係数を定義する。図３（ｂ）に示すＬＦＩに対するＬＦＤＭを、図３（ｃ）に示す。ＬＦＤＭでは、図３（ｂ）に示したような直方体の被写体を撮影したＬＦＩに対して、より奥にある部分（直方体の奥の辺）がより濃い色で、手前（正面）が薄い色で示されている。以下、同様に奥行きマップにおいてより奥にある部位を濃い画素で、手前にある部分を薄い画素で示す。
なお、ここではＬＦＩとＬＦＤＭとは分離した情報として説明したが、ＬＦＩとＬＦＤＭとは、ある座標に配置された画素について、画素値（ＬＦＩが保持する情報）と奥行き係数（ＬＦＤＭが保持する情報）とを対応づけて記録するまとまった一つのデータであってもよい。

ここで、ＬＦＤＭの奥行き係数はＬＦＩの画素の被写体の距離を推定する任意の方法を用いて算出してよいが、本実施形態では以下の方法で算出するとする。
ｉ）ＬＦＩを構成するあるサブ画像を注目サブ画像とする。
ｉｉ）注目サブ画像を、画素値の差が所定範囲に含まれる画素によって構成される画像領域に分割する。そして、画像領域の一つを注目領域として選択する。
ｉｉｉ）注目サブ画像の右側（無い場合は左側、この場合は以下左右逆）のサブ画像を、位置順にＳＲ１、ＳＲ２、…ＳＲｋとして抽出する。なお、ｋは設定上定められた自然数である。
ｉｖ）注目領域の重心の座標（ｘ、ｙ）を取得する。なお、この座標は、各サブ画像の中心を原点とする、サブ画像毎に独立した座標系に対して定義される。
ｖ）現在の画素ズレをｄとする。サブ画像ＳＲ１において注目領域に対応する部位に、注目領域に対応する領域（対応領域）を配置する。このとき、対応領域の重心をｄだけ右側にずらして配置する。注目領域の各画素の画素値と、対応領域の対応する画素の画素値と、の差の二乗和（ＳＳＤ）を算出する。同様に、ＳＲ２に対応領域を、２ｄだけ右側にずらして配置し、ＳＳＤを算出する。ＳＳＤをＳＲｋまでそれぞれ取得して、各ＳＳＤの差分絶対値和（ＳＳＳＤ）を求める。これをｄの評価値とする。
ｖｉ）起こりうる視差の範囲の各画素ズレｄについて評価値を算出する。そのうち、得られた絶対差分値和ＳＳＳＤが最小である画素ズレ（ｄ）を、注目領域に含まれる画素の画素ズレ係数とする。
ｖｉｉ）全てのサブ画像の全ての画素について画素ズレ係数を算出し、算出した画素ズレ係数をＬＦＤＭの奥行き係数として対応する画素の部位に配置する。

再構成部２２０は、さらに設定記憶部４１０が記憶する設定情報（デフォルト設定）に基づき、画像記憶部４２０に記憶されたライトフィールド画像（例えば図４（ａ）のＬＦＩ）から、仮動画のフレームとなる再構成画像（例えば図４（ｂ）のＲＩ１）と再構成奥行きマップ（図４（ｃ）のＲＤＭ）を生成する。そして、動画生成装置３０のコマンドに応じて、同じＬＦＩからＲＩ１とは異なる焦点距離の再構成画像（図４（ｄ）のＲＩ２）を生成する。ＲＩ２は出力される動画（本動画）のフレームとなる画像である。
なお、奥行きマップＤＭの各画素は、その画素の被写体の推定された奥行きが深い（その被写体がメインレンズＭＬから遠い）場所には黒に近く、近いほど白に近く設定される

再構成部２２０は、ＬＦＩから再構成画素及び既知の任意の方法によって再構成画像及び奥行きマップを生成してよいが、本実施形態では以下の光線追跡により抽出する。
光線追跡の方法を、図５を参照して説明する。
まず、設定情報又は動画生成装置３０が指定する再構成面ＲＦ（メインレンズＭＬから距離ａ１だけ離れた仮想平面）上に、画像を設定する。このとき、被写体の注目部位Ｐ（再構成画像上の注目画素に対応）からの光線は、メインレンズの主点を通過してマイクロレンズアレイの到達位置（図５のサブレンズ上のＭＬＢＣ）に到達する。ＭＬＢＣのサブレンズ上の位置は、撮影設定情報に基づいて求めることが出来る。ＭＬＢＣを中心に、注目部位からの光が届いた範囲（メインレンズブラーＭＬＢ、図５の網線領域）を、レンズの特性からもとめる。メインレンズブラーＭＬＢの直径は、メインレンズＭＬと再構成面ＲＦとの距離ａ１、メインレンズと結像面ＭＩＰとの距離ｂ１（ａ１とメインレンズの焦点距離ｆ_ＭＬから算出）、結像面ＭＩＰとサブレンズアレイＳＬＡとの距離ａ２と、メインレンズの有効径ＥＤと、から三角形の相似を用いて算出する。

次に、サブレンズアレイＳＬＡに含まれるサブレンズＳＬの内、一部又は全てがメインレンズブラーＭＬＢに含まれるサブレンズＳＬを特定する。そして、特定されたサブレンズＳＬを順次注目レンズとして選択する。このとき、注目レンズとメインレンズブラーが重なる部位の面積ｗを、メインレンズブラー中心の位置と、メインレンズブラーＭＬＢの直径と、撮影設定情報が定めるサブレンズの位置及び大きさと、から求める。

注目画素からの光線が、選択されたサブレンズによって結像される位置にある、サブ画像上の画素（対応画素）を抽出する。

具体的には、対応画素（到達点ＰＥに対応）を以下の手順で算出する。
まず、再構成面ＲＦに対応するメインレンズの焦点面までの距離ｂ１は既知の数値ａ１及びｆ_ＭＬを用い、次の式（１）から算出することが出来る。

また、ａ２は既知の数値ｃ１から、式（１）を用いて算出したｂ１を減算することで求めることができる。
さらに、再構成面ＲＦとメインレンズとの距離ａ１と、メインレンズ結像面ＭＩＰとメインレンズＭＬとの距離ｂ１と、既知の数値ｘ（注目部位Ｐと光軸ＯＡとの距離）を以下の式（２）に用いて、注目部位ＰからメインレンズＭＬを通して結像する点（結像点ＰＦ）と光軸ＯＡとの距離ｘ’を算出する。
ｘ’＝ｘ・ｂ１／ａ１…（２）
さらに、光軸ＯＡから注目サブレンズＳＬの主点までの距離ｄ、上記の式（２）を用いて算出された距離ｘ’、サブレンズアレイＳＬＡから撮像面ＩＥまでの距離ｃ２、及びメインレンズ結像面ＭＩＰとサブレンズアレイＳＬＡまでの距離ａ２を以下の式（３）に用いて、到達点ＰＥと光軸ＯＡとの距離ｘ’’を算出する。

再構成部２２０は、上記の光線追跡をＭＬＢが重なっている各サブレンズに対して実行することにより、再構成画像上の画素（再構成画素）と対応する対応画素を抽出する。そして、各サブレンズとメインレンズブラーが重なる部位の面積ｗを各対応画素の重みｗとする。
再構成部２２０は、このように抽出した対応画素とその重みｗを用いて、以下の処理を実行して再構成画像と奥行きマップを生成する。
（１）再構成画素の一つを注目画素とし、対応画素と重みｗを抽出する
（２）各サブレンズの対応画素の画素値を、ＬＦＩを参照して取得する
（３）取得された画素値に、重み付け係数（その重みｗ）をかけたものを補正画素値とする。
（４）抽出した対応画素すべてについて、補正画素値を計算し総和を取り、再構成画素の画素値とする。
（５）抽出した対応画素の奥行き係数を、ＬＦＤＭを参照して取得する。
（６）取得した奥行き係数の最頻値を再構成奥行きマップの奥行き係数とする。
（７）各再構成画素について（１）〜（６）を実行して画素値及び奥行き係数を決定する。

動画生成装置３０は、再構成部２２０が設定情報に基づいて生成した仮画像（例えば図４（ｂ）のＲＩ１）をフレームとして動画を生成し、設定用の仮動画として記憶部４０の動画記憶部４３０に記憶し、Ｉ／Ｆ部５０の表示部５２０に出力させる。そして、動画生成装置３０は、Ｉ／Ｆ部５０の操作部５３０から、ユーザが仮動画を用いて指定する動画の焦点を合わせるべき部位の座標情報を受け取り、受け取った情報から動画の焦点距離を含む合焦位置の座標を指定する情報（指定情報）を設定する。そして、設定した座標を補正して、再構成部２２０にＬＦＩから、補正後の指定情報の焦点距離に応じた再構成面ＲＦに配置された再構成画像を生成するコマンドを送信する。

そして、動画生成装置３０は、コマンドに応答して再構成部２２０が生成した再構成画像（例えば図４（ｄ）のＲＩ２）を受け取る。そして、動画生成装置３０は、再構成部２２０から伝達された再構成画像をフレームとする本動画を生成する。
動画生成装置３０は、生成した本動画（再構成動画）を動画記憶部４３０に記憶する。動画生成装置３０の構成及び仮動画・本動画を生成する処理については後述する。

撮像制御部２３０は、記憶部４０の設定記憶部４１０が記憶する撮像設定情報に基づいて撮像部１０を制御し、撮像部１０を用いて被写体（例えば被写体ＯＢ１〜ＯＢ３）を撮影する。

記憶部４０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される主記憶装置と、フラッシュメモリ、ハードディスク、等の不揮発性メモリから構成される外部記憶装置と、から構成される。
主記憶装置は外部記憶装置に記憶されている制御プログラムや情報をロードし、情報処理部２０の作業領域として用いられる。
外部記憶装置は、後述する処理を情報処理部２０に行わせるための制御プログラムと情報とをあらかじめ記憶し、これらの制御プログラムや情報を情報処理部２０の指示に従って主記憶装置に伝達する。また、情報処理部２０の指示に従って、情報処理部２０の処理に基づく情報とインターフェース部５０から伝達された情報とを記憶する。

記憶部４０は、機能的には、設定記憶部４１０と、画像記憶部４２０と、動画記憶部４３０と、から構成される。

設定記憶部４１０は、撮像設定情報と、仮動画を生成するためのデフォルト設定と、本動画を生成するための動画設定と、を記憶する。撮像設定情報は、撮像時に変化しうる撮像パラメータとしてメインレンズＭＬとサブレンズアレイＳＬＡとの距離、メインレンズの焦点距離ｆ_ＭＬ、露光時間を特定する情報、Ｆ値、シャッタ速度、等を含む。また、設定記憶部４１０は、各サブレンズＳＬのサブレンズアレイＳＬＡ上の位置、サブレンズアレイＳＬＡと撮像面ＩＥとの距離ｃ２等のデジタルカメラ１の物理構成に係る情報を記憶している。

デフォルト設定は、仮動画を生成する処理の内容を示す情報と生成パラメータとから構成される。本実施形態では、再構成設定情報は、仮画像（およびその奥行きマップ）を上述の再構成処理によって、所定の解像度、所定の焦点距離で生成することを指定するとする。
動画設定は、後述する動画のフレームレート、解像度、焦点座標の決定方法、座標の補正方法及び補正パラメータ等の情報を含む。
設定記憶部４１０は、撮像パラメータを撮像制御部２３０に伝達する。また、デフォルト設定を再構成部２２０に伝達する。さらに、動画設定を動画生成装置３０に伝達する。
また、設定記憶部４１０は、撮像部１０がＬＦＩを撮影した際の撮像設定情報に、物理構成に係る情報を付加して、撮影設定情報として画像処理部２１０及び再構成部２２０に伝達する。

画像記憶部４２０は、画像処理部２１０が順次生成したＬＦＩを記憶する。画像記憶部４２０は、再構成部２２０に、記憶した画像を伝達する。

インターフェース部（図ではＩ／Ｆ部と記述する）５０は、デジタルカメラ１とその使用者（ユーザ）あるいは外部装置とのインターフェースに係る構成であり、Ｉ／Ｏ部５１０と、表示部５２０と、操作部５３０と、から構成される。

Ｉ／Ｏ部（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ部）５１０は、物理的にはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタやビデオ出力端子と、入出力制御部と、から構成される。Ｉ／Ｏ部５１０は記憶部４０に記憶された情報を外部のコンピュータに出力し、外部から伝達された情報を記憶部４０に伝達する。

表示部５２０は、液晶表示装置や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等から構成され、設定記憶部４１０に記憶される設定情報を入力するための画面や、デジタルカメラ１を操作するための画面を表示する。また、表示部５２０は、動画記憶部４３０に記憶された動画を表示する。

操作部５３０は、例えばデジタルカメラ１に備えられた各種ボタンや表示部５２０に備えられたタッチパネルと、各種ボタンやタッチパネルに行われた操作の情報（タッチ部位の座標等）を検出して記憶部４０と情報処理部２０とに伝達する伝達部を含み、ユーザ操作の情報を記憶部４０や情報処理部２０に伝達する。

次に、動画生成装置３０の構成について、図６を参照して説明する。
動画生成装置３０は物理的には、図６（ａ）に示すように情報処理部３１と、主記憶部３２と、外部記憶部３３と、入出力部３６と、内部バス３７と、から構成される。

情報処理部３１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）から構成される。

主記憶部３２は、記憶部４０の主記憶装置と同様の物理構成を持つ。外部記憶部３３は、記憶部４０の外部記憶装置と同様の物理構成を持ち、プログラム３８を記憶している。入出力部３６は、入出力端子及びＩ／Ｏデバイスから構成され、動画生成装置３０と、情報処理部２０の各部や記憶部４０、インターフェース部５０等と、の情報の入出力を実現する。内部バス３７は、情報処理部３１と、主記憶部３２と、外部記憶部３３と、入出力部３６と、を接続する。

情報処理部３１と、主記憶部３２と、外部記憶部３３と、入出力部３６と、内部バス３７と、はデジタルカメラ１の情報処理部２０の内部回路と、記憶部４０と、インターフェース部５０と、によって実現される機能ブロックであってもよい。

動画生成装置３０は、外部記憶部３３に記憶されたプログラム３８及びデータを主記憶部３２にコピーして、情報処理部３１が、主記憶部３２を使用してプログラム３８を実行することにより、後述する動画を生成し出力するための処理を実行する。

動画生成装置３０は、上記のような物理構成により、図６（ｂ）に示すように、仮取得部３１０と、指定取得部３２０と、本取得部３３０と、仮動画生成部３４１０とリスト生成部３４２０と補正部３４３０と本動画生成部３４４０とを含む処理部３４０と、出力部３５０と、として機能する。

仮取得部３１０は、再構成部２２０がデフォルト設定を用いて生成した仮画像（設定用画像）及びその奥行きマップを取得する。仮取得部３１０は、取得した仮画像を処理部３４０の仮動画生成部３４１０に伝達する。また、取得した奥行きマップをリスト生成部３４２０に伝達する。ここでは、仮取得部３１０は動画設定が定める本動画のフレームレートと同じレートで、仮画像及び奥行きマップを取得するものとする。

指定取得部３２０は、ユーザが操作部５３０を用いて実行する焦点を合わすべき被写体の部位を指定する操作（指定座標を指定する操作）の情報を取得する。指定座標は、例えばタッチパネルに表示された仮動画を見たユーザが、重要と考える被写体にタッチした部位の、仮画像上の座標である。本動画では、タッチした部位の被写体にフォーカスするように焦点距離を設定する。
指定取得部３２０は、取得した指定座標を順次リスト生成部３４２０に伝達する。

本取得部３３０は、処理部３４０の処理の結果生成された生成パラメータ（再構成設定）を含むコマンドを再構成部２２０に伝達する。このとき、生成パラメータには、再構成距離（ａ１）として後述する補正された指定情報から求められた焦点距離が含まれる。そして、再構成部２２０がコマンドに応じて生成する再構成画像（本画像）を取得する。本取得部３３０は、取得した本画像を本動画生成部３４４０に伝達する。

処理部３４０は、仮取得部３１０と、指定取得部３２０と、本取得部３３０と、が取得した情報を用いて仮動画及び本動画を生成し、出力部３５０に出力する。処理部３４０はこのような処理を実行するために、仮動画生成部３４１０とリスト生成部３４２０と補正部３４３０と本動画生成部３４４０とを含む。

仮動画生成部３４１０は、仮取得部３１０が取得した画像をフレームとする動画（仮動画）を生成し、出力部３５０に伝達する。ここでは、仮動画は本動画と同じフレームレートとフレーム数（動画の総時間に対応）を持つとする。
仮動画生成部３４１０は、仮動画を生成するに当たって、仮取得部３１０が取得した画像をフレーム補間したり、所定のボケ付加処理等を実行してもよい。

リスト生成部３４２０は、指定取得部３２０が取得した指定座標を基に、再構成画像を結像する焦点距離と、焦点距離を定めるための情報（焦点位置の座標）を含む指定情報を生成する。そして、指定情報から、フレーム単位で指定情報を記録するリスト（指定情報リスト）を生成する。
リスト生成部が生成する指定リストの例を図７（ａ）に示す。指定リストは本動画の各フレームの動画上の時刻（ｔ）と、指定座標（ｘ（ｔ）及びｙ（ｔ））と、再構成距離（ｄ（ｔ））と、を対応付けて記録するリストである。再構成距離は、指定座標に対応する奥行きマップの奥行き値である。なお、ベクトル（ｘ（ｔ），ｙ（ｔ），ｄ（ｔ））は、メインレンズＭＬの光学中心（又は再構成画像（本動画のフレーム）の中心）を座標中心とする座標系における、注目被写体の３次元座標である。ｄ（ｔ）は、フレームの法線（例えば図２及び図５の光軸ＯＡ）成分である。このベクトルを焦点位置の座標と呼ぶ。リスト生成部３４２０が指定リストを生成する方法については後述する。リスト生成部３４２０は、各フレームについて焦点位置の座標を設定するので、設定部と言い換えることが出来る。

本実施形態では、仮動画と本動画とは同じフレームレートなので、仮動画のフレーム毎に指定情報が得られれば、本動画の全フレームに指定情報を設定することが出来る。時刻ｔは仮動画のフレームと見なすことができる。なお、時刻ｔは、時系列順に並べられたフレームの番号としてもよい。

このとき、指定リストに記憶された指定座標は、ユーザの指の震えやタッチパネルの検出ミス・奥行きマップの奥行き値のエラーにより、検出不能となった値（ＮＵＬＬ)や、ハズレ値（図７（ａ）の例ではｔ＝５の行）などが含まれる場合がある。リスト生成部３４２０は、生成した指定リストを補正部３４３０に伝達する。

補正部３４３０は、指定リストを用いて動画を生成する前に、視聴者に違和感を与えない動画となるように、リスト生成部３４２０から伝達された指定リスト（合焦位置の座標を時間軸方向に並べたもの）を補正する。

補正部３４３０が実行する補正処理の概要を、図８（ａ）及び（ｂ）を参照して説明する。図８（ａ）及び（ｂ）は、指定リストに記録された指定情報を、図示のためにｘ（ｔ）及びｙ（ｔ）を一つのパラメータ（座標）として、座標（ｘ（ｔ）、ｙ（ｔ））と、時刻（ｔ）と、ｄ（ｔ）と、を軸とする３次元座標にプロットして得られるグラフの例である。なお、グラフでは指定情報を黒丸又は白丸で示している。

指の震え等による操作ミスや、タッチパネルの検出ミス、画像のノイズや被写体距離の推定誤差の影響で、指定リストに図８（ａ）の白丸のようなハズレ値が現れる場合がある。ｄ（ｔ）がハズレ値となっている場合、ハズレ値の位置に焦点を合わせた動画を生成すると、そのフレームの前後で意図しない距離に突然フォーカスが移動してしまう。そこで、補正部３４３０は違和感のない動画を生成できるように、真の値を推定して指定情報を補正する。図８（ａ）（ｂ）では、補正後の値を曲線によって示している。

また、タッチミスや操作検出の失敗等により、仮画像に対して指定操作が得られず、指定情報がＮＵＬＬ（図８（ｂ）の点線円）になってしまう場合がある。なお、便宜上ＮＵＬＬを、ｄ（ｔ）及びｘ（ｔ）ｙ（ｔ）が０の点として図示している。指定情報がないと、再構成画像の焦点距離が定まらないので、ユーザが意図した動画を生成することが出来ない。そこで、補正部３４３０は前後の値から推測した推定値（図８（ｂ）の菱形）によってＮＵＬＬ値を補正（欠落した情報を補充）する。

補正部３４３０が指定リストを補正する方法については後述する。
補正部３４３０は補正した指定リスト（例えば図７（ｂ））を本動画生成部３４４０に伝達する。図７（ｂ）の例では、補正前（図７（ａ））のハズレ値（ｔ＝５の行）が、周辺の値（ｔ＝４、ｔ＝６の行）に近づくように補正されている。また、ＮＵＬＬ値（ｔ＝３）の行が、周辺の値から推測された値に置換されている。

本動画生成部３４４０は、補正部３４３０から補正した指定リストを伝達されると、動画のフレーム毎に、指定リストのそのフレームに対応する行の指定情報を本取得部３３０に伝達する。本取得部３３０は、これに応じて、その行のｄ（ｔ）を再構成距離ａ１とする再構成パラメータを生成して、再構成部２２０に再構成パラメータで再構成画像を生成させる。そして、本取得部３３０から、再構成部２２０が生成した再構成画像を受け取り、動画のフレームとする。そして、動画の補間処理・コントラストの調整を実施して本動画を生成して、出力部３５０に伝達する。

出力部３５０は伝達された動画（仮動画・本動画）を動画記憶部４３０に記憶する。そして、デジタルカメラ１は仮動画又は本動画を表示部５２０に表示する。あるいは、Ｉ／Ｏ部５１０を介して外部に伝達する。

次に、デジタルカメラ１が実行する処理について、フローチャートを参照して説明する。デジタルカメラ１は、操作部５３０が被写体の撮影を指示する操作を受け付けると、図９に示す動画出力処理１を開始する。

動画出力処理１では、まず画像処理部２１０が撮像部１０から取得した画像情報と、設定記憶部４１０から取得した撮影設定情報と、からＬＦＩを生成する（ステップＳ１０１）。そして、撮影時刻と対応付けて画像記憶部４２０に記憶する。例えば、最初に撮影されたＬＦＩをｔ＝０、次回以降のループで撮影されたＬＦＩはｔ＝１、２、３…のＬＦＩとする。

次に再構成部２２０が、画像記憶部４２０に新たに記憶されたＬＦＩから、撮影設定情報とデフォルト設定とを用いて光線追跡により仮画像と奥行きマップを生成する（ステップＳ１０２）。

そして、仮取得部３１０が仮画像を取得し、仮動画生成部３４１０がコントラスト補正・明るさ補正等を実行して、仮動画のフレーム（仮画像）とし、出力部３５０に出力する（ステップＳ１０３）。

次に、本動画のフレームとなる本画像のパラメータ（焦点距離等）を設定するため、指定情報を指定リストに記録する処理（指定リスト生成処理１）を実行する（ステップＳ１０４）。

ステップＳ１０４で実行される指定リスト生成処理１を、図１０を参照して説明する。指定リスト生成処理１ではまず指定取得部３２０が、操作部５３０を用いてユーザが仮画像の部位を指定する操作の情報を取得する（ステップＳ２０１）。

次に、リスト生成部３４２０が、指定操作の情報が得られたか否か判別する（ステップＳ２０２）。ユーザがタッチパネルに触れていない、あるいはタッチ操作が検出できなかった場合など、操作情報が得られなかった場合（ステップＳ２０２；ＮＯ）、指定リストの現在の時刻の行にＮＵＬＬ値を記録する（ステップＳ２０５）。

一方、指定操作の情報が得られた場合（ステップＳ２０２；ＹＥＳ）、次にその部位の座標及び奥行き値を取得する（ステップＳ２０３）。具体的には、操作部５３０からタッチ部位の座標を取得する。そして、現在の仮画像に対応する奥行きマップを参照して、取得した座標の奥行き値を取得する。取得した座標値・奥行き値を、指定リストの現在の時刻の行に登録する（ステップＳ２０４）。

ステップＳ２０４又はステップＳ２０５で指定リストにパラメータ（ＮＵＬＬ値を含む）を記録すると、指定リスト生成処理１は終了する。

図９にもどって、指定リスト生成処理１で指定リストに現在表示中の仮動画のフレームに対応するパラメータを取得すると、次に処理部３４０が撮影が終了したか判別する（ステップＳ１０５）。具体的には、操作部５３０がユーザの撮影終了を指示する操作を受け付けているか判別し、受け付けていない場合は撮影は続行されると判別する（ステップＳ１０５；ＮＯ）。この場合は、次の仮動画のフレームについて、ステップＳ１０１から処理を繰り返す。

一方、撮影終了指示を受け付けた場合は、撮影が終了したと判別し（ステップＳ１０５；ＹＥＳ）、次に補正部３４３０が取得したパラメータを補正する処理（補正処理、ここでは補正処理１）を実行する（ステップＳ１０６）。

ステップＳ１０６で実行される補正処理１について、図１１を参照して説明する。補正処理１では、まず補正部３４３０がハズレ値を除去して急激な焦点距離の移動による違和感を防止するための処理を実行する。ここでは、補正前の指定リストのパラメータから高周波成分を除去するため低周波フィルタリングを実行する（ステップＳ３０１）。具体的には、指定リストの焦点位置の座標（ｘ（ｔ）、ｙ（ｔ）、ｄ（ｔ））のそれぞれについて、時間軸方向にデジタルフィルタリングする。あるいは、座標を一つのベクトルとしてフィルタリングしても良い。なお、このときＮＵＬＬ値は計算対象から除外される。

フィルタリングの具体的な方法は設定記憶部４１０に記憶された設定情報が定義する。ここでは、操作時の指の震えやタッチパネルの感知漏れによるノイズ（チャタリング等）を除去するため、平滑化フィルタが設定されているものとする。なお、平滑化フィルタとして、加重平均フィルタ、あるいは、荷重メディアンフィルタなどを使用することができる。加重平均フィルタでは、操作時の指の震えに対して有効なローパス効果があり、タップ数や重みはカットオフ周波数が０．５Ｈｚ程度となるように設定されていることが望ましい。また、荷重メディアンフィルタでは、タッチパネルの感知漏れなどの突発的なアウトライヤーに対して有効となり、フィルタ窓や重みはカットオフ周波数が０．５Ｈｚ程度となるように設定されていることが望ましい。

フィルタリングが終わると、次に補正部３４３０が、指定リストにＮＵＬＬ値があるか否か判別する（ステップＳ３０２）。具体的には、指定リストにＮＵＬＬ値の行が無いか判別する。ＮＵＬＬ値の行がある場合（ステップＳ３０２；ＹＥＳ）には、有効な指定情報が得られなかったフレームがあるとの判断のもと、ＮＵＬＬ値を周辺の指定情報に基づいて求めた値に置換する補正を実行する（ステップＳ３０３）。

この置換のためには、例えば内挿法、直線補間法又は最大事後確率推定法等の真の値を推定する既知の任意の方法を用いることができるが、ここでは非線形最小二乗法による曲線推定を用いることとする。即ち、補正部３４３０が指定リストの各行をベクトル（ｖ＝（ｘ（ｔ），ｙ（ｔ），ｄ（ｔ））として、ＮＵＬＬ値以外のベクトルにより最小二乗法で曲線ｖ＝ｆ（ｔ）を推定する。そして、推定した曲線にＮＵＬＬ値の時刻（ｔ）を代入して、推定値を算出する。そして、算出した値をＮＵＬＬ値と置換すればよい。

最小二乗法を用いた曲線推定としては、ニュートン法，パターン法，ガウス−ニュートン法等の任意の既知の方法を採用できる。ここでは、まず曲線が２次方程式であると仮定してニュートン法により推定を行い、得られた最小誤差が所定の閾値よりも小さい場合にはその曲線を推定結果として定める。一方、最小誤差が閾値より大きい場合は、３次方程式であると仮定して推定を行う、とする。以後、同様に次数を切り上げて曲線推定を実行し、所定の閾値よりも小さい誤差が得られる最小の次数の曲線を推定結果として定めるとする。最小二乗法を適用するベクトルの範囲（つまりｔの範囲）は数秒としてもよく、この場、順次この範囲をスライドさせながら関数を決定することで、生成される関数のほとんどは１次か２次の関数とすることができる。

つぎに、ＮＵＬＬ値の行がないと判別されるか（ステップＳ３０２；ＮＯ）、ステップＳ３０３が終了すると、補正処理１は終了する。

図９にもどって、補正処理１で指定リストを補正すると、次に本動画生成部３４４０が補正後の指定リストを用いて本動画を生成する（ステップＳ１０７）。具体的には、画像記憶部４２０に記憶されたＬＦＩを、撮影時間順に選択する。そして、選択されたＬＦＩから、補正後の指定リストに記憶された順に、指定リストに記憶された焦点距離で再構成する。焦点距離と奥行き値との対応は、例えば設定記憶部４１０に記憶された奥行き値-焦点距離対応リスト（図１２）によって定める。

例えば補正後の指定リストが図７（ｂ）である場合には、まずｔ＝０のＬＦＩから、焦点距離が奥行き値２に対応する距離（図５のａ１＝２０ｍ）に再構成面ＲＦを設定する。そして、再構成部２２０に、光線追跡により再構成画像を生成させ、ｔ＝０のフレームとする。さらに、ｔ＝１のフレームについてはｔ＝１のＬＦＩから奥行き値３に対応する距離（図５のａ１＝１０ｍ）に再構成面ＲＦを設定して再構成画像を生成する。以下同様に各フレームを生成し、さらにコントラスト調整・光度調整等を実行して本動画を生成する。

そして、本動画生成部３４４０は、生成した本動画を出力部３５０に出力する（ステップＳ１０８）。出力された動画は、動画記憶部４３０に記憶され、その後表示部５２０で表示される。あるいは、Ｉ／Ｏ部５１０により外部に出力される。

以上説明したように、本実施形態のデジタルカメラ１によれば、表示された仮画像を見て、焦点を合わせたい被写体を指定するだけで、その部位に焦点を合わせた動画を生成することが出来る。そのため、動画のフレーム一つ一つの焦点距離を設定するといった煩雑な操作なしに、所望の部位に焦点を合わせた動画を生成することが出来る。

また、本実施形態の動画生成装置３０は、再構成するための焦点距離を得られなかったフレームについては、焦点距離が得られたフレームについて定められた焦点距離に基づいて、自動的に焦点距離を推測する。そのため、与えられた焦点距離の情報に抜けがあっても、違和感の無い動画を生成することが出来る。特に、タッチパネルによる操作によって部位を指定して焦点距離を指定する場合に、指がタッチパネルから離れる、もしくは、タッチ操作を検出できない、等により指定情報を得られない恐れがある。本実施例は、そのような場合であっても違和感のない（満足度が高い）動画を生成する事が出来る。

さらに、各フレームの焦点距離について、高周波成分を減衰させるように補正するため、生成された動画において突然焦点距離が変化する事がない。そのため、視聴者に違和感を与えない動画を生成できる。
特に、本実施形態のように仮画像の部位を指定して、指定された部位の奥行き値に基づいて焦点距離を定める場合には、奥行きの推定エラーによってフレームの焦点距離が数フレームだけ大きく外れる場合がある。また、小さな被写体を追うようにタッチしている場合に、指を動かしすぎて被写体から外れてしまう等の指定操作のミスや、操作部の操作検出ミス等により、特定のフレームにおいて意図から大きく外れた焦点距離を設定してしまう恐れがある。
即ち、指定情報にハズレ値が発生しやすいが、本実施形態では、動画の生成前に動画の焦点距離を指定する情報を補正するので、例えハズレ値が発生した場合でも、視聴者に違和感を与えない、満足度が高い動画を生成することが出来る。
なお、高周波成分を減衰させる方法は、ローパスフィルタリングに限らず、例えばハズレ値を（スミルノフ・グラブス検定等の既知の方法を用いて）検出し、ハズレ値を周辺の値に近づけるように補正するなど、任意である。

さらに、仮動画上の指定部位について、サブ画像上のズレの程度から求められた奥行き値を取得して、奥行き値を（補正前の）焦点距離とする構成により、ＬＦＩに含まれる被写体の立体情報を反映した焦点距離を設定することができる。また、奥行きの推定は誤差を伴うが、補正処理により誤差による違和感を緩和することができる。即ち、本実施形態では、奥行き値の算出に誤差があった場合でも、ＬＦＩ上の立体情報に基づいて注目被写体に焦点を合わせた違和感のない画像を生成することが出来る。

（実施形態２）
次に、本発明の実施形態２について説明する。実施形態２は、補正部３４３０が実行する補正処理の内容が実施形態１と異なる。その他の構成は実施形態１と同様である。

本実施形態のデジタルカメラ１及び動画生成装置３０は、実施形態１に係る同名の機器と同じ構成を持つ。

デジタルカメラ１及び動画生成装置３０は、ステップＳ１０６で実行される補正処理が図１３に示す補正処理２である以外は、実施形態１と同様に図９の動画出力処理１を実行する。

処理が動画出力処理１のステップＳ１０６に至ると、補正部３４３０が図１３に示す補正処理２を開始する。補正処理２では、まず補正部３４３０が指定リストの各行を合焦位置の座標を示すベクトル（ｖ＝（ｘ（ｔ），ｙ（ｔ），ｄ（ｔ））として、曲線ｖ＝ｆ（ｔ）を推定する。補正部３４３０は最尤推定、最大事後確率推定、ベイズ推定等の既知の任意の方法を用いて曲線推定を実行しても良いが、ここでは最小二乗法を用いて曲線推定を実行するとする（ステップＳ４０１）。

最小二乗法を用いた曲線推定としては、ニュートン法，パターン法，ガウス−ニュートン法等の任意の既知の方法を採用できる。ここでは、まず曲線がｎ次方程式（例えばｎ＝２）であると仮定して、ＮＵＬＬ値を除くニュートン法により推定を行い、得られた最小誤差が所定の閾値よりも小さい場合に推定が成功したと判定して、その曲線を推定結果として定める。一方、最小誤差が閾値より大きい場合は、次に（ｎ＋１）次方程式であると仮定して推定を行い、閾値より小さい最小誤差が得られた場合に、（ｎ＋１）次方程式の曲線を推定結果とする。以後、同様に次数を切り上げて曲線推定を実行し、所定の閾値よりも小さい誤差が得られる（推定が成功した）最小の次数の曲線を推定結果として定めるとする。このとき、所定の最大次数（例えばｎ＝５）を定めて、最大次数以上の曲線については推定しないとする。

曲線推定において、動画の全フレーム（ｔ＝０〜ＭＡＸ）について一つの曲線を推定しても良いし、動画を所定の条件で時間軸上で分割して、分割した単位毎に別々の曲線を推定しても良い。動画を分割する方法は、所定の長さ毎に自動的に分割するとしても良いし、ユーザが分割部位を指定するとしても良い。あるいは、最小二乗法を適用するベクトルの範囲を数秒として、順次この範囲を一定時間スライドさせながら関数を決定していくとしても良い。これによりスライドしながら生成される関数のほとんどは１次か２次となる。
このように曲線推定の範囲を限定する理由は、ユーザによって指定された多様な状態（つまりシーケンス全体では複雑すぎて高次になりすぎる）を一つの関数で表すのは容易ではなく、また数秒間内での複雑な奥行指定という動画がほとんどないからである。

そして、推定結果がタッチ操作を実行したユーザの意図する部位・焦点距離であるとの判断の元、補正部３４３０が推定結果に基づいて補正する（ステップＳ４０２）。具体的には、指定リストの各行のデータを、推定した曲線に時刻（ｔ）を代入して求めた推定値に置換する。このとき、ＮＵＬＬ値についても同様に補正するので、欠落値を補充することができる。
補正が終わると、補正処理２は終了する。

補正処理２が終了すると、デジタルカメラ１は、補正後の指定リストを用いて実施形態１と同様に動画を生成して出力する。

以上説明したとおり、本実施形態のデジタルカメラ１によれば、曲線推定により補正した指定情報（焦点距離）を用いて動画を生成できる。そのため、指定情報にハズレ値・欠落値が有った場合でも、動画制作者（タッチ操作を実行したユーザ）の意図を推定して、意図に添った動画を生成することができる。

また、推定が成功した最小の次数の曲線を推定結果とする構成により、過学習を防止するとともに、計算量が膨大になることを防止する。また、曲線の次数が最大値以上に大きくならないので、指定情報の高周波成分を除去する効果が得られる。動画の焦点距離が短い期間に大きく揺れ動くと、視聴者に違和感与えることになるが、この構成により違和感を和らげることが出来る。

（実施形態３）
次に、本発明の実施形態３に係るデジタルカメラ２について説明する。本実施形態のデジタルカメラ２は、図１４に示すように、情報処理部２１が追尾部２４０を含む事を特徴とする。その他の構成は実施形態２に係るデジタルカメラ１と同様である。

追尾部２４０は、操作部５３０から仮動画の被写体を指定する操作を受け付ける。そして、受け付けた操作から追尾対象となる注目被写体（追尾被写体）を特定して、特徴量を抽出する。さらに、抽出した特徴量を用いて仮動画上での（追尾被写体）を追尾し、各フレームの追尾被写体の位置を特定する。追尾部２４０は、特定した位置情報を指定情報として動画生成装置３０に伝達する。

追尾部２４０は、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量を用いたＭｅａｎ−Ｓｈｉｆｔ探索法や、Ｈａａｒ−ｌｉｋｅ特徴量を用いた探索方法など、既知の任意の方法を用いて追尾被写体の位置を特定して良いが、本実施形態では後述する方法を用いることとする。

本実施形態の動画生成装置３０は、各部が実行する処理の内容が異なる他は、実施形態１と同様の物理構成及び機能構成（図６（ａ）及び（ｂ））を持つ。

本実施形態の動画生成装置３０は、図１５に示すように、追尾部２４０が追尾した結果得られた注目被写体（追尾被写体）の位置に基づく指定情報（期間Ａ及び期間Ｃの黒三角形）と、ユーザの指定操作に基づく指定情報（区間Ｂの黒丸）と、を区別して指定リストに記録する。このため、本実施形態の動画生成装置３０のリスト生成部３４２０が生成する指定リストは、図１６に示すように、実施形態１の指定リスト（図７（ａ））に加えて、その行の指定情報が複数の指定座標を指定する方法の何れに基づくかを示す情報（項目「種別」）を記録する。図１６の例では、「種別」が０である行は追尾部２４０が抽出した追尾被写体の座標に、「種別」が１である行は指定操作が指定する座標に、それぞれ基づく。

本実施形態では、指定操作と追尾部２４０の追尾結果が両方得られた場合には、リスト生成部３４２０は指定操作を優先する。即ち、図１５の区間Ｂのように指定操作による指定座標が得られた場合は、追尾した注目被写体（追尾被写体）の座標は破棄される。これは、追尾対象となる注目被写体を設定したユーザがわざわざ追加で焦点を合わす部位を指定して、操作によって注目被写体を指定するのだから、指定操作がその期間においてユーザの意図をより強く反映するものであると判断できるからである。

補正部３４３０は、追尾部２４０の追尾結果に基づくフレームの区間（区間Ａ及び区間Ｃ）と、指定操作に基づく区間（区間Ｂ）と、について別々に曲線素推定を実行し、推定結果に基づいて指定リストを補正する。追尾部２４０が追尾する追尾被写体が動画上で動く曲線と、ユーザが操作により指定する注目被写体の座標の曲線は別々であると考えられるからである。

さらに、一方の種別の区間がもう一方の種別の区間によって分断されている場合、分断された区間について独立に曲線を推定する。図１５の例では、区間Ａと区間Ｃとについてそれぞれ異なる曲線が推定される。分断された同一種別の区間については統一した曲線を推定すると、分断されている期間の影響で誤差が大きくなるからである。

次に、デジタルカメラ２及び動画生成装置３０が実行する処理について説明する。デジタルカメラ２は、操作部５３０が被写体の撮影を指示する操作を受け付けると、図１７に示す動画出力処理２を開始する。

動画出力処理２では、まず追尾部２４０が追尾被写体の特徴量を抽出する処理（抽出処理）を実行する（ステップＳ５０１）。

ステップＳ５０１で実行される抽出処理について、図１８を参照して説明する。抽出処理では、まず仮動画生成部３４１０が、仮取得部３１０から最新のＬＦＩから生成された仮画像を取得し、表示部５２０に追尾被写体を設定して特徴量を抽出するための画像（設定用画像）として表示する（ステップＳ６０１）。

次に、追尾部２４０がユーザの追尾被写体を指定する操作の情報を取得する（ステップＳ６０２）。具体的には、ユーザが表示部５２０に表示された設定用画像を見て、注目したい被写体にタッチするなどして、操作部５３０を用いて注目被写体の一部を指定する。追尾部２４０はこの操作の情報（座標情報）を取得する。

追尾部２４０は、指定操作に基づいて、追尾被写体を抽出する（Ｓ６０３）。具体的には、追尾部２４０は指定操作が指定する座標の画素（指定画素）と同じ奥行き値を持ち、類似の色を持つ画素の連続する領域を、追尾被写体が写っている領域として抽出する。
あるいは、追尾部２４０は顔認識アルゴリズムにより、指定画素を含む人物の顔の抽出を試み、抽出できた場合はその顔が含まれる領域を追尾被写体が映っている領域とする。

追尾被写体の抽出が終わると、次に追尾部２４０は追尾被写体の特徴量を抽出する（ステップＳ６０４）。具体的には、追尾被写体の領域をブロックに分割して、ブロック毎に輝度勾配ヒストグラムを算出し、正規化及び統合を実行してＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量を抽出する。追尾部２４０が特徴量を抽出して記録すると、抽出処理は終了する。

図１７に戻って、ステップＳ５０１で追尾被写体の特徴量を抽出すると、次にデジタルカメラ２は実施形態１の動画出力処理１（図９）のステップＳ１０１〜Ｓ１０３と同様に、ステップＳ５０２〜Ｓ５０４を実施する。

ステップＳ５０４で仮画像を出力すると、次に指定情報を生成して指定リストに記録する処理（指定リスト生成処理２）を実行する（ステップＳ５０５）。

ステップＳ５０５で実行される指定リスト生成処理２について、図１９を参照して説明する。指定リスト生成処理２ではまず指定取得部３２０が、指定操作の有無を含む指定操作の情報を取得する（ステップＳ７０１）。

次に、リスト生成部３４２０が、指定操作があったか否か判別する（ステップＳ７０２）。座標を指定する指定操作が実行され、座標情報が得られた場合（ステップＳ７０２；ＹＥＳ）、指定操作に基づいた指定情報を生成する（ステップＳ７０３）。このとき、実施形態１の指定リスト生成処理１（図１０）のステップＳ２０３での処理に加えて、得られた指定情報が指定操作に基づくことを示す情報を付加する。具体的には、図１６に例示する指定リストの「種別」の項目を１とする。そして、処理はステップＳ７０７に移行する。

一方、座標を指定する指定操作が実行されていない場合（ステップＳ７０２；ＮＯ）、次に追尾部２４０が仮画像上の追尾被写体を抽出する（ステップＳ７０４）。具体的には、抽出処理（図１８）で抽出された追尾被写体の特徴量との類似度が最も高い部位を抽出する。

次に、追尾部２４０が抽出に成功したか否か判別する（ステップＳ７０５）。具体的には、ステップＳ７０４で抽出された部位の特徴量と、抽出処理で抽出した特徴量との類似度を算出し、類似度が所定の閾値より高い場合には成功したと判別し、類似度が閾値以下であれば検出失敗と判別する。類似度は、例えば特徴量の各パラメータのＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）であるとする。

検出に成功した場合（ステップＳ７０５；ＹＥＳ）、追尾部２４０が抽出した部位の座標（抽出した領域の重心）の座標を求め、指定取得部３２０に伝達する。そして指定取得部３２０から、伝達された座標から、リスト生成部３４２０が抽出による指定情報を生成する（ステップＳ７０６）。具体的には、その座標の奥行き値を取得する。あるいは、抽出した領域の各画素の奥行き値の最頻値を奥行き値として取得しても良い。そして、取得した座標と奥行き値から、抽出による指定情報を生成する。さらに、得られた指定情報が追尾に基づくことを示す情報を付加する。具体的には、図１６に例示する指定リストの「種別」の項目を０とする。

ステップＳ７０３又はステップＳ７０６で指定情報を生成すると、リスト生成部３４２０が指定情報を指定リストの現在の行に記録する（ステップＳ７０７）。

一方、ステップＳ７０５で検出に失敗した場合（ステップＳ７０５；ＮＯ）、有効な指定情報が得られなかったとの判断のもと、実施形態１の指定リスト生成処理１（図１０）のステップＳ２０４と同様に、指定リストにＮＵＬＬ値の行を記録する（ステップＳ７０８）。このとき、「種別」の項目にはＮＵＬＬ値（図１６では「−」）を記録する。

ステップＳ７０７又はステップＳ７０８にて現在のフレームに対応する指定リストの行を記録すると、指定リスト生成処理２は終了する。

図１７にもどって、指定リスト生成処理２で指定リストに現在表示中の仮動画のフレームに対応する指定情報を取得すると、実施形態１の動画出力処理１（図９）のステップＳ１０５と同様に、処理部３４０が撮影が終了したか判別する（ステップＳ５０６）。撮影が続行されると判別する（ステップＳ５０６；ＮＯ）と、次の仮動画のフレームについて、ステップＳ５０２から処理を繰り返す。

一方、撮影が終了したと判別すると（ステップＳ５０６；ＹＥＳ）、次に補正部３４３０が指定リストを補正する処理（補正処理、ここでは補正処理３）を実行する（ステップＳ５０７）。

ステップＳ５０７で実行される補正処理３について、図２０を参照して説明する。補正処理３では、まず補正部３４３０が指定リストに操作区間（例えば図１５の区間Ｂに該当する部分）が存在するか否か判別する（ステップＳ８０１）。具体的には、指定リストにおいて、「種別」の項目が１である行が所定の閾値（例えば、動画において０．５秒に相当する行数）を超えて連続する部位があるか否か判別し、ある場合は操作区間があると判別し、無い場合は操作区間は無いと判別する。あるいは、「種別」の項目が１である行が所定の割合より大きい、所定の閾値よりも長い区間を、操作区間であるとしても良い。

操作区間が無いと判別すると（ステップＳ８０１；ＮＯ）、実施形態２と同様に、補正処理２（図１３）を実行して一つの区間として曲線推定を実行し、推定結果に基づいて指定リストを補正する。なお、操作区間と判定されなかった部位の操作結果に基づく指定情報（「種別」の項目が１である行）は、誤操作あるいは誤検出であるとの判断の元、ＮＵＬＬ値として取り扱われる。

一方、操作区間が有ると判別すると（ステップＳ８０１；ＮＯ）、補正部３４３０は指定リストを区間に分割する（ステップＳ８０３）。具体的には、指定リストを、上述した操作区間と、追尾結果に基づく区間（例えば図１５の区間Ａ及び区間Ｃに該当する部分）に分割する。

次に、補正部３４３０は分割した区間のうち一つを注目区間として選択する（ステップＳ８０４）。そして、注目区間について図１３の補正処理２を実行し、曲線推定に基づいて指定リストの該当部分を補正する（ステップＳ８０５）。なお、操作期間と判定されなかった部位の操作結果に基づく指定情報（「種別」の項目が１である行）は、誤操作あるいは誤検出であるとの判断の元、ＮＵＬＬ値として取り扱われる。また、操作区間と判定された部位の追尾結果に基づく指定情報（「種別」の項目が０である行）は、操作ミスあるいは操作検出漏れの結果であるとの判断の元、ＮＵＬＬ値として取り扱われる。

次に、補正部３４３０はステップＳ８０３で分割した全ての区間について、上記処理を実行したか否か判別する（ステップＳ８０６）。未処理の区間が有る場合には（ステップＳ８０６；ＮＯ）、次の未処理の区間を注目区間として、ステップＳ８０４から処理を繰り返す。一方、全区間が処理済である場合（ステップＳ８０６；ＹＥＳ）は、補正処理３を終了する。

図１７に戻って、補正処理３で指定リストを補正すると、デジタルカメラ２は図９のステップＳ１０７及びステップＳ１０８と同様にステップＳ５０８及びステップＳ５０９を実行して、操作区間には操作が指定する注目被写体に、それ以外の区間には追尾対象として登録された注目被写体（追尾被写体）にフォーカスした本動画を生成・出力する。

以上説明したように、本実施形態のデジタルカメラ２によれば、追尾対象となる注目被写体（追尾被写体）を自動的に追尾し、注目被写体に焦点が合った動画を生成することが出来る。そのため、ユーザは最初に焦点を合わせたい被写体を選択するだけで、所望の被写体に焦点の合った動画を生成することが出来る。

さらに、動画の一部期間に追尾被写体より注目すべき被写体が有った場合や、追尾結果が意図と異なる場合には、その期間に注目部位を指定すれば、その部位に焦点を合わせることが出来る。

また、本実施形態のデジタルカメラ１は、注目被写体の座標を、指定操作による方法と、追尾部２４０の追尾による方法と、の二通りで取得する。さらに、動画を指定方法が異なる期間（時間区分）毎に分割して、区間毎に独立して補正を実行する。その結果、異なる指定方法による異なる性質を持った指定情報に影響されることによって起こる補正精度の低下を防止することができる。なお、ここでは注目被写体を指定する複数の方法として、追尾部２４０による方法と、操作による方法とを例示したが、これに限らず任意の異なる方法によって指定された区間に分割して補正を実行するとして良い。例えば、一度指定操作によって指定リストを生成して登録し、後に一部だけ変更する場合に、最初の操作による指定を一つの指定方法とし、次の操作による指定を異なる指定方法として、指定リストに区別可能に記録する（一部上書きする）ことが考えられる。このとき、最初の操作による指定情報が所定比率を越える時間区間と、所定比率以下の時間区分に分けて補正を実行するとすれば良い。

（実施形態４）
次に、本発明の実施形態４について説明する。実施形態４は、補正部３４３０が実行する補正処理の内容が実施形態３と異なる。その他の構成は実施形態３と同様である。

本実施形態のデジタルカメラ２及び動画生成装置３０は、実施形態３に係る同名の機器と同じ構成を持つ。

本実施形態では、補正部３４３０は所定期間より長い時間指定情報が得られなかった場合、指定情報を設定記憶部４１０に記憶されたデフォルト値に基づいて補正を実行する。ここで、図２１に示すように区間Ｄでは追尾部２４０の追尾による指定情報が、区間Ｆでは指定操作による指定情報が得られた一方、区間Ｅ（ＮＵＬＬ区間）については指定情報が得られなかった場合を例として説明する。

この場合、区間Ｄ及び区間Ｆについては実施形態３と同様に補正する。一方、区間Ｅの前半（図２１のＥ１）では、直前の指定情報からデフォルト値（二点鎖線）に徐々に近づくようにＮＵＬＬ値を置換する。また、区間Ｅの後半（図２１のＥ３）では、直後の指定情報からデフォルト値（二点鎖線）に徐々に近づくようにＮＵＬＬ値を置換する。区間Ｅの中央部（図２１のＥ２）は、デフォルト値とＮＵＬＬ値を置換する。このとき、Ｅ１及びＥ２については、直前（あるいは直後）の値と、デフォルト値と、の間で直線補間すれば良い。直線補間する場合の傾きは、予め定められた所定の値であるとする。あるいは、Ｅ１及びＥ３の時間的長さ（Ｅ１及びＥ３に含まれるフレームの数）を定数として、その長さでデフォルト値に到達するように傾きを定めても良い。Ｅ１及びＥ３は、ＮＵＬＬ区間の前後の値からデフォルト値に移行する区間なので、移行区間と呼ぶことができる。

デジタルカメラ２及び動画生成装置３０は、ステップＳ５０７で実行される補正処理が図２２に示す補正処理４である以外は、実施形態３と同様に図１７の動画出力処理２を実行する。

ステップＳ５０７で実行される補正処理４を、図２２を参照して説明する。
補正処理４では、まず補正部３４３０が指定リストにＮＵＬＬ区間（例えば図２１の区間Ｅに該当する部分）が存在するか否か判別する（ステップＳ９０１）。具体的には、指定リストにおいて、ＮＵＬＬ値の行が所定の閾値（例えば、動画において０．５秒に相当する行数）を超えて連続する部位があるか否か判別し、ある場合はＮＵＬＬ区間があると判別し、無い場合はＮＵＬＬ区間は無いと判別する。あるいは、ＮＵＬＬ値の行が所定の割合より大きい、所定の閾値よりも長い区間を、ＮＵＬＬ区間であるとしても良い。

ＮＵＬＬ区間が無いと判別すると（ステップＳ９０１；ＮＯ）、実施形態３と同様に補正処理３（図２０）を実行して曲線推定を実行し、推定結果に基づいて指定リストを補正する。

一方、ＮＵＬＬ区間が有ると判別すると（ステップＳ９０１；ＹＥＳ）、補正部３４３０は指定リストを区間に分割する（ステップＳ９０３）。具体的には、指定リストを、ＮＵＬＬ区間と、操作区間と、追尾結果に基づく区間（例えば図１５の区間Ａ及び区間Ｃに該当する部分）に分割する。

次に、補正部３４３０は分割した区間のうち一つを注目区間として選択する（ステップＳ９０４）。そして、注目区間がＮＵＬＬ区間であるか否か判別する（ステップＳ９０５）。注目区間がＮＵＬＬ区間でないと判別すると（ステップＳ９０５；ＮＯ）、補正部３４３０は注目処理について補正処理２（図１３）により、曲線近似による補正を実行する。

一方、注目区間がＮＵＬＬ区間であると判別すると（ステップＳ９０５；ＹＥＳ）、補正部３４３０は設定記憶部４１０に記憶されたデフォルト値を取得する（ステップＳ９０７）。

そして、デフォルト値と、注目区間に隣接する前後の指定情報の値（隣接値）と、に基づいて指定リストのＮＵＬＬ値の行を補正する（ステップＳ９０８）。具体的には、デフォルト値と前後の隣接値の差に基づいて前後の移行区間の長さを決定する。前後の移行区間は、対応する隣接値とデフォルト値の差が大きいほど長くなる。ここでは、対応する隣接値とデフォルト値の差を予め定められた定数で除算して、整数に丸めた後に絶対値を取った値を移行区間の長さとする。そして、移行区間のＮＵＬＬ値を、隣接値とデフォルト値で線形補間して求めた値に置換する。移行区間の間（例えば図２１のＥ２）については、ＮＵＬＬ値をデフォルト値に置換する。

ステップＳ９０６又はステップＳ９０８を終了すると、補正部３４３０はステップＳ９０３で分割した全ての区間について、上記処理を実行したか否か判別する（ステップＳ９０９）。未処理の区間が有る場合には（ステップＳ９０９；ＮＯ）、次の未処理の区間を注目区間として、ステップＳ９０４から処理を繰り返す。一方、全区間が処理済である場合（ステップＳ９０９；ＹＥＳ）は、補正処理４を終了する。

以上説明したとおり、本実施形態のデジタルカメラ２は、ある時間区間について動画の焦点距離を指定する情報を得られない場合に、前後の区間から焦点距離をデフォルト値に近づけるように設定する。そのため、長期間焦点距離を指定を得られなかった場合でも、違和感が無い動画を生成することができる。

（変形例）
本発明の実施形態１乃至４について説明したが、本発明の実施形態はこれに限られず、さまざまな変形が可能である。
例えば、実施形態１乃至４では、仮動画はＬＦＩからデフォルト値を用いて再構成した画像をフレームとするが、仮動画のフレームはユーザが注目被写体を選択できるか、追尾部が注目被写体を抽出できる画像を生成する任意の方法で生成されてもよい。
具体的には、仮動画のフレーム（仮画像）は各サブ画像の中心部の所定部位を抽出し、点対称に反転して、各サブレンズに対応する位置に配置した簡易画像であって良い。

また、実施形態１乃至４では、動画の各フレームについて仮画像を生成して出力し、指定情報を設定していた。しかし、指定情報をフレーム毎に設定する方法はこれに限らず、一旦仮動画を（デフォルト値を用いるなどして）すべて生成した後に、仮動画を出力して、指定操作を受け付ける（あるいは追尾処理を実行）としてもよい。

また、実施形態１乃至４では、ＬＦＩ動画に対して一つの指定リストを生成して本動画を出力していたが、これに限らず、指定リストは撮影されたＬＦＩ動画に対して複数生成して良い。即ち、仮動画を用いた指定操作を複数回行って、それぞれ指定リストを生成して補正処理を実行して、記憶部に記憶しておく。そして、ユーザが複数の指定リストのうち所望の指定リストを選択すると、指定されたリストに基づいて本動画を生成して出力すればよい。
このような構成によれば、一つのソース（撮影動画）に対して異なる複数の焦点距離を設定し、目的に応じて使い分けることが出来る。例えば、複数の人物（例えば運動会で走る複数の児童）を撮影した動画から、それぞれ注目する人物（例えばそれぞれの子供）に焦点が合った相異なる動画を生成するための指定リストを保存しておくことで、必要な時に所望の人物に焦点のあった動画を出力することが出来る。

また、実施形態１乃至４では、補正対象は指定情報に含まれる合焦位置の座標（ｄ（ｔ）、ｘ（ｔ）、ｙ（ｔ））ベクトルとしたが、補正対象となる指定情報はこれに限られない。
例えば、指定取得部３２０が取得した座標（ｘ（ｔ）、ｙ（ｔ））からｄ（ｔ）を求め、指定リストには合焦位置の座標としてｄ（ｔ）のみを記憶して、補正処理もｄ（ｔ）のみを対象としてもよい。このとき、合焦位置の座標はｄ（ｔ）を成分とする一次元の座標系の座標である。このような構成によれば、処理量を軽減することができる。
あるいは、合焦位置の座標は、本画像を再構成するため、フレームの法線の方向（例えば光軸ＯＡ）を成分に持つ任意のベクトルであってよい。

また、補正処理として、合焦位置の座標（ｘ（ｔ）、ｙ（ｔ）、ｄ（ｔ））を一度に補正する例について説明したが、補正方法はこれに限られない。例えば、合焦位置の座標（ｘ（ｔ）、ｙ（ｔ）、ｄ（ｔ））を含む指定リストを補正した後に、補正後のｘ’（ｔ）、ｙ’（ｔ）に基づいて更にｄ’’（ｔ）を取得し、取得したｄ’’（ｔ）と補正したｄ’（ｔ）とを平均して、最終的な補正後のｄ（ｔ）としてもよい。このような構成によれば、指定取得部３２０が取得した座標がずれていた場合に、ズレを補正した位置の奥行き係数を反映して補正することができるため、補正の精度が向上する。

また、上述の実施形態では、ＬＦＩ動画と、仮動画と、本動画のフレームレートは同一とし、各動画のフレームが１対１に対応するとして説明した。しかし、これに限らず、本動画の各フレームについて、元となるＬＦＩと指定情報が定まれば良く、各動画のフレーム数は異なるとしてよい。
例えば、ＬＦＩを２４ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）で取得し、仮動画と本動画をより早いフレームレート（例えば６０ｆｐｓ）とすると、同一のＬＦＩから仮動画を複数回生成して出力し、本動画のフレームそれぞれについて焦点距離を指定する指定情報を得るとしても良い。この場合、同一のＬＦＩから複数の異なる指定情報を用いて、本動画の複数のフレームを生成することとなる。
また、ＬＦＩ動画と仮動画とを本動画より少ないフレームレートで設定して、本動画のうち対応する仮動画が無いフレームの指定情報をＮＵＬＬとして設定して、補正によりＮＵＬＬ値を補間するとの設定も可能である。

また、上述の実施形態では、仮動画の画素数（解像度）と本動画の画素数（解像度）は異なる数でもよい。この場合、ＬＦＩ画像から生成される仮動画の画素の構成は、表示部が表示可能な画素数などに応じて決定されてもよい。また、本動画の画素の構成は、記録される動画の画素数などに応じて決定されてもよく、その際に、注目被写体の座標は、仮動画及び本動画の画素の構成に応じて変換される。

その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。

情報処理部３１、主記憶部３２、外部記憶部３３、などから構成される動画出力のための処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなど）に格納して配布し、前記コンピュータプログラムをコンピュータにインストールし、変更再構成画像生成のための処理を行う中心となる部分を構成してもよい。また、インターネットなどの通信ネットワーク上のサーバ装置が有する記憶装置に前記コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロードなどすることで動画生成装置を構成してもよい。

動画生成装置の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（ＢＢＳ：Ｂｕｌｌｅｔｉｎ Ｂｏａｒｄ Ｓｙｓｔｅｍ）に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
動画のフレーム毎に、当該フレームの法線軸を成分に含む座標系における合焦位置の座標を設定する設定部と、
前記フレームについて前記設定部が設定した座標を、前記動画の他のフレームについて前記設定部が設定した座標に基づいて補正する補正部と、
前記動画のフレーム毎に、前記補正部が補正した座標から定まる焦点距離に合焦した、当該フレームの被写体を複数の視点から撮影した多視点画像から再構成した画像を取得する画像取得部と、
前記画像取得部が取得した画像をフレームとする動画を生成する生成部と、
前記生成部が生成した動画を出力する出力部と、
を備えることを特徴とする画像処理装置。

（付記２）
前記補正部は、前記設定部が設定した座標の近似曲線を求め、当該座標の少なくとも一部を当該近似曲線にあてはめる、
ことを特徴とする付記１に記載の画像処理装置。

（付記３）
前記補正部は、前記設定部が設定した座標の時間軸に係る高周波成分を減衰させる、
ことを特徴とする付記１又は２に記載の画像処理装置。

（付記４）
前記フレーム毎に、当該フレームの被写体を複数の視点から撮影した多視点画像から所定のデフォルト値を用いて再構成された仮画像を取得する仮取得部と、
前記仮取得部が取得した仮画像毎に、前記合焦位置の仮画像面上の座標を取得する座標取得部をさらに備え、
前記多視点画像は、前記複数の視点のそれぞれから被写体を撮影した複数のサブ画像から構成され、
前記設定部は、前記座標取得部が取得した座標に位置する注目被写体に対応する画素の位置が、前記複数のサブ画像上でずれる程度から推定される被写体距離から、設定する座標の法線軸の成分を求める、
ことを特徴とする付記１乃至３の何れか１つに記載の画像処理装置。

（付記５）
前記補正部は、前記座標取得部が前記座標を取得できなかったフレームが所定の割合より多く含まれ、かつ所定の時間又はフレーム数よりも長い区間を抽出し、当該抽出した区間に属するフレームの座標を、当該区間に隣接するフレームについて前記座標取得部が取得した座標と、所定のデフォルト値と、に基づいて補正する、
ことを特徴とする付記４に記載の画像処理装置。

（付記６）
前記座標取得部は、前記フレーム毎に、予め定められた複数の指定方法の何れかで指定された前記仮画像面上の座標を取得し、
前記補正部は、前記動画を、前記複数の指定方法のうち所定の指定方法によって指定された前記座標を用いて前記設定部が合焦位置の座標を設定したフレームが、所定の割合より多い時間区間と、前記所定の割合以下の時間区間と、に分割し、前記補正を当該分割した時間区間毎に実行する、
ことを特徴とする付記４又は５に記載の画像処理装置。

（付記７）
前記出力部は、前記仮画像を順次画像表示装置に出力し、
前記座標取得部は、前記フレーム毎に前記仮動画上の座標を指定する操作の情報を取得することを、前記複数の指定方法の一つとする、
ことを特徴とする付記６に記載の画像処理装置。

（付記８）
予め抽出された特徴を持つ注目被写体の前記仮画像上の座標を抽出する抽出部を更に備え、
前記座標取得部は、前記フレーム毎に前記抽出部が抽出する座標を取得することを、前記複数の指定方法の一つとする、
ことを特徴とする付記６又は７に記載の画像処理装置。

（付記９）
被写体を複数の視点から撮影した多視点画像を撮影する撮影部と、
動画のフレーム毎に、当該フレームの法線軸を成分に含む座標系における合焦位置の座標を設定する設定部と、
前記フレームについて前記設定部が設定した座標を、前記動画の他のフレームについて前記設定部が設定した座標に基づいて補正する補正部と、
前記動画のフレーム毎に、前記補正部が補正した座標から定まる焦点距離に合焦した画像を、当該フレームの被写体を複数の視点から撮影した多視点画像から再構成する再構成部と、
前記再構成部が再構成した画像をフレームとする動画を生成する生成部と、
前記生成部が生成した動画を出力する出力部と、
を備えることを特徴とする撮像装置。

（付記１０）
動画のフレーム毎に、当該フレームの法線軸を成分に含む座標系における合焦位置の座標を設定するステップと、
前記フレームについて前記設定した座標を、前記動画の他のフレームについて前記設定した座標に基づいて補正するステップと、
前記動画のフレーム毎に、前記補正した座標から定まる焦点距離に合焦した、当該フレームの被写体を複数の視点から撮影した多視点画像から再構成した画像を取得するステップと、
前記取得した画像をフレームとする動画を生成するステップと、
前記生成した動画を出力するステップと、
を含むことを特徴とする画像処理方法。

（付記１１）
コンピュータに、
動画のフレーム毎に、当該フレームの法線軸を成分に含む座標系における合焦位置の座標を設定する機能、
前記フレームについて前記設定した座標を、前記動画の他のフレームについて前記設定した座標に基づいて補正する機能、
前記動画のフレーム毎に、前記補正した座標から定まる焦点距離に合焦した、当該フレームの被写体を複数の視点から撮影した多視点画像から再構成した画像を取得する機能、
前記取得した画像をフレームとする動画を生成する機能、
前記生成した動画を出力する機能、
を実現させるためのプログラム。

１…デジタルカメラ、２…デジタルカメラ、１０…撮像部、１１０…光学装置、１２０…イメージセンサ、２０…情報処理部、２１…情報処理部、３０…動画生成装置、３１…情報処理部、３２…主記憶部、３３…外部記憶部、３６…入出力部、３７…内部バス、３８…プログラム、２１０…画像処理部、２２０…再構成部、２３０…撮像制御部、２４０…追尾部、３１０…仮取得部、３２０…指定取得部、３３０…本取得部、３４０…処理部、３４１０…仮動画生成部、３４２０…リスト生成部、３４３０…補正部、３４４０…本動画生成部、３５０…出力部、４０…記憶部、４１０…設定記憶部、４２０…画像記憶部、４３０…動画記憶部、５０…インターフェース部（Ｉ／Ｆ部）、５１０…Ｉ／Ｏ部、５２０…表示部、５３０…操作部、ＬＦＩ…ライトフィールド画像、ＬＦＤＭ…ライトフィールド奥行きマップ、ＯＡ…光軸、ＯＢ…被写体、ＯＢ１…被写体、ＯＢ２…被写体、ＯＢ３…被写体、ＰＯＢ…被写体の部分、Ｐ…注目部位、ＭＬ…メインレンズ、ＰＦ…結像点、ＭＩＰ…結像面、ＰＥ…到達点、ＩＥ…撮像面、ＳＬＡ…サブレンズアレイ、ＳＬ…サブレンズ、ＭＬＢ…メインレンズブラー、ＭＬＢＣ…メインレンズブラー中心、Ｓ１１〜ＳＭＮ…サブ画像、ＲＤＭ…再構成奥行きマップ、ＲＩ１…再構成画像、ＲＩ２…再構成画像、ＲＦ…再構成面

Claims (12)

1. 動画のフレームに、当該フレームの法線軸を成分に含む座標系における合焦位置の座標を設定する第１設定部と、
   動画のフレームに、当該フレームの法線軸を成分に含む座標系における合焦位置の座標を、当該動画の他のフレームについて前記第１設定部が設定した座標に基づいて設定する第２設定部と、
   前記動画のフレーム毎に、前記第１設定部及び／又は第２設定部が設定した座標から定まる焦点距離に合焦した、当該フレームの被写体を複数の視点から撮影した多視点画像から再構成した画像を取得する画像取得部と、
   前記画像取得部が取得した画像をフレームとする動画を生成する生成部と、
   前記生成部が生成した動画を出力する出力部と、
   を備えることを特徴とする画像処理装置。
2. 前記第２設定部は、
   前記動画のフレームに係る前記合焦位置の座標を、前記動画の他のフレームについて前記第１設定部が設定した座標に基づいて補正する補正部を備え、
   前記補正部は、前記第１設定部が設定した座標の近似曲線を求め、当該座標の少なくとも一部を当該近似曲線にあてはめる、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２設定部は、
   前記動画のフレームに係る前記合焦位置の座標を、前記動画の他のフレームについて前記第１設定部が設定した座標に基づいて補正する補正部を備え、
   前記補正部は、前記第１設定部が設定した座標の時間軸に係る高周波成分を減衰させる、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記フレーム毎に、当該フレームの被写体を複数の視点から撮影した多視点画像から仮画像生成用のデフォルト値を用いて再構成された仮画像を取得する仮取得部と、
   前記仮取得部が取得した仮画像毎に、前記合焦位置の仮画像面上の座標を取得する座標取得部をさらに備え、
   前記多視点画像は、前記複数の視点のそれぞれから被写体を撮影した複数のサブ画像から構成され、
   前記第１設定部は、前記座標取得部が取得した座標に位置する注目被写体に対応する画素の位置が、前記複数のサブ画像上でずれる程度から推定される被写体距離から、設定する座標の法線軸の成分を求める、
   ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記第２設定部は、前記座標取得部が前記座標を取得できなかったフレームが所定の割合より多く含まれる区間であって、かつ所定の時間よりも長い区間又はフレーム数が所定数よりも多い区間を抽出し、当該抽出した区間に属するフレームの座標を、当該区間に隣接するフレームから前記座標取得部が取得した座標と、座標補正用のデフォルト値と、に基づいて補正及び／又は設定する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記第２設定部は、前記座標取得部が前記座標を取得できなかったフレームの区間を抽出し、当該抽出した区間に属するフレームの座標を、当該区間に隣接するフレームから前記座標取得部が取得した座標に基づいて設定する、
   ことを特徴とする請求項４に記載の画像処理装置。
7. 前記座標取得部は、前記フレーム毎に、複数の指定方法のうち所定の指定方法によって指定された前記仮画像面上の座標を取得し、
   前記第２設定部は、前記動画を、前記所定の指定方法によって指定された前記座標を用いて前記第１設定部が合焦位置の座標を設定したフレームが、所定の割合より多い時間区間と、前記所定の割合以下の時間区間と、に分割し、前記設定を当該分割した時間区間毎に実行する、
   ことを特徴とする請求項４乃至６の何れか１項に記載の画像処理装置。
8. 前記出力部は、前記仮画像を順次画像表示装置に出力し、
   前記座標取得部は、前記フレーム毎に前記仮画像上の座標を指定する操作の情報を取得することを、前記複数の指定方法の一つとする、
   ことを特徴とする請求項７に記載の画像処理装置。
9. 特徴を持つ注目被写体の座標を前記仮画像上から抽出する抽出部を更に備え、
   前記座標取得部は、前記フレーム毎に前記抽出部が抽出する座標を取得することを、前記複数の指定方法の一つとする、
   ことを特徴とする請求項７又は８に記載の画像処理装置。
10. 被写体を複数の視点から撮影した多視点画像を撮影する撮影部と、
    動画のフレームに、当該フレームの法線軸を成分に含む座標系における合焦位置の座標を設定する第１設定部と、
    動画のフレームに、当該フレームの法線軸を成分に含む座標系における合焦位置の座標を、当該動画の他のフレームについて前記第１設定部が設定した座標に基づいて設定する第２設定部と、
    前記動画のフレーム毎に、前記第１設定部及び／又は第２設定部が設定した座標から定まる焦点距離に合焦した画像を、当該フレームの被写体を複数の視点から撮影した多視点画像から再構成する再構成部と、
    前記再構成部が再構成した画像をフレームとする動画を生成する生成部と、
    前記生成部が生成した動画を出力する出力部と、
    を備えることを特徴とする撮像装置。
11. 動画のフレームに、当該フレームの法線軸を成分に含む座標系における合焦位置の座標を設定するステップと、
    動画のフレームに、当該フレームの法線軸を成分に含む座標系における合焦位置の座標を、当該動画の他のフレームについて前記設定した座標に基づいて設定するステップと、
    前記動画のフレーム毎に、前記設定した座標から定まる焦点距離に合焦した、当該フレームの被写体を複数の視点から撮影した多視点画像から再構成した画像を取得するステップと、
    前記取得した画像をフレームとする動画を生成するステップと、
    前記生成した動画を出力するステップと、
    を含むことを特徴とする画像処理方法。
12. コンピュータに、
    動画のフレームに、当該フレームの法線軸を成分に含む座標系における合焦位置の座標を設定する機能、
    動画のフレームに、当該フレームの法線軸を成分に含む座標系における合焦位置の座標を、当該動画の他のフレームについて前記設定した座標に基づいて設定する機能、
    前記動画のフレーム毎に、前記設定した座標から定まる焦点距離に合焦した、当該フレームの被写体を複数の視点から撮影した多視点画像から再構成した画像を取得する機能、
    前記取得した画像をフレームとする動画を生成する機能、
    前記生成した動画を出力する機能、
    を実現させるためのプログラム。