JP6931268B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は画像処理装置および画像処理方法に関し、特に視点移動効果を有する動画の生成技術に関する。

滑らかに視点が移動する動画を撮影する手法として、台車に搭載したカメラを移動させながら撮影するトラックやドリーなどの技法が知られている。しかしながら、移動撮影には、カメラを搭載する台車や、台車を一定の方向に移動させるためのレールが必要なため、一般的なカメラユーザが実施することは容易でなかった。

一方で、同一タイミングで得られた複数の視差画像を用いて仮想視点における静止画像を生成する技術が知られている（特許文献１）。

特開２０１２−１９１３５１号公報

しかしながら、動画撮影及び動画編集において、視差画像を用いた視点移動を考慮したものはこれまでなかった。

本発明はこのような課題に鑑みてなされたものであり、簡便な構成で移動撮影効果を有する動画を生成可能な画像処理装置および画像処理方法の提供を目的とする。

上述の目的は、複数の視差画像を、撮像時刻の異なる複数フレーム分取得する取得手段と、複数の視差画像を合成比率に応じてフレーム単位で合成して、当該合成によって得られる画像をフレームに含む動画データを生成する合成手段と、合成比率を制御する制御手段と、を有し、制御手段は、前記動画データにおいて視点が第１の視点から第２の視点に経時的に変化するように合成比率を制御することを特徴とする画像処理装置によって達成される。

本発明によれば、簡便な構成で移動撮影効果を有する動画を生成することが可能となる。

第１実施形態に係るデジタルカメラの機能構成例を模式的に示したブロック図 実施形態における撮像素子に配置される単位画素の構成例を示す図 実施形態における撮像素子で視差画像を得られる原理を説明するための図 実施形態に係るデジタルカメラの動画記録処理の概要を示すフローチャート 実施形態の合成処理で視点移動効果が得られることを説明するための図 第１実施形態の変形例に関する図 第２実施形態における各分割画素の重心位置と視点との関係を説明するための図 第３実施形態に係るデジタルカメラの機能構成例を模式的に示したブロック図 第３実施形態の再構成処理部の効果を説明するための図 第４実施形態に係るデジタルカメラの機能構成例を模式的に示したブロック図 第４実施形態に関する図 第５実施形態における合成比率の例を示す図

●（第１実施形態）
以下、図面を参照して、本発明の例示的な実施形態について説明する。なお、以下では本発明を画像処理装置の一例としての、視差画像を撮影によって取得可能なデジタルカメラに適用した構成について説明する。しかし、撮影によって視差画像を取得する構成に限らず、予め記憶された視差画像を記憶装置から読み出したり、通信可能な他の機器から取得するなど、視差画像は任意の方法で取得可能である。したがって、本発明において撮影機能は必須でなく、本発明は一般的な電子機器で実施することができる。このような電子機器には、パーソナルコンピュータ、タブレット端末、スマートフォン、携帯電話機、ゲーム機、ウエアラブル端末などが含まれるが、これらに限定されない。

図１は、本発明の第１実施形態に係るデジタルカメラ１００の機能構成例を模式的に示したブロック図である。
光学系ユニット１０１は、フォーカシングレンズやズームレンズを含む撮像光学系、メカニカルシャッター、絞り等で構成され、撮像素子１０２に光学像を結像する。

ＣＣＤやＣＭＯＳイメージセンサである撮像素子１０２には単位画素が２次元マトリクス状に配列されている。後述するように、撮像素子１０２の単位画素は１つのマイクロレンズと、複数の光電変換領域（以下では分割画素という）を有し、分割画素ごとに信号を読み出すことができる。本実施形態では単位画素あたり２つの分割画素を有するものとする。２つの分割画素をＡ画素，Ｂ画素とすると、Ａ画素群の出力で形成される画像と、Ｂ画素群の出力で形成される画像はそれぞれ視差画像となる。単位画素の構成および視差画像が得られる原理の詳細については後述する。

光学系ユニット１０１が結像した光学像は撮像素子１０２の画素で光電変換される。光電変換された蓄積電荷は、分割画素ごとに読み出され、Ａ／Ｄ変換部１０３に入力される。

Ａ／Ｄ変換部１０３は撮像素子１０２から読み出されたアナログ信号に対して相関２重サンプリング（ＣＤＳ）や非線形増幅などのアナログ信号処理を行ったのち、デジタル信号に変換し、読み出し部１０４に出力する。

読み出し部１０４はＡ／Ｄ変換部１０３が出力する画像信号を、分割画素の種類ごとに分類し、Ａ画素の出力から構成される画像（Ａ画像）と、Ｂ画素の出力から構成される画像（Ｂ画像）とを画像合成部１０５に出力する。

画像合成部１０５は、予め設定された視点の移動時間に基づいて決定した合成比率でＡ画像とＢ画像とをフレーム単位で合成し、合成画像を出力する。

信号処理部１０６は、合成画像に対してホワイトバランス調整やデモザイク（色補間）処理、符号化処理などの信号処理を行い、予め定められた形式のデータファイルに符号化動画データを格納して記録装置１０７に出力する。

記録装置１０７は、信号処理部１０６から出力されたデータファイルを記録する。記録装置はデジタルカメラ１００に内蔵された不揮発性メモリであっても、デジタルカメラ１００に着脱可能なメモリカードであってもよい。また、データファイルを無線通信などによって外部機器に送信する構成であってもよい。

制御部１１０は、例えばＣＰＵのようなプログラマブルプロセッサと、ＲＯＭ、ＲＡＭを有し、ＲＯＭに記憶されたプログラムをＲＡＭにロードしてＣＰＵが実行して各部の動作を制御することにより、デジタルカメラ１００の機能を実現する。

表示部１１１は一般にはカラーＬＣＤであり、ビューファインダとして用いたり、デジタルカメラの各種情報や、メニュー画面やメッセージなどのＧＵＩ、撮像画像などの表示に用いられる。

操作部１１２は電源スイッチ、レリーズボタン、メニューボタン、方向キー、実行キー、モード設定ダイヤルなどの入力デバイスを有し、ユーザがデジタルカメラ１００に指示や設定を入力するために用いられる。
なお、図１に示した構成は網羅的なものではなく、他の構成要素の存在を排除しない。

（単位画素の構成）
次に、本実施形態における撮像素子１０２に配置される単位画素について簡単に説明する。図２（ａ）は、単位画素を撮像面側から見た平面図であり、１つのマイクロレンズ２０１を共有する２つの分割画素（光電変換領域）２０２ａ，２０２ｂを有している。換言すれば、単位画素は、通常の画素が有する光電変換領域を、水平方向に２分割した構成を有している。ここでは便宜上、分割画素２０２ａをＡ画素、分割画素２０２ｂをＢ画素と呼ぶ。

本実施形態の撮像素子１０２には、図２（ａ）に示す構成の単位画素が２次元配置されている。なお、図２（ａ）には示していないが、各単位画素にはカラーフィルタが設けられている。本実施形態では、カラーフィルタが原色ベイヤパターンとなるように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色のうち１色に対応したカラーフィルタが単位画素に設けられている。以下、同じ色のカラーフィルタを有する単位画素を同色画素ということがある。

マイクロレンズ２０１と撮像光学系の射出瞳とは共役関係にあるため、マイクロレンズ２０１に対応する光電変換領域を複数の分割画素に分割することは、瞳分割に相当する。したがって、Ａ画素群の出力から構成される画像と、Ｂ画素群の出力から構成される画像は１対の視差画像を構成する。電子シャッターを用いて連続的に撮影される１対の視差画像を順次取得することで、視差動画データを得ることができる。

（合焦度合いと視差量との関係）
図３を参照して、視差画像の得られる原理についてさらに説明する。
図３は、合焦、後ピン（被写体よりも後ろに合焦している状態）、前ピン（被写体よりも前に合焦している状態）の３通りについて、ある画素ラインで得られるＡ像およびＢ像のずれ量（位相差）の関係を模式的に示している。ここで、Ａ像とは画素ラインに含まれる複数の単位画素のＡ画素の出力から得られる像信号、Ｂ像とは画素ラインに含まれる複数の単位画素のＢ画素の出力から得られる像信号である。なお、Ａ像とＢ像とはそれぞれ同色画素の出力で形成している。

合焦時（図３（ａ））、光学系ユニット１０１が結像する位置は、Ａ画素についてもＢ画素についても単位画素Ｐ７のである。そのため、Ａ像とＢ像のレベルはいずれも単位画素Ｐ７で極大となり、視差｜ｄ（ａ）｜はほぼ０となる。
後ピン時（図３（ｂ））、光学系ユニット１０１が結像する位置は、Ａ画素については単位画素Ｐ９、Ｂ画素については単位画素Ｐ５である。そのため、Ａ像とＢ像のレベルが極大となる位置が異なり、視差｜ｄ（ｂ）｜が生じる。
前ピン時（図３（ｃ））、光学系ユニット１０１が結像する位置は、Ａ画素については単位画素Ｐ５、Ｂ画素については単位画素Ｐ９である。そのため、Ａ像とＢ像のレベルが極大となる位置が異なり、視差｜ｄ（ｂ）｜とは逆の視差｜ｄ（ｃ）｜が生じる。

換言すれば、本実施形態のデジタルカメラ１００で得られる視差画像は、合焦している部分には視差がなく、ボケが大きい部分ほど大きな視差を有する。

（動画記録処理）
次に、図４のフローチャートを参照して、デジタルカメラ１００の動画記録処理の概要について説明する。なお、図４に示す処理は、撮影した動画に視点移動効果を付与する設定がなされており、撮影スタンバイ状態で、操作部１１２に含まれる動画撮影ボタンの押下など、動画の記録開始指示が入力された際に実行されるものとする。

Ｓ５００〜Ｓ５０２は初期化処理である。
Ｓ５００で制御部１１０は、移動時間Ｓを設定する。移動時間Ｓは例えば操作部１１２を通じてユーザが設定した値であってもよいし、予め定められた値であってもよい。
Ｓ５０１で制御部１１０は、予め定められた動画のフレームレート(ｆｐｓ)に、移動時間Ｓを乗じ、移動撮影効果を与える総フレーム数を求め、変数ＴｏｔａｌＦｒａｍｅに設定する。
Ｓ５０２で制御部１１０は、フレーム数のカウンタとして用いる変数ＦｒａｍｅＮｕｍの値を０に初期化する。

初期化処理が終了すると、制御部１１０は動画の記録動作を開始する。なお、詳細については説明を省略するが、制御部１１０は撮影画像の輝度情報に基づく自動露出制御や自動焦点検出処理を行いながら、動画の各フレーム画像の撮影動作を制御する。

Ｓ５０３で、制御部１１０は、撮像素子１０２から、自動露出制御によって決定した露光期間に蓄積された電荷に応じたアナログ画像信号を部分画素ごとに読み出し、１対の視差画像（Ａ像とＢ像）をＡ／Ｄ変換部１０３に供給する。Ａ／Ｄ変換部１０３はアナログ画像信号をデジタル画像信号に変換し、読み出し部１０４に供給する。読み出し部１０４は、Ａ／Ｄ変換部１０３からのデジタル画像信号を、分割画素の種類ごとに分類し、Ａ画素の出力から構成される画像（Ａ画像）と、Ｂ画素の出力から構成される画像（Ｂ画像）とを画像合成部１０５に出力する。このように、画像合成部１０５には、複数の視差画像データが順次供給され（Ａ像の動画データとＢ像の動画データ）、画像合成部１０５は複数の視差画像データをフレーム単位で合成する。ここで、特許文献１の技術を動画の各フレームに適用して移動撮影の効果を実現しようとした場合、各フレームについて仮想視点の位置を決定し、決定した仮想視点と近傍の複数の撮影視点との位置関係から視差画像の合成比率を算出する必要がある。そのため、一般的に１秒間あたり３０〜６０存在する動画の各フレームに実施すると、演算量が非常に多くなり、処理負荷が大きい。そこで本実施形態では、下記の様な合成方法を用いる。

Ｓ５０４で画像合成部１０５は、Ａ画像Ａ＿ＰＩＸおよびＢ画像Ｂ＿ＰＩＸを、以下の式（１）にしたがって合成し、出力画像ＯＵＴ_ＰＩＸを生成する。
OUT_PIX =(2×(TotalFrame - FrameNum)×A_PIX + 2×FrameNum× B_Pix)/TotalFrame…（１）
具体的には、Ａ画像とＢ画像における同じ位置の画素の値を式（１）にしたがって加重加算し、出力画像における同位置の画素値とすることでＡ画像とＢ画像の合成が実現される。

式（１）から明らかなように、本実施形態では、Ａ画像の重みが最大（＝１）、Ｂ画像の重みが最小（＝０）の状態から、Ａ画像の重みが最小（＝０）、Ｂ画像の重みが最大（＝１）の状態まで、１フレームごとに重みを線形的に変更しながら合成を行う。そのため、各フレーム画像の仮想視点位置を算出したり、仮想視点位置と近傍の撮影始点位置との関係から合成係数を算出したりする必要なしに、視点移動効果を動画に付与することができる。

ここで、図５を参照して、式（１）による加算で視点位置の移動効果が付与されることについて説明する。
図５はある被写体に関して得られたＡ像およびＢ像と、異なる比率（重み）でＡ像とＢ像を合成（加算）した合成像の波形例を示している。横軸が水平方向の画素位置、縦軸が画素値である。

Ａ像とＢ像は４画素分の像ずれ量（視差量）を有し、Ａ：Ｂ＝５０：５０の場合が単純な加算出力（通常画素に相当する出力）である。５０：５０に対して、４５：５５、３６：６４、２０：８０、０：１００とＢ像の重みが大きくなるに従い、合成画素の重心（極大）位置が徐々にＢ像の重心（極大）位置に近づく。同様に、Ａ像の重みを増加させた場合、合成画像の重心位置がＡ像の重心位置に近づく。つまり、式（１）に基づく合成比率の制御により、合成画像の輪郭位置が、Ａ像の輪郭位置からＢ像の輪郭位置へ徐々に移動していくことがわかる。これは、視点を移動させていることと同義であるから、動画に移動撮影効果を付与することに相当する。

図４に戻り、Ｓ５０５で信号処理部１０６は、合成画像に対してホワイトバランス調整やデモザイク（色補間）処理といったいわゆる現像処理や、記録形式に応じた符号化処理などの信号処理を適用する。また、信号処理部１０６は、予め定められた形式のデータファイルに符号化動画データを格納して記録装置１０７に出力する。記録装置１０７は、信号処理部１０６から出力されたデータファイルを記録する。

Ｓ５０６で制御部１１０は、変数ＦｒａｍｅＮｕｍの値を１増やして更新する。
Ｓ５０７で制御部１１０は、動画撮影ボタンが押下されるなど、動画の記録停止指示が入力されたかどうか判定し、入力されていれば動画記録処理を終了し、入力されていなければ処理をＳ５０８に進める。

Ｓ５０８で制御部１１０は、変数ＦｒａｍｅＮｕｍとＴｏｔａｌＦｒａｍｅの値を比較し、ＦｒａｍｅＮｕｍの値がＴｏｔａｌＦｒａｍｅの値よりも小さければ処理をＳ５０３に戻して次のフレームに対する処理を行う。一方、ＦｒａｍｅＮｕｍの値がＴｏｔａｌＦｒａｍｅの値と等しい場合、制御部１１０は指定された移動時間Ｓ分のフレームに対する処理が完了したと判断し、動画記録処理を終了する。

なお、ここでは理解および説明を容易にするため、特定の長さを有する、視点移動効果を付加した動画を撮影、記録する処理について説明した。しかしながら、視点移動効果を付加しない通常の動画記録動作中に、操作部１１２に含まれる効果付加ボタンが押下されると、そこから予め定められた時間Ｓの間だけ視点移動効果を付加するように構成してもよい。また、視差動画データ（Ａ像の動画データとＢ像の動画データ）を記録しておき、撮影後の編集時や再生時に視点移動効果を付与することも可能である。編集／再生アプリケーションにおいて視点移動効果を付与する区間をユーザに設定させ、動画のヘッダなどから得られるタイムコードを用いてフレームを対応させ、フレームレートの情報と、設定された区間の長さを用いて合成比率を制御すればよい。

また、やはり理解および説明を容易にするため、１対の視差画像の撮影視点の一方から他方（すなわち、輻輳角の全体に渡って）に視点を移動させる場合について説明した。しかし、必ずしも輻輳角の全体に渡って視点を移動させる形態に限定されず、輻輳角の任意の範囲内で視点を移動させる形態であってもよい。輻輳角の一部について視点を移動させる場合、どのように範囲の始点および終点を定めるかに制限は無く、任意の手法を用いれば良い。範囲の始点と終点に応じた合成比率の初期値と最終値の間で合成比率を変化させれば良い。

また、ここでは例示として１フレームごとに視点を移動させる構成について説明した。しかし、２フレームごとに視点を移動させるなど、複数のフレームごとに視点を移動させるように構成してもよい。ただし、滑らかに視点が移動しているように視認できる、予め定められた範囲内で設定する。

また、ここでは例示として合成比率を線形補間により算出し、視点移動速度を一定とする場合について説明した。しかし、単位時間あたりの合成比率の変化量を制御することで、速度を徐々に増加もしくは減少させるように構成してもよい。

なお、光学系ユニット１０１が有する撮像光学系のＦ値が小さい（絞りの開口が大きい）ほど、合焦範囲が狭くなるため、視差画像が有する視差量を大きくすることができ、視点移動の範囲を拡げることができる。そのため、視点移動効果を付加するための動画撮影時には、絞りを開く（Ｆ値を小さくする）ように制御してもよい。

本実施形態によれば、複数の視差画像を順次合成する、あるいは複数の視差動画データを対応するフレーム間で合成して動画データを生成する際に、複数の視差画像の合成比率を経時的に変化させることにより、視点位置の移動効果を付加することができる。移動に係るフレーム数（あるいは時間）だけに基づいて合成比率を求めることができるため、演算負荷が少なく、動画のように１フレームあたりの処理時間が短い場合であっても、移動効果の付与のために必要な演算性能を低く抑えることができる。また、台車やレールといった大がかりな装置を用いる必要がないため、コスト面でも有用である。

（変形例１）
なお、本実施形態では１種類のFrameNumを用いる構成を説明したが、FrameNumの変化量を動的に変更することにより、視点移動効果を動的に変更してもよい。
例えば、表示速度や、動画データのフレームのうち表示されるフレームの割合といった、動画データのフレームレートと表示フレームレートとの関係に応じて合成比率を変化させることができる。具体的には、スローモーション表示を行う区間において、通常の表示を行う区間よりもFrameNumの変化を大きくすることにより、バレットタイムと呼ばれるような映像表現を擬似的に実現することができる。

FrameNumの変化量を動的に変化させる具体例について説明する。図６（ａ）において、縦軸はB_PIXの合成比率を、横軸はフレーム数（または時間）を表している。
ここでは、１２０ｆｐｓで動画撮影を行い、表示部１１１の表示フレームレートが３０ｆｐｓであるとする。従って、例えば４フレームごとに表示するなどしてフレーム数を１／４に間引き表示すれば通常速度で表示され、全てのフレームを表示すれば通常速度の１／４で表示される。図６（ａ）の例では、撮影視点移動効果を付与する総フレーム数TotalFrameを３分割し、フレーム数T１まではフレーム数を１／４に間引いて表示する。そして、その後フレーム数Ｔ２まで全フレームを表示し、さらにその後はフレーム数TotalFrameまで再度フレーム数を１／４に間引いて表示する場合を示している。全フレーム表示を行う区間でスローモーション効果が得られる。

間引き表示区間に対して全フレーム表示区間におけるFrameNumの変化量を大きく設定することで、合成比率の変化が急峻になり、スローモーション効果と大きな視点移動とが組み合わされ、バレットタイム効果を実現することが可能となる。図６（ａ）では、フレーム数T1までの合成比率の変化量を0.1、T2までの合成比率を0.9としている。つまり、全フレーム表示（スローモーション）区間では、間引き表示（通常速度）区間よりも合成比率の変化が８倍大きくなるようにしている。

間引き表示区間ではB_PIX合成比率を固定し、全フレーム表示区間のみ合成比率を変化させることで、バレットタイム効果をより高めることが可能である。

（変形例２）
また、本実施形態では動画像を対象にした場合について説明したが、動画中の静止画区間を対象としてもよい。例えば、動画撮影中に静止画撮影を行った場合、動画の一部区間のフレームを撮影した静止画から生成する場合がある。

このような場合、静止画から生成したフレーム（以下、静止画区間と呼ぶ）についても動画フレームと同様にして合成比率を経時的に変化させても良い。
また、動画区間では視点を変化させずに、静止画区間についてのみ、合成比率を経時的に変化させ、視点移動効果を付与しても良い。
また、静止画区間と動画区間とでは合成比率の変化率を異ならせても良い。

さらに、動画中の静止画区間に限らず、静止画をスライドショー表示する場合のように、静止画を継続的に表示する場合にも、表示時間の経過に応じて合成比率を経時的に変化させることができる。
つまり、動画の同一フレーム（静止画を含む）について合成比率を経時的に変化させる構成であっても本発明は適用可能である。

（変形例３）
また、本実施形態で説明した合成処理は、記録時に限らず、Ａ画像とＢ画像とが取得可能に記録された動画像ファイルに対して実施することもできる。
図６（ｂ）に、Ａ画像とＢ画像とが取得可能に記録された動画像ファイルのデータ構造の例を模式的に示す。動画像ファイルにはHeader、A_PIXで構成された動画像、B_PIXで構成された動画像が記録されている。Headerには、合計フレーム数や、A_PIX動画像とB_PIX動画像の先頭のファイルオフセットなどの情報が記録されている。
なお、A_PIX動画像とB_PIX動画像とが独立して記録される形式に限定されず、視点画像を生成するための動画像ファイルが記録されていれば良い。また、合成の方法や撮影時に算出した比率をHeaderに記録していても良い。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態では、単位画素における光電変換領域が複数方向に分割された構成を有する点で第１実施形態と異なる。すなわち、第１実施形態では、単位画素における光電変換領域が水平方向に２分割され、他の方向、例えば垂直方向には分割されていなかった。

第１実施形態の構成では視点の移動が１直線上に限定されるが、光電変換領域の分割が２方向以上となると、視点を移動させる方向の自由度が増す。第２実施形態は、単位画素が２×２以上の分割画素を有する場合における視点移動効果の付与に関する。

図２（ｂ）は本実施形態における撮像素子１０２の単位画素の構成を、図２（ａ）と同様に示した図である。本実施形態では単位画素の光電変換領域を水平および垂直方向の両方で２分割し、１Ａ、１Ｂ、２Ａ、２Ｂの４つの分割画素２０３〜２０６を有している。したがって、本実施形態のデジタルカメラ１００は、４つの視点から撮影した画像を取得することができる。

図７を参照して、本実施形態の各分割画素の重心位置と視点との関係について説明する。
図７（ａ）で１Ａ、１Ｂ、２Ａ、２Ｂは各分割画素２０３〜２０６の重心位置を示しており、中央に位置する重心位置７００は１Ａ、１Ｂ、２Ａ、２Ｂの画素値をそのまま（同じ比率で）加算して得られる画素値に対応する重心位置を表している。これは、単位画素の光電変換領域が分割されていない場合の重心位置に合致する。

図７（ａ）における破線は、分割画素の値を合成することで視点を移動できる範囲を示している。つまり、分割画素の重心位置を頂点とする矩形範囲内で視点を移動できる。
ここで、視点移動の開始位置７０１をＳ、と終了位置７０２をＥとする。これら開始位置および終点位置はユーザが設定できるようにしてもよいし、何らかの情報に基づいて自動で設定されてもよい。ここでは、視点移動量を大きくするため、開始位置７０１および終了位置７０２は破線上に設定しているが、破線上に設定しなくてもよい。

本実施形態の画像合成部１０５は、図４のＳ５０４において、以下の処理を実行する。
まず、画像合成部１０５は、視点移動の開始位置７０１における画素値Ｓと、終了位置７０２における画素値Ｅとを、以下の式（２）および式（３）にしたがって分割画素２０３〜２０６の値１Ａ、１Ｂ、２Ａ、２Ｂを加算して求める。
Ｓ＝１Ａ×２α＋２Ａ×２×（１−α）…式（２）
Ｅ＝１Ｂ×２β＋２Ｂ×２×（１−β）…式（３）
ここで、αは１Ａと２Ａの加算比率を表し、α=１のときに分割画素２０３の重心位置に視点が移動し、α＝０のときに分割画素２０５の重心位置に視点が移動する。同様に、βは１Ｂと２Ｂの加算比率を表し、β=１のときに分割画素２０４の重心位置に視点が移動し、β＝０のときに分割画素２０６の重心位置に視点が移動する。

αは、例えば、１Ａと２Ａの距離をｄ、１ＡとＳとの距離をｄ１とすると、
α＝１−ｄ１／ｄ
として求めることができる。βについても１Ｂと２Ｂの距離と、１ＢとＥとの距離とに基づいて同様に求めることができる。

そして、画像合成部１０５は、このように求められた視点移動の開始位置７０１および終了位置７０２の画素値Ｓ，Ｅを用いて、式（４）のように加算比率を変更することで、開始位置７０１および終了位置７０２までの視点移動効果を与える。
OUT_PIX =(２×(TotalFrame - FrameNum)×S + ２×FrameNum× E)/TotalFrame…式（４）

なお、ここでは単位画素が水平および垂直方向に２つずつの計４つの分割画素を有する構成を例として説明したが、同様の手法は、より多くの分割画素を有する場合にも容易に拡張可能である。

例えば、図７（ｂ）は、水平方向および垂直方向にそれぞれ３等分された３×３の分割画素を有する単位画素について、図７（ａ）と同様に各分割画素の重心位置を示している。 図７（ｂ）で１Ａ、１Ｂ、１Ｃ、２Ａ、２Ｂ、２Ｃ、３Ａ、３Ｂ、３Ｃは各分割画素の重心位置を示している。したがって、本実施形態のデジタルカメラ１００は、９つの視点から撮影した画像を取得することができる。

ここで、視点移動の開始位置７０３の画素値Ｓを分割画素１Ａと２Ａの画素値から求め、終了位置７０４の画素値Ｅを分割画素２Ｃと３Ｃの画素値から求めて、式（４）を適用することもできる。しかし、仮想視点に近い撮影視点の画素値を用いた方がより自然な視点移動効果を付与することができる。そのため、撮影視点（分割画素の重心位置）を頂点とする矩形領域の辺と視点移動の軌跡との交点によって視点移動の軌跡を区分し、合成に用いる画素値の組み合わせを区分ごとに変えることができる。

図７（ｂ）の例において画像合成部１０５は、視点移動の開始位置７０３と終点位置７０４との軌跡を、
・分割画素１Ａ，２Ａ，２Ｂ，１Ｂの重心位置を頂点とする矩形領域の辺と交差する第１区分７２０
・分割画素１Ｂ，２Ｂ，２Ｃ，１Ｃの重心位置を頂点とする矩形領域の辺と交差する第２区分７３０
・分割画素２Ｂ，３Ｂ，３Ｃ，２Ｃの重心位置を頂点とする矩形領域の辺と交差する第３区分７４０
に区分する。

そして、画像合成部１０５は、
・第１区分７２０については開始位置７０３の画素値Ｓと位置７０５の画素値、
・第２区分７３０については位置７０５の画素値と位置７０６の画素値、
・第３区分７４０については位置７０６の画素値と終了位置７０４の画素値Ｅ、
をそれぞれ式（４）における開始位置の画素値Ｓと終了位置の画素値Ｅとして用いて合成処理を実行する。

なお、位置７０５の画素値は分割画素１Ｂと２Ｂの画素値から、位置７０６の画素値は分割画素２Ｂと２Ｃの画素値から、図７（ａ）における開始位置７０１の画素値と同様にして求めることができる。

なお、本実施形態では視点移動の開始位置と終了位置の２点が、分割画素の重心位置を頂点とする矩形の辺上に存在する場合について説明したが、開始位置と終了位置の少なくとも一方が矩形の内部に設定されてもよい。あるいは、矩形の内部に設定された開始位置と終了位置を、視点移動量を増加させるように矩形の辺上の位置に補正してもよい。

図７（ｃ）は、視点移動の開始位置（Ｓ）７０７と終了位置（Ｅ）７０８の両方が矩形の内部に設定された場合の位置補正の例を模式的に示している。図に示すように、画像合成部１０５は、設定された開始位置７０７と終了位置７０８とを結ぶ直線（視点の移動軌跡）を延長し、矩形の辺上との交点を、それぞれ視点移動の補正後の開始位置（ＣＳ）７０９、終了位置（ＣＥ）７１０とする。このような補正は、設定された開始位置７０７と終了位置７０８を通る直線と矩形の辺との交点を求めることで容易に実現できる。

また、図７（ｄ）に示す開始位置（Ｓ）７１１と終点位置（Ｅ）７１２のように、分割画素の重心位置を頂点とする矩形の辺上に視点移動の開始位置と終了位置が設定されていても移動距離が短い場合がある。例えば画像合成部１０５は、視点移動の距離が予め定められた閾値（例えば分割方向における隣接分割画素の重心間距離）未満の場合、移動距離が閾値以上になるように補正することができる。

例えば、開始位置（Ｓ）７１１と終点位置（Ｅ）７１２の視点移動の軌跡の傾きを維持したまま、一方の位置を分割画素の重心位置まで移動し、軌跡を延長して他方の位置を決定することができる。図７（ｄ）の例では、開始位置（Ｓ）７１１を分割画素１Ａの重心位置に移動して補正後の開始位置（ＣＳ）７１３とし、軌跡の延長線と矩形の辺との交点を補正後の終了位置（ＣＥ）７１４とすることができる。

また、補正後の開始位置と終点位置とを結ぶ直線が、矩形の中心（単位画素の光電変換領域の重心位置）を通るように、補正後の開始位置と終点位置とを決定してもよい。

本実施形態によれば、単位画素の光電変換領域が複数の方向に分割されている場合、視点移動の開始位置と終了位置の画素値を近傍の複数の分割画素の値から算出し、第１実施形態と同様に合成比率の制御を行う。これにより、第１実施形態と同様の効果を実現することができる。

●（第３実施形態）
次に、本発明の第３実施形態について説明する。図３を用いて説明したように、上述の実施形態で用いる視差画像は、合焦していない領域で視差量が大きく、合焦領域では視差量が０である。そのため、第１および第２実施形態で付与できる視点移動効果は主に背景領域に関するものであった。第３実施形態では、合焦領域に対して視点移動効果を付与することを特徴とする。

図８（ａ）は第３実施形態に係るデジタルカメラ８００の機能構成例を模式的に示したブロック図であり、第１実施形態と同じ構成要素には同じ参照数字を付してある。本実施形態のデジタルカメラ８００は、読み出し部１０４が出力する視差画像に対して画素ずらし処理を適用する再構成処理部８０１を有する点で第１実施形態と異なる。なお、本実施形態において、撮像素子１０２の単位画素は、図２（ｂ）に示した２×２の分割画素を有する構成であるものとする。

再構成処理部８０１で行う画素ずらし処理について、図８（ｂ）に示す視差画像を参照して説明する。図８（ｂ）には、読み出し部１０４が出力する、同種の分割画素群（分割画素１Ａ群、分割画素１Ｂ群、分割画素２Ａ群、分割画素２Ｂ群）の出力から構成される画像を模式的に示している。上述の通り、各分割画素は撮影視点が異なるため、４つの画像は撮影視点位置が異なる、視差画像である。

１つのマイクロレンズを複数の分割画素で共有する構成を有する撮像素子を用いるカメラを、ライトフィールドカメラまたはプレノプティックカメラと呼び、複数の視差画像を合成（再構成）することで撮影後に、撮影時と合焦位置が異なる画像を生成できる。このように、合焦位置を変更する操作（リフォーカス）を行った再構成画像をリフォーカス画像と呼ぶ。

リフォーカスの原理を簡単に説明する。図８（ｂ）に示す４つの視差画像において、花の位置における視差量が０でない、つまり、撮影時には花に合焦していないものとする。この４つの視差画像を、花の位置における視差量が０となるように位置合わせして（画素をずらして）合成すると、花に合焦した画像が得られる。合焦部分で視差量が０になることは図３を用いて説明した通りである。このとき、撮影時に花より合焦度合いが高かった被写体（この場合は葉）に関する視差量は、撮影時より大きくなり、撮影時よりボケた状態になる。一方、葉の位置での視差量が０となるように視差画像を位置合わせ（画素ずらし）して合成した場合、こんどは葉に合焦した画像となり、花の合焦度合いは低下する。このように、画素位置をずらして視差画像を合成することにより、合焦位置の異なる再構成画像（リフォーカス画像）を生成することが可能である。

この原理を用い、再構成処理部８０１は、撮影時に合焦していた領域の合焦度合いが低下する（ボケる）ように視差画像の位置をずらして合成し、再構成画像を生成する。そして、このような再構成画像を用いて第１または第２実施形態の処理を実行することにより、撮影時に合焦していた領域について視点移動効果を付与することが可能になる。

なお、再構成処理部８０１で再構成画像を生成する際の画素ずらし量（シフト量）を大きくした場合、被写体の輪郭が２重になってしまう場合があるが、リフォーカス可能な範囲に基づいて画素ずらし量を設定することで、この様な問題を抑制できる。

リフォーカス可能な範囲は焦点深度から定まる。焦点深度は、撮像光学系の絞り値をＦ、許容錯乱円径をδとすると、結像位置±Ｆδの範囲である。この場合、単位画素が２×２の分割画素を有する構成では、±２Ｆδのデフォーカス量がリフォーカス可能範囲となる。したがって、再構成処理部８０１は、撮影時の絞り値および、撮像素子１０２の許容錯乱円径に基づいて、±２Ｆδのデフォーカス量に相当する画素ずらし量の範囲で再構成画像を生成することができる。±２Ｆδのデフォーカス量に相当する画素ずらし量を求める方法は位相差検出方式の自動焦点検出技術において周知のため、ここでの説明は省略する。

再構成処理の効果について、図９を用いて説明する。
図９（ａ）はある被写体に関して得られた、合焦領域における１Ａ像および１Ｂ像と、異なる比率（重み）で１Ａ像と１Ｂ像を合成（加算）した合成像の波形例を示している。横軸が水平方向の画素位置、縦軸が画素値である。合焦領域であるため、１Ａ像および１Ｂ像の極大位置は等しい。そのため、再構成処理を用いずに合成像を生成すると、合成比率を変化させても合成像の極大位置は変化しない。

図９（ｂ）は再構成処理を用いて１Ａ像の合焦位置をずらしたＡ像を生成した場合について、図９（ａ）と同様に波形図を示したものである。ここでは、４画素分の画素ずらしを行って再構成画像を生成している。このように、画素ずらし処理を適用した像を用いることにより、合成像の極大位置がＡ像と１Ｂ像の合成比率に応じて変化すること、つまり視点移動効果を付与できることがわかる。

なお、本実施形態は第１実施形態に記載の内容と併用しても良い。
例えば、オートフォーカスにより焦点が移動して被写体に最終的にピントがあっている動画を撮影した場合や、予め設定した固定の合焦距離に被写体が静止した場合など、被写体が焦点面に存在した区間を検出する。そして、検出した区間のみリフォーカスを行って合成比率（視点位置）を変化させることができる。
また、合成比率は経時的に変化させながら、被写体が焦点面に存在する区間はリフォーカスを適用してA_PIXとB_PIXの視差を付与してもよい。

本実施形態によれば、撮影時に合焦していた領域の合焦度合いを下げた再構成画像を生成した上で、第１および第２実施形態と同様の合成処理を実施することで、撮影時に合焦していた領域について視点移動効果を付加することができる。

●（第４実施形態）
第１〜第３実施形態では、分割画素構造を有する撮像素子によってＡ画像とＢ画像を取得する構成について説明した。
第４実施形態では、分割画素構造を有さない、通常の撮像素子を複数用いて取得した視差画像に対して本発明を適用する構成ついて説明を行う。

本実施形態で用いる視差画像を取得可能な多眼カメラ３００の機能構成例を図１０に示す。撮像装置３００は、光学系ユニット１０１、撮像素子３０１、Ａ／Ｄ変換部１０３、および読み出し部１０４をＡ〜Ｃの３系統有し、読み出し部１０４Ａ〜１０４Ｃから撮像信号を画像合成部３０２へ入力する構成を有する。なお、撮像素子３０１は１つのマイクロレンズに対して１つの光電変換部を有する構成のベイヤ型撮像素子である。また、光学系ユニット１０１Ａ〜１０１Ｃは、例えば垂直方向には視差を有さず、水平方向に互いに予め定められた視差を有するように配置されており、読み出し部１０４Ａ〜１０４Ｃからは３つの視点で撮影された視差画像が出力される。

また、画像合成部３０２は、これら３つの視差画像の２つを合成することで視点画像を得ることが可能な合成部である。合成方法は第２実施形態で説明を行った図７（ｂ）の水平方向のみの視点移動を適用した場合と同一のため説明を省略する。

なお、多眼の撮像装置の場合、図１１に示すように、被写体４０３に対して、光学系ユニット１０１Ａ〜１０１Ｃの水平方向における光軸間距離が均等でない場合がある。このような場合、光学ユニット１０１Ａ〜１０１Ｃの光軸間距離VAおよびVBに応じて合成比率を補正する。

このように、多眼の撮像装置で得られる視差画像に対しても、第１〜第３実施形態に記載した合成方法を適用することが可能である。

●（第５実施形態）
第５実施形態では、被写体の状態や撮像装置の状態に応じて、合成比率を変更することによって、効果的に視点移動の効果を得ることが可能な場合について説明を行う。
図１２は、被写体の状態に応じて補正した合成比率の例を示している。図６（ａ）と同様、縦軸はB_PIXの合成比率を、横軸はフレーム数（又は時間）を表している。

ここでは、最初のフレームで被写体は登場しておらず、フレーム数S1において被写体が登場し、フレーム数S2で被写体がフェードアウトして動画が終了するものとする。なお、ここで被写体とは撮影画像から検出可能な特徴を有する任意の被写体であり、代表的には人物の顔であってよいが、ユーザが指定した画像領域であってもよい。画像合成部１０５が公知技術に基づいて被写体検出を実行することができる。

このように、被写体の状態が経時的に変化する動画において、被写体の状態が変化するタイミングで合成比率を変更することができる。例えば、被写体が検出されるようになったタイミング（フレーム）および検出されなくなったタイミング（フレーム）を特定する情報を例えば動画ファイルのHeader部に記録することができる。

このような情報が記録された動画ファイルを再生する場合、被写体が検出されていない区間については被写体が検出されている区間よりも時間あたりの視点移動量を大きくするなど、合成比率を変化させることができる。これにより、被写体が存在しない区間においてもユーザーの関心を保つことが可能となる。また被写体が表示されている状態においては、視点移動量を少なくすることで、ユーザの関心を被写体に集中させることが可能となる。

なお、被写体の状態ではなく、例えば撮像装置の状態に応じて合成比率（視点移動効果）の時間あたりの変化量を動的に変更しても良い。
例えば、フレーム数S1からS2の間においてパン動作を行う場合、パン動作中は視点移動の効果が分かりづらい。
そのため、パン動作中はパン動作を行っていない間よりも合成比率（視点移動効果）の時間あたりの変化量を相対的に小さくすることで、限られた視点移動量を効果的に使用することが可能となる。

また、逆にパン動作中における合成比率（視点移動効果）の時間あたりの変化量を、パン動作を行っていない間よりも大きくすることで、パン動作を素早く行っているかのような効果を付与することもできる。ここでは、パン動作の有無を、撮像装置の姿勢に応じて合成比率（視点移動効果）の時間あたりの変化量を制御する例として説明したが、撮像装置の他の状態に基づいて制御することも可能である。

以上のように合成比率（視点移動効果）の時間あたりの変化量を被写体や撮像装置の状態に応じて異ならせることにより、より効果的な視点移動効果を実現することが可能となる。

（その他の実施形態）
なお、上述した各実施形態では、一つのマイクロレンズを共有する分割画素によって得られたＡ像およびＢ像の加算比率を変更することによって視点移動の効果を得た。このようにすることで、多眼のデジタルカメラを用いて得た視差画像同士の合成とは異なり、合成像に二重輪郭の発生を抑制することが可能となる。しかし、視点移動の方法としては多眼のデジタルカメラを用いる等して得た複数の視差動画データを用いることでも実現可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…デジタルカメラ、１０１…光学系ユニット、１０２…撮像素子、１０３…変換部、１０４…読み出し部、１０５…画像合成部、１０６…信号処理部、１０７…記録装置、１１０…制御部、１１１…表示部、１１２…操作部

Claims (25)

1. 複数の視差画像を、撮像時刻の異なる複数フレーム分取得する取得手段と、
   前記複数の視差画像を合成比率に応じてフレーム単位で合成して、当該合成によって得られる画像をフレームに含む動画データを生成する合成手段と、
   前記合成比率を制御する制御手段と、を有し、
   前記制御手段は、前記動画データにおいて視点が第１の視点から第２の視点に経時的に変化するように前記合成比率を制御することを特徴とする画像処理装置。
2. 前記複数の視差画像が、多眼カメラによって撮影されたものであることを特徴とする請求項１に記載の画像処理装置。
3. マイクロレンズを共有する複数の分割画素を有する単位画素が２次元配置された撮像素子から出力される複数の視差画像を、撮像時刻の異なる複数フレーム分取得する取得手段と、
   前記複数の視差画像を合成比率に応じてフレーム単位で合成して、当該合成によって得られる画像をフレームに含む動画データを生成する合成手段と、
   前記合成比率を制御する制御手段と、を有し、
   前記制御手段は、前記動画データにおいて視点が第１の視点から第２の視点に経時的に変化するように前記合成比率を制御することを特徴とする画像処理装置。
4. 前記制御手段は、予め定められたフレーム数あるいは時間で、前記合成比率が予め定められた範囲で変化するように前記合成比率を制御することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、前記合成比率の変化量を動的に変更することを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 前記制御手段は、前記合成比率の変化量を、前記動画データのフレームレートと表示フレームレートとの関係に応じて動的に変更することを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 前記制御手段は、前記合成比率の変化量を、被写体もしくは前記取得手段の状態に応じて動的に変更することを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
8. 前記被写体の状態が、被写体が検出されているか否かであることを特徴とする請求項７に記載の画像処理装置。
9. 前記取得手段の状態が、前記取得手段の姿勢であることを特徴とする請求項７または請求項８に記載の画像処理装置。
10. 前記制御手段は、前記合成比率が線形に変化するように前記合成比率を制御することを特徴とする請求項１から請求項９のいずれか１項に記載の画像処理装置。
11. 前記制御手段は、前記第１の視点の位置および前記第２の視点の位置と、前記複数の視差画像の撮影視点位置との関係に基づいて、前記合成比率を制御することを特徴とする請求項１から請求項１０のいずれか１項に記載の画像処理装置。
12. 前記第１の視点の位置および前記第２の視点の位置が、前記複数の視差画像の撮影視点位置に等しいことを特徴とする請求項１１記載の画像処理装置。
13. 前記第１の視点の位置および前記第２の視点の位置が、前記複数の視差画像の撮影視点位置を頂点とする矩形の辺上に存在することを特徴とする請求項１１または請求項１２に記載の画像処理装置。
14. 前記第１の視点の位置および前記第２の視点の位置が、前記複数の視差画像の撮影視点位置を頂点とする矩形の、異なる辺上に存在することを特徴とする請求項１１から請求項１３のいずれか１項に記載の画像処理装置。
15. 前記第１の視点の位置および前記第２の視点の位置のうち、前記複数の視差画像の撮影視点位置を頂点とする矩形の内部に存在するものを、前記矩形の辺上に存在する位置に補正する補正手段をさらに有することを特徴とする請求項１１から請求項１３のいずれか１項に記載の画像処理装置。
16. 前記補正手段は、前記第１の視点の位置および前記第２の視点の位置の距離が予め定められた閾値以上になるように前記補正を行うことを特徴とする請求項１５記載の画像処理装置。
17. 前記合成手段は、前記複数の視差画像のうち、前記第１の視点の位置を撮影視点位置とする動画データと前記第２の視点の位置を撮影視点位置とする動画データを用いることを特徴とする請求項１１から請求項１６のいずれか１項に記載の画像処理装置。
18. 前記合成手段は、前記第１の視点の位置を撮影視点位置とする画像と前記第２の視点の位置を撮影視点位置とする画像の少なくとも一方を、前記複数の視差画像から生成して前記合成に用いることを特徴とする請求項１７に記載の画像処理装置。
19. 前記複数の視差画像から、撮影時と合焦領域の異なる再構成画像を生成する再構成手段をさらに有し、前記合成手段は前記再構成画像を前記合成に用いることを特徴とする請求項１から請求項１８のいずれか１項に記載の画像処理装置。
20. 前記再構成手段は、撮影視点位置の異なる複数のフレーム画像の位置をずらして合成することにより前記再構成画像を生成することを特徴とする請求項１９記載の画像処理装置。
21. 前記第１の視点、前記第２の視点、および前記合成比率を制御するフレーム数または時間、の少なくとも１つを設定可能な設定手段をさらに有することを特徴とする請求項１から請求項２０のいずれか１項に記載の画像処理装置。
22. 請求項１から請求項２１のいずれか１項に記載の画像処理装置を有し、
    前記取得手段が撮像素子を有することを特徴とする撮像装置。
23. 複数の視差画像を、撮像時刻の異なる複数フレーム分取得する取得ステップと、
    前記複数の視差画像を合成比率に応じてフレーム単位で合成して、当該合成によって得られる画像をフレームに含む動画データを生成する合成ステップと、
    前記合成比率を制御する制御ステップと、を有し、
    前記制御ステップでは、前記動画データにおいて視点が第１の視点から第２の視点に経時的に変化するように前記合成比率を制御することを特徴とする画像処理方法。
24. マイクロレンズを共有する複数の分割画素を有する単位画素が２次元配置された撮像素子から出力される複数の視差画像を、撮像時刻の異なる複数フレーム分取得する取得ステップと、
    前記複数の視差画像を合成比率に応じてフレーム単位で合成して、当該合成によって得られる画像をフレームに含む動画データを生成する合成ステップと、
    前記合成比率を制御する制御ステップと、を有し、
    前記制御ステップでは、前記動画データにおいて視点が第１の視点から第２の視点に経時的に変化するように前記合成比率を制御することを特徴とする画像処理方法。
25. コンピュータを、請求項１から請求項２１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images