JP5601375B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理技術に関する。

昨今、立体視が可能な動画（３Ｄ動画とも言う）を利用した３Ｄテレビが脚光を浴びている。３Ｄテレビでは、視点が異なる２つの画像が利用されて立体視が可能な画像（３Ｄ画像とも言う）が生成される。この３Ｄ画像の技術では、ユーザーの眼の焦点調節機能が利用されて画像の奥行き感が実現されている。

ところが、３Ｄ動画については、急激なシーンの切り替わり等が生じると、ユーザーに疲労感を与え易くなる。そこで、シーンの切り替わり位置における奥行き感が徐々に変更されることで、立体視を行うユーザーの疲労感を軽減できる技術が提案されている（例えば、特許文献１等）。

また、３Ｄ画像の技術は、種々の映像分野で採り入れられており、例えば、視差が人の融合範囲に入るように調節されることで広い範囲で画像の立体視が可能となる内視鏡装置が提案されている（例えば、特許文献２等）。

特開２００９−２３９３８８号公報 特開平８−３１３８２５号公報

ところで、１つの撮影画像に基づいて該撮影画像に係る視点とは異なる仮想的な視点から同一の被写体を捉えた画像（仮想視点画像とも言う）が擬似的に生成されれば、３Ｄ画像の生成が可能となる。そして、１つの動画に基づいて該動画に係る視点とは異なる仮想的な視点から同一の被写体を捉えた動画（仮想視点動画とも言う）が擬似的に生成されれば、３Ｄ動画の生成が可能となる。

しかしながら、上記仮想視点画像では、元の撮影画像では捉えられていない被写体の部分に対応する領域が、画素値が不明な領域（オクルージョン領域とも言う）となってしまう。そして、このオクルージョン領域の発生により、３Ｄ動画において本来存在すべき映像が存在せず、ユーザーに違和感を与えてしまう。更に、画像においてオクルージョン領域が占める割合が高くなれば高くなるほど、ユーザーが受ける違和感が増大する。そして、特に、画像中に近景が急に現れるシーン等では、ユーザーが受ける違和感の増大が顕著となる。

このような問題に対して、上記特許文献１，２の何れの技術も、大小異なるサイズのものが発生し得るオクルージョン領域に対応して、ユーザーが受ける違和感を低減することはできない。なお、このような問題を解決する上では、３Ｄ動画の元となる仮想視点動画が視覚的に違和感のないものとされることが求められる。

本発明は、上記課題に鑑みてなされたものであり、仮想的な視点から見た擬似的な動画を生成する際にユーザーに与える視覚的な違和感を低減する技術を提供することを目的とする。

上記課題を解決するために、第１の態様に係る画像処理装置は、複数のフレームを含む動画像を取得する画像取得部と、各前記フレームを対象として、各画素に対して所定のルールに基づき目標視差を設定する目標視差設定部と、前記複数のフレームのうちの第１フレームを対象として、各画素に対して初期視差を設定する初期視差設定部と、前記複数のフレームのうちの前記第１フレームに続く時間順次の第１期間、第２期間および第３期間に係る複数のフレームについて、各画素の視差を前記初期視差から前記目標視差に向けて調整する視差調整部と、を備え、前記第１期間における視差の変化量を該第１期間の長さで割ることで求められる第１変化率が、前記第２期間における視差の変化量を該第２期間の長さで割ることで求められる第２変化率よりも小さく、前記第２変化率が、前記第３期間における視差の変化量を該第３期間の長さで割ることで求められる第３変化率よりも大きい。

第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記初期視差から前記目標視差に向けた視差の変化に係る複数種類の調整パターンを記憶する記憶部、を備え、前記視差調整部が、前記複数種類の調整パターンのうちの前記初期視差と前記目標視差との差に応じた調整パターンに沿って各画素の視差を調整する。

第３の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記視差調整部が、Ｎを自然数とした場合に、該視差調整部によって調整された後のＮ番目のフレームの視差と前記目標視差とに基づいて、Ｎ＋１番目以降のフレームの視差を調整する。

第４の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記視差調整部が、Ｑを自然数とした場合に、Ｎ＋Ｑ番目のフレームにおける各画素に係る目標視差と、該視差調整部によって調整された後の前記Ｎ番目のフレームの視差とに基づいて、Ｎ＋１番目以降のフレームの視差を調整する。

第５の態様に係る画像処理装置は、第１または第２の態様に係る画像処理装置であって、前記視差調整部が、所定時間に相当する数のフレームについて、各画素の視差を前記初期視差から前記目標視差まで調整する。

第６の態様に係る画像処理装置は、第１から第４の何れか１つの態様に係る画像処理装置であって、前記視差調整部が、時間的に隣り合うフレーム間における視差の調整量が上限値を超えないように各画素の視差を調整する。

第７の態様に係る画像処理装置は、第１から第６の何れか１つの態様に係る画像処理装置であって、前記視差調整部が、前記動画で捉えられている第１の被写体の視差に応じて、前記第１の被写体とは異なる第２の被写体について各画素の視差を調整する。

第８の態様に係る画像処理装置は、第１から第６の何れか１つの態様に係る画像処理装置であって、前記視差調整部が、各前記フレームで捉えられている被写体の位置に応じて、各画素の視差を調整する。

第９の態様に係る画像処理装置は、第１から第８の何れか１つの態様に係る画像処理装置であって、前記目標視差が、各前記フレームに係る視点と仮想的な視点との離隔距離と、各前記フレームが撮影された際における撮像装置から被写体までの距離とに対応する。

第１０の態様に係る画像処理装置は、第１から第９の何れか１つの態様に係る画像処理装置であって、Ｎおよびｐをそれぞれ自然数とした場合に、前記複数のフレームのうちのＮ番目のフレームと該Ｎ番目のフレームよりも時間的に前に係るＮ−ｐ番目のフレームとの比較によって、該Ｎ番目のフレームにおける被調整領域を検出する検出部、を更に備え、前記視差調整部が、前記被調整領域に係る各画素の視差を前記初期視差から前記目標視差に向けて調整する。

第１１の態様に係る画像処理方法は、(a)複数のフレームを含む動画像を取得するステップと、(b)各前記フレームを対象として、各画素に対して所定のルールに基づき目標視差を設定するステップと、(c)前記複数のフレームのうちの第１フレームを対象として、各画素に対して初期視差を設定するステップと、(d)前記複数のフレームのうちの前記第１フレームに続く時間順次の第１期間、第２期間および第３期間に係る複数のフレームについて、各画素の視差を前記初期視差から前記目標視差に向けて調整するステップと、を備え、前記第１期間における視差の変化量を該第１期間の長さで割ることで求められる第１変化率が、前記第２期間における視差の変化量を該第２期間の長さで割ることで求められる第２変化率よりも小さく、前記第２変化率が、前記第３期間における視差の変化量を該第３期間の長さで割ることで求められる第３変化率よりも大きい。

第１２の態様に係るプログラムは、情報処理装置に含まれる制御部において実行されることにより、前記情報処理装置を、第１から第１０の何れか１つの態様に係る画像処理装置として機能させるプログラムである。

第１から第１０の何れか１つの態様に係る画像処理装置によれば、仮想的な視点から見た擬似的な動画を生成する際にユーザーに与える視覚的な違和感を低減することができる。

第２の態様に係る画像処理装置によれば、的確な視差の調整が容易に可能となる。

第３の態様に係る画像処理装置によれば、適切な視差の調整が可能となる。

第４の態様に係る画像処理装置によれば、目標視差の変化に対応する視差の調整が容易に可能となる。

第５の態様に係る画像処理装置によれば、視差の調整に要する時間の変動が抑制されるため、ユーザーに与える視覚的な違和感が適切に抑えられる。

第６の態様に係る画像処理装置によれば、視差の顕著な変化が抑制されるため、ユーザーに与える視覚的な違和感が適切に抑えられる。

第７の態様に係る画像処理装置によれば、物体どうしの間における視差の整合性が良くなるため、ユーザーに与える視覚的な違和感が適切に抑えられる。

第８の態様に係る画像処理装置によれば、ユーザーが着目する度合いに応じた視差の調整が可能となる。

第９の態様に係る画像処理装置によれば、立体視が可能な画像の生成に適した目標視差を設定することが可能となる。

第１０の態様に係る画像処理装置によれば、必要に応じた視差の調整が可能となる。

第１１の態様に係る画像処理方法および第１２の態様に係るプログラムの何れによっても、仮想的な視点から見た擬似的な動画を生成する際にユーザーに与える視覚的な違和感を低減することができる。

図１は、一実施形態に係る処理の特徴を説明するための図である。 図２は、一実施形態に係る画像処理システムの概略構成を例示する図である。 図３は、画像処理装置に係る機能的な構成を例示するブロック図である。 図４は、三角測量の原理を利用した目標視差の求め方を説明するための図である。 図５は、第Ｎ右眼用フレームの一例を模式的に示す図である。 図６は、第Ｎ右眼用フレームの一例を模式的に示す図である。 図７は、時間と調整後の視差との関係を模式的に例示するグラフである。 図８は、時間と調整後の視差との関係を模式的に例示するグラフである。 図９は、画像処理装置の動作フローを示すフローチャートである。 図１０は、画像処理装置の動作フローを示すフローチャートである。 図１１は、仮想視点画像に係る視差の調整の一態様を例示する模式図である。 図１２は、時間と調整後の視差との関係を模式的に例示するグラフである。 図１３は、時間と調整後の視差との関係を模式的に例示するグラフである。 図１４は、仮想視点画像に係る視差の調整の一態様を例示する模式図である。 図１５は、時間と調整後の視差との関係を模式的に例示するグラフである。 図１６は、時間と調整後の視差との関係を模式的に例示するグラフである。 図１７は、仮想視点画像に係る視差の調整の一態様を例示する模式図である。 図１８は、時間と調整後の視差との関係を模式的に例示するグラフである。 図１９は、時間と調整後の視差との関係を模式的に例示するグラフである。 図２０は、時間と調整後の視差との関係を模式的に例示するグラフである。

以下、本発明の一実施形態を図面に基づいて説明する。なお、図面においては同様な構成および機能を有する部分については同じ符号が付されており、下記説明では重複説明が省略される。また、図面は模式的に示されたものであり、各図における画像上の物体のサイズおよび位置関係等は正確に図示されたものではない。更に、画像データと、該画像データに基づいて表示される画像とをまとめて「画像」と総称する。

＜(１)一実施形態に係る処理の特徴＞
図１は、一実施形態に係る処理の特徴を説明するための図である。

図１で示されるように、例えば、ｎ枚（ｎは２以上の自然数）のフレームからなる動画のうちのＮ番目（Ｎはｎ以下の自然数）のフレーム（第Ｎフレームとも言う）Ｇ_Nは、長方形の外縁を有する。ここでは、第ＮフレームＧ_Nの左上の画素が原点とされ、第ＮフレームＧ_Nの長辺に沿った方向（ここでは横方向）がＸ軸方向とされ、第ＮフレームＧ_Nの短辺に沿った方向（ここでは縦方向）がＹ軸方向とされる。そして、第ＮフレームＧ_Nの右方向が＋Ｘ方向とされ、第ＮフレームＧ_Nの下方向が−Ｙ方向とされる。なお、図１および図１以降の他の図では、直交するＸＹの２軸が必要に応じて示されている。

ここでは、図１で示されるように、例えば、ｎ枚（ｎは２以上の自然数）のフレームからなる動画のうちのＮ番目（Ｎはｎ以下の自然数）のフレーム（第Ｎフレームとも言う）Ｇ_Nから、立体視が可能な３Ｄ画像が生成される場合を想定する。例えば、第ＮフレームＧ_Nがそのまま左眼用のＮ番目のフレーム（第Ｎ左眼用フレームとも言う）Ｇ_NＬとして使用され、第ＮフレームＧ_Nから右眼用のＮ番目のフレーム（第Ｎ右眼用フレームとも言う）Ｇ_NＲが生成される場合を想定する。

ここでは、第ＮフレームＧ_N（第Ｎ左眼用フレームＧ_NＬ）が撮影された際におけるカメラの位置（具体的には、撮像素子）が第Ｎ視点とされ、第Ｎ右眼用フレームＧ_NＲを撮影するための仮想的なカメラの位置が第Ｎ仮想視点とされる。そして、第Ｎ視点と第Ｎ仮想視点とが、人間の標準的な左眼と右目との位置関係にある。これにより、第Ｎ左眼用フレームＧ_NＬと第Ｎ右眼用フレームＧ_NＲとの間において、同じ被写体を捉えた画素の位置のズレ（すなわち視差）が生じる。

ところで、第Ｎ右眼用フレームＧ_NＲには、第Ｎ左眼用フレームＧ_NＬで捉えられていた物体（ここでは人物）ＯＢ_Nと背景とに対応する領域だけでなく、第Ｎ左眼用フレームＧ_NＬでは人物ＯＢ_Nの後方に位置するために捉えられなかった被写体の部分に対応する領域（非撮影領域ともオクルージョン領域とも言う）ＯＣ_Nとが存在する。このオクルージョン領域ＯＣ_Nについては、実際の画素値が不明である。このため、動画における冒頭のシーンおよび被写体が全く別のものに切り替わるシーンにおいて、オクルージョン領域ＯＣ_Nが突然に画面上に表示されると、ユーザーに違和感を与える虞がある。

そこで、本実施形態では、第Ｎ右眼用フレームＧ_NＲが生成される際に、各種条件に応じて視差の変化量が適宜調整されることで、オクルージョン領域ＯＣ_Nが極力目立たないように、該オクルージョン領域ＯＣ_Nの発生量が調整されている。

＜(２)画像処理システムの概略構成＞
図２は、本発明の一実施形態に係る情報処理システム１の概略構成を示す図である。

情報処理システム１は、カメラ２と測距機３と情報処理装置４とを備えている。情報処理装置４は、カメラ２と測距機３とに対してデータの送受信が可能に接続されている。

カメラ２は、例えば、デジタルカメラによって構成されている撮像装置である。デジタルカメラは、ＣＣＤ等の撮像素子を有するものである。カメラ２では、被写体からの光が受光され、光電変換によって、被写体の輝度に係る分布を示す情報が画像データとして取得される動作（いわゆる撮影）が行われる。

このカメラ２は、所定のタイミングで複数回の撮影を行うことで、ｎ個の画像データを取得する。このｎ個の画像データは、動画を構成するｎ枚のフレームに相当する。例えば、一連の複数回の撮影からなる動画の撮影において、Ｎ番目の撮影によって第Ｎフレームが得られる。第Ｎフレームは、例えば、横にＡ個の画素（Ａは自然数、例えば、Ａ＝１２８０）および縦にＢ個の画素（Ｂは自然数、例えば、Ｂ＝９６０）からなるマトリックス状の画素の配列からなる。カメラ２で得られるｎ枚のフレームに係るデータは、データ線ＣＢを介して情報処理装置４に送信される。

測距機３は、カメラ２に対する位置関係と姿勢とが保持されつつ該カメラ２に併設され、例えば、レーザーを用いて被写体までの距離を計測する機器である。この測距機３によって、カメラ２（具体的には、撮像素子）から被写体の各部分までの距離が測定されることで、各撮影時におけるカメラ２から被写体の各部分までの距離が測定される。

例えば、Ｎ番目の撮影時におけるカメラ２（すなわち第Ｎ視点）から被写体の各部までの距離（被写体距離とも言う）を示す情報（第Ｎ距離情報とも言う）が得られる。換言すれば、第Ｎ距離情報は、第Ｎフレームを構成している各画素で捉えられた被写体の部分と第Ｎ視点との距離（被写体距離）を示す情報を含む。ｎ枚のフレームに対応して測距機３で得られるｎ個の距離情報は、データ線ＣＢを介して情報処理装置４に送信される。

情報処理装置４は、例えばパーソナルコンピュータ（パソコン）によって構成され、操作部４１と表示部４２とインターフェース(Ｉ／Ｆ)部４３とを備えている。操作部４１は、マウスおよびキーボード等を含み、表示部４２は、液晶ディスプレイ等を備え、Ｉ／Ｆ部４３は、カメラ２と測距機３とからのデータを受信する。また、情報処理装置４は、記憶部４４と入出力部４５と制御部４６とを有している。

記憶部４４は、例えばハードディスク等によって構成され、カメラ２で得られる各画像を記憶する。また、記憶部４４には、情報処理装置４において各種動作を実現するためのプログラムＰＧ等が格納される。この各種動作には、立体視可能な動画の作成動作が含まれる。

入出力部４５は、例えば、ディスクドライブを備えて構成され、光ディスク等の記憶媒体９を受け付け、制御部４６との間でデータの授受を行う。

制御部４６は、プロセッサーとして働くＣＰＵ４６ａと、情報を一時的に記憶するメモリ４６ｂとを有し、情報処理装置４の各部を統括的に制御する。また、制御部４６では、記憶部４４内のプログラムＰＧが読み込まれて実行されることで、各種機能および各種情報処理等が実現される。この情報処理において一時的に生成されるデータは、メモリ４６ｂに適宜記憶される。そして、制御部４６の制御により、情報処理装置４は、立体視可能な動画の作成を行う画像処理装置として働く。なお、記憶媒体９に記憶されているプログラムを、入出力部４５を介してメモリ４６ｂに格納させることが可能である。

＜(３)画像処理に関する機能的な構成＞
図３は、制御部４６で実現される画像処理装置に係る機能的な構成を例示するブロック図である。情報処理装置４は、画像取得部４６１、距離情報取得部４６２、領域検出部４６３、目標視差設定部４６４、初期視差設定部４６５、視差調整部４６６、仮想視点画像生成部４６７、および立体視画像生成部４６８を備えている。

画像取得部４６１は、記憶部４４等に格納されている複数のフレームを含む動画像を取得する。この動画像は、例えば、カメラ２によって所定のタイミングで複数回の撮影が行われることで取得される複数のフレームを備えて構成されている。そして、複数のフレームは、例えば、動画を構成するｎ枚（ｎは２以上の自然数）のフレームに相当する。

距離情報取得部４６２は、記憶部４４等に格納されている動画を構成している第Ｎフレームが撮影された際におけるカメラ２から被写体までの距離を示す距離情報（第Ｎ距離情報とも言う）を取得する。このカメラ２から被写体までの距離は、第Ｎフレームが撮影された際におけるカメラ２（具体的には、撮像素子）から第Ｎフレームの各画素で捉えられている被写体の部分までの距離である。

領域検出部４６３は、ｎ枚のフレームのうちのＮ番目のフレーム（第Ｎフレーム）と、同一のｎ枚のフレームのうちのＮ−ｐ番目（ｐは自然数）のフレーム（第Ｎ−ｐフレーム）との比較を行う。この比較により、領域検出部４６３は、第Ｎフレームにおいて視差を調整すべき領域（被調整領域とも言う）を検出する。なお、詳細な被写体の変化が認識される観点から、ｐは１であることが好ましい。

目標視差設定部４６４は、ｎ枚のフレームに含まれる第Ｎフレームを対象として、各画素に対して所定のルールに基づいて目標とする視差（目標視差とも言う）を設定する。目標視差は、第Ｎ視点から撮影された第Ｎフレームを基準として、Ｎ番目の仮想的な視点（第Ｎ仮想視点とも言う）から撮影すれば得られると予測されるＮ番目の擬似的なフレーム（第Ｎ仮想視点画像とも第Ｎ仮想視点フレームとも言う）を生成するための各画素のシフト量に相当する。第Ｎ視点と第Ｎ仮想視点との関係は、第Ｎ視点の位置を人物の左目の位置とすれば、第Ｎ仮想視点の位置が同一人物の右目の位置となる関係を有する。したがって、例えば、第Ｎ視点と第Ｎ仮想視点とを結ぶ仮想的な直線（仮想直線とも言う）が、カメラ２の撮影方向と直交するような条件が考えられる。なお、第Ｎ視点と第Ｎ仮想視点については、例えば、被写体を囲む仮想的な円周上に配置されても良いし、その他の配置が採用されても良い。

初期視差設定部４６５は、被調整領域毎に、ｎ枚のフレームのうちの被調整領域が出現するフレーム（出現フレームとも言う）を対象として、各画素に対して初期視差を設定する。初期視差は、−Ｘ方向（または＋Ｘ方向）の所定数（例えば、０）の画素に相当するものであれば良い。例えば、第Ｎ視点および第Ｎ仮想視点から被写体までの距離が短い場合には、右目で見た被写体は左目で見た被写体よりも左側にシフトするため、初期視差は−Ｘ方向に０以上の数の画素に設定されることが好ましい。なお、第Ｎ視点および第Ｎ仮想視点から被写体までの距離が長い場合には、例えば、３Ｄ画像において被写体までの距離が遠い感覚をユーザーに対して強く与える目的で、初期視差が＋Ｘ方向に０以上の数の画素に設定され、目標視差が＋Ｘ方向に設定される態様も考えられる。

視差調整部４６６は、被調整領域毎に、ｎ枚のフレームのうちの出現フレームに続く複数のフレームについて、各画素の視差を初期視差から目標視差に向けて調整する。この初期視差から目標視差に向けた視差の調整は、各種条件によって異なる。各種条件としては、出現フレームにおける目標視差の大きさ、調整後の視差と目標視差との差、フレームにおける被調整領域の位置、およびカメラ２から被調整領域で捉えられた物体までの距離等が挙げられる。

仮想視点画像生成部４６７は、ｎ枚のフレームについて、視差調整部４６６で調整された視差の情報に基づき、ｎ枚の仮想視点フレームを生成する。すなわち、ｎ枚の左眼用のフレームからｎ枚の右眼用のフレームがそれぞれ生成される。

立体視画像生成部４６８は、ｎ枚の左眼用のフレームと仮想視点画像生成部４６７によって生成されたｎ枚の右眼用のフレームとに基づいて、立体視が可能な動画（３Ｄ動画）を生成する。ここで生成された３Ｄ動画のデータは、例えば、記憶部４４または入出力部４５等に向けて出力され、記憶部４４または記憶媒体９に記憶される。

＜(４)被調整領域の検出方法＞
ここで、領域検出部４６３による被調整領域の検出方法について説明する。

第Ｎフレームと第Ｎ−ｐフレームとの比較が行われる際、例えば、Ｎ＝１で且つｐ＝１の場合には、第Ｎ−ｐフレームは存在しない。このとき、第Ｎフレームは動画の最初のフレームであり、該第Ｎフレームにおける全領域が、被調整領域として検出される。

また、例えば、Ｎが２以上で且つｐ＝１の場合には、領域検出部４６３は、第Ｎ−ｐフレームと第Ｎフレームとの間における対応点の探索により、第Ｎ−ｐフレームには存在していないが、第Ｎフレームには存在している被写体の部分が捉えられた領域（出現領域とも言う）が検出される。ここで、対応点の探索としては、例えば、位相限定相関法（ＰＯＣ法）またはテンプレートマッチング等を用いた処理が挙げられる。

更に、第Ｎ距離情報に基づいて第Ｎフレームにおける出現領域が物体毎に区別されることで、第Ｎ−ｐフレームには存在していなかった物体を示す領域が被調整領域として検出される。これにより、必要に応じた視差の調整が可能となる。なお、出現領域を物体毎に分類する方法としては、例えば、相互に隣接する画素について被写体距離が所定の閾値（例えば、１０ｃｍ）以内である場合に、この相互に隣接する画素が、同一物体を捉えた画素として認識される方法が挙げられる。

また、領域検出部４６３では、ｎ枚のフレームのうち、被調整領域毎に、被調整領域が出現する出現フレームが認識される。

＜(５)目標視差の設定方法＞
ここで、目標視差設定部４６４による目標視差の設定方法について説明する。

目標視差の設定に係る所定のルールとしては、例えば、三角測量の原理が利用されたルールが挙げられる。このルールは、第Ｎフレームの撮影時における第Ｎ視点と、第Ｎ仮想視点との離隔距離と、第Ｎフレームが撮影された際におけるカメラ２から被写体の各部分までの距離（被写体距離）とから目標視差が設定されるようなルールである。

具体的には、図４で示されるように、カメラ２（すなわち第Ｎ視点）から被写体２０Ｂまでの距離をＤ、第Ｎ視点と第Ｎ仮想視点との離隔距離をＢ、カメラ２のレンズの焦点距離をｆ、第Ｎフレームと第Ｎ仮想視点フレームとの間において被写体の同一部分を捉えた画素のズレ量（目標視差）をΔｄとすると、下式(１)の関係が成立する。

Ｄ＝ｆ×Ｂ／Δｄ ・・・(１)。

上式(１)のうち、離隔距離Ｂは、例えば、標準的な人間の右目と左目との離隔距離に応じて一義的に決められる。焦点距離ｆは、カメラ２の設計によって決められる。また、距離Ｄについては、第Ｎフレームに係る第Ｎ距離情報によって与えられる。このため、第Ｎフレームの各画素について目標視差Δｄが求められる。

＜(６)視差の調整の具体例＞
以下、視差調整部４６６で行われる視差の調整について具体例を挙げて説明する。

＜(６−１)目標視差の大小に応じた視差の調整＞
＜(６−１−１)視差の調整についての概要＞
図５は、被調整領域が出現した出現フレームにおける被調整領域の目標視差が大きな場合において、仮に目標視差にそのまま従って生成された第Ｎ右眼用フレームＧ_NＲの具体例を模式的に示す図である。図５で示される第Ｎ右眼用フレームＧ_NＲには、被調整領域に相当する人物が捉えられた領域（物体領域とも言う）ＯＢ_Nと、その領域ＯＢ_Nに対応するオクルージョン領域ＯＣ_Nとが含まれている。図５では、比較的大きなオクルージョン領域ＯＣ_Nが示されている。

ここで、オクルージョン領域が全く存在していないフレームが基準とされる場合と、オクルージョン領域が既に存在しているフレームが基準とされる場合との間で、オクルージョン領域の増大に対してユーザーが持つ印象が異なる。従って、目標視差が大きな場合には、オクルージョン領域の増大に応じて、時間的に隣り合うフレーム間における視差の調整量（１フレーム当たりの視差の調整量とも言う）が徐々に増大されれば、ユーザーに与える違和感が低減される。そして、比較的長時間に対応する数のフレームにおいて、被調整領域に係る視差が初期視差から目標視差に向けて調整されることが好ましい。

図６は、被調整領域が出現した出現フレームにおける被調整領域の目標視差が小さな場合において、仮に目標視差にそのまま従って生成された第Ｎ右眼用フレームＧ_NＲの具体例を模式的に示す図である。図６で示される第Ｎ右眼用フレームＧ_NＲには、図５で示されたものと同様に、被調整領域に相当する人物が捉えられた領域（物体領域とも言う）ＯＢ_Nと、その領域ＯＢ_Nに対応するオクルージョン領域ＯＣ_Nとが含まれている。

しかし、図６で示されるオクルージョン領域ＯＣ_Nは比較的小さいため、ユーザーに対して違和感を与える可能性が低い。従って、このような条件では、比較的短時間に対応する数のフレームにおいて、被調整領域に係る視差が初期視差から目標視差に向けて調整される。これにより、違和感と視差調整に要する時間との双方の抑制が可能である。但し、視差の調整量の急激過ぎる変化は、ユーザーに違和感を与えるため、例えば、視差を調整する初期および終期の少なくとも何れか一方において、１フレーム当たりの視差の調整量が低く抑えられることが好ましい。すなわち、該初期および終期において、比較的緩やかに視差が調整されることが好ましい。

＜(６−１−２)目標視差の大小についての判定＞
目標視差が大きいか否かの判定方法としては、例えば、その目標視差を設定するために用いられた距離、すなわちカメラ２から被調整領域で捉えられた物体までの距離が、所定の閾値（例えば、１ｍ程度の値）未満であれば、目標視差が大きいものと判定される方法が考えられる。

また、例えば、物体領域ＯＢ_NのＸ方向に沿った横幅に相当する画素数（物体幅とも言う）と、目標視差に相当する画素のシフト量との比に基づいて判定される方法が採用されても良い。この方法では、例えば、シフト量を物体幅で割った値が所定の閾値（例えば、０．１）以上であれば、目標視差が大きいものと判定される。

また、例えば、物体領域ＯＢ_Nの面積と、オクルージョン領域ＯＣ_Nの面積との比に基づいて判定される方法が採用されても良い。この方法では、例えば、オクルージョン領域ＯＣ_Nの面積を物体領域ＯＢ_Nの面積で割った値が所定の閾値（例えば、０．１）以上であれば、目標視差が大きいものと判定される。

そして、目標視差が大きいものと判定されない場合は、目標視差が小さいものと判定される。

＜(６−１−３)目標視差が大きな場合＞
ここでは、説明の複雑化を防ぐために、視差が調整される際には、目標視差が一定値である簡単な例を挙げて説明する。

図７は、出現フレームの被調整領域における目標視差が大きな場合について、時間の経過と調整後の視差との関係を模式的に例示するグラフである。図７では、横軸が時間の経過を示し、縦軸が視差を示している。この時間の経過は、動画における出現フレームの時刻を基準とした時間の経過を示す。そして、出現フレームにおける被調整領域の目標視差ｄａ_obが太い破線で描かれた直線Ｌ１０で示され、時間の経過と調整後の視差との関係が太い実線で描かれた曲線Ｌ１１で示されている。また、目標視差が大きいか否かを判定するための所定の閾値ｄ_THが示されている。

図７の曲線Ｌ１１に対応する視差の調整としては、例えば、次のステップ（A1）〜（A3）が順に行われる動作が考えられる。

（A1）視差の調整が開始され、評価値Ｖ_iが閾値α以下であれば、１フレーム当たりの視差の調整量が比較的小さな状態が維持される。（A2）評価値Ｖ_iが閾値αを超えると、１フレーム当たりの視差の調整量が増大する。（A3）評価値Ｖ_iが閾値βを超えると、１フレーム当たりの視差の調整量が減少する。

ここで、評価値Ｖ_iは、例えば、視差の調整が開始されてから経過した時間であっても良いし、視差が開始されてからのフレームの数であっても良いし、調整後の視差であっても良い。また、閾値α，βは、それぞれ予め決められた固定の値であっても良いし、視差の調整が開始されてから経過した時間、視差が開始されてからのフレームの数、および調整後の視差のうちの少なくとも１以上の値から算出されても良い。例えば、評価値Ｖ_iが、調整後の視差であり、閾値α，βが、目標視差の所定数％である場合が考えられる。具体例としては、閾値αが目標視差の２０％であり、閾値βが目標視差の８０％であるような場合が考えられる。

このように、視差の調整が行われる期間には、評価値Ｖ_iが０から閾値αに至るまでの第１期間Ａ１、評価値Ｖ_iが閾値αを超えてから閾値βに至るまでの第２期間Ａ２、および評価値Ｖ_iが閾値βを超えた後の第３期間Ａ３が含まれる。そして、例えば、第１期間Ａ１における１フレーム当たりの視差の調整量が一定値ａ１であり、第２期間Ａ２における１フレーム当たりの視差の調整量が一定値ａ２であり、第３期間Ａ３における１フレーム当たりの視差の調整量が一定値ａ３であるような場合が考えられる。

但し、ユーザーに対して違和感を極力与えない観点から、評価値Ｖ_iが閾値α，βに到達する前後を含むある程度の期間において、１フレーム当たりの視差の調整量が徐々に変更されることが好ましい。つまり、図７の曲線Ｌ１１で示されるように、視差の調整量が徐々に変更されることで、視差が曲線的に変化するような態様が好ましい。これにより、視差が、加速度的に増加した後に緩やかに目標視差まで到達する。

なお、図７の曲線Ｌ１１では、経過時間がＴ０〜Ｔ１ａである第１期間Ａ１において視差が初期視差ｄ０からｄ１ａまで到達し、経過時間がＴ１ａ〜Ｔ２ａである第２期間Ａ２において視差がｄ１ａからｄ２ａまで到達し、経過時間がＴ２ａ〜Ｔ３ａである第３期間Ａ３において視差がｄ２ａからｄａ_obまで到達する例が示されている。つまり、ｎ枚のフレームのうちの出現フレームに続く時間順次の第１期間Ａ１と第２期間Ａ２と第３期間Ａ３とに係る複数のフレームについて、各画素の視差が初期視差から目標視差に向けて調整される。

より具体的には、第１期間Ａ１における視差の変化量を第１期間Ａ１の長さで割ることで求められる視差の変化率（第１変化率とも言う）が、第２期間Ａ２における視差の変化量を第２期間Ａ２の長さで割ることで求められる視差の変化率（第２変化率とも言う）よりも小さい。このような視差の調整により、仮想視点から見た擬似的な動画を生成する際にユーザーに与える視覚的な違和感を低減することが可能となる。また、第２変化率が、第３期間Ａ３における視差の変化量を第３期間Ａ３の長さで割ることで求められる視差の変化率（第３変化率とも言う）よりも大きい。なお、第２変化率は、例えば、第１変化率および第３変化率の数倍〜数十倍であることが好ましい。

ところで、曲線Ｌ１１で示されるような視差の曲線的な変化は、種々の方法によって実現可能である。種々の方法としては、予め準備されている時間の経過とともに視差が曲線的に変化するパターン（調整パターンとも言う）が用いられる方法、および所定の関数に従って視差を変化させる方法等が挙げられる。

まず、調整パターンに従って視差を調整する方法としては、例えば、予め準備された複数種類の調整パターンのうちの初期視差と目標視差との差に応じた調整パターンに沿って各画素の視差が調整される場合が考えられる。この場合、各種類の調整パターンは、時間経過に対して初期視差から目標視差に向けて視差が曲線的に変化するデータによって示され、記憶部４４に予め記憶されていれば良い。そして、この調整パターンは、例えば、初期視差と目標視差との差に応じて決まる視差の調整に必要な期間に合わせて、時間経過の方向に伸縮されれば良い。

このような調整パターンに従った視差の調整により、的確な視差の調整が容易に可能となる。なお、動画における１秒当たりのフレームの数が６０である場合、すなわちフレームレートが毎秒６０フレームである場合、視差の調整に要するフレームの数は、例えば、１２０〜１８０程度といった比較的大きな数となる。

次に、所定の関数に従って視差を調整する方法としては、例えば、ｎ枚のフレームのうちのＮ番目の第Ｎフレームが視差の調整に係る被調整領域の出現フレームである場合、第Ｎフレームの初期視差と目標視差とに基づいて、Ｎ＋１番目以降のフレームの視差が調整される態様が考えられる。また、例えば、ｎ枚のフレームのうちのＮ番目の第Ｎフレームにおける調整後の視差と目標視差とに基づいて、Ｎ＋１番目以降のフレームの視差が調整される態様が考えられる。このような関数に従った視差の調整により、適切な視差の調整が可能となる。

なお、所定の関数に従った視差の調整方法の具体例としては、初期視差と目標視差との差と、調整後の第Ｎフレームの視差と目標視差との差とに基づいた、ＰＩＤ制御が考えられる。このＰＩＤ制御では、例えば、評価値Ｖ_iが閾値α，βに到達する度に、積分項の係数と微分項の係数と比例項の係数とがそれぞれ変更される態様が考えられる。これにより、視差が、直ぐに目標視差まで到達せずに、ある程度の遅延時間を有して初期視差から目標視差まで到達するように調整される。

ところで、閾値α，β等といった閾値が用いられず、所定のパラメータに応じて視差が調整されても良い。所定のパラメータとしては、視差の調整に既に要した時間、視差の調整に用いられる時間、および調整後の視差と目標視差との関係等が挙げられる。例えば、視差の調整に既に要した時間が関数に代入されることで視差の調整量が算出される態様が考えられる。また、例えば、目標視差の大小に応じて、視差の調整に用いられる時間が設定され、その時間に合わせて、時間経過と視差との関係を示す曲線状の調整パターンが伸縮される態様が考えられる。また、例えば、調整後の視差と目標視差との関係に応じて、時間経過と視差との関係を示す曲線状の調整パターンが伸縮される態様が考えられる。

＜(６−１−４)目標視差が小さな場合＞
ここでも、説明の複雑化を防ぐために、視差が調整される際には、目標視差が一定値である簡単な例を挙げて説明する。

図８は、出現フレームの被調整領域における目標視差が小さな場合について、時間の経過と調整後の視差との関係を模式的に例示するグラフである。図８では、図７と同様に、横軸が時間の経過を示し、縦軸が視差を示しており、該時間の経過は、動画における出現フレームの時刻を基準とした時間の経過を示す。そして、出現フレームにおける被調整領域の目標視差ｄｂ_obが太い破線で描かれた直線Ｌ２０で示され、時間の経過と調整後の視差との関係が太い実線で描かれた曲線Ｌ２１で示されている。また、目標視差の大小を判定するための所定の閾値ｄ_THが示されている。

図８の曲線Ｌ２１に対応する視差の調整としては、図７の曲線Ｌ１１に対応する視差の調整と同様に、例えば、次のステップ（B1）〜（B3）が順に行われる動作が考えられる。

（B1）視差の調整が開始され、評価値Ｖ_iが閾値α以下であれば、１フレーム当たりの視差の調整量が比較的小さい状態が維持される。（B2）評価値Ｖ_iが閾値αを超えると、１フレーム当たりの視差の調整量が増大する。（B3）評価値Ｖ_iが閾値βを超えると、１フレーム当たりの視差の調整量が減少する。

ここで、評価値Ｖ_iおよび閾値α，βは、目標視差が大きな場合における視差の調整についての説明で既述されたような種類の値であれば良い。なお、ここでは、評価値Ｖ_iが、調整後の視差であり、閾値αが目標視差の５％であり、閾値βが目標視差の８０％であるような例が考えられる。

このように、視差の調整が行われる期間には、評価値Ｖ_iが０から閾値αに至るまでの第１期間Ｂ１、評価値Ｖ_iが閾値αを超えてから閾値βに至るまでの第２期間Ｂ２、および評価値Ｖ_iが閾値βを超えた後の第３期間Ｂ３が含まれる。そして、１フレーム当たりの視差の調整量が、例えば、第１期間Ｂ１では一定量ｂ１、第２期間Ｂ２では一定量ｂ２、第３期間Ｂ３では一定量ｂ３である場合が考えられる。但し、ユーザーに対して違和感を極力与えない観点から、図８の曲線Ｌ２１で示されるように、評価値Ｖ_iが閾値α，βに到達する前後を含むある程度の期間において、１フレーム当たりの視差の調整量が徐々に変更されることが好ましい。

なお、図８の曲線Ｌ２１では、経過時間がＴ０〜Ｔ１ｂである第１期間Ｂ１において視差が初期視差ｄ０からｄ１ｂまで到達し、経過時間がＴ１ｂ〜Ｔ２ｂである第２期間Ｂ２において視差がｄ１ｂからｄ２ｂまで到達し、経過時間がＴ２ｂ〜Ｔ３ｂである第３期間Ｂ３において視差がｄ２ｂからｄ３_obまで到達する例が示されている。ここで、曲線Ｌ２１で示されるような時間経過に対する視差の曲線的な変化は、例えば、上述された図７の曲線Ｌ１１で示されたような時間経過に対する視差の曲線的な変化を実現する方法と同様な方法によって実現可能である。ここで、例えば、調整パターンに従った視差の調整が採用される場合、的確な視差の調整が容易に可能となり、動画のフレームレートが毎秒６０フレームであれば、視差の調整に要するフレームの数は、例えば、３０程度と比較的小さな数となる。

＜(６−１−５)動作フロー＞
図９および図１０は、目標視差の大小に応じた視差の調整に係る動作フローを例示するフローチャートである。本動作フローは、制御部４６によって記憶部４４内のプログラムＰＧが読み込まれて実行されることで実現される。例えば、ユーザーによる操作部４１の操作に応じて情報処理装置４における３Ｄ動画の生成が要求され、本動作フローが開始される。

図９のステップＳ１では、画像取得部４６１によって、記憶部４４等に格納されているｎ枚のフレームを含む動画像が取得される。

ステップＳ２では、距離情報取得部４６２によって、ステップＳ１で取得されたｎ枚のフレームにそれぞれ対応する距離情報が、記憶部４４等から取得される。この距離情報は、動画を構成しているｎ枚のフレームがそれぞれ撮影された際におけるカメラ２から被写体までの距離を示す情報である。なお、ここでは、ステップＳ１の処理とステップＳ２の処理とが並行して実行される例が示されているが、ステップＳ１の処理とステップＳ２の処理とが、この順に実行されても良いし、この逆の順に実行されても良い。

ステップＳ３では、領域検出部４６３によって、ｎ枚のフレームのうちの第Ｎフレームと、同一のｎ枚のフレームのうちの第Ｎ−ｐフレーム（ｐは自然数）との比較が行われることで、第Ｎフレームにおける被調整領域が検出される。ここでは、Ｎが１〜ｎに順に設定されて、第Ｎフレームのうち、第Ｎ−ｐフレームには存在していなかった物体を示す領域が被調整領域としてそれぞれ検出される。なお、Ｎ＝１の場合には、第１フレームのうちの全ての物体を示す領域が被調整領域として検出される。このとき、各被調整領域に対して識別情報（ここでは、識別番号）が付される。

ステップＳ４では、目標視差設定部４６４によって、ｎ枚のフレームに含まれる各フレームを対象として、各画素に対して所定のルールに基づいて目標視差が設定される。

ステップＳ５では、初期視差設定部４６５によって、処理対象となる被調整領域の識別番号Ｍが１に設定される。

ステップＳ６では、初期視差設定部４６５によって、ステップＳ３で検出された全ての被調整領域のうち、Ｍ番目の被調整領域が指定され、図１０のステップＳ１１に進む。

ステップＳ１１では、初期視差設定部４６５によって、ステップＳ６で指定された被調整領域について、該被調整領域が出現した出現フレームの各画素に対して初期視差が設定される。

ステップＳ１２では、視差調整部４６６によって、ステップＳ６で指定された被調整領域についての目標視差が所定の閾値ｄ_TH以上であるか否かが判定される。ここでは、例えば、ステップＳ６で指定された被調整領域についてステップＳ４で設定された目標視差の最小値が、所定の閾値ｄ_TH以上であるか否かが判定される。そして、目標視差が所定の閾値ｄ_TH以上であれば、ステップＳ１３に進み、目標視差が所定の閾値ｄ_TH未満であれば、ステップＳ１４に進む。なお、ここでは、目標視差の最小値が用いられて判定が行われたが、これに限られず、例えば、目標視差の最大値または目標視差の平均値が用いられても良いし、目標視差から算出されるパラメータが用いられて判定が行われても良い。

ステップＳ１３では、視差調整部４６６によって、目標視差が大きな場合における視差の調整が実行される。

ステップＳ１４では、視差調整部４６６によって、目標視差が小さな場合における視差の調整が実行される。

ステップＳ１５では、初期視差設定部４６５によって、ステップＳ３で検出された全ての被調整領域が既にステップＳ６で指定されたか否かが判定される。ここで、全ての被調整領域が既に指定されていれば、ステップＳ１６に進み、全ての被調整領域が未だ指定されていなければ、ステップＳ１７に進む。

ステップＳ１６では、初期視差設定部４６５によって、処理対象となる被調整領域の識別番号Ｍが１つ大きな値に設定されて、図９のステップＳ６に進む。

ステップＳ１７では、仮想視点画像生成部４６７によって、動画を構成するｎ枚のフレームについて、ステップＳ１３およびステップＳ１４で調整された視差の情報に基づき、ｎ枚の仮想視点フレームが生成される。

ステップＳ１８では、立体視画像生成部４６８によって、ステップＳ１で取得されたｎ枚のフレームとステップＳ１７で生成されたｎ枚の仮想視点フレームとに基づいて、立体視が可能な動画（３Ｄ動画）が生成される。これにより、本動作フローが終了する。

＜(６−１−６)調整量に上限を設ける場合＞
図１１は、仮想視点画像に係る視差の調整についての一態様を例示する模式図である。仮に、１フレーム当たりの視差の調整量が大きい場合には、図１１の左方のルートで示されるように、例えば、第１〜第３仮想視点フレームに相当する第１〜３右眼用フレームＧ₁Ｃ〜Ｇ₃Ｃにおいてオクルージョン領域が急激に増大する。そして、その後、第Ｎ仮想視点フレームに相当する第Ｎ右眼用フレームＧ_NＲにおける視差が目標視差となる。このような場合は、１フレーム当たりの視差の調整量が大きくなり過ぎて、ユーザーの眼に与える負担が増大する。

そこで、ユーザーの眼に対して優しく且つ違和感を与えないことを目的として、１フレーム当たりの視差の調整量がある程度の量以下に抑制される方法が考えられる。例えば、上述した目標視差の大小に応じた視差の調整が行われる際に、１フレーム当たりの視差の調整量に上限値が設けられても良い。このとき、図１１の右方のルートで示されるように、例えば、第１〜第３仮想視点フレームに相当する第１〜３右眼用フレームＧ₁ＣＲ〜Ｇ3Ｒにおいてオクルージョン領域が緩やかに増大する。

このような構成では、例えば、視差調整部４６６によって、１フレーム当たりの視差の調整量が上限値を超えないように各画素の視差が調整される。これにより、視差の顕著な変化が抑制されるため、ユーザーに与える視覚的な違和感が適切に抑えられる。

図１２は、１フレーム当たりの視差の調整量に上限値が設けられた場合について、時間の経過と調整後の視差との関係を模式的に例示するグラフである。図１２では、図７および図８と同様に、横軸が時間の経過を示し、縦軸が視差を示しており、該時間の経過は、動画における出現フレームの時刻を基準とした時間の経過を示す。そして、出現フレームにおける被調整領域の目標視差ｄｃ_obが太い破線で描かれた直線Ｌ３０で示され、時間の経過と調整後の視差との関係が太い実線で描かれた曲線Ｌ３１で示されている。また、比較のために、１フレーム当たりの視差の調整量に上限値が設けられていない場合における時間の経過と調整後の視差との関係が、一点鎖線で描かれた曲線Ｌ３２で示されている。

仮に、１フレーム当たりの視差の調整量に上限値が設けられていなければ、曲線Ｌ３２で示されるように視差が急激に上昇する場合であっても、１フレーム当たりの視差の調整量に上限値が設けられれば、曲線Ｌ３１で示されるように視差は急激には上昇しない。このような制御は、例えば、視差の調整量が上限値を超える場合には、関数または調整パターンに基づいて導出される調整量が上限値に置換されるような簡単な制御によって実現可能である。なお、１フレーム当たりの視差の調整量に上限値が設けられる場合、例えば、フレームレートが毎秒６０フレームであれば、視差の調整に要するフレームの数は、例えば、１２０〜１８０程度といった比較的大きな数となる。

また、例えば、時間経過と視差との関係を示す曲線状の調整パターンが伸縮されることで、１フレーム当たりの視差の調整量が上限値以下となるように制御される方法も考えられる。

＜(６−１−７)目標視差の変動に応じた視差の調整＞
上述された視差の調整では、目標視差が一定値である簡単な例が挙げられつつ説明がなされたが、実際の動画では、同一の物体であっても時間の経過とともに目標視差が変化するのが一般的である。そこで、調整後の視差と、該調整後の視差に係るフレームよりも時間的に先のフレームに係る目標視差とに基づいて、１フレーム当たりの視差の調整量が変更されるようにしても良い。

例えば、視差調整部４６６が、動画を構成するｎ枚のフレームのうちのＮ＋Ｑ番目（Ｎ，Ｑは自然数）のフレーム（第Ｎ＋Ｑフレームとも言う）における各画素の目標視差と、視差調整部４６６によって既に調整された後のＮ番目のフレーム（第Ｎフレーム）の視差とに基づいて、Ｎ＋１番目以降のフレームの視差を調整しても良い。なお、ここで、フレームレートが毎秒６０フレームである場合、例えば、Ｑが１〜６０程度に設定されるような構成が考えられる。これにより、目標視差の変化に対応した視差の調整が容易に可能となる。

具体的には、被調整領域の各画素について、第Ｎフレームについて調整後の視差と、第Ｎ＋Ｑフレームにおける目標視差との差が閾値以上の場合は、１フレーム当たりの視差の調整量が増大され、逆にその差が閾値未満の場合には、１フレーム当たりの視差の調整量が低減される構成が考えられる。例えば、第Ｎ＋Ｑフレームにおける目標視差がＯｃｃ_N+Qとされ、第Ｎフレームにおける調整後の視差がＯｃｃ_Nとされ、閾値がδ_thとされると、下式(２)が成立する場合には、１フレーム当たりの視差の調整量が増大され、下式(２)が成立しない場合には、１フレーム当たりの視差の調整量が減少する。

（Ｏｃｃ_N+Q−Ｏｃｃ_N）≧δ_th ・・・(２)。

なお、１フレーム当たりの視差の調整量だけでなく、視差の調整に要する時間も併せて変更されても良い。

但し、このような視差の調整は、例えば、上述された目標視差が大きな場合における視差の調整、または目標視差が小さな場合における視差の調整がある程度の時間行われた後に行われることが好ましい。これにより、仮想視点から見た擬似的な動画を生成する際にユーザーに与える視覚的な違和感が低減される。

図１３は、時間の経過に応じて変動する目標視差に応じた視差の調整が行われる場合について、時間の経過と調整後の視差との関係を模式的に例示するグラフである。図１３では、時間の経過に応じて変動する目標視差が、太い破線で描かれた曲線Ｌ４０で示され、経過時間と調整後の視差との関係が、太い実線で描かれた曲線Ｌ４１で示されている。

また、時間の経過とともに目標視差が増減することも考慮すると、視差が増大する方向の視差の調整と、視差が減少する方向の視差の調整とが、それぞれ行われることが好ましい。視差が減少する方向の視差の調整は、例えば、目標視差と調整後の視差との差の変化量に応じて行われれば良い。

具体的には、このような目標視差の変動に応じた視差の調整は、例えば、第Ｎフレームについて調整後の視差と、第Ｎ＋Ｑフレームにおける目標視差とに基づくＰＩＤ制御によって実現される。より詳細には、第Ｎフレームについての調整後の視差と、第Ｎ＋Ｑフレームにおける目標視差との差に応じた、積分項、微分項、および比例項等を含む関数に応じて視差の調整が行われる態様が考えられる。

なお、例えば、第Ｎ＋Ｑフレームに係る目標視差と、第Ｎ＋Ｑフレームの時間的に近傍の１以上のフレームに係る目標視差とについての平均値および中心値等のような演算値と、第Ｎフレームについての調整後の視差との差に応じて、視差の調整が行われても良い。

＜(６−１−８)画面上の位置に応じた視差の調整の変更＞
更に、各フレームで捉えられている被写体の位置に応じて、各画素の視差が調整されても良い。これにより、ユーザーが着目する度合いに応じた視差の調整が可能となる。

例えば、動画のうちの各フレームの中央付近がユーザーによって最も注視される領域となり易い。このため、各フレームの中央付近におけるオクルージョン領域の発生はユーザーに違和感を与え易いものと考えられる。このような観点から、各フレームの中央付近に位置する被調整領域の各画素については、視差が急激に増加することなく、緩やかに視差が増加するような視差の調整が実行されることが好ましい。その一方で、各フレームの端部付近に位置する被調整領域の各画素については、視差が比較的速く増加して、目標視差に近づくような視差の調整が実行されることが好ましい。

図１４は、仮想視点画像に係る視差の調整の一態様を例示する模式図である。図１４で示されるように、例えば、第Ｎ右眼用フレームＧ_NＲのうち、中央付近において物体が捉えられた被調整領域ＯＢ１_Nについては緩やかに視差が増加し、端部付近において物体が捉えられた被調整領域ＯＢ２_Nについては視差が比較的速く増加するような視差の調整が実行される態様が考えられる。

図１５および図１６は、フレームにおける被調整領域の位置に応じて視差が調整される場合について、時間と調整後の視差との関係を模式的に例示するグラフである。図１５では、目標視差が太い破線で描かれた直線Ｌ１０で示され、フレームの中央付近における被調整領域についての経過時間と調整後の視差との関係が太線で描かれた曲線Ｌ１１で示されている。また、図１６では、目標視差が太い破線で描かれた直線Ｌ１０で示され、フレームの端部付近における被調整領域についての経過時間と調整後の視差との関係が太線で描かれた曲線Ｌ１３で示されている。

このような視差の調整は、例えば、被調整領域が出現した出現フレームにおける被調整領域の位置に応じて行われる。より具体的には、フレームが中央付近から端部付近にかけて複数の領域に区分けされ、区分けされた領域毎に異なる視差の調整が、被調整領域の各画素について実行されても良い。なお、区分けされる領域の数が多い方が、ユーザーに違和感を与えないため好ましい。また、区分けされる領域毎に視差の調整が切り替えられても良いが、フレーム上における画素の位置情報（例えば、アドレス）に応じて視差の調整量が算出されても良い。

更に、視差の調整量が、位置情報だけなく、調整後の視差、変動後の目標視差、視差の調整に既に用いられた時間、および視差の調整に要する時間等のうちの少なくとも１以上の情報に応じて決定される態様も考えられる。また、フレームについて区分けされた領域毎に、時間の経過とともに視差が曲線的に変化する調整パターンが準備され、被調調整領域の位置情報に応じて、調整パターンが選択され、選択された調整パターンに応じた視差の調整が行われても良い。なお、該調整パターンは、視差の調整に要する時間および目標視差の大きさ等に応じて、時間方向および視差の大小方向のうちの少なくとも一方方向への伸縮が行われても良い。

また、動画においては、フレームにおける被調整領域の位置が、時間の経過に応じて変化することが考えられる。このとき、フレームにおける被調整領域の位置の変更に応じて、視差の調整内容が変更されても良い。例えば、フレームの中心付近に位置する被調整領域が、フレームの端部付近に移動した場合には、端部付近に応じた視差の調整が行われれば良い。

なお、このようなフレームにおける被調整領域の位置に応じて実施される視差の調整は、目標視差が小さな場合における視差の調整、目標視差が大きな場合における視差の調整、および目標視差の変動に応じた視差の調整のうちの１以上の視差の調整と、適宜に組み合わされても良い。

＜(６−１−９)被調整領域のグループ化＞
また、動画で捉えられている一の被写体に係る視差に応じて、該一の被写体とは異なる他の被写体について、各画素の視差が調整されても良い。これにより、物体どうしの間における視差の整合性が良くなるため、ユーザーに与える視覚的な違和感が適切に抑えられる。

例えば、カメラ２から被写体としての複数の物体までの距離が略同一である場合には、仮想視点画像では、該複数の物体に係る被調整領域に対して略同一の視差が設定されることが好ましい。仮に、該複数の物体に係る被調整領域に対して全く異なる視差が設定されると、ユーザーに視覚的な違和感を与えてしまう。そこで、距離情報取得部４６２によって取得される距離情報に基づいて、カメラ２からの距離が略同一の複数の物体に係る複数の被調整領域がグループ化されて、同一の視差の調整が行われることが好ましい。

図１７は、距離情報に応じて複数の被調整領域がグループ化されて視差が調整される場合について、仮想視点画像に係る視差の調整の一態様を例示する模式図である。図１７で示されるように、例えば、第Ｎ右眼用フレームＧ_NＲのうち、カメラ２からの距離が略同一の３人がそれぞれ捉えられた第１〜第３の被調整領域ＯＢ１_N〜ＯＢ３_Nについて、同一の視差の調整が行われるような態様が考えられる。

図１８は、比較のために、複数の被調整領域がグループ化されない場合について、時間と調整後の視差との関係を模式的に例示するグラフである。図１９は、複数の被調整領域がグループ化された場合における時間と調整後の視差との関係を模式的に例示するグラフである。

図１８では、目標視差が太い破線の直線Ｌ５０で描かれ、経過時間と調整後の視差との関係について、第１の被調整領域ＯＢ１_Nに係る関係が実線の曲線Ｌ５１で描かれ、第２の被調整領域ＯＢ２_Nに係る関係が太線の曲線Ｌ５２で描かれ、第３の被調整領域ＯＢ３_Nに係る関係が一点鎖線の曲線Ｌ５３で描かれている。そして、曲線Ｌ５１〜Ｌ５３で示される視差の調整については、経過時間が同一であっても調整後における視差にかなりのばらつきが生じる。この場合には、ユーザーに視覚的な違和感を与えてしまう。

そこで、図１９で示されるように、１つの被調整領域に係る視差の調整に一本化されて、第１〜第３の被調整領域ＯＢ１_N〜ＯＢ３_Nに係る視差の調整が行われることが好ましい。これにより、物体どうしの間における視差の整合性が良くなるため、ユーザーに与える視覚的な違和感が適切に抑えられる。

ところで、このような構成では、例えば、カメラ２からの距離が所定値（例えば、±数十ｃｍ）以内である物体について、複数の被調整領域がグループ化される態様が考えられる。また、目標視差が所定範囲（例えば、±数ピクセル）に含まれるような複数の被調整領域がグループ化される態様が考えられる。

そして、視差の調整量は、調整後の視差、変動後の目標視差、視差の調整に既に用いられた時間、および視差の調整に要する時間等のうちの少なくとも１以上の情報に応じて決定される態様が考えられる。時間の経過とともに視差が曲線的に変化する調整パターンに応じた視差の調整が行われても良い。なお、該調整パターンは、視差の調整に要する時間および目標視差の大きさ等に応じて、時間方向および視差の大小方向のうちの少なくとも一方方向への伸縮が行われても良い。

また、複数の被調整領域のうち、視差の調整の基準とされる被調整領域は、例えば、フレームの中心に最も近い被調整領域であるような態様が考えられる。また、仮にステレオ画像を用いた三角測量の原理に基づいて距離情報が得られる場合には、複数の被調整領域のうち、ステレオ画像における対応点の探索における確からしさを示す評価値が最も高い被調整領域が、視差の調整の基準とされても良い。なお、評価値としては、対応点の探索処理がＰＯＣ（位相限定相関法）によって行われる場合には、被調整領域についてのＰＯＣ値のピーク値に応じた値（例えば、平均値、積算値等）が評価値として採用される態様が考えられる。

なお、このような距離情報に応じて複数の被調整領域がグループ化されて実施される視差の調整は、目標視差が小さな場合における視差の調整、目標視差が大きな場合における視差の調整、目標視差の変動に応じた視差の調整、およびフレームにおける位置に応じた視差の調整のうちの１以上の視差の調整と、適宜に組み合わされても良い。

＜(７)変形例＞
なお、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。

◎例えば、上記一実施形態では、目標視差の大小、目標視差の変動、画面上の位置、および距離情報に応じた視差の調整が行われる例が挙げられたが、視差の調整方法については、これに限られず、その他の視差の調整方法が採用されても良い。例えば、動画においてある物体に係る被調整領域が存在する時間に応じて、視差の調整に要する時間が増減されて、視差が調整されても良い。換言すれば、ｎ枚のフレームを有する動画においてある物体に係る被調整領域が含まれるフレームの数に応じて、視差の調整に要する時間が増減されて、視差が調整されても良い。

具体的には、視差調整部４６６により、所定時間に相当する数のフレームについて、被調整領域における各画素の視差が初期視差から目標視差まで調整されても良い。ここで言う所定時間は、動画においてある物体に係る被調整領域が存在する時間の５０％以内の時間に設定される。

このような視差の調整については、例えば、所定時間に応じて、時間の経過とともに視差が曲線的に変化する調整パターンが時間の方向および視差の大小方向のうちの少なくとも一方向について伸縮され、該伸縮後の調整パターンに応じた視差の調整が行われれば良い。これにより、視差の調整に要する時間の変動が抑制されるため、ユーザーに与える視覚的な違和感が適切に抑えられる。

図２０は、所定時間に相当する数のフレームにおいて、被調整領域における各画素の視差が初期視差から目標視差まで調整される場合について、時間と調整後の視差との関係を模式的に例示するグラフである。図２０では、目標視差ｄｄ_obが太い破線の直線Ｌ６０で描かれている。また、経過時間と調整後の視差との関係について、比較例として所定時間Ｔ_thｄを超える時間Ｔ１ｄで初期視差ｄ０から目標視差ｄｄ_obまで調整される視差の変化が実線の曲線Ｌ６１で示され、所定時間Ｔ_thｄで初期視差ｄ０から目標視差ｄｄ_obまで調整される視差の変化が曲線Ｌ６２で示されている。

なお、被調整領域の各画素に係る視差の調整に要する時間が常に一定となるように所定時間が設定されても良いし、目標視差の大小に応じて、被調整領域の各画素に係る視差の調整に要する時間が一義的に調整されても良い。

◎また、上記一実施形態では、視差が時間の経過に対して曲線的に変化するように視差の調整が行われたが、これに限られない。例えば、第１期間Ａ１、第２期間Ａ２、および第３期間Ａ３のそれぞれにおいて、視差が時間の経過に比例して変化するように視差が調整されても良い。すなわち、第１期間Ａ１における視差の変化量を第１期間Ａ１の長さで割ることで求められる視差の変化率（第１変化率とも言う）が、第２期間Ａ２における視差の変化量を第２期間Ａ２の長さで割ることで求められる視差の変化率（第２変化率とも言う）よりも小さければ良い。

また、例えば、第１期間Ｂ１、第２期間Ｂ２、および第３期間Ｂ３のそれぞれにおいて、視差が時間の経過に比例して変化するように視差が調整されても良い。すなわち、第１期間Ｂ１における視差の変化量を第１期間Ｂ１の長さで割ることで求められる視差の変化率が、第２期間Ｂ２における視差の変化量を第２期間Ｂ２の長さで割ることで求められる視差の変化率よりも小さくなるように視差が調整されても良い。

◎また、上記一実施形態では、三角測量の原理が利用されて目標視差が設定されたが、これに限られない。例えば、ＭＴＤ(Modified Time Difference)法およびＣＩＤ(Computed Image Depth)法等といったその他の方法によって目標視差が設定されても良い。つまり、目標視差は、第Ｎフレームに係る第Ｎ視点と第Ｎ仮想視点との離隔距離と、第Ｎフレームが撮影された際におけるカメラ２から被写体までの距離とに対応すれば良い。

◎また、上記一実施形態では、カメラ２で撮影された動画に基づいて立体視画像が生成されたが、これに限られない。例えば、別のカメラで撮影された動画が、記憶媒体９等に格納され、その記憶媒体９から入出力部４５を介して制御部４６に読み込まれ、その動画に基づいて立体視画像が生成されても良い。

◎また、上記一実施形態では、第ＮフレームＧ_Nがそのまま第Ｎ左眼用フレームＧ_NＬとして使用され、第ＮフレームＧ_Nから第Ｎ右眼用フレームＧ_NＲが生成されたが、これに限られない。例えば、第ＮフレームＧ_Nがそのまま第Ｎ右眼用フレームＧ_NＲとして使用され、第ＮフレームＧ_Nから第Ｎ左眼用フレームＧ_NＬが生成されても良い。更に、第ＮフレームＧ_Nが第Ｎ左眼用フレームＧ_NＬおよび第Ｎ右眼用フレームＧ_NＲの何れとしても使用されず、第ＮフレームＧ_Nに基づいて第Ｎ左眼用フレームＧ_NＬおよび第Ｎ右眼用フレームＧ_NＲが生成されても良い。

◎また、上記一実施形態では、測距機３によって第Ｎ距離情報が取得されたが、これに限られない。例えば、ステレオカメラ等で撮影されたステレオ画像が用いられて、三角測量の原理によって第Ｎ距離情報が取得されても良い。なお、調整中の視差が、ステレオカメラの基線長に対応するものである場合は、ステレオ画像が、第Ｎ左眼用フレームＧ_NＬおよび第Ｎ右眼用フレームＧ_NＲとしてそのまま採用可能となる。

◎なお、上記一実施形態では、目標視差が大きな場合と目標視差が小さな場合とにおいて視差の調整処理が切り替えられる例が挙げられたが、これに限られない。例えば、目標視差の大きさが３段階以上に分けられており、目標視差の大きさに対応する段階に応じた視差の調整が実行されても良い。

◎また、上記一実施形態では、第Ｎ視点と第Ｎ仮想視点との関係が、標準的な人間の右目と左目との位置関係であるものとして説明したが、これに限られない。例えば、第Ｎ視点と第Ｎ仮想視点との関係が、昆虫の右目と左目との関係等といったその他の関係であっても良い。

◎また、上記一実施形態では、制御部４６においてプログラムＰＧが実行されることで、各種機能および各種情報処理等が実現されたが、これに限られない。例えば、専用の電子回路によって、各種機能および各種情報処理等が実現されても良いし、専用の電子回路とプログラムが実行されることとによって、各種機能および各種情報処理等が実現されても良い。

◎なお、上記一実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。

１ 情報処理システム
２ カメラ
３ 測距機
４ 情報処理装置
９ 記憶媒体
４４ 記憶部
４６ 制御部
４６１ 画像取得部
４６２ 距離情報取得部
４６３ 領域検出部
４６４ 目標視差設定部
４６５ 初期視差設定部
４６６ 視差調整部
４６７ 仮想視点画像生成部
４６８ 立体視画像生成部
ＰＧ プログラム

Claims (12)

1. 複数のフレームを含む動画像を取得する画像取得部と、
   各前記フレームを対象として、各画素に対して所定のルールに基づき目標視差を設定する目標視差設定部と、
   前記複数のフレームのうちの第１フレームを対象として、各画素に対して初期視差を設定する初期視差設定部と、
   前記複数のフレームのうちの前記第１フレームに続く時間順次の第１期間、第２期間および第３期間に係る複数のフレームについて、各画素の視差を前記初期視差から前記目標視差に向けて調整する視差調整部と、
   を備え、
   前記第１期間における視差の変化量を該第１期間の長さで割ることで求められる第１変化率が、前記第２期間における視差の変化量を該第２期間の長さで割ることで求められる第２変化率よりも小さく、
   前記第２変化率が、前記第３期間における視差の変化量を該第３期間の長さで割ることで求められる第３変化率よりも大きいことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記初期視差から前記目標視差に向けた視差の変化に係る複数種類の調整パターンを記憶する記憶部、を備え、
   前記視差調整部が、
   前記複数種類の調整パターンのうちの前記初期視差と前記目標視差との差に応じた調整パターンに沿って各画素の視差を調整することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記視差調整部が、
   Ｎを自然数とした場合に、該視差調整部によって調整された後のＮ番目のフレームの視差と前記目標視差とに基づいて、Ｎ＋１番目以降のフレームの視差を調整することを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   前記視差調整部が、
   Ｑを自然数とした場合に、Ｎ＋Ｑ番目のフレームにおける各画素に係る目標視差と、該視差調整部によって調整された後の前記Ｎ番目のフレームの視差とに基づいて、Ｎ＋１番目以降のフレームの視差を調整することを特徴とする画像処理装置。
5. 請求項１または請求項２に記載の画像処理装置であって、
   前記視差調整部が、
   所定時間に相当する数のフレームについて、各画素の視差を前記初期視差から前記目標視差まで調整することを特徴とする画像処理装置。
6. 請求項１から請求項４の何れか１つの請求項に記載の画像処理装置であって、
   前記視差調整部が、
   時間的に隣り合うフレーム間における視差の調整量が上限値を超えないように各画素の視差を調整することを特徴とする画像処理装置。
7. 請求項１から請求項６の何れか１つの請求項に記載の画像処理装置であって、
   前記視差調整部が、
   前記動画で捉えられている第１の被写体の視差に応じて、前記第１の被写体とは異なる第２の被写体について各画素の視差を調整することを特徴とする画像処理装置。
8. 請求項１から請求項６の何れか１つの請求項に記載の画像処理装置であって、
   前記視差調整部が、
   各前記フレームで捉えられている被写体の位置に応じて、各画素の視差を調整することを特徴とする画像処理装置。
9. 請求項１から請求項８の何れか１つの請求項に記載の画像処理装置であって、
   前記目標視差が、
   各前記フレームに係る視点と仮想的な視点との離隔距離と、各前記フレームが撮影された際における撮像装置から被写体までの距離とに対応することを特徴とする画像処理装置。
10. 請求項１から請求項９の何れか１つの請求項に記載の画像処理装置であって、
    Ｎおよびｐをそれぞれ自然数とした場合に、前記複数のフレームのうちのＮ番目のフレームと該Ｎ番目のフレームよりも時間的に前に係るＮ−ｐ番目のフレームとの比較によって、該Ｎ番目のフレームにおける被調整領域を検出する検出部、
    を更に備え、
    前記視差調整部が、
    前記被調整領域に係る各画素の視差を前記初期視差から前記目標視差に向けて調整することを特徴とする画像処理装置。
11. (a)複数のフレームを含む動画像を取得するステップと、
    (b)各前記フレームを対象として、各画素に対して所定のルールに基づき目標視差を設定するステップと、
    (c)前記複数のフレームのうちの第１フレームを対象として、各画素に対して初期視差を設定するステップと、
    (d)前記複数のフレームのうちの前記第１フレームに続く時間順次の第１期間、第２期間および第３期間に係る複数のフレームについて、各画素の視差を前記初期視差から前記目標視差に向けて調整するステップと、
    を備え、
    前記第１期間における視差の変化量を該第１期間の長さで割ることで求められる第１変化率が、前記第２期間における視差の変化量を該第２期間の長さで割ることで求められる第２変化率よりも小さく、
    前記第２変化率が、前記第３期間における視差の変化量を該第３期間の長さで割ることで求められる第３変化率よりも大きいことを特徴とする画像処理方法。
12. 情報処理装置に含まれる制御部において実行されることにより、前記情報処理装置を、請求項１から請求項１０の何れか１つの請求項に記載の画像処理装置として機能させるプログラム。

Images