JP2013235304A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】補間方法が切り替わったときに、前後のフレームの不整合を目立たないようにすることができるようにする。
【解決手段】視点位置調整部は、スケール値に応じて、補間方向を選択する。その際、スケール値（視差レンジ）が小の場合、左右画像の不整合が小さいことから、視点位置調整部は、スケール値が所定の閾値より大きい場合、仮補間方向として、右を設定する。一方、視点位置調整部は、スケール値が所定の閾値以下の場合、近い方の画像から補間するように、仮補間方向として、すなわち、視点位相が０．５以下であるとき左を設定し、視点位相が０．５より大きいとき右を設定する。本開示は、例えば、多次元画像の表示に用いられる画像処理を行う画像処理装置に適用することができる。
【選択図】図１１

Description

本開示は、画像処理装置および方法、並びにプログラムに関し、特に、補間方法が切り替わったときに、前後のフレームの不整合を目立たないようにすることができるようにした画像処理装置および方法、並びにプログラムに関する。

３次元（３Ｄ）画像表示処理において、メガネを装着しないで立体画像を知覚できる裸眼型の３Ｄ表示装置が実用化され始めている。裸眼３Ｄ表示装置は、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御する。すなわち、左眼には左目から観察した画像に相当する左視点画像が観察され、右眼には右目から観察した画像に相当する右視点画像が観察されるような制御を行う。

しかしながら、このような方法では、ディスプレイに対して限定的な視聴位置でしか正しい立体視が得られない。従って、ユーザの観察位置が規定位置と異なる位置にある場合は、左眼に右眼用の画像（右視点画像）が、右眼に左眼用の画像（左視点画像）が入ってしまう逆視や、左視点画像と右視点画像が混ざるクロストークが発生する。

これに対して、正規の１つの観察位置に対応する標準の左視点画像と右視点画像のみならず、その他の観察位置で観察した場合にクロストークの発生しない設定とした新たな視点からの画像を生成して表示する構成が提案されている。

オリジナルの１組の左視点画像と右視点画像のみならず、その他の仮想視点の画像を多視点画像として生成し、これらの多視点画像の中からユーザの観察位置に応じて最適な左視点画像と右視点画像の組を観察位置に応じて選択可能として、逆視やクロストークを抑えた画像表示を行うものである。すなわち、ユーザの観察位置に応じて異なる左視点画像と右視点画像のペアを観察させることで、ユーザの観察位置が変更された場合にも、観察者の左眼と右眼にそれぞれ観察位置に応じた左視点画像と右視点画像を観察させるものである。

具体的には、表示装置や画像処理装置に入力されるオリジナルの２視点の画像、すなわち３Ｄ画像表示用の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の２つの視点画像に基づいて補間することにより、これら２つの視点以外の仮想視点の視点画像を生成する。

生成した多視点画像から、ディスプレイに対するユーザの観察位置に応じた最適な２つの画像を組み合わせて観察させることで、様々な観察位置において、左視点画像と右視点画像が混ざるクロストークを抑制した３Ｄ画像の表示、観察が可能となる。

例えば、特許文献１には、オリジナルの左視点画像（Ｌ画像）と右視点画像（Ｒ画像）を入力して、これらの２つの画像から視差検出を実行して、検出した視差情報に基づいて、複数の仮想視点の画像を生成する手法が提案されている。具体的には、入力する左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）の２つのオリジナル３Ｄ画像から視差を検出し、クロストーク量や融像視差範囲に基づいて入力ＬＲ画像と異なる仮想視点位置を決定する手法が開示されている。

特開２００６−１１５１９８号公報

上述したように、２つの視点以外の仮想視点の視点画像の生成にあたり、左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の２つの視点画像に基づいて補間する方法は複数提案されている。

しかしながら、単一の補間方法だけで、すべての出力位相に対応しようとした場合、生成される仮想視点画像に歪みやボケなどが発生することがあった。

また、複数の補間方法を併用しようとした場合、出力位相が時間変動するときに、仮想視点画像も時間変動してしまうことがあった。

本開示は、このような状況に鑑みてなされたものであり、補間方法が切り替わったときに、前後のフレームの不整合を目立たないようにすることができるものである。

本開示の一側面の画像処理装置は、多次元画像表示に適用する左眼用の画像信号である左視点画像と、多次元画像表示に適用する右眼用の画像信号である右視点画像とから視差情報を生成する視差推定部と、前記視差推定部により生成された視差情報に基づく変動の度合いを示すパラメータに応じて、前記左視点画像および前記右視点画像以外の視点画像を含む仮想視点画像の補間方向の切り替えを制御する補間方向制御部と、前記補間方向制御部により切り替えが制御された補間方向で、前記仮想視点画像を生成する仮想視点画像生成部とを備える。

前記補間方向制御部は、前記パラメータが示す変動が大きい場合、前記仮想視点画像の補間方向の切り替えを禁止することができる。

前記補間方向制御部は、前記パラメータが示す変動が小さい場合、前記仮想視点画像の補間方向の切り替えを行うことができる。

前記視差推定部により生成された視差情報に基づく変動は、時間変動である。

前記視差推定部により生成された視差情報の信頼度を算出する信頼度算出部をさらに備え、前記視差推定部により生成された視差情報に基づく変動の度合いを示すパラメータは、前記信頼度算出部により算出された視差情報の信頼度であり、前記補間方向制御部は、前記信頼度算出部により算出された視差情報の信頼度に応じて、前記仮想視点画像の補間方向の切り替えを制御することができる。

前記視差推定部により生成された視差情報に基づく変動の度合いを示すパラメータは、前記視差推定部により生成された視差情報から算出されるスケール値であり、前記補間方向制御部は、前記視差推定部により推定された視差情報から算出されるスケール値に応じて、前記仮想視点画像の補間方向の切り替えを制御することができる。

前記補間方向制御部は、前記視差推定部により生成された視差情報に基づく変動の度合いを示すパラメータに応じて、一方の方向を前記仮想視点画像の補間方向として選択し、選択された前記一方の方向が一定時間継続して、前記仮想視点画像の補間方向として選択されている場合、前記仮想視点画像の補間方向を前記一方の方向に切り替え、選択された前記一方の方向が一定時間継続して、前記仮想視点画像の補間方向として選択されていない場合、前記仮想視点画像の補間方向の切り替えを禁止することができる。

前記仮想視点画像生成部は、前記視差推定部により生成された視差情報を用いて、視点位置の収束位置を左視点または右視点に設定して仮想視点画像を生成する仮想視点位置を算出し、算出した仮想視点位置に、前記補間方向制御部により切り替えが制御された補間方向で、前記仮想視点画像を生成することができる。

前記仮想視点画像生成部は、前記視差推定部により生成された視差情報を用いて、視点位置の収束位置を左視点乃至右視点のうちのいずれかの位置に設定して仮想視点画像を生成する仮想視点位置を算出し、算出した仮想視点位置に、前記補間方向制御部により切り替えが制御された補間方向で、前記仮想視点画像を生成することができる。

前記仮想視点画像生成部により生成され、表示部に表示される仮想視点画像を見るユーザの顔の位置を検出する顔検出部をさらに備え、前記補間方向制御部は、前記顔検出部により検出されたユーザの顔の位置に応じて、前記仮想視点画像の補間方向の切り替えを制御することができる。

前記仮想視点画像生成部により生成された仮想視点画像が表示される表示部は、ユーザの頭部に装着可能であり、前記表示部に表示される仮想視点画像を見るユーザの顔の位置および向きを検出する顔検出部をさらに備え、前記補間方向制御部は、前記顔検出部により検出されたユーザの顔の位置および向きに応じて、前記仮想視点画像の補間方向の切り替えを制御することができる。

前記左視点画像または前記右視点画像から、シーンチェンジを検出するシーンチェンジ検出部をさらに備え、前記補間方向制御部は、前記シーンチェンジ検出部により検出されたシーンチェンジのとき、前記仮想視点画像の補間方向の切り替えを行うことができる。

本開示の一側面の画像処理方法は、画像処理装置が、多次元画像表示に適用する左眼用の画像信号である左視点画像と、多次元画像表示に適用する右眼用の画像信号である右視点画像とから視差情報を生成し、生成された視差情報に基づく変動の度合いを示すパラメータに応じて、前記左視点画像および前記右視点画像以外の視点画像を含む仮想視点画像の補間方向の切り替えを制御し、切り替えが制御された補間方向で、前記仮想視点画像を生成する。

本開示の一側面のプログラムは、多次元画像表示に適用する左眼用の画像信号である左視点画像と、多次元画像表示に適用する右眼用の画像信号である右視点画像とから視差情報を生成する視差推定部と、前記視差推定部により生成された視差情報に基づく変動の度合いを示すパラメータに応じて、前記左視点画像および前記右視点画像以外の視点画像を含む仮想視点画像の補間方向の切り替えを制御する補間方向制御部と、前記補間方向制御部により切り替えが制御された補間方向で、前記仮想視点画像を生成する仮想視点画像生成部として、コンピュータを機能させる。

本開示の一側面においては、多次元画像表示に適用する左眼用の画像信号である左視点画像と、多次元画像表示に適用する右眼用の画像信号である右視点画像とから視差情報が生成され、生成された視差情報に基づく変動の度合いを示すパラメータに応じて、前記左視点画像および前記右視点画像以外の視点画像を含む仮想視点画像の補間方向の切り替えが制御される。そして、切り替えが制御された補間方向で、前記仮想視点画像が生成される。

本開示によれば、左視点画像および右視点画像以外の視点画像を含む仮想視点画像を生成することができる。特に、補間方法が切り替わったときに、前後のフレームの不整合を目立たないようにすることができる。

従来技術を説明する図である。 本技術を適用した画像処理装置の構成例を示すブロック図である。 視差推定部の処理の例を説明する図である。 視差推定部の処理の例を説明する図である。 基本的な仮想視点画像の生成処理を説明する図である。 基本的な仮想視点画像の生成処理を説明する図である。 基本的な仮想視点画像の生成処理を説明する図である。 仮想視点画像生成部の構成例を示すブロック図である。 視点位置調整処理について説明する図である。 仮想視点画像位置の設定例を示す図である。 補間方向の選択処理を説明する図である。 画像合成部の構成例を示すブロック図である。 一視点画像合成部の構成例を示すブロック図である。 画像処理装置の画像処理の例を説明するフローチャートである。 視点位置調整処理を説明するフローチャートである。 補間方向の選択処理を説明するフローチャートである。 本技術を適用した画像処理装置の構成例を示すブロック図である。 信頼度算出部の処理を説明する図である。 信頼度算出部の処理を説明する図である。 信頼度算出部の処理を説明する図である。 信頼度算出部の処理を説明する図である。 仮想視点画像生成部の構成例を示すブロック図である。 仮想視点画像位置の設定例を示す図である。 補間方向の選択処理を説明する図である。 画像処理装置の画像処理の例を説明するフローチャートである。 視点位置調整処理を説明するフローチャートである。 補間方向の選択処理を説明するフローチャートである。 本技術を適用した画像処理装置を説明する図である。 画像処理装置の構成例を示すブロック図である。 仮想視点画像生成部の構成例を示すブロック図である。 仮想視点画像位置の設定例を示す図である。 本技術を適用した画像処理装置を説明する図である。 画像処理装置の構成例を示すブロック図である。 視点位置測定部の動作を説明する図である。 仮想視点画像生成部の構成例を示すブロック図である。 画像処理装置の画像処理の例を説明するフローチャートである。 視点位置調整処理を説明するフローチャートである。 補間方向の選択処理を説明するフローチャートである。 本技術を適用した画像処理装置を説明する図である。 画像処理装置の構成例を示すブロック図である。 本技術を適用した画像処理装置の構成例を示すブロック図である。 シーンチェンジ検出部の処理を説明する図である。 シーンの解析処理を行う仮想視点画像生成部の構成例を示すブロック図である。 補間方向の選択処理と画像合成処理を行う仮想視点画像生成部の構成例を示すブロック図である。 画像処理装置の画像処理の例を説明するフローチャートである。 シーン解析処理を説明するフローチャートである。 補間方向の選択処理を説明するフローチャートである。 本技術を適用した画像処理装置の構成例を示すブロック図である。 画像処理装置の画像処理の例を説明するフローチャートである。 シーン解析処理を説明するフローチャートである。 補間方向の選択処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．従来技術の説明
２．第１の実施の形態（視差レンジ）
３．第２の実施の形態（信頼度）
４．第３の実施の形態（運動視差）
５．第４の実施の形態（運動視差＋顔検出）
６．第５の実施の形態（ヘッドマウントディスプレイ）
７．第６の実施の形態（オフライン処理）
８．第７の実施の形態（コンピュータ）

＜１．従来技術の説明＞
[従来技術の説明]
まず、図１を参照して、従来技術について説明する。

従来、裸眼３Ｄディスプレイ１１に表示される画像を生成する装置では、例えば、裸眼３Ｄディスプレイ１１を見るユーザの左眼に入る視点画像Ａまたは右目に入る視点画像Ｂを元に、出力画像が生成される。

いま、例えば、時刻t-1と時刻tにおいて、左眼に入る視点画像Ａから右眼に入る視点画像Ｂへと補間方向が切り替えられる場合を考える。画像には、上下方向の太線が含まれている。

具体的には、時刻t-1において、左眼に入る視点画像Ａから推定視差L-Rが求められて、時刻t-1の出力画像が生成され、時刻tにおいて、右眼に入る視点画像Ｂから推定視差R-Lが求められて、時刻tの出力画像が生成される。

図１の右上に示されるように、推定視差L-Rおよび推定視差R-Lが合っていれば、時刻t-1の出力画像の太線と、時刻tの出力画像の太線は、ほぼ一致する。

しかしながら、図１の右下に示されるように、推定視差L-Rおよび推定視差R-Lの少なくともどちらかが間違っていると、時刻t-1の出力画像の太線と、時刻tの出力画像の太線が離れてしまう。

これにより、時刻tから時刻t-1において、出力画像の太線が左右方向や奥行き方向に飛んだように見えてしまうという切り替わりのエラーが目立ってしまう。

そこで、本技術においては、補間方向が切り替わったときに、前後のフレームの不整合が目立たないようにする。以下、詳細について説明していく。

＜２．第１の実施の形態（視差レンジ）＞
［画像処理装置の構成例］
図２は、本技術を適用した画像処理装置の構成例を示すブロック図である。

図２の例において、画像処理装置１００は、左視点画像（Ｌ画像）入力部１０１、右視点画像（Ｒ画像）入力部１０２、視差推定部１０３、仮想視点画像生成部１０５、表示制御部１０６を含むように構成される。画像処理装置１００において生成した画像が表示部１１０に出力される。

なお、図１に示す構成では、表示部１１０を画像処理装置１００の外部構成として示しているが、画像処理装置１００内に表示部１１０を有する構成としてもよい。

なお、図１は、画像処理装置の主要構成を示すものである。よって、画像処理装置１００には、図に示す構成の他、データ処理制御を実行するＣＰＵ等のプログラム実行機能を備えた制御部、制御部において実行するプログラムや、各種パラメータを格納した記憶部、パラメータや画像データなどを入力する入力部を有する。例えば、制御部は、以下に説明する処理を予め記憶部に格納したプログラムに従って実行する。

左視点画像（Ｌ画像）入力部１０１と、右視点画像（Ｒ画像）入力部１０２は、予め生成された３次元（３Ｄ）画像表示用の左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）を入力する。左視点画像（Ｌ画像）は、左眼から観察される画像に相当し、右視点画像（Ｒ画像）は、右眼から観察される画像に相当する。

ただし、これらの２つの画像は、標準的な２つのＬＲ画像である。すなわち、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備えた裸眼３Ｄ表示装置において、規定位置、例えばディスプレイを正面中心位置から観察した際に正しい３Ｄ画像として観察されるＬＲ画像である。ユーザの観察位置が規定位置と異なる位置にある場合は、左眼に右眼用の画像（右視点画像）が、右眼に左眼用の画像（左視点画像）が入ってしまう逆視や、左視点画像と右視点画像が混ざるクロストークが発生する。

画像処理装置１００は、これに対して、正規の１つの観察位置に対応する入力ＬＲ画像、すなわち標準の左視点画像と右視点画像に基づいて、様々な観察位置で観察した場合にクロストークの発生しない新たな視点（仮想視点）からの画像を生成する。

視差推定部１０３は、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）を入力し、これらの画像に基づいて視差情報を生成する。なお、以下、Ｌ画像とＲ画像とをまとめてＬＲ画像とも称する。視差情報とは、入力ＬＲ画像に含まれる同一被写体の画像間のずれ（左右方向の画素ずれ）に相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位や画素領域単位の視差情報（被写体距離情報）を持つデータを生成する。

仮想視点画像生成部１０５には、左視点画像（Ｌ画像）入力部１０１からのＬ画像、右視点画像（Ｒ画像）入力部１０２からのＲ画像、および視差推定部１０３からの視差情報が入力される。

仮想視点画像生成部１０５は、これらの各情報を入力して、仮想視点画像を生成する。例えば、仮想視点画像生成部１０５は、視差推定部１０３からの視差情報から求められる視差分布を基にして視差量を調整し、仮想視点位置の決定処理等を実行して、決定した仮想視点位置に対応する仮想視点画像を生成する。

仮想視点画像生成部１０５は、視差分布を参照した仮想視点画像の生成処理を実行する。すなわち入力ＬＲ画像の２視点の画像に加え、さらにその他の視点の画像を加えた計Ｎ視点の画像が生成されて出力される。例えば、仮想視点画像生成部１０５は、Ｎ視点分の出力位相を求め、視差分布に応じて補間方向を選択し、選択した補間方向の仮想視点画像を生成する。この処理の詳細については後述する。

仮想視点画像生成部１０５の生成した仮想視点画像は、表示制御部１０６を介して表示部１１０に出力表示される。

本開示の画像処理装置の生成する表示画像は、例えば、ユーザがメガネを装着しなくても立体画像を視聴することができる裸眼３Ｄ表示装置における表示画像である。

表示部１１０は、裸眼３Ｄ表示を行う表示部であり、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御可能とした表示部である。

表示制御部１０６は、仮想視点画像生成部１０５の生成したＮ視点の画像を表示部１１０に出力する。なお、表示制御部１０６は、表示部１１０の表示構成に応じた表示情報を生成する。

なお、画像処理装置１００は、例えば撮像部を備えたカメラ等の撮像装置、ＰＣ、テレビなどの表示装置として構成することも可能であり、これらの装置として構成する場合は各装置に応じた機能を備えた構成とする。

例えばカメラの場合、異なる視点からの画像としてのＬＲ画像を撮影する撮像部を有し、撮像部から入力するＬＲ画像を利用して多視点画像を生成する構成とする。

［視差推定部の処理］
次に、視差推定部１０３の処理について説明する。視差推定部１０３は、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）を入力し、これらの画像に基づいて視差情報を生成する。視差情報とは、標準ＬＲ画像に含まれる同一被写体の画像間のずれ（左右方向の画素ずれ）に相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位の視差情報（被写体距離情報）を持つデータを生成する。

この視差情報の取得は、例えば、以下のような既存の手法によって実行される。
（ａ）ブロックマッチングベースの視差情報取得処理
（ｂ）ＤＰ（ダイナミックプログラミング）マッチングベースの視差情報取得処理
（ｃ）セグメンテーションベースの視差情報取得処理
（ｄ）学習ベースの視差情報取得処理
（ｅ）上記各手法の組み合わせによる視差情報取得処理
例えば、上記（ａ）〜（ｅ）のいずれかの手法で視差情報を取得する。

図３を参照してブロックマッチングベースの視差情報取得処理について簡単に説明する。視差推定部１０３は、入力したオリジナルの標準画像である、左視点画像（Ｌ画像）と右視点画像（Ｒ画像）を利用し、例えばＬ画像の画素領域（ブロック）１２１を選択し、その選択ブロックと類似する画素領域（ブロック）１２２をＲ画像中から検出する。

すなわち、視差推定部１０３は、同一被写体の撮影領域であると判断されるブロック（マッチングブロック）をＬＲ画像から選択する。さらに、視差推定部１０３は、ＬＲ画像間におけるマッチングブロックの位置ずれ（水平方向の画素数等）を測定する。

図３において、例えばＬ画像の画素領域（ブロック）１２１の注目画素ＬＰ＝（５，３）の、Ｒ画像における対応画素は、画素領域（ブロック）１２２の注目画素ＲＰ＝（７，３）である。この場合、Ｌ画像の画素位置（ｘ，ｙ）＝（５，３）のＬＲ画像間の視差ｄ（５，３）は以下の式（１）のように算出される。

視差ｄ（５，３）＝（７，３）−（５，３）＝（２，０） ・・・（１）
すなわち、Ｌ画像の画素位置（ｘ，ｙ）＝（５，３）の視差ｄは２画素［ｐｉｘｅｌ］となる。

ブロックの位置ずれは、そのブロックに撮影されている被写体の距離に応じて変動する。すなわち、ブロックの位置ずれが被写体距離に対応し、この位置ずれ情報を視差情報として取得する。

なお、この視差情報の表現形式として例えばデプスマップ（距離画像あるいは視差マップ）がある。デプスマップ（視差マップ）は、例えばＬ画像、Ｒ画像の各画素単位の視差（被写体距離）を画素単位の輝度によって表現した画像であり、例えば高輝度領域は、近い（カメラに近い）被写体、低輝度領域は、遠い（カメラから遠い）被写体を示す。すなわち被写体距離が輝度によって示された画像である。

また、図４に示されるように、視差推定部１０３は、図３を参照して上述したＬ画像を基準としたＲ画像の視差の情報であるＬＲ視差情報だけでなく、Ｒ画像を基準としたＬ画像の視差の情報であるＲＬ視差情報も取得する。なお、図４の例においては、ＬＲ視差情報は、実線で示されており、ＲＬ視差情報は、点線または一点鎖線で示されている。

実線と点線で示されるように、ＬＲ視差情報とＲＬ視差情報とは、符号は異なるが、基本的には一致する。ただし、オクルージョンなどの影響により、一点鎖線で示されるＲＬ視差に示されるように、ＬＲ視差と一致しないこともある。

ＲＬ視差情報の取得方法としては、以下の２つの方法があげられる。
（ｆ）基準画像を逆にしてのブロックマッチングベースの視差情報取得処理
（ｇ）ＬＲ視差の符号の反転処理＋隣接画素の視差からの補間処理

以上のようにして、視差推定部１０３においては、ＬＲ視差情報およびＲＬ視差情報が取得、生成される。

［仮想視点画像生成部の動作概要］
次に、仮想視点画像生成部１０５の実行する入力ＬＲ画像に基づく基本的な仮想視点画像の生成処理について説明する。

仮想視点画像生成部１０５には、左視点画像（Ｌ画像）入力部１０１からＬ画像、右視点画像（Ｒ画像）入力部１０２からＲ画像、および視差推定部１０３から視差情報が入力される。仮想視点画像生成部１０５は、これらの各情報を入力して、仮想視点画像を生成する。

例えば、仮想視点画像生成部１０５は、予め設定した数（例えば１０）の仮想視点を決定し、これらの各仮想視点に対応する仮想視点画像を生成する。仮想視点画像は、入力した標準ＬＲ画像を利用して生成する。すなわち、入力画像である左視点画像（Ｌ画像）と右視点画像（Ｒ画像）を利用して生成する。具体的な仮想視点画像の生成処理例について、図５以下を参照して説明する。

図５の例においては、画像処理装置に入力するオリジナルの左視点画像（Ｌ画像）１３１と右視点画像（Ｒ画像）１３２、および、これらのＬＲ画像に基づいて生成する仮想視点画像１３３が示されている。

左視点画像（Ｌ画像）１３１は標準位置における左眼視点位置から観察した画像であり、右視点画像（Ｒ画像）１３２は標準位置における右眼視点位置から観察した画像である。

図５は、例えば、左視点画像（Ｌ画像）１３１の視点位置を０．０、右視点画像（Ｒ画像）１３２の視点位置を１．０とし、この視点位置０．０〜１．０の間の視点位置＝０．３からの観察画像を仮想視点画像１３３として生成する場合の処理例を示している。

左視点画像（Ｌ画像）１３１と右視点画像（Ｒ画像）１３２にはそれぞれ異なる位置に同一被写体（リンゴ）が撮影されている。Ｌ画像と、Ｒ画像において、この同一被写体の位置は、視点位置が異なるために、異なる位置となっている。

視点位置＝０．０と視点位置１．０の間の視点位置＝０．３の仮想視点画像１３３を生成する場合、この被写体（リンゴ）の位置を線型補間によって設定する。図５に示す直線Ｌ１に沿って被写***置を変更することによって、各仮想視点における仮想視点画像の被写***置を決定して仮想視点画像を生成することができる。

このように入力ＬＲ画像に基づく線形補間処理によって各仮想視点位置の仮想視点画像を生成する。

なお、仮想視点画像を生成する場合、入力ＬＲ画像の双方を利用して２つの画像をブレンドする処理によって生成することができる。あるいは、Ｌ画像のみ、あるいはＲ画像のみを利用して仮想視点位置に応じて被写***置をずらす処理によって、１つの画像のみを利用して生成することもできる。あるいは、Ｌ画像側に近い仮想視点位置ではＬ画像のみを利用して仮想視点画像を生成し、Ｒ画像に近い位置ではＲ画像のみを利用して仮想視点画像を生成するといった処理を行ってもよい。

入力ＬＲ画像のブレンド処理に基づく仮想視点画像１３１の画素値の決定処理例について図６を参照して説明する。

図６の例においては、視点位置＝０である入力左視点画像（Ｌ画像）の画素Ｐ（ｘ，ｙ）１４１、および視点位置＝１である入力右視点画像（Ｒ画像）におけるＬ画像の画素Ｐの対応画素１４２が示されている。また、視点位置＝Φである仮想視点画像におけるＬ画像の画素Ｐの対応画素１４３も示されている。なお、Φ＝０〜１である。

左視点画像（Ｌ画像）の画素Ｐ（ｘ，ｙ）１４１の視差がｄ（ｘ，ｙ）［ｐｉｘｅｌ］である場合、仮想視点画像におけるＬ画像の画素Ｐ（ｘ，ｙ）の対応画素１４３の画素位置は、画素Ｑ（ｘ＋Φ・ｄ（ｘ，ｙ），ｙ）とされる。すなわち、仮想視点画像における画素Ｑ（ｘ＋Φ・ｄ（ｘ，ｙ），ｙ）の画素値が、左視点画像（Ｌ画像）の画素Ｐ（ｘ，ｙ）１４１の画素値に設定される。

仮想視点画像の各画素の画素値は、このように、左視点画像（Ｌ画像）の画素の視差情報に基づいて設定される。

なお、この処理によって、仮想視点画像の埋まらなかった画素は、右視点画像（Ｒ画像）を適用した処理や隣接画素の画素値による補間処理、左視点画像の同一座標の画素で補間する処理などによって画素値を決定する。

図７の例においては、左視点画像（Ｌ画像）の水平ライン１５１、右視点画像（Ｒ画像）の水平ライン１５２、および仮想視点画像の水平ライン１５３が示されている。図に示される矢印は、仮想視点画像の水平ライン１５３の画素値を決定するために適用可能な左視点画像（Ｌ画像）の画素位置と、右視点画像（Ｒ画像）の画素位置を結ぶラインである。

図７に示される仮想視点画像の水平ライン１５３において、１＝左視点画像（Ｌ画像）の水平ライン１５１の構成画素値によって画素値の設定された領域である。２＝右視点画像（Ｒ画像）の水平ライン１５３の構成画素値によって画素値の設定された領域である。３＝その他の領域である。

このように、仮想視点画像の画素値の設定は、例えば、以下の３つの処理によって実行される。
１．左視点画像（Ｌ画像）の各画素に対して、出力視点位置で対応する画素位置を求め、その画素位置に左視点画像（Ｌ画像）の画素値を補間する。
２．右視点画像（Ｒ画像）の各画素に対して、出力視点位置で対応する画素位置を求め、その画素位置に右視点画像（Ｒ画像）の画素値を補間する。
３．上記１，２の処理でも補間されない出力視点画像の画素は、隣接画素に基づく補間処理を行う。

なお、図６および図７を参照して説明した処理は入力ＬＲ画像に基づいてこれらのＬＲ画像と異なる仮想視点からの画像を生成する基本的な処理である。

本技術の画像処理装置の仮想視点画像生成部１０５は、この基本的な処理をベースとして、さらに、視差情報から求められるスケール値（視差レンジ）を適用する。すなわち、仮想視点画像生成部１０５は、そのスケール値に基づいて生成する仮想視点位置および補間方向等を決定して最終的な仮想視点画像を生成する。

［仮想視点画像生成部の詳細］
次に、仮想視点画像生成部１０５の詳細について説明する。

仮想視点画像生成部１０５には、左視点画像（Ｌ画像）入力部１０１からＬ画像、右視点画像（Ｒ画像）入力部１０２からＲ画像、視差推定部１０３から視差情報が入力される。

仮想視点画像生成部１０５は、入力された情報から求められる視差分布（視差レンジ）を基にして、視差量を調整、すなわち生成する仮想視点位置（位相）を決定し、スケール値に応じて補間方向を選択する。仮想視点画像生成部１０５は、決定した仮想視点位置（位相）に対応する仮想視点画像を、選択した補間方向の画像に基づいて生成する。仮想視点画像生成部１０５は、生成した仮想視点画像、すなわち、調整した視点位置の画像を合成して後段に出力する。

または、仮想視点画像生成部１０５は、決定した仮想視点位置（位相）に対応する仮想視点画像を、Ｌ画像およびＲ画像に基づいて生成し、生成した画像のうち、選択した補間方向の画像を後段に出力することもできる。

図８は、仮想視点画像生成部の構成例を示す図である。

図８の例において、仮想視点画像生成部１０５は、視点位置調整部１６１および画像合成部１６２を含むように構成されている。

視点位置調整部１６１には、視差推定部１０３から視差情報が供給される。視点位置調整部１６１は、視差推定部１０３から視差情報を基にして視差量を調正し、仮想視点位置（位相）と補間方向を決定する。視点位置調整部１６１は、決定した仮想視点位置の情報と補間方向の情報を画像合成部１６２供給する。

画像合成部１６２には、左視点画像（Ｌ画像）入力部１０１からＬ画像、右視点画像（Ｒ画像）入力部１０２からＲ画像、視差推定部１０３から視差情報、視点位置調整部１６１から仮想視点位置と補間方向の情報が入力される。

画像合成部１６２は、これらの情報に基づいて、ＬＲ画像に、調整した視点位置の画像を合成して、合成後のＮ視点画像を、後段の表示制御部１０６に出力する。

［視点位置調整部の動作］
次に、図９を参照して、視点位置調整部１６１の視点位置調整処理について説明する。

視点位置調整部１６１は、視差推定部１０３から視差情報を、１フレーム毎に、図９に示される視差のヒストグラムを生成し、以下の処理を行う。視差のヒストグラムは、視差を横軸とし、画素数（頻度）を縦軸とする。

視点位置調整部１６１は、まず、視差のヒストグラムに基づいて、視差の最大値dmax、視差の最小値dminを求める。次に、視点位置調整部１６１は、|dmax|と|dmin|の大きい方を視差レンジdrangeとし、スケール値scale=drange/dsafeを求める。

ここで、dsafeは、目標視差値（規定値）であり、次のような情報から予め設定されている。クロストークが許容範囲に収まる視差（表示デバイス依存）、または、快適視差範囲（３Ｄコンソーシアム安全ガイドラインなど）。

そして、視点位置調整部１６１は、各視点の出力位相を算出し、補間方向を求める。すなわち、視点位置調整部１６１は、視差情報に基づく変動（この場合、時間変動）の度合いを示すパラメータとして、スケール値を求め、スケール値が示す変動に応じて、視点位置調整処理を行う。

［出力位相の算出処理］
まず、図１０を参照して、出力位相の算出処理について説明する。視点位置調整部１６１は、算出したスケール値に応じて、生成すべき仮想視点画像の視差、つまり、生成する仮想視点画像の位置（位相）を決定する。

具体的には、視点位置調整部１６１は、０乃至１の値を持つスケール値に応じて、図１０に示すような仮想視点位置の決定処理を行う。スケール値（視差レンジ）は、値が小さいと時間変動、すなわち、不整合が少ない可能性が高く、値が大きいと時間変動、すなわち、不整合が多い可能性が高いといえる。

図１０は、スケール値＝０乃至１の場合における仮想視点画像位置の設定例を示した図である。視点位置＝０は、入力Ｌ画像に対応する視点位置であり、視点位置＝１は、入力Ｒ画像に対応する視点位置である。

すなわち、スケール値＝１のライン上の画像ｂは、左視点画像（Ｌ画像）入力部１０１から入力する入力Ｌ画像に対応し、画像ｈは、右視点画像（Ｒ画像）入力部１０２から入力する入力Ｒ画像に対応する。

スケール値＝１のライン上のその他の縦ラインは、スケール値が１（不整合が大きい可能性が高い）値である場合、仮想視点画像生成部１０５において生成する仮想視点画像の位置（位相）を示す。この例では、入力ＬＲ画像を含めて、ａ乃至ｉまで合計９個の異なる視点の画像を生成して出力するものとする。

スケール値＝１の場合は、視点位置調整部１６１は、図１０の上段にあるの画像ａ乃至ｉを仮想視点画像の設定位置として決定し、この仮想視点位置情報を画像合成部１６２に出力する。なお、仮想視点画像の生成処理は、図５乃至図７を参照して上述した処理に従って行われる。

また、スケール値＝０．５、すなわち中程度の場合は、視点位置調整部１６１は、図１０の中段にある画像ａ２乃至ｉ２を仮想視点画像の設定位置として決定し、この仮想視点位置情報を画像合成部１６２に出力する。

この中低度のスケール値＝０．５の場合、図１０に示されるように、仮想視点画像ａ２乃至ｉ２の視差範囲は、スケール値＝１の場合の仮想視点画像ａ〜ｉの視差範囲より狭くなる。

また、スケール値＝０の場合、すなわち殆ど不整合がない場合は、視点位置調整部１６１は、図１０の下段にある画像ａ３乃至ｉ３を仮想視点画像の設定位置として決定し、この仮想視点位置情報を画像合成部１６２に出力する。

なお、図１０の下段にある画像ａ３乃至ｉ３の画像位置は、入力Ｒ画像の画像位置に対応する。すなわち、この場合、新たな仮想視点画像を生成することなく、入力Ｒ画像をそのまま出力する。また、この場合、仮想視点画像生成部１０５は、入力Ｌ画像についてもそのまま出力し、表示部には入力ＬＲ画像のみが出力されることになる。

視点位置調整部１６１は、仮想視点画像の設定位置（位相）の算出処理を以下のアルゴリズムに従って実行する。

スケール値＝１の場合に生成する仮想視点画像については予め決定しておく。例えば、図１０に示すａ〜ｉの位置である。求めたスケール値をＳ（０≦Ｓ）とする。元の視点位置をＶ０とし、スケール値０のとき、右に収束させる場合、 スケール値に応じて設定される仮想視点画像位置（位相）Ｖは、次の式（２）で表わされる。
Ｖ＝（Ｖ０−１）・Ｓ＋１ ・・・（２）

［補間方向の選択処理］
次に、図１１を参照して、視点位置調整部１６１の補間方向の選択処理について説明する。図１１の例においては、横軸に位相が示されており、縦軸にスケール値Ｓが示されている。スケール値は、０以上の値であり、０乃至１には限定されない。図１１の例においては、thより大きい値としてＮが示されているが、Ｎは１より大きい値をとり得る。なお、図１１の例においては、スケール値Ｓ＝０で収束する位置が、右（１）の場合について説明する。

視点位置調整部１６１は、スケール値に応じて、補間方向を選択する。その際、上述したように、スケール値（視差レンジ）が小の場合、左右画像の不整合が小さいことから、視点位置調整部１６１は、スケール値が所定の閾値thより大きい場合、仮補間方向として、右を設定する。すなわち、この場合、視点位置調整部１６１は、例えば、左への補間方向の切り替えを禁止する。

一方、視点位置調整部１６１は、スケール値が所定の閾値th以下の場合、近い方の画像から補間するように、仮補間方向として、すなわち、視点位相が０．５以下であるとき左を設定し、視点位相が０．５より大きいとき右を設定する。すなわち、この場合、視点位置調整部１６１は、補間方向の切り替えを行う（許可する）。

これにより、左右画像の不整合が大きい場合の補間方向の切り替えを防ぐことができる。

ただし、さらに、視点位置調整部１６１は、次のように、時間安定化処理を行う。すなわち、視点位置調整部１６１は、ある一定時間、仮補間方向が左であれば、補間方向を左に設定し、ある一定時間、仮補間方向が右であれば、補間方向を右に設定する。それ以外の場合、視点位置調整部１６１は、前のフレームと同じ方向を補間方向に設定する。

なお、開始フレームの場合、仮補間方向（近い画像）が補間方向に設定される。

これにより、矢印Ａや矢印Ｂに示される補間方向の切り替えが頻繁に発生するのを抑制することができる。すなわち、補間方向の高頻度の時間変動と、左右両眼別々のタイミングでの変動を抑制することができる。

なお、上記説明においては、スケール値Ｓ＝０で収束する位置が、右（１）の場合の例を示したが、左（０）であってもよい。Ｓ＝０で収束する位置が左（０）の場合、スケール値が所定の閾値thより大きい場合、仮補間方向として、左が設定される。

［画像合成部の構成］
図１２は、画像合成部１６２の構成例を示す図である。

図１２の例において、画像合成部１６２は、入力ＬＲ画像を含め、生成される仮想視点画像分の一視点画像合成部１７１−１乃至一視点画像合成部１７１−Ｎを含むように構成されている。

一視点画像合成部１７１−１乃至一視点画像合成部１７１−Ｎには、左視点画像（Ｌ画像）入力部１０１からＬ画像、右視点画像（Ｒ画像）入力部１０２からＲ画像が入力され、視差推定部１０３から視差情報（左／右）が入力される。

一視点画像合成部１７１−１には、さらに、視点位置調整部１６１から視点１の補間方向１と出力位相位置１が入力される。一視点画像合成部１７１−１は、出力位相位置１に対応する仮想視点画像を、入力Ｌ画像および入力Ｒ画像を用い、視差情報に基づいて生成する。一視点画像合成部１７１−１は、補間方向１に対応する方向（右または左）の画像を用いて生成された仮想視点画像を選択して、合成画像１として、後段の表示制御部１０６に出力する。

一視点画像合成部１７１−２には、さらに、視点位置調整部１６１から視点２の補間方向２と出力位相位置２が入力される。一視点画像合成部１７１−２は、出力位相位置２に対応する仮想視点画像を、入力Ｌ画像および入力Ｒ画像を用い、視差情報に基づいて生成する。一視点画像合成部１７１−２は、補間方向２に対応する方向（右または左）の画像を用いて生成された仮想視点画像を選択して、合成画像２として、後段の表示制御部１０６に出力する。

一視点画像合成部１７１−Ｎには、さらに、視点位置調整部１６１から視点Ｎの補間方向Ｎと出力位相位置Ｎが入力される。一視点画像合成部１７１−Ｎは、出力位相位置Ｎに対応する仮想視点画像を、入力Ｌ画像および入力Ｒ画像を用い、視差情報に基づいて生成する。一視点画像合成部１７１−Ｎは、補間方向Ｎに対応する方向（右または左）の画像を用いて生成された仮想視点画像を選択して、合成画像Ｎとして、後段の表示制御部１０６に出力する。

なお、以下、一視点画像合成部１７１−１乃至１７１−Ｎを特に区別して説明する必要がない場合、まとめて一視点画像合成部１７１として説明する。

［一視点画像合成部の構成］
図１３は、一視点画像合成部１７１の構成例を示す図である。

一視点画像合成部１７１は、左画像合成部１８１、右画像合成部１８２、および選択部１８３を含むように構成されている。

左画像合成部１８１には、左視点画像（Ｌ画像）入力部１０１からのＬ画像、視差推定部１０３から視差情報（左）、視点位置調整部１６１からの出力位相位置が入力される。左画像合成部１８１は、出力位相位置に対応する仮想視点画像を、入力Ｌ画像を用い、視差情報（左）に基づいて生成し、選択部１８３に出力する。

右画像合成部１８２には、右視点画像（Ｒ画像）入力部１０２からのＲ画像、視差推定部１０３から視差情報（右）、視点位置調整部１６１からの出力位相位置が入力される。右画像合成部１８２は、出力位相位置に対応する仮想視点画像を、入力Ｒ画像を用い、視差情報（右）に基づいて生成し、選択部１８３に出力する。

選択部１８３には、視点位置調整部１６１からの補間方向、左画像合成部１８１からのＬ画像が用いられて生成された仮想視点画像、右画像合成部１８２からのＲ画像が用いられて生成された仮想視点画像が入力される。

選択部１８３は、視点位置調整部１６１からの補間方向に対応する方向の画像が用いられて生成された仮想視点画像を選択し、合成画像として、後段の表示制御部１０６に出力する。

［画像処理装置の処理例］
次に、図１４のフローチャートを参照して、図２の画像処理装置１００の画像処理について説明する。

ステップＳ１０１において、左視点画像（Ｌ画像）入力部１０１および右視点画像（Ｒ画像）入力部１０２は、それぞれ、左視点画像（Ｌ画像）および右視点画像（Ｒ画像）を入力する。

入力された左視点画像（Ｌ画像）および右視点画像（Ｒ画像）は、視差推定部１０３および仮想視点画像生成部１０５に供給される。

ステップＳ１０２において、視差推定部１０３は、供給された左視点画像（Ｌ画像）および右視点画像（Ｒ画像）を用いて、図３および図４を参照して上述したように、視差を推定する。視差推定部１０３による推定結果の視差情報は、仮想視点画像生成部１０５に供給される。

ステップＳ１０３およびＳ１０４において、仮想視点画像生成部１０５は、仮想視点画像生成処理を行う。

すなわち、ステップＳ１０３において、視点位置調整部１６１は、視点位置を調整する。視点位置の調整処理については、図１５を参照して後述するが、ステップＳ１０３により、Ｎ視点分の出力位相位置の情報と、Ｎ視点分の補間方向の情報が生成され、画像合成部１６２に供給される。

画像合成部１６２には、さらに、左視点画像（Ｌ画像）入力部１０１からＬ画像、右視点画像（Ｒ画像）入力部１０２からＲ画像、視差推定部１０３から視差情報が入力される。

ステップＳ１０４において、画像合成部１６２は、これらの情報に基づいて、ＬＲ画像に、調整した視点位置の画像を合成する。

すなわち、図１２および図１３を参照して上述したように、画像合成部１６２は、出力位相位置に対応する仮想視点画像を、入力Ｌ画像および入力Ｒ画像を用い、視差情報に基づいて生成する。一視点画像合成部１７１は、補間方向に対応する方向（右または左）の画像を用いて生成された仮想視点画像を選択して、合成画像として、後段の表示制御部１０６に出力する。

ステップＳ１０５において、表示制御部１０６は、表示部１１０にＮ視点画像を表示させる。

［視点位置調整処理の例］
次に、図１５のフローチャートを参照して、図１４のステップＳ１０３における視点位置調整処理の例について説明する。なお、図１５の例においては、スケール値が０のときに右に収束させる例が示されている。

ステップＳ１１１において、視点位置調整部１６１は、視差のヒストグラムに基づいて、視差の最大値dmax、視差の最小値dminを求める。

視点位置調整部１６１は、ステップＳ１１２において、|dmax|と|dmin|の大きい方を視差レンジdrangeとし、ステップＳ１１３において、スケール値scale=drange/dsafeを求める。

視点位置調整部１６１は、ステップＳ１１４において、図１０を参照して上述したように、スケール値に基づいて出力位相を算出する。ステップＳ１１４の処理により算出された出力位相位置は、画像合成部１６２に出力される。

ステップＳ１１５において、視点位置調整部１６１は、図１１を参照して上述した補間方向の選択処理を行う。この補間方向の選択処理について、図１６のフローチャートを参照して説明する。

ここで、nは、視点番号、Nは、総視点数、Stは、スケール値、S_thは、閾値（パラメータ）、tは、時間（フレーム）、t0は、ある時間（パラメータ）、Vn,tは、視点位相、Dn,tは、補間方向、D’n,tは、仮補間方向をそれぞれ表している。

ステップＳ１２１において、視点位置調整部１６１は、tに-1を代入する。ステップＳ１２２において、視点位置調整部１６１は、すべてのシーンが終了したか否かを判定し、すべてのシーンが終了したと判定した場合、補間方向選択処理を終了する。

ステップＳ１２２において、すべてのシーンが終了していないと判定された場合、処理は、ステップＳ１２３に進む。視点位置調整部１６１は、ステップＳ１２３において、tにt+1を代入し、ステップＳ１２４において、nに０を代入する。

視点位置調整部１６１は、ステップＳ１２５において、nがN以上であるか否かを判定し、nがN以上であると判定した場合、ステップＳ１２２に戻り、それ以降の処理が繰り返される。

ステップＳ１２５において、nがN以上ではないと判定された場合、処理は、ステップＳ１２６に進む。視点位置調整部１６１は、ステップＳ１２６において、nにn+1を代入し、ステップＳ１２７において、StがS_thより大きいか否かを判定する。ステップＳ１２７において、StがS_th以下であると判定された場合、処理は、ステップＳ１２８に進む。

ステップＳ１２８において、視点位置調整部１６１は、Vn,tが0.5以下であるか否かを判定し、Vn,tが0.5以下であると判定した場合、ステップＳ１２９に進み、D’n,tに”left”（左）を代入する。すなわち、ステップＳ１２９において、左が仮補間方向に設定される。

ステップＳ１２７において、StがS_thより大きいと判定された場合、処理は、ステップＳ１３０に進む。また、ステップＳ１２８において、Vn,tが0.5より大きいと判定した場合、処理は、ステップＳ１３０に進む。

ステップＳ１３０において、視点位置調整部１６１は、D’n,tに”right”（右）を代入する。すなわち、ステップＳ１３０において、右が仮補間方向に設定される。

ステップＳ１３１において、視点位置調整部１６１は、tが０であるか否かを判定し、tが０ではないと判定した場合、処理は、ステップＳ１３２に進む。ステップＳ１３２において、視点位置調整部１６１は、T0とtの小さい方をt0に代入する。

ステップＳ１３３において、視点位置調整部１６１は、s=t-t0乃至tにおいて、すべてD’n,s=”left”であるか否かを判定する。ステップＳ１３３において、s=t-t0乃至tにおいて、すべてD’n,s=”left”ではないと判定された場合、ステップＳ１３４に進む。

ステップＳ１３４において、視点位置調整部１６１は、s=t-t0乃至tにおいて、すべてD’n,s=” right”であるか否かを判定する。ステップＳ１３４において、s=t-t0乃至tにおいて、すべてD’n,s=” right”であると判定された場合、ステップＳ１３５に進む。ステップＳ１３５において、視点位置調整部１６１は、Dn,tに”right”（右）を代入する。すなわち、ステップＳ１３５において、右が補間方向に設定される。

ステップＳ１３３において、すべてD’n,s=”left”であると判定された場合、処理は、ステップＳ１３６に進む。ステップＳ１３６において、視点位置調整部１６１は、Dn,tに”left”（左）を代入する。すなわち、ステップＳ１３６において、左が補間方向に設定される。

また、ステップＳ１３４において、s=t-t0乃至tにおいて、すべてD’n,s=” right”ではないと判定された場合、ステップＳ１３７に進む。ステップＳ１３７において、視点位置調整部１６１は、Dn,tに” Dn,t-1を代入する。すなわち、ステップＳ１３７において、前フレームの補間方向が、補間方向に設定される。

一方、ステップＳ１３１において、tが０であると判定された場合、処理は、ステップＳ１３８に進む。ステップＳ１３８において、視点位置調整部１６１は、Dn,tに” D’n,tを代入する。すなわち、ステップＳ１３８において、仮補間方向が、補間方向に設定される。

なお、図１６の例において、ステップＳ１３１以降が時間安定化処理である。

以上のように、スケール値（視差レンジ）に応じて補間方向を設定するようにしたので、左右画像の不整合が大きい場合の補間方向の切り替えを防ぐことができる。

さらに、時間安定化処理を行うようにしたので、補間方向の切り替えが頻繁に発生するのを抑制することができる。すなわち、補間方向の高頻度の時間変動と、左右両眼別々のタイミングでの変動を抑制することができる。

＜３．第２の実施の形態（信頼度）＞
［画像処理装置の構成例］
図１７は、本技術を適用した画像処理装置の他の構成例を示すブロック図である。図１７の例においては、視差情報に基づく変動（この場合、時間変動）の度合いを示すパラメータとして、図９を参照して上述したスケール値の代わりに、信頼度が求められ、信頼度が示す変動に応じて、視点位置調整処理が行われる。

図１７の例において、画像処理装置２００は、左視点画像（Ｌ画像）入力部１０１、右視点画像（Ｒ画像）入力部１０２、視差推定部１０３、信頼度算出部２０１、仮想視点画像生成部２０２、表示制御部１０６を含むように構成される。画像処理装置１００において生成した画像が表示部１１０に出力される。

図１７の画像処理装置２００は、左視点画像（Ｌ画像）入力部１０１、右視点画像（Ｒ画像）入力部１０２、視差推定部１０３、および表示制御部１０６を備える点が、図２の画像処理装置１００と共通している。図１７の画像処理装置２００は、信頼度算出部２０１が追加された点と、仮想視点画像生成部１０５が仮想視点画像生成部２０２に入れ替わった点とが、図２の画像処理装置１００と異なっている。

すなわち、左視点画像（Ｌ画像）入力部１０１からのＬ画像と、右視点画像（Ｒ画像）入力部１０２からのＲ画像、視差推定部１０３からの視差情報は、信頼度算出部２０１にも供給される。

信頼度算出部２０１は、視差推定部１０３が入力ＬＲ画像に基づいて推定した各画素単位あるいは画素領域単位の視差情報の信頼度を算出する。信頼度算出部２０１は、算出した信頼度の情報を、仮想視点画像生成部２０２に供給する。

仮想視点画像生成部２０２は、例えば信頼度算出部２０１から入力する信頼度情報に従って、仮想視点位置の決定処理等を実行して、決定した仮想視点位置に対応する仮想視点画像を生成する。

仮想視点画像生成部１０５は、信頼度情報を参照した仮想視点画像の生成処理を実行する。すなわち入力ＬＲ画像の２視点の画像に加え、さらにその他の視点の画像を加えた計Ｎ視点の画像が生成して出力される。例えば、仮想視点画像生成部１０５は、Ｎ視点分の出力位相を求め、信頼度情報に応じて補間方向を選択し、選択した補間方向の仮想視点画像を生成する。この処理の詳細については後述する。

［信頼度算出部の処理］
図１８を参照して、信頼度算出部２０１の処理について説明する。

信頼度算出部２０１は、まず、左視点画像（Ｌ画像）入力部１０１から入力するＬ画像２１１に対して、視差推定部１０３から入力する画素単位の推定視差情報２１２を適用して視差補償画像２１３を生成する。

推定視差情報２１２は、例えば視差マップとも呼ばれ、視差推定部１０３の生成した視差情報を輝度で表現した画像データである。視差マップは、視差（被写体距離）を画素単位の輝度によって表現した画像であり、例えば高輝度領域は、近い（カメラに近い）被写体、低輝度領域は、遠い（カメラから遠い）被写体を示す。すなわち被写体距離が輝度によって示された画像である。

視差補償画像２１３は、Ｌ画像２１１に対して、視差推定部１０３から入力する画素単位の推定視差情報２１２を適用して生成される、仮想視点位相における仮想視点画像である。

信頼度算出部２０１は、次に、右視点画像（Ｒ画像）入力部１０２から入力するＲ画像２１６に対して、視差推定部１０３から入力する画素単位の推定視差情報２１５を適用して視差補償画像２１４を生成する。

推定視差情報２１５は、例えば視差マップとも呼ばれ、視差推定部１０３の生成した視差情報を輝度で表現した画像データである。視差マップは、視差（被写体距離）を画素単位の輝度によって表現した画像であり、例えば高輝度領域は、近い（カメラに近い）被写体、低輝度領域は、遠い（カメラから遠い）被写体を示す。すなわち被写体距離が輝度によって示された画像である。

視差補償画像２１４は、Ｒ画像２１６に対して、視差推定部１０３から入力する画素単位の推定視差情報２１５を適用して生成される、仮想視点位相における仮想視点画像である。

推定視差情報２１２を適用して生成した視差補償画像２１３と、推定視差情報２１５を適用して生成した視差補償画像２１４とは、視差推定部１０３の生成した画素単位の推定視差情報２１２および推定視差情報２１５とが正しければ、一致することになる。

しかし、実際には、視差推定部１０３の生成した推定視差情報２１２および推定視差情報２１５には、推定エラー等が含まれ、Ｌ画像２１１に基づいて生成された視差補償画像２１３と、Ｒ画像２１６に基づいて生成された視差補償画像２１４とには差分が発生する。

この視差補償画像２１３と視差補償画像２１４との対応画素単位の画素値差分を画像単位で算出したマップ、すなわち、図１８に示される残差マップ２１７を生成する。残差マップ２１７は、視差補償画像２１３と視差補償画像２１４との対応画素単位の画素値差分を濃淡情報で表現したマップである。例えば黒い部分がより差分が大きいことを示す。

信頼度算出部２０１は、図１８の例において、この残差マップ２１７から、画素単位の差分である残差と予め設定した閾値（Ｔｈ）を比較し、閾値（Ｔｈ）より大きい残差を持つ画素数をカウントする信頼度変換部２１８を備えている。信頼度変換部２１８は、このカウント値をＮとして、Ｎの値に応じて、視差推定部１０３の生成した推定視差情報の信頼度Ｒを決定する。

すなわち、信頼度変換部２１８は、閾値（Ｔｈ）より大きい残差を持つ画素数Ｎが多い場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒは低いと判定する。一方、信頼度変換部２１８は、閾値（Ｔｈ）より大きい残差を持つ画素数Ｎが少ない場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒは高いと判定する。

この閾値（Ｔｈ）は、画像の領域に応じて変更することができる。例えば、平坦な領域だと閾値が小さくされ、テクスチャやエッジがあるような領域だと閾値が大きくされる。

閾値（Ｔｈ）より大きい残差を持つ画素数Ｎと、視差推定部１０３の生成した推定視差情報の信頼度Ｒとの対応関係は、具体的には、例えば図１９に示すような対応関係として規定される。

すなわち、信頼度変換部２１８は、視差推定部１０３の生成した推定視差情報の信頼度Ｒの値を、閾値（Ｔｈ）より大きい残差を持つ画素数Ｎの値に応じて、次の式（３）のように算出する。
０≦Ｎ≦Ｎｍｉｎ：信頼度Ｒ＝Ｒｍａｘ
Ｎｍｉｎ≦Ｎ≦Ｎｍａｘ：信頼度Ｒ＝Ｒｍａｘ〜Ｒｍｉｎ
Ｎｍａｘ≦Ｎ：信頼度Ｒ＝Ｒｍｉｎ
・・・（３）

ここで、Ｎｍｉｎ、Ｎｍａｘ、Ｒｍｉｎ、Ｒｍａｘ、これらの値は予め既定した値を用いる。また、Ｎｍｉｎ≦Ｎ≦Ｎｍａｘの範囲では、信頼度Ｒは、Ｒｍａｘ〜Ｒｍｉｎ間を直線的に変化させる。

なお、上記説明では、視差情報から視差補償画像を生成する例を説明したが、仮想視点画像生成部２０２から視点補償画像をとってきてもよい。また、上述した処理は、複数の仮想視点全てに対して行うようにしてもよいし、１つの仮想視点位相の結果（例えば、右視点位置での結果）を他の視点にも使用するようにしてもよい。これらは、選択可能とする。

なお、図１８および図１９を参照して説明した処理は、視差推定部１０３から入力する画素単位の推定視差情報を適用した残差成分に基づく推定視差の信頼度算出処理を行うものである。これに対して、例えば推定視差の誤り、すなわち残差成分の残る仮想視点画像を生成した場合でも、残差成分は、画像の各領域の特徴（素性）によって目立つ場合と影響の少ない場合がある。したがって、残差成分に基づく信頼度判定に際しては、画像の各領域の特徴によって異なる処理を行う設定としてもよい。

具体的には、例えば、残差成分の残る仮想視点画像を生成した場合、テクスチャ領域では、残差成分、すなわち推定視差のずれによる画像に対する影響が大きくなり、画像を観察した場合にエラーが目立つことになる。一方、平坦領域では、残差成分、すなわち推定視差のずれによる画像に対する影響が小さくなり、画像を観察した場合でもエラーが目立つことは少ない。

このような事情を考慮して、画像の領域の特徴（素性）を検出し、検出した画像領域単位の特徴に応じて、残差成分の導出方法を適応的に変更する設定としてもよい。例えば画像領域の特徴量として、空間アクティビティやダイナミックレンジのような特徴量を検出することができる。

また、上記の画像領域単位の特徴量に応じて、残差成分に応じて算出する信頼度を適応的に変化させる。具体的には、例えば、先に図１９を参照して説明した信頼度算出処理に用いる各種のパラメータを画像領域単位の特徴量に応じて変更するといた処理を行う。このパラメータとしては、例えば、図１９のグラフに示す以下のパラメータである、Ｎｍｉｎ、Ｎｍａｘ、Ｒｍｉｎ、Ｒｍａｘ、または、図１８を参照して上述した閾値（Ｔｈ）などがある。

具体例について、図２０を参照して説明する。図２０は、画像、例えば入力Ｌ画像に対して画素単位の特徴量として空間アクティビティを検出し、空間アクティビティの値に応じて図１８で上述した閾値（Ｔｈ）を変更して、残差成分の指標としてのカウント値（Ｎ）を変更する設定とした例を示す図である。

なお、空間アクティビティは、例えば図２０（空間アクテイビティ算出処理例）に示すように、注目画素を中心とする画素領域（例えば３×３画素）における隣接画素間の画素値差分の絶対値の総和として算出することで求められる。画素値差分の絶対値総和の値が大きい領域はテクスチャ領域（エッジ領域）であり、小さい領域は平坦領域であると判定することができる。

図２０に示すグラフは、横軸が空間アクティビティ、縦軸が残差成分であり、各点は、各画素の空間アクティビティと残差成分の値に対応する。ここで、図１８を参照して説明した閾値（Ｔｈ）、すなわち残差ありと判定するカウント数Ｎのカウント値として参入するか否かを規定する閾値（Ｔｈ）を図に示すように、画像領域の空間アクティビティに応じて変化させる。このような設定とすることで、画像の各領域の特徴に応じた信頼度算出が行われることになる。

図２０を参照して説明した処理例は、画像領域の特徴量として空間アクティビティを適用した処理例である。画像領域の特徴量としては、この他、ダイナミックレンジを適用してもよい。

画像領域の特徴量としてダイナミックレンジを取得し、ダイナミックレンジの値に基づいて処理態様を変更する例について図２１を参照して説明する。

図２１には、左視点画像（Ｌ画像）入力部１０１と、右視点画像（Ｒ画像）入力部１０２から入力した２つの画像領域が示されている。すなわち、入力Ｌ画像の注目画素を中心とした３×３画素の画像領域２２１と、入力Ｒ画像の注目画素を中心とした３×３画素の画像領域とが示されている。

これらの画像領域は、視差推定部１０３における視差推定処理によって対応する画素ブロックとして抽出された対応ブロックである。すなわち、視差推定が正しければ、この２つの画素ブロックには同一被写体の画像が撮影されている。

まず、入力Ｌ画像の注目画素を中心とした３×３画素の画像領域２２１に含まれる９画素から、最大の画素値（輝度値）を持つ画素の画素値（ｍａｘＬ）、最小の画素値（輝度値）を持つ画素の画素値（ｍｉｎＬ）が取得される。

同様に、入力Ｒ画像の注目画素を中心とした３×３画素の画像領域２２２に含まれる９画素から、最大の画素値（輝度値）を持つ画素の画素値（ｍａｘＲ）、最小の画素値（輝度値）を持つ画素の画素値（ｍｉｎＲ）が取得される。

さらに、Ｌ画像の画素ブロックの画素値の中間値とダイナミックレンジを用いた算出値（Ｌｘ）と、Ｒ画像の画素ブロックの画素値の中間値とダイナミックレンジを用いた算出値（Ｒｘ）とが、次の式（４）および式（５）のように、算出される。

Ｌｘ＝（ｍａｘＬ＋ｍｉｎＬ）／２＋α（ｍａｘＬ−ｍｉｎＬ）
〜（ｍａｘＬ＋ｍｉｎＬ）／２−α（ｍａｘＬ−ｍｉｎＬ）
・・・（４）

Ｒｘ＝（ｍａｘＲ＋ｍｉｎＲ）／２＋α（ｍａｘＲ−ｍｉｎＲ）
〜（ｍａｘＲ＋ｍｉｎＲ）／２−α（ｍａｘＲ−ｍｉｎＲ）
・・・（５）

なお、（ｍａｘＬ＋ｍｉｎＬ）／２は、Ｌ画像の画素ブロックの画素値の中間値に対応し、（ｍａｘＬ−ｍｉｎＬ）は、Ｌ画像の画素ブロックの画素値のダイナミックレンジに対応する。また、（ｍａｘＲ＋ｍｉｎＲ）／２は、Ｒ画像の画素ブロックの画素値の中間値に対応し、（ｍａｘＲ−ｍｉｎＲ）は、Ｒ画像の画素ブロックの画素値のダイナミックレンジに対応する。αは係数である。

さらに、ＬｘとＲｘの差分の最小値を算出して、この差分が注目画素の残差成分とされる。このとき、ＬｘとＲｘの差分の最小値は、各画素ブロックのダイナミックレンジに応じて変化することになる。結果として、画素ブロック単位のダイナミックレンジに応じて算出される残差成分が適応的に調整される。

このようなダイナミックレンジを画像領域の特徴量として用いて、画像の各領域のダイ
ナミックレンジの値に応じた信頼度算出が可能となる。

［仮想視点画像生成部の構成］
図２２は、仮想視点画像生成部２０２の構成例を示す図である。

図２２の例において、仮想視点画像生成部２０２は、視点位置調整部２３１および画像合成部１６２を含むように構成されている。図２２の仮想視点画像生成部２０２は、視点位置調整部１６１が視点位置調整部２３１と入れ替わった点のみが図８の仮想視点画像生成部１０５と異なっている。

すなわち、視点位置調整部２３１には、信頼度算出部２０１から信頼度情報が供給される。視点位置調整部２３１は、信頼度算出部２０１から信頼度情報を基にして視差量を調正し、仮想視点位置（位相）と補間方向を決定する。視点位置調整部１６１は、決定した仮想視点位置の情報と補間方向の情報を画像合成部１６２供給する。

画像合成部１６２には、左視点画像（Ｌ画像）入力部１０１からＬ画像、右視点画像（Ｒ画像）入力部１０２からＲ画像、視差推定部１０３から視差情報、視点位置調整部１６１から仮想視点位置と補間方向の情報が入力される。

画像合成部１６２は、これらの情報に基づいて、ＬＲ画像に、調整した視点位置の画像を合成して、合成されたＮ視点画像を、後段の表示制御部１０６に出力する。

［出力位相の算出処理］
まず、図２３を参照して、視点位置調整部１６１の出力位相の算出処理について説明する。視点位置調整部２３１は、信頼度算出部２０１から信頼度に応じて、生成すべき仮想視点画像の視差、つまり、生成する仮想視点画像の位置（位相）を決定する。

具体的には、視点位置調整部２３１は、０乃至１の値を持つ信頼度に応じて、図２３に示すような仮想視点位置の決定処理を行う。信頼度は、値が大きいと信頼度が高いといえ、値が小さいと信頼度が低いといえる。

図２３は、信頼度＝０乃至１の場合における仮想視点画像位置の設定例を示した図である。視点位置＝０は、入力Ｌ画像に対応する視点位置であり、視点位置＝１は、入力Ｒ画像に対応する視点位置である。

すなわち、信頼度＝１のライン上の画像２４１（画像ｂ）は、左視点画像（Ｌ画像）入力部１０１から入力する入力Ｌ画像に対応し、画像２４２（画像ｈ）は、右視点画像（Ｒ画像）入力部１０２から入力する入力Ｒ画像に対応する。

信頼度＝１のライン上のその他の縦ラインは、信頼度が１である場合、仮想視点画像生成部２０２において生成する仮想視点画像の位置（位相）を示す。この例では、入力ＬＲ画像を含めて、ａ乃至ｉまで合計９個の異なる視点の画像を生成して出力するものとする。

信頼度＝１の場合は、視点位置調整部２３１は、図２３の上段にある画像ａ乃至ｉを仮想視点画像の設定位置として決定し、この仮想視点位置情報を画像合成部１６２に出力する。

なお、仮想視点画像の生成処理は、先に、図５乃至図７を参照して説明した処理に従って行われる。

また、信頼度＝０．５、すなわち中程度の場合は、視点位置調整部２３１は、図２３の中段にある画像２４３（画像ａ２乃至ｉ２）を仮想視点画像の設定位置として決定し、この仮想視点位置情報を画像合成部１６２に出力する。

この中低度の信頼度＝０．５の場合、図２３に示されるように、仮想視点画像ａ２乃至ｉ２の視差範囲は、信頼度＝１の場合の仮想視点画像ａ〜ｉの視差範囲より狭くなる。

また、信頼度＝０の場合は、視点位置調整部２３１は、図２３の下段にある画像２４４（画像ａ３乃至ｉ３）を仮想視点画像の設定位置として決定し、この仮想視点位置情報を画像合成部１６２に出力する。

なお、図２３の下段にある画像ａ３乃至ｉ３の画像位置は、入力Ｒ画像の画像位置に対応する。すなわち、この場合、新たな仮想視点画像を生成することなく、入力Ｒ画像をそのまま出力する。また、この場合、仮想視点画像生成部２０２は、入力Ｌ画像についてもそのまま出力し、表示部には入力ＬＲ画像のみが出力されることになる。

視点位置調整部２３１は、仮想視点画像の設定位置（位相）の算出処理を以下のアルゴリズムに従って実行する。

信頼度Ｒ＝１の場合に生成する仮想視点画像については予め決定しておく。例えば、図２３に示すａ〜ｉの位置である。求めた信頼度をＲ（０≦Ｒ≦１）とする。元の視点位置をＶ０とし、信頼度Ｒ＝０のとき、右に収束させる場合、 信頼度Ｒに応じて設定される仮想視点画像位置（位相）Ｖは、次の式（６）で表わされる。
Ｖ＝（Ｖ０−１）・Ｒ＋１ ・・・（６）

［補間方向の選択処理］
次に、図２４を参照して、視点位置調整部２３１の補間方向の選択処理について説明する。図２４の例においては、横軸に位相が示されており、縦軸に信頼度Ｒが示されている。なお、図２４の例においては、信頼度Ｒ＝０で収束する位置が、右（１）の場合について説明する。

視点位置調整部２３１は、信頼度に応じて、補間方向を選択する。その際、上述したように、信頼度が大の場合、左右画像の不整合が小さいことから、視点位置調整部２３１は、信頼度が所定の閾値より小さい場合、仮補間方向として、右を設定する。すなわち、この場合、視点位置調整部２３１は、例えば、左への補間方向の切り替えを禁止する。

一方、視点位置調整部２３１は、信頼度が所定の閾値以上の場合、近い方の画像から補間するように、仮補間方向として、すなわち、視点位相が０．５以下であるとき左を設定し、視点位相が０．５より大きいとき右を設定する。すなわち、この場合、視点位置調整部１６１は、補間方向の切り替えを行う（許可する）。

これにより、左右画像の不整合が大きい場合の補間方向の切り替えを防ぐことができる。

ただし、さらに、視点位置調整部２３１は、図１１を参照して上述した視点位置調整部１６１と同様に、時間安定化処理を行う。すなわち、視点位置調整部２３１は、ある一定時間、仮補間方向が左であれば、補間方向を左に設定し、ある一定時間、仮補間方向が右であれば、補間方向を右に設定する。それ以外の場合、視点位置調整部２３１は、前のフレームと同じ方向を補間方向に設定する。

なお、開始フレームの場合、仮補間方向（近い画像）が補間方向に設定される。

これにより、矢印Ｃや矢印Ｄに示される補間方向の切り替えが頻繁に発生するのを抑制することができる。すなわち、補間方向の高頻度の時間変動と、左右両眼別々のタイミングでの変動を抑制することができる。

なお、上記説明においては、信頼度Ｒ＝０で収束する位置が、右（１）の場合の例を示したが、左（０）であってもよい。Ｒ＝０で収束する位置が左（０）の場合、信頼度が所定の閾値thより小さい場合、仮補間方向として、左が設定される。

［画像処理装置の処理例］
次に、図２５のフローチャートを参照して、図１７の画像処理装置２００の画像処理について説明する。なお、図２５のステップＳ２０１、Ｓ２０２、Ｓ２０５、およびＳ２０６の処理は、図１４のステップＳ１０１、Ｓ１０２、Ｓ１０４、およびＳ１０５の処理と基本的に同様の処理を行う。

ステップＳ２０１において、左視点画像（Ｌ画像）入力部１０１および右視点画像（Ｒ画像）入力部１０２は、それぞれ、左視点画像（Ｌ画像）および右視点画像（Ｒ画像）を入力する。入力された左視点画像（Ｌ画像）および右視点画像（Ｒ画像）は、視差推定部１０３、信頼度算出部２０１、および仮想視点画像生成部２０２に供給される。

ステップＳ２０２において、視差推定部１０３は、供給された左視点画像（Ｌ画像）および右視点画像（Ｒ画像）を用いて、図３および図４を参照して上述したように、視差を推定する。視差推定部１０３による推定結果の視差情報は、信頼度算出部２０１および仮想視点画像生成部２０２に供給される。

ステップＳ２０３において、信頼度算出部２０１は、図１８乃至図２１を参照して上述したように、視差推定部１０３が入力ＬＲ画像に基づいて推定した各画素単位あるいは画素領域単位の視差情報の信頼度を算出する。信頼度算出部２０１は、算出した信頼度の情報を、仮想視点画像生成部２０２に供給する。

ステップＳ２０４およびＳ２０５において、仮想視点画像生成部２０２は、仮想視点画像生成処理を行う。

すなわち、ステップＳ２０４において、視点位置調整部２３１は、視点位置を調整する。視点位置の調整処理については、図２６を参照して後述するが、ステップＳ２０４により、Ｎ視点分の出力位相位置の情報と、Ｎ視点分の補間方向の情報が生成され、画像合成部１６２に供給される。

画像合成部１６２には、さらに、左視点画像（Ｌ画像）入力部１０１からＬ画像、右視点画像（Ｒ画像）入力部１０２からＲ画像、視差推定部１０３から視差情報が入力される。

ステップＳ２０５において、画像合成部１６２は、これらの情報に基づいて、ＬＲ画像に、調整した視点位置の画像を合成する。

すなわち、図１２および図１３を参照して上述したように、画像合成部１６２の一視点画像合成部１７１は、出力位相位置に対応する仮想視点画像を、入力Ｌ画像および入力Ｒ画像を用い、視差情報に基づいて生成する。一視点画像合成部１７１は、補間方向に対応する方向（右または左）の画像を用いて生成された仮想視点画像を選択して、合成画像として、後段の表示制御部１０６に出力する。

ステップＳ２０６において、表示制御部１０６は、表示部１１０にＮ視点画像を表示させる。

［視点位置調整処理の例］
次に、図２６のフローチャートを参照して、図２５のステップＳ２０４における視点位置調整処理の例について説明する。なお、図２６の例においては、信頼度が０のときに右に収束させる例が示されている。

視点位置調整部２３１は、ステップＳ２１１において、図２３を参照して上述したように、信頼度に基づいて出力位相を算出する。ステップＳ２１１の処理により算出された出力位相位置は、画像合成部１６２に出力される。

ステップＳ２１２において、視点位置調整部２３１は、図２４を参照して上述した補間方向の選択処理を行う。この補間方向の選択処理について、図２７のフローチャートを参照して説明する。

ここで、nは、視点番号、Nは、総視点数、Rtは、信頼度、R_thは、閾値（パラメータ）、t（０≦t＜T0）は、時間（フレーム）、T0は、ある時間（パラメータ）、t0＝min(T0,t)をそれぞれ表している。さらに、Vn,tは、視点位相、Dn,tは、補間方向、D’n,tは、仮補間方向をそれぞれ表している。

ステップＳ２２１において、視点位置調整部２３１は、tに-1を代入する。ステップＳ２２２において、視点位置調整部２３１は、すべてのシーンが終了したか否かを判定し、すべてのシーンが終了したと判定した場合、補間方向選択処理を終了する。

ステップＳ２２２において、すべてのシーンが終了していないと判定された場合、処理は、ステップＳ２２３に進む。視点位置調整部２３１は、ステップＳ２２３において、tにt+1を代入し、ステップＳ２２４において、nに０を代入する。

視点位置調整部２３１は、ステップＳ２２５において、nがN以上であるか否かを判定し、nがN以上であると判定した場合、ステップＳ２２２に戻り、それ以降の処理が繰り返される。

ステップＳ２２５において、nがN以上ではないと判定された場合、処理は、ステップＳ２２６に進む。視点位置調整部２３１は、ステップＳ２２６において、nにn+1を代入し、ステップＳ２２７において、RtがR_thより小さいか否かを判定する。ステップＳ２２７において、RtがR_th以上であると判定された場合、処理は、ステップＳ２２８に進む。

ステップＳ２２８において、視点位置調整部２３１は、Vn,tが0.5以下であるか否かを判定し、Vn,tが0.5以下であると判定した場合、ステップＳ２２９に進み、D’n,tに”left”（左）を代入する。すなわち、ステップＳ２２９において、左が仮補間方向に設定される。

ステップＳ２２７において、RtがR_thより小さいと判定された場合、処理は、ステップＳ２３０に進む。また、ステップＳ２２８において、Vn,tが0.5より大きいと判定した場合、処理は、ステップＳ２３０に進む。

ステップＳ２３０において、視点位置調整部２３１は、D’n,tに”right”（右）を代入する。すなわち、ステップＳ２３０において、右が仮補間方向に設定される。

ステップＳ２３１において、視点位置調整部２３１は、tが０であるか否かを判定し、tが０ではないと判定した場合、処理は、ステップＳ２３２に進む。ステップＳ２３２において、視点位置調整部２３１は、T0とtの小さい方をt0に代入する。

ステップＳ２３３において、視点位置調整部２３１は、s=t-t0乃至tにおいて、すべてD’n,s=”left”であるか否かを判定する。ステップＳ２３３において、s=t-t0乃至tにおいて、すべてD’n,s=”left”ではないと判定された場合、ステップＳ２３４に進む。

ステップＳ２３４において、視点位置調整部２３１は、s=t-t0乃至tにおいて、すべてD’n,s=” right”であるか否かを判定する。ステップＳ２３４において、s=t-t0乃至tにおいて、すべてD’n,s=” right”であると判定された場合、ステップＳ２３５に進む。ステップＳ２３５において、視点位置調整部２３１は、Dn,tに”right”（右）を代入する。すなわち、ステップＳ２３５において、右が補間方向に設定される。

ステップＳ２３３において、すべてD’n,s=”left”であると判定された場合、処理は、ステップＳ２３６に進む。ステップＳ２３６において、視点位置調整部２３１は、Dn,tに”left”（左）を代入する。すなわち、ステップＳ２３６において、左が補間方向に設定される。

また、ステップＳ２３４において、s=t-t0乃至tにおいて、すべてD’n,s=” right”ではないと判定された場合、ステップＳ２３７に進む。ステップＳ２３７において、視点位置調整部２３１は、Dn,tに” Dn,t-1を代入する。すなわち、ステップＳ２３７において、前フレームの補間方向が、補間方向に設定される。

一方、ステップＳ２３１において、tが０であると判定された場合、処理は、ステップＳ２３８に進む。ステップＳ２３８において、視点位置調整部２３１は、Dn,tに” D’n,tを代入する。すなわち、ステップＳ２３８において、仮補間方向が、補間方向に設定される。

なお、図２７の例において、ステップＳ２３１以降が時間安定化処理である。

以上のように、信頼度に応じて補間方向を設定するようにしたので、左右画像の不整合が大きい場合の補間方向の切り替えを防ぐことができる。

さらに、時間安定化処理を行うようにしたので、補間方向の切り替えが頻繁に発生するのを抑制することができる。すなわち、補間方向の高頻度の時間変動と、左右両眼別々のタイミングでの変動を抑制することができる。

＜４．第３の実施の形態（運動視差）＞
［画像処理装置の表示部の例］
図２８は、本技術を適用した画像処理装置の構成例を説明する図である。

図２８の例において、画像処理装置３００が表示を制御する表示部３０１は、例えば、多視点裸眼３Ｄディスプレイで構成されている。

この場合、表示部３０１に対して、ユーザが見る位置を、例えば図中左から右へ移動すると、見る視点が切り替わって、それが運動視差として体験できるようにするためには、位置に応じて異なる視点画像を提示する必要がある。

例えば、表示部３０１に対して左から中央位置までを左（Ｌ画像）から補間し、表示部３０１に対して中央位置から右までを右（Ｒ画像）から補間することにすると、視点の補間方向が切り替わる場所（例えば、中央位置）が存在する。したがって、図２８の例の場合も、補間方向の切り替わりでエラーが目立つようになる。

これに対して、画像処理装置３００は、図２の画像処理装置１００と同様に、Ｌ画像とＲ画像との視差情報から得られる視差分布を基に視差量を調整し、仮想視点位置の決定処理や補間方向の選択処理等を実行する。

［画像処理装置の構成例］
図２９は、図２８の画像処理装置の構成例を示すブロック図である。

図２９の例において、画像処理装置３００は、左視点画像（Ｌ画像）入力部１０１、右視点画像（Ｒ画像）入力部１０２、視差推定部１０３、仮想視点画像生成部３１１、表示制御部１０６を含むように構成される。画像処理装置３００において生成した画像が表示部３０１に出力される。

図２９の画像処理装置３００は、左視点画像（Ｌ画像）入力部１０１、右視点画像（Ｒ画像）入力部１０２、視差推定部１０３、および表示制御部１０６を備える点が、図２の画像処理装置１００と共通している。図２９の画像処理装置３００は、仮想視点画像生成部１０５が仮想視点画像生成部３１１に入れ替わった点と、表示部１１０が表示部３０１に入れ替わった点が、図２の画像処理装置１００と異なっている。

仮想視点画像生成部３１１には、左視点画像（Ｌ画像）入力部１０１からのＬ画像、右視点画像（Ｒ画像）入力部１０２からのＲ画像、および視差推定部１０３からの視差情報が入力される。

仮想視点画像生成部３１１は、これらの各情報を入力して、仮想視点画像を生成する。なお、図２の仮想視点画像生成部１０５においては、スケール値の時間変化（時間変動）によって、補間方向も時間変化することに対して、図１１および図１６を参照して説明した補間方向の選択処理がなされた。これに対して、図２９の仮想視点画像生成部３１１の場合、補間方向の時間変化は特になく、視点位置自体が移動することにより、補間方向が切り替わってしまうことに対して、図１１および図１６を参照して説明した補間方向の選択処理がなされる。視点位置自体が移動することは、すなわち、時間変動に対して、空間変動（位置変動）である。

すなわち、仮想視点画像生成部３１１は、空間変動（位置変動）により補間方向が切り替わってしまうことに対し、視差推定部１０３からの視差情報から得られる視差分布を基に視差量を調整し、仮想視点位置の決定処理や補間方向の選択処理等を実行する。

［仮想視点画像生成部の構成例］
図３０は、仮想視点画像生成部の構成例を示す図である。

図３０の例において、仮想視点画像生成部３１１は、視点位置調整部３２１および画像合成部１６２を含むように構成されている。図３０の仮想視点画像生成部３１１は、視点位置調整部１６１が視点位置調整部３２１と入れ替わった点のみが図８の仮想視点画像生成部１０５と異なっている。

すなわち、視点位置調整部３２１には、視差推定部１０３から視差情報が供給される。視点位置調整部３２１は、視差推定部１０３から視差情報を基にして視差量を調整し、仮想視点位置（位相）と補間方向を決定する。その際、視点位置調整部３２１においては、図３１に示されるように、スケール値が０のときの収束点が右（左）でなくてもよい自由度があることのみが視点位置調整部１６１の場合と異なっている。

すなわち、視点位置調整部３２１は、仮想視点画像の設定位置（位相）の算出処理を以下のアルゴリズムに従って実行する。

スケール値＝１の場合に生成する仮想視点画像については予め決定しておく。例えば、図３１に示すａ〜ｉの位置である。求めたスケール値をＳ（０≦Ｓ）とする。元の視点位置をＶ０とし、スケール値０のとき、中央に収束させる場合、 スケール値に応じて設定される仮想視点画像位置（位相）Ｖは、次の式（７）で表わされる。
Ｖ＝（Ｖ０−０．５）・Ｓ＋１ ・・・（７）

スケール値が０のときに、例えば、中央（０．５）に収束させたとしても、表示部３０１を見るユーザの顔の位置が移動すれば、補間方向の切り替えが起こり得る。したがって、これに対して、視点位置調整部３２１は、図１１を参照して上述した視点位置調整部１６１と同様に、スケール値に応じて補間方向を選択する。

その際、スケール値（視差レンジ）が小の場合、左右画像の不整合が小さいことから、視点位置調整部３２１は、スケール値が所定の閾値より大きい場合、仮補間方向として、右を設定する。すなわち、この場合、視点位置調整部３２１は、例えば、左への補間方向の切り替えを禁止する。

一方、視点位置調整部３２１は、スケール値が所定の閾値以下の場合、近い方の画像から補間するように、仮補間方向として、すなわち、視点位相が０．５以下であるとき左を設定し、視点位相が０．５より大きいとき右を設定する。すなわち、この場合、視点位置調整部３２１は、補間方向の切り替えを行う（許可する）。

そして、視点位置調整部３２１は、視点位置調整部１６１と同様に、時間安定化処理を行う。例えば、ある一定時間、仮補間方向が左であれば、補間方向が左に設定され、ある一定時間、仮補間方向が右であれば、補間方向が右に設定される。それ以外の場合、視点位置調整部１６１は、前のフレームと同じ方向を補間方向に設定する。

なお、図２９の画像処理装置３００の処理については、基本的に、図１４乃至図１６を参照して上述した、図２の画像処理装置１００と同様の処理を行うので、画像処理装置３００の処理例は、省略される。

以上のように、運動視差の場合も、左右画像の不整合が大きいときの補間方向の切り替えを防ぐことができる。

＜５．第４の実施の形態（運動視差＋顔検出）＞
［画像処理装置の表示部の例］
図３２は、本技術を適用した画像処理装置の構成例を説明する図である。

図３２の例において、画像処理装置４００が表示を制御する表示部４０１は、例えば、図２８の表示部３０１と同様に、多視点裸眼３Ｄディスプレイで構成されている。

そして、表示部４０１の筐体（画面側）には、さらに、ユーザの顔の位置を推定する顔検出カメラ４０２が設けられている。顔検出カメラ４０２の設置位置は、画面上部など考えられるが、限定されない。

この場合、表示部４０１に対して、ユーザが見る位置を、例えば図中左から右へ移動すると、見る視点が切り替わって、それが運動視差として体験できるようにするためには、一に応じて異なる視点画像を提示する必要がある。

例えば、表示部４０１に対して左から中央位置までを左（Ｌ画像）から補間し、表示部４０１に対して中央位置から右までを右（Ｒ画像）から補間することにすると、視点の補間方向が切り替わる場所（中央位置）が存在する。したがって、図３２の例の場合も、補間方向の切り替わりでエラーが目立つようになる。

これに対して、画像処理装置４００は、Ｌ画像とＲ画像との視差情報から得られる視差分布を基に視差量を調整し、仮想視点位置の決定処理や補間方向の選択処理等を実行する。その際に、画像処理装置４００は、顔検出カメラ４０２から検出される顔の位置に応じて補間方向の選択処理を行う。

なお、図３２の例においては、顔検出カメラ４０２が設けられる例を説明したが、顔検出カメラに限定されず、ユーザの顔を検出可能であれば、センサなど他の装置であってもよい。

［画像処理装置の構成例］
図３３は、図３２の画像処理装置の構成例を示すブロック図である。

図３３の例において、画像処理装置４００は、左視点画像（Ｌ画像）入力部１０１、右視点画像（Ｒ画像）入力部１０２、視差推定部１０３、視点位置測定部４１１、仮想視点画像生成部４１２、表示制御部１０６を含むように構成される。画像処理装置１００において生成した画像が表示部４０１に出力される。

図３３の画像処理装置４００は、左視点画像（Ｌ画像）入力部１０１、右視点画像（Ｒ画像）入力部１０２、視差推定部１０３、および表示制御部１０６を備える点が、図２の画像処理装置１００と共通している。図３３の画像処理装置４００は、視点位置測定部４１１が追加された点と、仮想視点画像生成部１０５が仮想視点画像生成部４１２に入れ替わった点とが、図２の画像処理装置１００と異なっている。さらに、図３３の画像処理装置４００は、表示部１１０が表示部４０１に入れ替わった点も、図２の画像処理装置１００と異なっている。

すなわち、視点位置測定部４１１は、顔検出カメラ４０２から入力される画像を用いて、ユーザの顔の位置を検出し、検出した顔の位置に基づいて、右眼に入る視点および左眼に入る視点を推定する。視点位置測定部４１１は、推定した左右の視点位置情報を、仮想視点画像生成部４１２に供給する。

仮想視点画像生成部４１２には、左視点画像（Ｌ画像）入力部１０１からのＬ画像、右視点画像（Ｒ画像）入力部１０２からのＲ画像、視差推定部１０３からの視差情報、および視点位置測定部４１１からの視点位置情報が入力される。

仮想視点画像生成部４１２は、これらの各情報を入力して、仮想視点画像を生成する。なお、図２の仮想視点画像生成部１０５においては、スケール値の時間変化（時間変動）によって、補間方向も時間変化することに対して、図１１および図１６を参照して説明した補間方向の選択処理がなされた。これに対して、図３３の仮想視点画像生成部４１２の場合、図２９の仮想視点画像生成部３１１と同様な補間方向の選択処理がなされる。すなわち、図３３の仮想視点画像生成部４１２においては、補間方向の時間変化は特になく、視点位置自体が移動することにより、補間方向が切り替わってしまうことに対して、図１１および図１６などを参照して上述した補間方向の選択処理がなされる。視点位置自体が移動することは、すなわち、時間変動に対して、空間変動（位置変動）である。

したがって、仮想視点画像生成部４１２は、図２９の仮想視点画像生成部３１１と同様に、空間変動（位置変動）により補間方向が切り替わってしまうことに対し、視差推定部１０３からの視差情報から得られる視差分布を基に視差量を調整し、仮想視点位置の決定処理や補間方向の選択処理等を実行する。

その際に、仮想視点画像生成部４１２は、図２９の仮想視点画像生成部３１１と異なり、視点位置測定部４１１からの左右の視点位置情報を用いて、仮想視点位置の決定処理や補間方向の選択処理等を実行する。そして、仮想視点画像生成部４１２は、視点位置測定部４１１から得られた左右の視点位置情報に基づく２視点画像を表示制御部１０６に供給する。

表示制御部１０６は、仮想視点画像生成部４１２の生成した２視点の画像を表示部４０１に出力する。

［視点位置測定部の動作］
次に、図３４を参照して、視点位置測定部４１１の動作について説明する。視点位置測定部４１１は、顔検出カメラ４０２から入力される画像から、高速な顔検出アルゴリズムを用いて、顔の位置を検出する。

例えば、視点位置測定部４１１は、顔の位置として、顔検出カメラ４０２の中心位置から、ユーザの左眼の位置までの距離XIと、顔検出カメラ４０２の中心位置から、ユーザの右眼の位置までの距離XRとを検出する。

例えば、P.Viola,M.Jones,”Rapid Object Detection Using a Boosted Cascade of Simple Features”,IEEE Conf. on CVPR 2001や、C.Huang et al.,”High-Performance Rotation Invariant Multiview Face Detection”,IEEE PAMI 2007などに記載の顔検出アルゴリズムが用いられる。なお、これらの顔検出アルゴリズムに限定されない。

次に、視点位置測定部４１１は、検出した顔の大きさから距離Ｙを推定し、顔の位置XI, XRと、距離Ｙから、右眼および左眼に入る視点を推定する。視点位置測定部４１１は、推定した左右の視点位置情報を、仮想視点画像生成部４１２に供給する。

［仮想視点画像生成部の構成］
図３５は、仮想視点画像生成部４１２の構成例を示す図である。

図３５の例において、仮想視点画像生成部４１２は、視点位置調整部４２１および画像合成部１６２を含むように構成されている。図３５の仮想視点画像生成部４１２は、視点位置調整部１６１が視点位置調整部４２１と入れ替わった点のみが図８の仮想視点画像生成部１０５と異なっている。

視点位置調整部４２１には、視点位置測定部４１１からの左右の視点位置情報が供給される。視点位置調整部４２１は、視点位置測定部４１１からの左右の視点位置情報に基づいて、仮想視点位置（位相）と補間方向を決定する。

すなわち、視点位置調整部４２１は、視点位置測定部４１１から得られた２視点をそのまま出力視点位置として決定する。また、視点位置調整部４２１は、視点位相に応じて、仮補間方向を設定し、顔の位置の移動に応じて時間安定化処理を行って補間方向を決定する。

具体的には、顔の位置の移動が所定の閾値よりも小さい場合、前のフレームと同じ補間方向が選択される。すなわち、この場合、補間方向の切り替えが禁止される。顔の位置の移動が所定の閾値よりも大きい場合、補間方向の切り替えが許可される。ただし、この場合、時間安定化処理が実行され、仮補間方向が左のとき、一定時間左が続いているのであれば、左が補間方向に設定される。また、仮補間方向が右のとき、一定時間右が続いているのであれば、左が補間方向に設定される。そのどちらでもない場合、前のフレームと同じ補間方向が設定される。

視点位置調整部４２１は、決定した２視点の仮想視点位置の情報と補間方向の情報を画像合成部１６２供給する。

画像合成部１６２には、左視点画像（Ｌ画像）入力部１０１からＬ画像、右視点画像（Ｒ画像）入力部１０２からＲ画像、視差推定部１０３から視差情報、視点位置調整部４２１から２視点の仮想視点位置と補間方向の情報が入力される。

画像合成部１６２は、これらの情報に基づいて、ＬＲ画像に、調整した２視点位置の画像を合成して、後段の表示制御部１０６に出力する。

［画像処理装置の処理例］
次に、図３６のフローチャートを参照して、図３３の画像処理装置４００の画像処理について説明する。なお、図３６のステップＳ４０１およびＳ４０２の処理は、図１４のステップＳ１０１およびＳ１０２の処理と基本的に同様の処理を行う。

ステップＳ４０１において、左視点画像（Ｌ画像）入力部１０１および右視点画像（Ｒ画像）入力部１０２は、それぞれ、左視点画像（Ｌ画像）および右視点画像（Ｒ画像）を入力する。入力された左視点画像（Ｌ画像）および右視点画像（Ｒ画像）は、視差推定部１０３、および仮想視点画像生成部４１２に供給される。

ステップＳ４０２において、視差推定部１０３は、供給された左視点画像（Ｌ画像）および右視点画像（Ｒ画像）を用いて、図３および図４を参照して上述したように、視差を推定する。視差推定部１０３による推定結果の視差情報は、仮想視点画像生成部４１２に供給される。

ステップＳ４０３において、視点位置測定部４１１は、顔検出カメラ４０２から入力される画像を用いて、視点位置を測定する。すなわち、視点位置測定部４１１は、顔検出カメラ４０２から入力される画像を用いて、図３４を参照して上述したように、ユーザの顔の位置を検出し、検出した顔の位置に基づいて、右眼に入る視点および左眼に入る視点を推定する。視点位置測定部４１１は、推定した左右の視点位置情報を、仮想視点画像生成部４１２に供給する。

ステップＳ４０４およびＳ４０５において、仮想視点画像生成部４１２は、仮想視点画像生成処理を行う。

すなわち、ステップＳ４０４において、視点位置調整部４２１は、視点位置を調整する。視点位置の調整処理については、図３７を参照して後述するが、ステップＳ４０４により、２視点分の出力位相位置の情報と、２視点分の補間方向の情報が生成され、画像合成部１６２に供給される。

画像合成部１６２には、さらに、左視点画像（Ｌ画像）入力部１０１からＬ画像、右視点画像（Ｒ画像）入力部１０２からＲ画像、視差推定部１０３から視差情報が入力される。

ステップＳ４０５において、画像合成部１６２は、これらの情報に基づいて、ＬＲ画像に、調整した２視点位置の画像を合成する。

すなわち、図１２および図１３を参照して上述したように、画像合成部１６２の一視点画像合成部１７１−１および１７１−２は、出力位相位置に対応する仮想視点画像を、入力Ｌ画像および入力Ｒ画像を用い、視差情報に基づいて生成する。一視点画像合成部１７１−１および１７１−２は、補間方向に対応する方向（右または左）の画像を用いて生成された仮想視点画像を選択して、２視点の合成画像として、後段の表示制御部１０６に出力する。

ステップＳ４０６において、表示制御部１０６は、表示部４０１に２視点画像を表示させる。

［視点位置調整処理の例］
次に、図３７のフローチャートを参照して、図３６のステップＳ４０４における視点位置調整処理の例について説明する。

視点位置調整部４２１は、ステップＳ４１１において、視点位置測定部４１１からの視点位置情報に基づき、視点位置測定部４１１により測定された２視点を出力位相として設定する。ステップＳ４１１の処理により設定された２視点の出力位相位置は、画像合成部１６２に出力される。

ステップＳ４１２において、視点位置調整部４２１は、視点位置測定部４１１からの視点位置情報に基づいて、補間方向の選択処理を行う。この補間方向の選択処理について、図３８のフローチャートを参照して説明する。

ここで、nは、視点番号、Pn,tは、眼の位置、P_thは、閾値（パラメータ）、t（０≦t＜T0）は、時間（フレーム）、T0は、ある時間（パラメータ）、t0＝min(T0,t)をそれぞれ表している。さらに、Vn,tは、視点位相、Dn,tは、補間方向、D’n,tは、仮補間方向をそれぞれ表している。

ステップＳ４２１において、視点位置調整部４２１は、tに-1を代入する。ステップＳ４２２において、視点位置調整部４２１は、すべてのシーンが終了したか否かを判定し、すべてのシーンが終了したと判定した場合、補間方向選択処理を終了する。

ステップＳ４２２において、すべてのシーンが終了していないと判定された場合、処理は、ステップＳ４２３に進む。視点位置調整部４２１は、ステップＳ４２３において、tにt+1を代入し、ステップＳ４２４において、nに０を代入する。

視点位置調整部４２１は、ステップＳ４２５において、nが２以上であるか否かを判定し、nが２以上であると判定した場合、ステップＳ４２２に戻り、それ以降の処理が繰り返される。この２は、視点の数である。

ステップＳ４２５において、nがN以上ではないと判定された場合、処理は、ステップＳ４２６に進む。視点位置調整部４２１は、ステップＳ４２６において、nにn+1を代入する。

ステップＳ４２７において、視点位置調整部４２１は、Vn,tが0.5以下であるか否かを判定し、Vn,tが0.5以下であると判定した場合、ステップＳ４２８に進み、D’n,tに”left”（左）を代入する。すなわち、ステップＳ４２８において、左が仮補間方向に設定される。

ステップＳ４２７において、Vn,tが0.5より大きいと判定した場合、処理は、ステップＳ４２９に進む。ステップＳ４２９において、視点位置調整部４２１は、D’n,tに”right”（右）を代入する。すなわち、ステップＳ４２９において、右が仮補間方向に設定される。

ステップＳ４３０において、視点位置調整部４２１は、tが０であるか否かを判定し、tが０ではないと判定した場合、処理は、ステップＳ４３１に進む。ステップＳ４３１において、視点位置調整部４２１は、視点位置測定部４１１からの視点位置情報に基づいて、眼の位置が大きく移動したか否かを判定する。

ステップＳ４３１において、眼の位置が大きく移動していないと判定された場合、処理は、ステップＳ４３２に進む。ステップＳ４３２において、視点位置調整部４２１は、T0とtの小さい方をt0に代入する。

ステップＳ４３３において、視点位置調整部４２１は、s=t-t0乃至tにおいて、すべてD’n,s=”left”であるか否かを判定する。ステップＳ４３３において、s=t-t0乃至tにおいて、すべてD’n,s=”left”ではないと判定された場合、ステップＳ４３４に進む。

ステップＳ４３４において、視点位置調整部４２１は、s=t-t0乃至tにおいて、すべてD’n,s=” right”であるか否かを判定する。ステップＳ４３４において、s=t-t0乃至tにおいて、すべてD’n,s=” right”であると判定された場合、ステップＳ４３５に進む。ステップＳ４３５において、視点位置調整部４２１は、Dn,tに”right”（右）を代入する。すなわち、ステップＳ４３５において、右が補間方向に設定される。

ステップＳ４３３において、すべてD’n,s=”left”であると判定された場合、処理は、ステップＳ４３６に進む。ステップＳ４３６において、視点位置調整部４２１は、Dn,tに”left”（左）を代入する。すなわち、ステップＳ４３６において、左が補間方向に設定される。

ステップＳ４３４において、s=t-t0乃至tにおいて、すべてD’n,s=” right”ではないと判定された場合、ステップＳ４３７に進む。また、ステップＳ４３１において、眼の位置が大きく移動したと判定された場合、処理は、ステップＳ４３７に進む。ステップＳ４３７において、視点位置調整部４２１は、Dn,tに” Dn,t-1を代入する。すなわち、ステップＳ４３７において、前フレームの補間方向が、補間方向に設定される。

一方、ステップＳ４３０において、tが０であると判定された場合、処理は、ステップＳ４３８に進む。ステップＳ４３８において、視点位置調整部４２１は、Dn,tに” D’n,tを代入する。すなわち、ステップＳ４３８において、仮補間方向が、補間方向に設定される。

なお、図３８の例において、ステップＳ４３０以降が時間安定化処理である。

以上のように、検出された顔の位置に応じて補間方向を設定するようにしたので、左右画像の不整合が大きい場合の補間方向の切り替えを防ぐことができる。

さらに、時間安定化処理を行うようにしたので、補間方向の切り替えが頻繁に発生するのを抑制することができる。すなわち、補間方向の高頻度の時間変動と、左右両眼別々のタイミングでの変動を抑制することができる。

なお、上記説明においては、表示部４０１を見ているユーザが１人の場合の例を説明した。この場合、上述したように、左右の眼に入る２視点分の画像のみ合成すればよい。一方、表示部４０１を見ているユーザが複数人の場合、人数分に、上述した２視点分の場合と同様の処理が行われる。視点位置が重なる場合には、例えば、先に見ていた人を優先する、前に見ていた人を優先する、あるいは、画面中央に近い人を優先するなど、優先度を付けるようにしてもよい。

＜６．第５の実施の形態（ヘッドマウントディスプレイ）＞
［画像処理装置の表示部の例］
図３９は、本技術を適用した画像処理装置を説明する図である。

図３９のＡにおいては、従来の画像処理装置が表示を制御する表示部１２が示されている。図３９のＢにおいては、本技術を適用した画像処理装置５００が表示を制御する表示部５０１が示されている。

表示部１２および表示部５０１は、例えば、ヘッドマウントディスプレイで構成されており、ユーザの頭部に装着されている。

図３９のＡに示されるように、ユーザが表示部１２を付けて平行移動や回転を行っても、従来の画像処理装置で処理される出力視点に変化はなく、従来の表示部１２に表示される左視点画像ａ１および右視点画像ｂ１は同じであった。

これに対して、図３９のＢに示されるように、ユーザが表示部５０１を付けて平行移動や回転を行うと、図３２の例の場合と同様に、見る視点を切り替えて、それが運動視差として体験できるようにすることができる。そのためには、画像処理装置５００において、位置に応じて異なる視点画像を提示する必要がある。

例えば、ユーザが左側を向く場合、左（Ｌ画像）から補間することで、表示部５０１には、左視点画像ａ１および右視点画像ｂ１が表示される。また、ユーザが右側を向く場合、右（Ｌ画像）から補間することで、表示部５０１には、左視点画像ａ２および右視点画像ｂ２が表示される。

このような場合、図３２の例の場合と同様に、視点の補間方向が切り替わる場所（中央位置）が存在し、補間方向の切り替わりでエラーが目立つようになる。

これに対して、画像処理装置５００も、Ｌ画像とＲ画像との視差情報から得られる視差分布を基に視差量を調整し、仮想視点位置の決定処理や補間方向の選択処理等を実行する。その際に、画像処理装置５００は、図３３で後述する視点位置測定部５１１から検出される視点位置（ユーザの顔の位置および向き）に応じて補間方向の選択処理を行う。

［画像処理装置の構成例］
図４０は、図３９の画像処理装置５００の構成例を示すブロック図である。

図４０の例において、画像処理装置５００は、左視点画像（Ｌ画像）入力部１０１、右視点画像（Ｒ画像）入力部１０２、視差推定部１０３、視点位置測定部５１１、仮想視点画像生成部４１２、表示制御部１０６を含むように構成される。画像処理装置１００において生成した画像が表示部５０１に出力される。

図４０の画像処理装置５００は、左視点画像（Ｌ画像）入力部１０１、右視点画像（Ｒ画像）入力部１０２、視差推定部１０３、表示制御部１０６、および仮想視点画像生成部４１２を備える点が、図３３の画像処理装置４００と共通している。図４０の画像処理装置５００は、視点位置測定部４１１が視点位置測定部５１１に入れ替わった点が、図３３の画像処理装置４００と異なっている。さらに、図４０の画像処理装置５００は、表示部４０１が表示部５０１に入れ替わった点も、図３３の画像処理装置４００と異なっている。

すなわち、視点位置測定部５１１は、例えば、位置（加速度）センサなどで構成されており、ユーザの動き（ユーザの顔の位置および向き）を検出し、検出した動きに基づいて、右眼に入る視点および左眼に入る視点を推定する。視点位置測定部５１１は、推定した左右の視点位置情報を、仮想視点画像生成部４１２に供給する。

仮想視点画像生成部４１２には、左視点画像（Ｌ画像）入力部１０１からのＬ画像、右視点画像（Ｒ画像）入力部１０２からのＲ画像、視差推定部１０３からの視差情報、および視点位置測定部５１１からの視点位置情報が入力される。

仮想視点画像生成部４１２は、これらの各情報を入力して、仮想視点画像を生成する。なお、図３３で上述したように、仮想視点画像生成部４１２は、視点位置自体が移動することにより補間方向が切り替わってしまうことに対し、視差推定部１０３からの視差情報から得られる視差分布を基に視差量を調整し、仮想視点位置の決定処理や補間方向の選択処理等を実行する。

その際に、仮想視点画像生成部４１２は、視点位置測定部５１１からの左右の視点位置情報を用いて、仮想視点位置の決定処理や補間方向の選択処理等を実行する。そして、仮想視点画像生成部４１２は、視点位置測定部４１１から得られた左右の視点位置情報に基づく２視点画像を表示制御部１０６に供給する。

表示制御部１０６は、仮想視点画像生成部４１２の生成した２視点の画像を表示部５０１に出力する。

なお、図４０の画像処理装置５００の処理については、基本的に、図３６乃至図３８を参照して上述した、図３３の画像処理装置４００と同様の処理を行うので、画像処理装置５００の処理例は、省略される。

以上のように、ヘッドマウントディスプレイにおける運動視差の場合も、左右画像の不整合が大きいときの補間方向の切り替えを防ぐことができる。

なお、上記説明においてはリアルタイム処理の例を説明してきたが、本技術は、次に説明するようにオフライン処理にも適用することが可能である。

＜７．第６の実施の形態（オフライン処理）＞
［画像処理装置の構成例］
図４１は、本技術を適用した画像処理装置の他の構成例を示すブロック図である。

図４１の例において、画像処理装置６００は、左視点画像（Ｌ画像）入力部１０１、右視点画像（Ｒ画像）入力部１０２、視差推定部１０３、シーンチェンジ検出部６０１、仮想視点画像生成部６０２、表示制御部１０６を含むように構成される。画像処理装置６００において生成した画像が表示部１１０に出力される。

図４１の画像処理装置６００は、左視点画像（Ｌ画像）入力部１０１、右視点画像（Ｒ画像）入力部１０２、視差推定部１０３、および表示制御部１０６を備える点が、図２の画像処理装置１００と共通している。図４１の画像処理装置６００は、シーンチェンジ検出部６０１が追加された点と、仮想視点画像生成部１０５が仮想視点画像生成部６０２に入れ替わった点とが、図２の画像処理装置１００と異なっている。

すなわち、左視点画像（Ｌ画像）入力部１０１からのＬ画像は、シーンチェンジ検出部６０１にも供給される。

シーンチェンジ検出部６０１は、左視点画像（Ｌ画像）入力部１０１からのＬ画像を用いて、シーンチェンジの有無を検出し、検出したシーンチェンジの情報を、仮想視点画像生成部６０２に供給する。

左視点画像（Ｌ画像）入力部１０１からのＬ画像と、右視点画像（Ｒ画像）入力部１０２からのＲ画像、視差推定部１０３からの視差情報、シーンチェンジ検出部６０１からのシーンチェンジの情報が、仮想視点画像生成部６０２に供給される。

さらに、左視点画像（Ｌ画像）入力部１０１からタイムコードも、仮想視点画像生成部６０２に供給される。

仮想視点画像生成部６０２は、シーンの解析処理を行う。仮想視点画像生成部６０２は、シーンチェンジ検出部６０１からのシーンチェンジ情報と視差推定部１０３からの視差情報とを用いて、シーン毎に視差レンジを測定し記録する。

また、仮想視点画像生成部６０２は、入力された情報から求められる視差分布（視差レンジ）を基にして、視差量を調整、すなわち生成する仮想視点位置（位相）を決定する。そして、仮想視点画像生成部６０２は、記録されているシーン毎の視差レンジの情報を用いて、シーンチェンジのとき、シーン毎のスケール値に応じた補間方向の選択処理を行う。

仮想視点画像生成部６０２は、決定した仮想視点位置（位相）に対応する仮想視点画像を、選択した補間方向の画像に基づいて生成する。仮想視点画像生成部１０５は、生成した仮想視点画像、すなわち、調整した視点位置の画像を合成して後段の表示制御部１０６に出力する。

［シーンチェンジ検出部の処理］
図４２を参照して、シーンチェンジ検出部６０１の処理について説明する。

シーンチェンジ検出部６０１は、画面を複数の領域（図４２の例の場合、９つの領域）に分割する。

シーンチェンジ検出部６０１は、各領域に対して、画素毎に輝度の時間変化量（≧０）を求め、その合計値をDm[m=1,…,9]とする。図４２の例の場合、時刻t-1におけるA1領域と、時刻tにおけるA1領域において、画素毎に輝度の時間変化量の合計値D1が求められる。時刻t-1におけるA2領域と、時刻tにおけるA2領域において、画素毎に輝度の時間変化量の合計値D2が求められる。時刻t-1におけるA3領域と、時刻tにおけるA3領域において、画素毎に輝度の時間変化量の合計値D3が求められる。

時刻t-1におけるA4領域と、時刻tにおけるA4領域において、画素毎に輝度の時間変化量の合計値D4が求められる。時刻t-1におけるA5領域と、時刻tにおけるA5領域において、画素毎に輝度の時間変化量の合計値D5が求められる。時刻t-1におけるA6領域と、時刻tにおけるA6領域において、画素毎に輝度の時間変化量の合計値D6が求められる。

時刻t-1におけるA7領域と、時刻tにおけるA7領域において、画素毎に輝度の時間変化量の合計値D7が求められる。時刻t-1におけるA8領域と、時刻tにおけるA8領域において、画素毎に輝度の時間変化量の合計値D8が求められる。時刻t-1におけるA9領域と、時刻tにおけるA9領域において、画素毎に輝度の時間変化量の合計値D9が求められる。

シーンチェンジ検出部６０１は、Dm＜D_th（閾値）となる領域の数Mを求め、M＞M_th（閾値）ならば、シーンチェンジありと判定し、それ以外であれば、シーンチェンジなしと判定する。

シーンチェンジ検出部６０１は、シーンチェンジがあった場合、シーンの番号とシーンのタイムコードを、シーンチェンジ情報として仮想視点画像生成部６０２に供給する。

［仮想視点画像生成部の構成］
図４３は、シーンの解析処理を行う仮想視点画像生成部６０２の構成例を示す図である。

図４３の例において、シーンの解析処理を行う仮想視点画像生成部６０２は、視点位置調整部６１１およびメモリ６１２を含むように構成されている。

視点位置調整部６１１には、シーンチェンジ検出部６０１からのシーンチェンジ情報、左視点画像（Ｌ画像）入力部１０１からのタイムコード、および視差推定部１０３から視差情報が供給される。

視点位置調整部６１１は、供給される情報を用いて、シーン毎にスケール値の最大値を求め、シーン毎のスケール値の最大値、シーンのタイムコード、およびシーン番号の最大値をメモリ６１２に記録する。

メモリ６１２は、シーン毎のスケール値の最大値、シーンのタイムコード、およびシーン番号の最大値を蓄積する。

図４４は、補間方向の選択処理と画像合成処理を行う仮想視点画像生成部６０２の構成例を示す図である。

図４４の例において、補間方向の選択処理と画像合成処理を行う仮想視点画像生成部６０２は、視点位置調整部６１１、メモリ６１２、および画像合成部６２１を含むように構成されている。

視点位置調整部６１１には、左視点画像（Ｌ画像）入力部１０１からのタイムコード、および視差推定部１０３から視差情報が供給される。

視点位置調整部６１１は、視差推定部１０３から視差情報を基にして視差量を調正し、仮想視点位置（位相）を決定する。また、視点位置調整部６１１は、メモリ６１２に記録されているシーン毎のスケール値の最大値、シーンのタイムコード、およびシーン番号の最大値に応じて補間方向を選択する。

視点位置調整部６１１は、決定した仮想視点位置の情報と補間方向の情報を画像合成部６２１に供給する。

画像合成部６２１は、図８の画像合成部１６２と基本的に同じ構成をしている。画像合成部６２１には、左視点画像（Ｌ画像）入力部１０１からＬ画像、右視点画像（Ｒ画像）入力部１０２からＲ画像、視差推定部１０３から視差情報、視点位置調整部１６１から仮想視点位置の情報および補間方向の情報が入力される。

画像合成部６２１は、これらの情報に基づいて、ＬＲ画像に、調整した視点位置の画像を合成して、後段の表示制御部１０６に出力する。

［画像処理装置の処理例］
次に、図４５のフローチャートを参照して、図４１の画像処理装置６００の画像処理について説明する。なお、図４５のステップＳ６０１、Ｓ６０２、Ｓ６０６、およびＳ６０７の処理は、図１４のステップＳ１０１、Ｓ１０２、Ｓ１０４、およびＳ１０５の処理と基本的に同様の処理を行う。

ステップＳ６０１において、左視点画像（Ｌ画像）入力部１０１および右視点画像（Ｒ画像）入力部１０２は、それぞれ、左視点画像（Ｌ画像）および右視点画像（Ｒ画像）を入力する。

入力された左視点画像（Ｌ画像）および右視点画像（Ｒ画像）は、視差推定部１０３および仮想視点画像生成部６０２に供給される。

ステップＳ６０２において、視差推定部１０３は、供給された左視点画像（Ｌ画像）および右視点画像（Ｒ画像）を用いて、図３および図４を参照して上述したように、視差を推定する。視差推定部１０３による推定結果の視差情報は、仮想視点画像生成部６０２に供給される。

ステップＳ６０３において、シーンチェンジ検出部６０１は、図４２を参照して上述したように、シーンチェンジを検出する。シーンチェンジ検出部６０１は、シーンチェンジがあった場合、シーンの番号とシーンのタイムコードを、シーンチェンジ情報として仮想視点画像生成部６０２に供給する。

ステップＳ６０４、Ｓ６０５、およびＳ６０６において、仮想視点画像生成部６０２は、仮想視点画像生成処理を行う。

すなわち、ステップＳ６０４において、視点位置調整部６１１は、シーン解析処理を行う。シーン解析処理については、図４６を参照して後述するが、ステップＳ６０４により、シーンが解析され、シーン毎のスケール値の最大値、シーンのタイムコード、およびシーン番号の最大値がメモリ６１２に保存される。

ステップＳ６０５において、視点位置調整部６１１は、視点位置を調整する。この視点位置の調整処理により、Ｎ視点分の出力位相位置の情報と、Ｎ視点分の補間方向の情報が生成され、画像合成部６２１に供給される。

なお、視点位置調整処理は、図１５を参照して上述した処理のうち、ステップＳ１１５における補間方向選択処理以外の処理は基本的に同様であり、その説明は繰り返しになるので省略する。異なる補間方向選択処理については、図４７を参照して後述する。

画像合成部６２１には、さらに、左視点画像（Ｌ画像）入力部１０１からＬ画像、右視点画像（Ｒ画像）入力部１０２からＲ画像、視差推定部１０３から視差情報が入力される。

ステップＳ６０６において、画像合成部６２１は、これらの情報に基づいて、ＬＲ画像に、調整した視点位置の画像を合成し、合成したＮ視点の画像を表示制御部１０６に供給する。

ステップＳ６０７において、表示制御部１０６は、表示部１１０にＮ視点画像を表示させる。

［シーン解析処理の例］
次に、図４６のフローチャートを参照して、図４５のステップＳ６０４におけるシーン解析処理の例について説明する。

ここで、sceneChangeは、シーンチェンジ情報、sceneNoは、シーン番号（初期値０）、S_max[s]は、シーンsのスケール値の最大値、Stは、スケール値を、それぞれ表している。また、time_codeは、タイムコード、time[s]は、シーンsのタイムコード、scene_maxは、シーン番号の最大値を、それぞれ表している。

視点位置調整部６１１は、ステップＳ６２１において、sceneNoに０を代入し、ステップＳ６２２において、tに−１を代入する。

視点位置調整部６１１は、ステップＳ６２３において、sceneNoがscene_maxになったか、すなわち、全シーンが終了したかを判定し、終了したと判定した場合、シーン解析処理を終了する。

ステップＳ６２３において、全シーンが終了していないと判定された場合、処理は、ステップＳ６２４に進む。視点位置調整部６１１は、ステップＳ６２４において、tにt+1を代入し、ステップＳ６２５において、シーンチェンジ検出部６０１からのシーンチェンジ情報sceneChangeを参照して、シーンチェンジが発生したか否かを判定する。

ステップＳ６２５において、シーンチェンジが発生したと判定された場合、処理は、ステップＳ６２６に進む。視点位置調整部６１１は、ステップＳ６２６において、sceneNoに、sceneNo+1を代入し、ステップＳ６２７において、time[sceneNo]にtを代入し、処理は、ステップＳ６２９に進む。

一方、ステップＳ６２５において、シーンチェンジが発生していないと判定された場合、処理は、ステップＳ６２８に進む。視点位置調整部６１１は、ステップＳ６２８において、S_max[sceneNo]がStより小さいかを判定し、Stより小さいと判定した場合、処理は、ステップＳ６２９に進む。

視点位置調整部６１１は、ステップＳ６２９において、S_max[sceneNo]にStを代入し、ステップＳ６２３の処理に戻り、それ以降の処理を繰り返す。

ステップＳ６２８において、Stより小さくないと判定した場合、ステップＳ６２９の処理はスキップされ、処理は、ステップＳ６２３に戻り、それ以降の処理が繰り返される。

以上の処理で、視点位置調整部６１１により、シーンsのスケール値の最大値であるS_max[s]、シーンsのタイムコードであるtime[s]、およびシーン番号の最大値であるscene_maxがメモリ６１２に保存される。

［補間方向選択処理の例］
次に、図４７のフローチャートを参照して、補間方向の選択処理について説明する。なお、この処理は、図４５のステップＳ６０５の視点位置調整処理のうちの、（すなわち、図１５のステップＳ１１５における）補間方向選択処理である。

ここで、nは、視点番号、Nは、総視点数、sceneChangeは、シーンチェンジ情報、sceneNoは、シーン番号（初期値０）、S_max[s]は、シーンsのスケール値の最大値、S_thは、閾値（パラメータ）を、それぞれ表している。また、Vn,tは、視点位相、Dn,tは、補間方向、time_codeは、タイムコード、time[s]は、シーンsのタイムコード、scene_maxは、シーン番号の最大値を、それぞれ表している。

この補間方向の選択処理において、シーン解析処理によりメモリ６１２に保存されたシーンsのスケール値の最大値であるS_max[s]、シーンsのタイムコードであるtime[s]、およびシーン番号の最大値であるscene_maxが用いられる。すなわち、シーンsのタイムコードが保存されているので、図４７の処理の際にシーンチェンジ検出が不要となる。

ステップＳ６４１において、視点位置調整部６１１は、tに-1を代入する。ステップＳ６４２において、視点位置調整部６１１は、sceneNoがscene_maxになったか、すなわち、すべてのシーンが終了したか否かを判定し、すべてのシーンが終了したと判定した場合、補間方向選択処理を終了する。

ステップＳ６４２において、すべてのシーンが終了していないと判定された場合、処理は、ステップＳ６４３に進む。視点位置調整部６１１は、ステップＳ６４３において、tにt+1を代入し、ステップＳ６４４において、nに０を代入する。

視点位置調整部６１１は、ステップＳ６４５において、nがN以上であるか否かを判定し、nがN以上であると判定した場合、ステップＳ６４２に戻り、それ以降の処理が繰り返される。

ステップＳ６４５において、nがN以上ではないと判定された場合、処理は、ステップＳ６４６に進む。視点位置調整部６１１は、ステップＳ６４６において、nにn+1を代入し、ステップＳ６４７において、sceneNoに、時刻tにおけるシーン番号を代入する。ステップＳ６４８において、視点位置調整部６１１は、S_max[sceneNo]がS_thより大きいか否かを判定する。

ステップＳ６４８において、S_max[sceneNo]がS_th以下であると判定された場合、処理は、ステップＳ６４９に進む。

ステップＳ６４９において、視点位置調整部６１１は、Vn,tが0.5以下であるか否かを判定し、Vn,tが0.5以下であると判定した場合、ステップＳ６５０に進み、Dn,tに”left”（左）を代入する。すなわち、ステップＳ６５０において、左が補間方向に設定され、その後、処理は、ステップＳ６４５に戻り、それ以降の処理が繰り返される。

ステップＳ６４８において、StがS_thより大きいと判定された場合、処理は、ステップＳ６５１に進む。また、ステップＳ６４９において、Vn,tが0.5より大きいと判定した場合、処理は、ステップＳ６５１に進む。

ステップＳ６５１において、視点位置調整部６１１は、Dn,tに”right”（右）を代入する。すなわち、ステップＳ６５１において、右が補間方向に設定され、その後、処理は、ステップＳ６４５に戻り、それ以降の処理が繰り返される。

以上のように、シーンチェンジが検出されたときのみ、スケール値の最大値が閾値を超えるかどうかが判定される。また、スケール値の最大値が閾値を超える場合に、補間方向の切り替えが禁止され、スケール値の最大値が閾値以下の場合に、補間方向の切り替えが許可される。

すなわち、スケール値の最大値が閾値を超えるとは、一瞬でも左右の不整合が目立つ期間が存在するといえる。したがって、以上のように、スケール値の最大値が閾値を超える場合に、補間方向の切り替えを禁止し、シーン全体で右から補間に統一するようにすることで、シーンにおける左右の不整合を抑制することができる。

なお、図４１の例においては、図２の画像処理装置１００に、シーンチェンジ検出部６０１を組み合わせた例として画像処理装置６００を説明したが、組み合わせの例は、これに限らない。すなわち、上述した図１７の画像処理装置２００、図２９の画像処理装置３００、図３３の画像処理装置４００、図４０の画像処理装置５００にも、シーンチェンジ検出部６０１を組み合わせてもよい。例えば、図１７の画像処理装置２００に、図４１のシーンチェンジ検出部６０１を組み合わせた場合の構成について以下説明する。

［画像処理装置の構成例］
図４８は、本技術を適用した画像処理装置の他の構成例を示すブロック図である。

図４８の例において、画像処理装置７００は、左視点画像（Ｌ画像）入力部１０１、右視点画像（Ｒ画像）入力部１０２、視差推定部１０３、信頼度算出部２０１、シーンチェンジ検出部６０１、仮想視点画像生成部６０２、表示制御部１０６を含むように構成される。画像処理装置７００において生成した画像が表示部１１０に出力される。

図４８の画像処理装置７００は、左視点画像（Ｌ画像）入力部１０１、右視点画像（Ｒ画像）入力部１０２、視差推定部１０３、シーンチェンジ検出部６０１、仮想視点画像生成部６０２、表示制御部１０６を備える点が、図４１の画像処理装置６００と共通している。図４８の画像処理装置７００は、図１７の信頼度算出部２０１が追加された点が、図４１の画像処理装置６００と異なっている。

すなわち、左視点画像（Ｌ画像）入力部１０１からのＬ画像と、右視点画像（Ｒ画像）入力部１０２からのＲ画像、視差推定部１０３からの視差情報、信頼度算出部２０１からの信頼度情報が、仮想視点画像生成部６０２に供給される。また、シーンチェンジ検出部６０１からのシーンチェンジの情報、左視点画像（Ｌ画像）入力部１０１からタイムコードも、仮想視点画像生成部６０２に供給される。

仮想視点画像生成部６０２は、シーンの解析処理を行う。仮想視点画像生成部６０２は、シーンチェンジ検出部６０１からのシーンチェンジ情報と信頼度算出部２０１からの信頼度情報とを用いて、シーン毎に視差レンジを測定し記録する。

また、仮想視点画像生成部６０２は、信頼度算出部２０１からの信頼度情報を基にして、視差量を調整、すなわち生成する仮想視点位置（位相）を決定し、記録されているシーン毎の視差レンジの情報を用いて、シーン毎の信頼度に応じた補間方向の選択処理を行う。

仮想視点画像生成部６０２は、決定した仮想視点位置（位相）に対応する仮想視点画像を、選択した補間方向の画像に基づいて生成する。仮想視点画像生成部６０２は、生成した仮想視点画像、すなわち、調整した視点位置の画像を合成して後段の表示制御部１０６に出力する。

［画像処理装置の処理例］
次に、図４９のフローチャートを参照して、図４８の画像処理装置７００の画像処理について説明する。なお、図４９のステップＳ７０１、Ｓ７０２、Ｓ７０４、Ｓ７０７、およびＳ７０８の処理は、図４５のステップＳ６０１、Ｓ６０２、Ｓ６０３、Ｓ６０６、およびＳ６０７の処理と基本的に同様の処理を行う。また、図４９のステップＳ７０３の処理は、図２５のステップＳ２０３の処理と基本的に同様の処理を行う。

ステップＳ７０１において、左視点画像（Ｌ画像）入力部１０１および右視点画像（Ｒ画像）入力部１０２は、それぞれ、左視点画像（Ｌ画像）および右視点画像（Ｒ画像）を入力する。

入力された左視点画像（Ｌ画像）および右視点画像（Ｒ画像）は、視差推定部１０３および仮想視点画像生成部１０５に供給される。

ステップＳ７０２において、視差推定部１０３は、供給された左視点画像（Ｌ画像）および右視点画像（Ｒ画像）を用いて、図３および図４を参照して上述したように、視差を推定する。視差推定部１０３による推定結果の視差情報は、仮想視点画像生成部６０２に供給される。

ステップＳ７０３において、信頼度算出部２０１は、図１８乃至図２１を参照して上述したように、視差推定部１０３が入力ＬＲ画像に基づいて推定した各画素単位あるいは画素領域単位の視差情報の信頼度を算出する。信頼度算出部２０１は、算出した信頼度の情報を、仮想視点画像生成部６０２に供給する。

ステップＳ７０４において、シーンチェンジ検出部６０１は、図４２を参照して上述したように、シーンチェンジを検出する。シーンチェンジ検出部６０１は、シーンチェンジがあった場合、シーンの番号とシーンのタイムコードを、シーンチェンジ情報として仮想視点画像生成部６０２に供給する。

ステップＳ７０５、Ｓ７０６、およびＳ７０７において、仮想視点画像生成部６０２は、仮想視点画像生成処理を行う。

すなわち、ステップＳ７０５において、視点位置調整部６１１は、シーン解析処理を行う。シーン解析処理については、図５０を参照して後述するが、ステップＳ７０５により、シーンが解析され、シーン毎の信頼度の最小値、シーンのタイムコード、およびシーン番号の最大値がメモリ６１２に保存される。

ステップＳ７０６において、視点位置調整部６１１は、視点位置を調整する。この視点位置の調整処理により、Ｎ視点分の出力位相位置の情報と、Ｎ視点分の補間方向の情報が生成され、画像合成部６２１に供給される。

なお、視点位置調整処理は、図２５を参照して上述した処理のうち、ステップＳ２１２における補間方向選択処理以外の処理は基本的に同様であり、その説明は繰り返しになるので省略する。異なる補間方向選択処理については、図５１を参照して後述する。

画像合成部６２１には、さらに、左視点画像（Ｌ画像）入力部１０１からＬ画像、右視点画像（Ｒ画像）入力部１０２からＲ画像、視差推定部１０３から視差情報が入力される。

ステップＳ７０７において、画像合成部６２１は、これらの情報に基づいて、ＬＲ画像に、調整した視点位置の画像を合成し、合成したＮ視点の画像を表示制御部１０６に供給する。

ステップＳ７０８において、表示制御部１０６は、表示部１１０にＮ視点画像を表示させる。

［シーン解析処理の例］
次に、図５０のフローチャートを参照して、図４９のステップＳ７０５におけるシーン解析処理の例について説明する。

ここで、sceneChangeは、シーンチェンジ情報、sceneNoは、シーン番号（初期値０）、R_min[s]は、シーンsの信頼度の最小値、Rtは、信頼度を、それぞれ表している。また、time_codeは、タイムコード、time[s]は、シーンsのタイムコード、scene_maxは、シーン番号の最大値を、それぞれ表している。

視点位置調整部６１１は、ステップＳ７２１において、sceneNoに０を代入し、ステップＳ７２２において、tに−１を代入する。

視点位置調整部６１１は、ステップＳ７２３において、sceneNoがscene_maxになったか、すなわち、全シーンが終了したかを判定し、終了したと判定した場合、シーン解析処理を終了する。

ステップＳ７２３において、全シーンが終了していないと判定された場合、処理は、ステップＳ７２４に進む。視点位置調整部６１１は、ステップＳ７２４において、tにt+1を代入し、ステップＳ７２５において、シーンチェンジ検出部６０１からのシーンチェンジ情報sceneChangeを参照して、シーンチェンジが発生したか否かを判定する。

ステップＳ７２５において、シーンチェンジが発生したと判定された場合、処理は、ステップＳ７２６に進む。視点位置調整部６１１は、ステップＳ７２６において、sceneNoに、sceneNo+1を代入し、ステップＳ７２７において、time[sceneNo]にtを代入し、処理は、ステップＳ７２９に進む。

一方、ステップＳ７２５において、シーンチェンジが発生していないと判定された場合、処理は、ステップＳ７２８に進む。視点位置調整部６１１は、ステップＳ７２８において、R_min[sceneNo]がRtより大きいかを判定し、Rtより大きいと判定した場合、処理は、ステップＳ７２９に進む。

視点位置調整部６１１は、ステップＳ７２９において、R_min [sceneNo]にRtを代入し、ステップＳ７２３の処理に戻り、それ以降の処理を繰り返す。

ステップＳ７２８において、R_min[sceneNo]がRtより大きくないと判定した場合、ステップＳ７２９の処理はスキップされ、処理は、ステップＳ７２３に戻り、それ以降の処理が繰り返される。

以上の処理で、視点位置調整部６１１により、シーンsの信頼度の最小値であるR_min[s]、シーンsのタイムコードであるtime[s]、およびシーン番号の最大値であるscene_maxがメモリ６１２に保存される。

［補間方向選択処理の例］
次に、図５１のフローチャートを参照して、補間方向の選択処理について説明する。なお、この処理は、図４９のステップＳ７０６の視点位置調整処理のうちの、（すなわち、図２６のステップＳ２１２における）補間方向選択処理である。

ここで、nは、視点番号、Nは、総視点数、sceneChangeは、シーンチェンジ信号、sceneNoは、シーン番号（初期値０）、R_min[s]は、シーンsの信頼度の最小値、R_thは、閾値（パラメータ）を、それぞれ表している。また、Vn,tは、視点位相、Dn,tは、補間方向、time_codeは、タイムコード、time[s]は、シーンsのタイムコード、scene_maxは、シーン番号の最大値を、それぞれ表している。

この補間方向の選択処理において、シーン解析処理によりメモリ６１２に保存されたシーンsの信頼度の最小値であるR_min [s]、シーンsのタイムコードであるtime[s]、およびシーン番号の最大値であるscene_maxが用いられる。すなわち、シーンsのタイムコードが保存されているので、図５１の処理の際にシーンチェンジ検出が不要となる。

ステップＳ７４１において、視点位置調整部６１１は、tに-1を代入する。ステップＳ７４２において、視点位置調整部６１１は、sceneNoがscene_maxになったか、すなわち、すべてのシーンが終了したか否かを判定し、すべてのシーンが終了したと判定した場合、補間方向選択処理を終了する。

ステップＳ７４２において、すべてのシーンが終了していないと判定された場合、処理は、ステップＳ７４３に進む。視点位置調整部６１１は、ステップＳ７４３において、tにt+1を代入し、ステップＳ７４４において、nに０を代入する。

視点位置調整部６１１は、ステップＳ７４５において、nがN以上であるか否かを判定し、nがN以上であると判定した場合、ステップＳ７４２に戻り、それ以降の処理が繰り返される。

ステップＳ７４５において、nがN以上ではないと判定された場合、処理は、ステップＳ７４６に進む。視点位置調整部６１１は、ステップＳ７４６において、nにn+1を代入し、ステップＳ７４７において、sceneNoに、時刻tにおけるシーン番号を代入する。ステップＳ７４８において、視点位置調整部６１１は、R_min [sceneNo]がR_thより小さいか否かを判定する。

ステップＳ７４８において、R_min [sceneNo]がR_th以上であると判定された場合、処理は、ステップＳ７４９に進む。

ステップＳ７４９において、視点位置調整部６１１は、Vn,tが0.5以下であるか否かを判定し、Vn,tが0.5以下であると判定した場合、ステップＳ７５０に進み、Dn,tに”left”（左）を代入する。すなわち、ステップＳ７５０において、左が補間方向に設定され、その後、処理は、ステップＳ７４５に戻り、それ以降の処理が繰り返される。

ステップＳ７４８において、R_min [sceneNo]がR_thより小さいと判定された場合、処理は、ステップＳ７５１に進む。また、ステップＳ７４９において、Vn,tが0.5より大きいと判定した場合、処理は、ステップＳ７５１に進む。

ステップＳ７５１において、視点位置調整部６１１は、Dn,tに”right”（右）を代入する。すなわち、ステップＳ７５１において、右が補間方向に設定され、その後、処理は、ステップＳ７４５に戻り、それ以降の処理が繰り返される。

以上のように、シーンチェンジが検出されたときのみ、信頼度の最小値が閾値未満であるかどうかが判定される。また、信頼度の最小値が閾値未満の場合に、補間方向の切り替えが禁止され、信頼度の最小値が閾値以上の場合に、補間方向の切り替えが許可される。

すなわち、信頼度の最小値が閾値未満になるとは、一瞬でも左右の不整合が目立ち期間が存在するといえる。したがって、以上のように、信頼度の最小値が閾値未満の場合に、補間方向の切り替えを禁止し、シーン全体で右から補間に統一するようにすることで、シーンにおける左右の不整合を抑制することができる。

なお、上記説明においては、右からの補間に統一する例を説明したが、左からの補間に統一するようにすることもできる。収束する位置が左（０）の場合、スケール値が所定の閾値th_sより大きい場合、または、信頼度が所定の閾値th_rより小さい場合、仮補間方向として、左が設定される。

以上のように、補間方式（補間方向）が切り替わった場合に、時間的に高頻度に切り替わると、それが目立ってしまうので、切り替えが目立つ場合には、高頻度に切り替わることを抑制するようにした。一方、切り替えが目立たない場合は、切り替わることを許すようにした。

すなわち、切り替えの目立ち度合いによって、切り替わりの抑制度合いを変更するようにすることで、左右の不整合を目立たなくすることができる。

なお、上記説明においては、視差推定が間違っていた場合の視差ずれに対応する例を説明してきたが、本技術は、左右で輝度がずれていた場合に目立ってしまうことによる色ずれなどにも適用することができる。

色ずれは、視差推定が正しくても起こることがあり、色ずれが起きている場合、上述した信頼度を求めるときに残差が大きくなることがある。したがって、視差推定が正しい場合の色ずれに関しては、信頼度を用いることで、対応することができる。

また、上記説明においては、３次元画像表示の画像処理について説明したが、本技術は、３次元に限定されず、多次元画像表示の画像処理にも適用することができる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

＜８．第７の実施の形態（コンピュータ）＞
[コンピュータの構成例]
図５２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示している。

コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。

入力部９０６は、キーボード、マウス、マイクロホンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１） 多次元画像表示に適用する左眼用の画像信号である左視点画像と、多次元画像表示に適用する右眼用の画像信号である右視点画像とから視差情報を生成する視差推定部と、
前記視差推定部により生成された視差情報に基づく変動の度合いを示すパラメータに応じて、前記左視点画像および前記右視点画像以外の視点画像を含む仮想視点画像の補間方向の切り替えを制御する補間方向制御部と、
前記補間方向制御部により切り替えが制御された補間方向で、前記仮想視点画像を生成する仮想視点画像生成部と
を備える画像処理装置。
（２） 前記補間方向制御部は、前記パラメータが示す変動が大きい場合、前記仮想視点画像の補間方向の切り替えを禁止する
前記（１）に記載の画像処理装置。
（３） 前記補間方向制御部は、前記パラメータが示す変動が小さい場合、前記仮想視点画像の補間方向の切り替えを行う
前記（１）または（２）に記載の画像処理装置。
（４） 前記視差推定部により生成された視差情報に基づく変動は、時間変動である
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記視差推定部により生成された視差情報の信頼度を算出する信頼度算出部を
さらに備え、
前記視差推定部により生成された視差情報に基づく変動の度合いを示すパラメータは、前記信頼度算出部により算出された視差情報の信頼度であり、
前記補間方向制御部は、前記信頼度算出部により算出された視差情報の信頼度に応じて、前記仮想視点画像の補間方向の切り替えを制御する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記視差推定部により生成された視差情報に基づく変動の度合いを示すパラメータは、前記視差推定部により生成された視差情報から算出されるスケール値であり、
前記補間方向制御部は、前記視差推定部により推定された視差情報から算出されるスケール値に応じて、前記仮想視点画像の補間方向の切り替えを制御する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（７） 前記補間方向制御部は、前記視差推定部により生成された視差情報に基づく変動の度合いを示すパラメータに応じて、一方の方向を前記仮想視点画像の補間方向として選択し、選択された前記一方の方向が一定時間継続して、前記仮想視点画像の補間方向として選択されている場合、前記仮想視点画像の補間方向を前記一方の方向に切り替え、
選択された前記一方の方向が一定時間継続して、前記仮想視点画像の補間方向として選択されていない場合、前記仮想視点画像の補間方向の切り替えを禁止する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記仮想視点画像生成部は、前記視差推定部により生成された視差情報を用いて、視点位置の収束位置を左視点または右視点に設定して仮想視点画像を生成する仮想視点位置を算出し、算出した仮想視点位置に、前記補間方向制御部により切り替えが制御された補間方向で、前記仮想視点画像を生成する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記仮想視点画像生成部は、前記視差推定部により生成された視差情報を用いて、視点位置の収束位置を左視点乃至右視点のうちのいずれかの位置に設定して仮想視点画像を生成する仮想視点位置を算出し、算出した仮想視点位置に、前記補間方向制御部により切り替えが制御された補間方向で、前記仮想視点画像を生成する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（１０） 前記仮想視点画像生成部により生成され、表示部に表示される仮想視点画像を見るユーザの顔の位置を検出する顔検出部を
さらに備え、
前記補間方向制御部は、前記顔検出部により検出されたユーザの顔の位置に応じて、前記仮想視点画像の補間方向の切り替えを制御する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記仮想視点画像生成部により生成された仮想視点画像が表示される表示部は、ユーザの頭部に装着可能であり、
前記表示部に表示される仮想視点画像を見るユーザの顔の位置および向きを検出する顔検出部を
さらに備え、
前記補間方向制御部は、前記顔検出部により検出されたユーザの顔の位置および向きに応じて、前記仮想視点画像の補間方向の切り替えを制御する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１２） 前記仮想視点画像生成部により生成された仮想視点画像が表示される表示部は、ユーザの頭部に装着可能であり、
前記表示部に表示される仮想視点画像を見るユーザの顔の位置および向きを検出する顔検出部を
さらに備え、
前記補間方向制御部は、前記顔検出部により検出されたユーザの顔の位置および向きに応じて、前記仮想視点画像の補間方向の切り替えを制御する
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 画像処理装置が、
多次元画像表示に適用する左眼用の画像信号である左視点画像と、多次元画像表示に適用する右眼用の画像信号である右視点画像とから視差情報を生成し、
生成された視差情報に基づく変動の度合いを示すパラメータに応じて、前記左視点画像および前記右視点画像以外の視点画像を含む仮想視点画像の補間方向の切り替えを制御し、
切り替えが制御された補間方向で、前記仮想視点画像を生成する
画像処理方法。
（１４） 多次元画像表示に適用する左眼用の画像信号である左視点画像と、多次元画像表示に適用する右眼用の画像信号である右視点画像とから視差情報を生成する視差推定部と、
前記視差推定部により生成された視差情報に基づく変動の度合いを示すパラメータに応じて、前記左視点画像および前記右視点画像以外の視点画像を含む仮想視点画像の補間方向の切り替えを制御する補間方向制御部と、
前記補間方向制御部により切り替えが制御された補間方向で、前記仮想視点画像を生成する仮想視点画像生成部と
して、コンピュータを機能させるプログラム。

１００ 画像処理装置， １０１ 左視点画像（Ｌ画像）入力部， １０２ 右視点画像（Ｒ画像）入力部， １０３ 視差推定部， １０５ 仮想視点画像生成部， １０６ 表示制御部， １１０ 表示部， １６１ 視点位置調整部， １６２ 画像合成部， １７１，１７１−１乃至７１−Ｎ 一視点画像合成部， １８１ 左画像合成部， １８２ 右画像合成部， １８３ 選択部， ２００ 画像処理装置， ２０１ 信頼度算出部， ２０２ 仮想視点画像生成部， ２１８ 信頼度変換部， ２３１ 視点位置調整部， ３００ 画像処理装置， ３０１ 表示部， ３１１ 仮想視点画像生成部， ３２１ 視点位置調整部， ４００ 画像処理装置， ４０１ 表示部， ４１１ 視点位置測定部， ４１２ 仮想視点画像生成部， ４２１ 視点位置調整部， ５００ 画像処理装置， ５０１ 表示部， ５１１ 視点位置測定部， ６００ 画像処理装置， ６０１ シーンチェンジ検出部， ６０２ 仮想視点画像生成部， ６１１ 視点位置測定部， ６１２ メモリ， ６２１ 画像合成部， ７００ 画像処理装置

Claims (14)

1. 多次元画像表示に適用する左眼用の画像信号である左視点画像と、多次元画像表示に適用する右眼用の画像信号である右視点画像とから視差情報を生成する視差推定部と、
   前記視差推定部により生成された視差情報に基づく変動の度合いを示すパラメータに応じて、前記左視点画像および前記右視点画像以外の視点画像を含む仮想視点画像の補間方向の切り替えを制御する補間方向制御部と、
   前記補間方向制御部により切り替えが制御された補間方向で、前記仮想視点画像を生成する仮想視点画像生成部と
   を備える画像処理装置。
2. 前記補間方向制御部は、前記パラメータが示す変動が大きい場合、前記仮想視点画像の補間方向の切り替えを禁止する
   請求項１に記載の画像処理装置。
3. 前記補間方向制御部は、前記パラメータが示す変動が小さい場合、前記仮想視点画像の補間方向の切り替えを行う
   請求項２に記載の画像処理装置。
4. 前記視差推定部により生成された視差情報に基づく変動は、時間変動である
   請求項２に記載の画像処理装置。
5. 前記視差推定部により生成された視差情報の信頼度を算出する信頼度算出部を
   さらに備え、
   前記視差推定部により生成された視差情報に基づく変動の度合いを示すパラメータは、前記信頼度算出部により算出された視差情報の信頼度であり、
   前記補間方向制御部は、前記信頼度算出部により算出された視差情報の信頼度に応じて、前記仮想視点画像の補間方向の切り替えを制御する
   請求項２に記載の画像処理装置。
6. 前記視差推定部により生成された視差情報に基づく変動の度合いを示すパラメータは、前記視差推定部により生成された視差情報から算出されるスケール値であり、
   前記補間方向制御部は、前記視差推定部により推定された視差情報から算出されるスケール値に応じて、前記仮想視点画像の補間方向の切り替えを制御する
   請求項２に記載の画像処理装置。
7. 前記補間方向制御部は、前記視差推定部により生成された視差情報に基づく変動の度合いを示すパラメータに応じて、一方の方向を前記仮想視点画像の補間方向として選択し、選択された前記一方の方向が一定時間継続して、前記仮想視点画像の補間方向として選択されている場合、前記仮想視点画像の補間方向を前記一方の方向に切り替え、
   選択された前記一方の方向が一定時間継続して、前記仮想視点画像の補間方向として選択されていない場合、前記仮想視点画像の補間方向の切り替えを禁止する
   請求項２に記載の画像処理装置。
8. 前記仮想視点画像生成部は、前記視差推定部により生成された視差情報を用いて、視点位置の収束位置を左視点または右視点に設定して仮想視点画像を生成する仮想視点位置を算出し、算出した仮想視点位置に、前記補間方向制御部により切り替えが制御された補間方向で、前記仮想視点画像を生成する
   請求項２に記載の画像処理装置。
9. 前記仮想視点画像生成部は、前記視差推定部により生成された視差情報を用いて、視点位置の収束位置を左視点乃至右視点のうちのいずれかの位置に設定して仮想視点画像を生成する仮想視点位置を算出し、算出した仮想視点位置に、前記補間方向制御部により切り替えが制御された補間方向で、前記仮想視点画像を生成する
   請求項２に記載の画像処理装置。
10. 前記仮想視点画像生成部により生成され、表示部に表示される仮想視点画像を見るユーザの顔の位置を検出する顔検出部を
    さらに備え、
    前記補間方向制御部は、前記顔検出部により検出されたユーザの顔の位置に応じて、前記仮想視点画像の補間方向の切り替えを制御する
    請求項１に記載の画像処理装置。
11. 前記仮想視点画像生成部により生成された仮想視点画像が表示される表示部は、ユーザの頭部に装着可能であり、
    前記表示部に表示される仮想視点画像を見るユーザの顔の位置および向きを検出する顔検出部を
    さらに備え、
    前記補間方向制御部は、前記顔検出部により検出されたユーザの顔の位置および向きに応じて、前記仮想視点画像の補間方向の切り替えを制御する
    請求項１に記載の画像処理装置。
12. 前記左視点画像または前記右視点画像から、シーンチェンジを検出するシーンチェンジ検出部を
    さらに備え、
    前記補間方向制御部は、前記シーンチェンジ検出部により検出されたシーンチェンジのとき、前記仮想視点画像の補間方向の切り替えを行う
    請求項１に記載の画像処理装置。
13. 画像処理装置が、
    多次元画像表示に適用する左眼用の画像信号である左視点画像と、多次元画像表示に適用する右眼用の画像信号である右視点画像とから視差情報を生成し、
    生成された視差情報に基づく変動の度合いを示すパラメータに応じて、前記左視点画像および前記右視点画像以外の視点画像を含む仮想視点画像の補間方向の切り替えを制御し、
    切り替えが制御された補間方向で、前記仮想視点画像を生成する
    画像処理方法。
14. 多次元画像表示に適用する左眼用の画像信号である左視点画像と、多次元画像表示に適用する右眼用の画像信号である右視点画像とから視差情報を生成する視差推定部と、
    前記視差推定部により生成された視差情報に基づく変動の度合いを示すパラメータに応じて、前記左視点画像および前記右視点画像以外の視点画像を含む仮想視点画像の補間方向の切り替えを制御する補間方向制御部と、
    前記補間方向制御部により切り替えが制御された補間方向で、前記仮想視点画像を生成する仮想視点画像生成部と
    して、コンピュータを機能させるプログラム。

Images