JP6377155B2 - 多視点映像処理装置及びその映像処理方法 - Google Patents

Description

本発明は、多視点映像処理装置及びその映像処理方法に関し、より詳細には、裸眼式多視点映像処理装置及びその映像処理方法に関する。

電子技術の発達により、多様な電子機器が開発及び普及されている。特に、一般家庭において最も多く使用されている家電製品の１つであるテレビのようなディスプレイ装置はここ数年間急ピッチで発展している。

ディスプレイ装置の性能が高級化するにつれ、ディスプレイ装置でディスプレイするコンテンツの種類も多様化しつつある。特に、最近は、３Ｄコンテンツまで視聴することができる立体ディスプレイシステムが開発されて普及されている。

立体ディスプレイ装置は、一般家庭で使われる３Ｄテレビだけでなく、各種モニタ、携帯電話、ＰＤＡ、パソコン、セットトップパソコン、タブレットパソコン、デジタルフォトフレーム、キヨスク端末等のような多様なディスプレイ装置で実現されてよい。なお、３Ｄディスプレイ技術は、家庭内における使用だけでなく、科学や医薬、デザイン、教育、広告、コンピュータゲーム等のように、３Ｄイメージングを必要とする多様な分野に活用することができる。

立体ディスプレイシステムは、大きくメガネを不要として視聴可能な裸眼式システムと、メガネを着用して視聴するメガネ式システムとに分類される。

メガネ式システムは、満足のいく立体感を提供することができるが、視聴者が必ずメガネをかけなければならないという不都合があった。その一方で、裸眼式システムは、メガネなしでも３Ｄイメージを視聴することができるというメリットがあって、裸眼式システムに対する開発への議論が継続して行われている。

裸眼式システムは、多視点映像、例えばＮ個の視点映像を視聴者に表示するため、Ｎ個の多視点映像が必要となる。Ｎ個の多視点映像は、Ｎ個のカメラから獲得することができるが、Ｎ＞２である場合、カメラから獲得することはシステム実現のうえで困難であった。

それにより、裸眼式システムは、ステレオ映像が入力される場合、デプス情報を抽出した後、多視点映像をレンダリングする方法を使用する。しかし、入力されたステレオ映像にＯＳＤ情報が含まれている場合、デプス情報の抽出の際に、ＯＳＤ領域で正確なデプス情報を抽出することが困難になり、ＯＳＤ領域のデプス情報にエラーが生じ、それにより、ＯＳＤ映像に歪みが発生してディスプレイされるという問題点があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、３Ｄ映像に含まれたＯＳＤ領域でデプス補正を行ってＯＳＤ領域で発生する映像の歪みを防止することができる多視点映像処理装置及びその映像処理方法を提供することにある。

本発明の上述の目的を達成するための一実施形態によると、入力された３Ｄ映像のデプス情報を抽出するデプス抽出部と、前記３Ｄ入力映像に含まれたＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）領域に対応するＯＳＤマスク情報及び前記抽出されたデプス情報に基づいて、前記３Ｄ入力映像で前記ＯＳＤ領域のデプスを補正するデプス補正部と、前記デプスの補正された３Ｄ入力映像を用いて多視点映像をレンダリングするレンダリング部とを含む。

なお、前記デプス抽出部は、前記抽出されたデプス情報に基づいてデプスマップ（ｄｅｐｔｈ ｍａｐ）を生成し、前記デプス補正部は、前記デプスマップで前記ＯＳＤ領域のデプス値を補正してよい。

なお、前記デプス補正部は、前記デプスマップで前記ＯＳＤ領域のデプス値を第１デプス値に補正してよい。

なお、前記デプス補正部は、前記デプスマップで前記ＯＳＤ領域を除く残りの領域の複数のデプス値を第２デプス値に補正してよい。

なお、前記デプス補正部は、前記デプスマップで前記ＯＳＤ領域を含む全領域のデプス値を０に補正してよい。

なお、複数のＯＳＤ領域を含む３Ｄ入力映像をディスプレイするディスプレイ部と、ユーザ命令を受信するユーザインターフェース部と、前記３Ｄ映像に含まれた複数のＯＳＤ領域の中からユーザ命令に応じて選択された少なくとも１つのＯＳＤ領域のデプスが選択された少なくとも１つのＯＳＤ領域を除く残りのＯＳＤ領域の複数のデプスと異なるようにデプス補正を行うように前記デプス補正部を制御する制御部とを更に含んでよい。

なお、前記制御部は、前記選択された少なくとも１つのＯＳＤ領域のデプスを予め設定された第３デプス値に補正し、前記選択された少なくとも１つのＯＳＤ領域を除く残りのＯＳＤ領域の複数のデプスを０に補正するように前記デプス補正部を制御してよい。

一方、本発明の一実施形態に係る多視点映像処理方法によると、入力された３Ｄ映像のデプス情報を抽出するステップと、前記３Ｄ入力映像に含まれたＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）領域に対応するＯＳＤマスク情報及び前記抽出されたデプス情報に基づいて、前記３Ｄ入力映像で前記ＯＳＤ領域のデプスを補正するステップと、前記デプスの補正された３Ｄ入力映像を用いて多視点映像をレンダリングするステップとを含む。

なお、前記デプス情報を抽出するステップは、前記抽出されたデプス情報に基づいてデプスマップ（ｄｅｐｔｈ ｍａｐ）を生成し、前記デプスを補正するステップは、前記デプスマップで前記ＯＳＤ領域のデプス値を補正してよい。

なお、前記デプスを補正するステップは、前記デプスマップで前記ＯＳＤ領域のデプス値を第１デプス値に補正してよい。

なお、前記デプスを補正するステップは、前記デプスマップで前記ＯＳＤ領域を除く残りの領域の複数のデプス値を第２デプス値に補正してよい。

なお、前記デプスを補正するステップは、前記デプスマップで前記ＯＳＤ領域を含む全領域のデプス値を０に補正してよい。

なお、複数のＯＳＤ領域を含む３Ｄ入力映像をディスプレイするステップと、前記複数のＯＳＤ領域の中から少なくとも１つを選択するためのユーザ命令を受信するステップと、前記ユーザ命令に応じて選択された少なくとも１つのＯＳＤ領域のデプスが選択された少なくとも１つのＯＳＤ領域を除く残りのＯＳＤ領域の複数のデプスと異なるようにデプス補正を行うステップとを更に含んでよい。

なお、前記デプス補正を行うステップは、前記選択された少なくとも１つのＯＳＤ領域のデプスを予め設定された第３デプス値に補正し、前記選択された少なくとも１つのＯＳＤ領域を除く残りのＯＳＤ領域の複数のデプスを０に補正してよい。

一方、本発明の一実施形態に係る多視点映像処理方法によると、少なくとも１つのコンテンツ領域を含む３Ｄ入力映像をディスプレイするステップと、前記少なくとも１つのコンテンツ領域で第１デプス値を適用するステップと、前記少なくとも１つのコンテンツ領域を除く前記３Ｄ入力映像に第２デプス値を適用するステップとを含む。ここで、前記第１デプス値は、前記第２デプス値と異なる。

以上説明したように本発明によれば、３Ｄ映像に含まれたＯＳＤ領域における映像の歪みを防止することができる裸眼式３Ｄシステムを提供することができるようになる。

更に、本発明によれば、裸眼式３Ｄシステムで部分３Ｄ機能を実現することができるようになる。

本発明の理解を促すための裸眼式３Ｄディスプレイ装置の動作を説明するための図である。 本発明の一実施形態に係る多視点映像処理装置の構成を示すブロック図である。 本発明の一実施形態に係る多視点映像ディスプレイ装置の構成を示すブロック図である。 本発明の一実施形態に係るディスプレイ部の実現例を説明するための図である。 本発明の一実施形態に係るＯＳＤマスク情報を説明するための図である。 本発明の一実施形態に係るＯＳＤマスク情報を説明するための図である。 本発明の多様な実施形態に係るデプス補正方法を説明するための図である。 本発明の多様な実施形態に係るデプス補正方法を説明するための図である。 本発明の多様な実施形態に係るデプス補正方法を説明するための図である。 本発明の別の実施形態に係るデプス補正方法を説明するための図である。 本発明の更に別の実施形態に係るデプス補正方法を説明するための図である。 本発明の更に別の実施形態に係るデプス補正方法を説明するための図である。 本発明の更に別の実施形態に係るデプス補正方法を説明するための図である。 本発明の更に別の実施形態に係るデプス補正方法を説明するための図である。 本発明の更に別の実施形態に係るデプス補正方法を説明するための図である。 本発明の一実施形態に係る多視点映像処理装置の制御方法を説明するための図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の理解を促すための裸眼式３Ｄディスプレイ装置の動作を説明するための図である。

図１は、本発明の一実施形態に係る多視点映像をディスプレイして裸眼式方式で立体映像を提供する装置の動作方式を示す。ここで、多視点映像は同一のオブジェクトを相互異なる角度から撮影した複数の映像を含む。すなわち、相互異なる視点から撮影した複数の映像を相互異なる角度に屈折させ、いわゆる視聴距離という一定の距離分離れた位置（例えば、約３ｍ）にフォーカスした映像を提供する。このような映像が形成された位置を視聴領域という。それにより、ユーザの一方の目が１つの第１視聴領域に位置し、他方の目が第２視聴領域に位置すると、立体感を感じることができるようになる。

一例として、図１は、合わせて６視点の多視点映像のディスプレイ動作を説明する図である。図１によると、裸眼式３Ｄディスプレイ装置は、左眼には６視点のうちの１視点映像に該当する光が、右眼には２視点映像に該当する光が投射されるようにすることができる。それにより、ユーザは左眼及び右眼において相互異なる視点の映像を視聴するようになり、立体感を感じることができるようになる。

図２Ａは、本発明の一実施形態に係る多視点映像処理装置の構成を示すブロック図である。

図２Ａによると、多視点映像処理装置１００は、デプス抽出部１１０と、デプス補正部１２０と、レンダリング部１３０及び制御部１４０を含む。

映像受信部（図示せず）は、３Ｄ映像信号を受信する。ここで、３Ｄ映像はステレオ映像であってよい。ステレオ映像とは、１つの被写体を異なる角度から撮影した２つの映像、すなわち、左眼映像及び右眼映像を含む。このようなステレオ映像は、多様なソースから提供されてよい。一例として、映像受信部（図示せず）は、放送局チャネルのようなソースからステレオ映像を有線または無線で受信することができる。この場合、映像受信部（図示せず）は、チューナ部、復調部、等化部などのような多様な構成要素を備えることができる。または、映像受信部（図示せず）は、ＤＶＤ、ブルーレイディスク、メモリカード等のような各種記録媒体を再生することができる記録媒体再生ユニットから再生されたステレオ映像を受信することもでき、カメラから撮影されたステレオ映像を直接受信することもできる。この場合、映像受信部（図示せず）は、ＵＳＢインターフェース等のような各種インターフェースを備える形態で実現されてよい。または、映像受信部（図示せず）は、ウェブサーバのような外部サーバからステレオ映像を受信することも可能である。または、３Ｄ映像は、２Ｄ／３Ｄ切り替え技法により、２Ｄ映像を基盤として生成された映像か、３視点以上の多視点映像であってよい。それに対する詳細な説明は省略する。

デプス抽出部１１０は、左眼及び右眼映像に基づいて映像内に存在する客体に対するデプス情報を抽出する。ここで、デプス（ｄｅｐｔｈ）情報とは、映像内に存在する客体の３次元距離情報を示すものとして、デプスマップまたはデプス映像と称してよい。例えば、被写体とカメラとの間の距離、被写体と被写体の映像が結像する記録媒体との間の距離等のように、立体感の情報を示す情報のことを意味する。すなわち、左眼映像と右眼映像との間の相互対応するポイント間の距離差が大きいほど、その分より立体感が増大するようになる。デプスマップとは、このような深さの変化状態を１つの映像で構成したものとして、左眼及び右眼映像で相互マッチングするポイント間の距離の大きさに応じて変化するグレイレベルで表現されてよい。例えば、デプスマップで明るく表示された部分は、カメラとモノとの間の距離が近い部分であり、暗く表示された部分は、カメラとモノとの間の距離が遠い部分を示す。

具体的に、デプス抽出部１１０は、映像を構成する各ピクセルごとに０から２５５の間の値でデプス値を表現し、映像内に存在する客体の３次元距離情報を示すことができる。例えば、黒／白を基準にして示す際、黒（低い値）が視聴者から遠い場所を示し、白（高い値）が視聴者から近い場所を示すことができる。

一方、デプス抽出部１１０は、デプスマップを生成するために、左眼及び右眼映像で相互マッチングするポイントを探すステレオマッチング作業を行うことができる。場合によって、デプス抽出部１１０は適応的加重値を適用してステレオマッチングを行うこともできる。

例えば、左眼映像及び右眼映像は１つの被写体を相互異なる視点から撮影した映像であるため、視覚の差による、映像の差が生じかねない。例えば、左眼映像では被写体のエッジ部分と背景が重なって写り、右眼映像では若干離れた場合等がある。よって、被写体を基準に一定範囲内のピクセル値を有するピクセルに対して加重値を高め、範囲を外れたピクセル値を有するピクセルに対しては加重値を下げた適応的加重値を適用することができる。それにより、左眼映像及び右眼映像のそれぞれに対して適応的加重値を適用した後、その結果を比較してマッチング有無を決定することができる。このように、適用的加重値を用いるようになると、好適な対応点であるにもかかわらず、低い相関関係を有すると判断されることを防止することができるようになるため、マッチングの正確度が向上する。

一方、図示はしていないが、多視点映像処理装置１００には、デプスマップ生成のための演算への負担を軽減するためのダウンスケーラ（図示せず）が更に含まれてよい。すなわち、ダウンスケーラ（図示せず）は、映像受信部（図示せず）を介して受信された映像をダウンスケーリングしてデプス抽出部１１０に提供することで、演算への負担を軽減させることができるようになる。

ただ、映像とともにデプス情報が入力される場合、デプス抽出部１１０において行われる機能が省略されてよい。

デプス補正部１２０は、３Ｄ映像に含まれたＯＳＤ領域に対応するＯＳＤマスク情報及びデプス抽出部１１０から抽出されたデプス情報に基づいてＯＳＤ領域のデプスを補正する。

具体的に、デプス補正部１２０はデプス抽出部１１０から生成されたデプスマップでＯＳＤ領域のデプス値を補正することができる。この場合、ＯＳＤ領域は、ＯＳＤマスク情報を通じて識別されてよい。例えば、ＯＳＤマスクは、ＯＳＤ領域に対応するピクセル領域に対しては“１”の値を有し、残りのピクセル領域に対しては“０”の値を有する形態であってよいが、それに限定されるわけではない。

デプス補正部１２０は、抽出されたデプス及びＯＳＤマスク情報に基づいてデプスマップでＯＳＤ領域のデプス値を第１デプス値に補正することができる。すなわち、ＯＳＤ領域内に含まれたそれぞれの客体に対するデプス感が相互異なるように表現されないように均一のデプス値を与えることができる。

一例として、デプス補正部１２０は、デプス抽出部１１０から抽出されたＯＳＤ領域のデプス値のうち、最も大きい値、最も小さい値、中間値、ＯＳＤ領域の中央におけるデプス値または境界におけるデプス値、ユーザによって入力された値、デフォルトに指定された値（例えば、０）のうちのいずれかを第１デプス値に設定してよいが、それに限定されるわけではない。例えば、第１デプス値が０に設定される場合、ＯＳＤ領域はデプス感の感じられないフォーカルプレーンに配置されてよい。

別の例として、デプス補正部１２０は周辺領域のデプス値を考慮して第１デプス値を設定することもできる。すなわち、ＯＳＤ領域が周辺背景映像と異質的ではなく、不連続的に表現されないように周辺背景映像のデプス値と類似する値にデプスを設定することができる。すなわち、ＯＳＤ領域のデプス値のうち、背景映像のデプス値と最も類似する値にＯＳＤ領域のデプスを設定することも可能である。

または、デプス補正部１２０は、抽出されたデプス及びＯＳＤマスク情報に基づいてデプスマップでＯＳＤ領域を除く残りの領域のデプス値を第２デプス値に補正することができる。

一例として、デプス補正部１２０は、デプス抽出部１１０から抽出されたＯＳＤ領域を除く残りの領域のデプス値のうち、最も大きい値、最も小さい値、中間値、背景映像に含まれた客体のうち、最も高いデプス値または平均値、デフォルト値に指定された値（例えば、０）のいずれかを第２デプス値に設定することができるが、それに限定されるわけではない。

別の例として、デプス補正部１２０は、ＯＳＤ領域のデプス値を考慮して第２デプス値を設定することもできる。例えば、デプス補正部１２０は、第２デプス値をＯＳＤ領域に対して設定されたデプス値より大きいデプス値に設定することができる。

または、デプス補正部１２０は、デプスマップでＯＳＤ領域を含む全領域のデプス値を０に補正することもできる。すなわち、３Ｄ映像にＯＳＤ領域が存在する場合、ＯＳＤ領域及び残りの領域に２Ｄ映像と同一のデプスを与えてクロストーク現象を軽減させることができる。

なお、デプス補正部１２０は、１フレーム内にＯＳＤ領域が複数である場合には、複数のＯＳＤ領域のそれぞれに異なるデプス値を設定したり、同一のデプス値を設定することができる。

一方、デプス補正部１２０は、デプスの補正されたＯＳＤ領域に対してフリッカを減少させるためにデプステンポラルスムージング（ｄｅｐｔｈ ｔｅｍｐｏｒａｌ ｓｍｏｏｔｈｉｎｇ）処理を行うことができる。すなわち、デプス補正部１２０は、デプス値の補正されたＯＳＤ領域内部で一定ではないデプス値をスムージング処理してデプス変動によるテキストフリッカを取り除いたり、補正されたデプス値と背景映像のデプス値との差によるＯＳＤ領域の境界で歪みを解消するためにスムージング処理を行うことができる。

具体的に、デプス補正部１２０は、デプス値の補正されたＯＳＤ領域に対してメディアンフィルタ（ｍｅｄｉａｎ ｆｉｌｔｅｒ）、加重平均フィルタ（ｗｅｉｇｈｔｅｄ ａｖｅｒａｇｅ ｆｉｌｔｅｒ）、マキシマムフィルタ（ｍａｘｉｍｕｍ ｆｉｌｔｅｒ）等のようなスムージングフィルタを適用してスムージング処理を行うことができる。

レンダリング部１３０は、デプス補正部１２０でデプスの補正された３Ｄ映像（または、マルチビュー映像）、または２Ｄ映像を用いて多視点映像をレンダリングすることができる。具体的に、レンダリング部１３０は、入力された３Ｄ映像または２Ｄ映像及び映像と別途に入力されたデプス情報に基づいて多視点映像をレンダリングしたり、入力された３Ｄ映像及び当該３Ｄ映像から抽出されたデプス情報に基づいて多視点映像をレンダリングすることができる。ここで、デプス情報は、デプス補正部１２０でデプスの補正された情報であってよい。

一例として、レンダリング部１３０は、３Ｄ映像、すなわち左眼映像及び右眼映像のいずれか一方を基準ビュー（または、センタビュー）に選択して、多視点映像の基となる最左側ビュー及び最右側ビューを生成することができる。この場合、レンダリング部１３０は、基準ビューに選択された左眼映像及び右眼映像のうちいずれか一方に対応する補正されたデプス情報に基づいて最左側ビュー及び最右側ビューを生成することができる。

レンダリング部１３０は、最左側ビュー及び最右側ビューが生成されると、センタビューと最左側ビューとの間に複数の補間ビューを生成し、センタビューと最右側ビューとの間に複数の補間ビューを生成することで多視点映像をレンダリングすることができる。ただ、それに限定されるわけではなく、補外法によって生成される補外ビュー（Ｅｘｔｒａｐｏｌａｔｉｏｎ Ｖｉｅｗ）を生成することも可能である。一方、２Ｄ映像及びデプス情報に基づいて多視点映像をレンダリングする場合、２Ｄ映像をセンタビューに設定することができる。

一方、レンダリング部１３０は、多視点映像をレンダリングする前に最左側ビュー及び最右側ビューに存在するホールフィーリング作業を行って最左側ビュー及び最右側ビューを補償することができる。

なお、レンダリング部１３０は、センタビュー、最左側ビュー及び最右側ビューに基づいて生成された多視点映像のそれぞれに対するホール領域に対しては、最左側ビュー及び最右側ビューのいずれか一方に対応するピクセル領域の値をコピーしてホール領域をインペインティング（ｉｎｐａｉｎｔｉｎｇ）することができる。この場合、背景から近い部分からホールフィーリングを行うことができる。例えば、計３５の多視点映像をレンダリングする場合、１７番目に位置するセンタビュー及び最右側ビューである３５番目ビューの間に存在する１８ないし３４番目ビューに対しては、最右側ビューである３５番目ビューに対応するピクセル領域の値にホール領域をフィーリングすることができる。

ただ、場合によっては、入力映像に基づいて各多視点映像のそれぞれに対するホールフィーリングを行うことも可能である。

一方、上述の実施形態においては、左眼映像及び右眼映像に基づいてＯＳＤ領域のデプスを補正することについて説明したが、それは一例に過ぎない。本発明の別の実施形態によると、２Ｄ映像に対してＯＳＤ領域を検出した後、ＯＳＤ領域に対するデプス値を均一に割り当ててから左眼映像及び右眼映像を生成することも可能である。

図２Ｂは、本発明の一実施形態に係る多視点映像ディスプレイ装置の構成を示すブロック図である。

図２Ｂによると、多視点映像ディスプレイ装置２００は、デプス抽出部１１０、デプス補正部１２０、レンダリング部１３０、ディスプレイ部１４０、ユーザインターフェース部１５０及び制御部１６０を含む。図２Ｂに示す構成の中で、デプス抽出部１１０、デプス補正部１２０及びレンダリング部１３０の構成は、図２Ａに示す構成と同一であるため、詳細な説明は省略する。

図２Ｂのディスプレイ装置２００は、テレビ、モニタ、パソコン、キヨスク端末、タブレットパソコン、デジタルフォトフレーム、携帯電話等のような多様なディスプレイ装置で実現されてよい。

ディスプレイ部１４０は、マルチビュー（または、マルチ光学ビュー）を提供する機能を担う。そのために、ディスプレイ部１４０は、マルチビュー提供のためのディスプレイパネル１４１及び視域分離部１４２を含む。

ディスプレイパネル１４１は、複数のサブピクセルで構成された複数のピクセルを含む。ここで、サブピクセルは、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）で構成されてよい。Ｒ、Ｇ、Ｂのサブピクセルで構成されたピクセルが複数の行及び列方向に配列されてディスプレイパネル１４１を構成することができる。この場合、ディスプレイパネル１４１は、液晶ディスプレイパネル（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）、プラズマディスプレイパネル（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ：ＰＤＰ）、有機発光素子（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：ＯＬＥＤ）、ＶＦＤ（Ｖａｃｕｕｍ Ｆｌｕｏｒｅｓｃｅｎｔ Ｄｉｓｐｌａｙ）、ＦＥＤ（Ｆｉｅｌｄ Ｅｍｉｓｓｉｏｎ Ｄｉｓｐｌａｙ）、ＥＬＤ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等のような多様なディスプレイユニットで実現されてよい。

ディスプレイパネル１４１は、映像フレームをディスプレイする。具体的に、ディスプレイパネル１４１は相互異なる視点の複数のイメージが順次に繰り返し配置された映像フレームをディスプレイすることができる。

特に、ディスプレイパネル１４１は、複数のＯＳＤ領域を含む映像フレームをディスプレイすることができる。ここで、複数のＯＳＤ領域とは、ＯＳＤウィンドウを複数個という意味と同一である。

一方、図２Ｂに示していないが、ディスプレイパネル１４１がＬＣＤパネルで実現される場合、ディスプレイ装置２００はディスプレイパネル１４１にバックライトを供給するバックライト部（図示せず）及び映像フレームを構成する各ピクセルのピクセル値に応じてディスプレイパネル１４１のピクセルを駆動するパネル駆動部（図示せず）を更に含んでよい。それにより、バックライト部（図示せず）から発生した光がディスプレイパネル１４１の各ピクセルに入射されると、ディスプレイパネル１４１は映像信号に応じて、各ピクセルに入射された光に対する透過率を調節して映像フレームをディスプレイする。具体的には、ディスプレイパネル１４１は、液晶層及びその液晶層の両表面に形成された２つの電極を含む。両電極に電圧が印加されると、磁場が生成されて両電極の間の液晶層の分子を動かして光の透過率が調節される。

視域分離部１４２は、ディスプレイパネル１４１の前面に配置されて視聴領域別に異なる視点、すなわち、マルチビューを提供することができる。この場合、視域分離部１４２は、レンチキュラレンズ（Ｌｅｎｔｉｃｕｌａｒ ｌｅｎｓ）またはパララックスバリア（Ｐａｒａｌｌａｘ Ｂａｒｒｉｅｒ）で実現されてよい。

例えば、視域分離部１４２は、複数のレンズ領域を含むレンチキュラレンズで実現されてよい。それにより、レンチキュラレンズは、複数のレンズ領域を通じてディスプレイパネル１４１でディスプレイされる映像を屈折させることができる。各レンズ領域は、少なくとも１つのピクセルに対応するサイズで形成され、各ピクセルを透過する光を視聴領域別に異なるように分散させることができる。

別の例として、視域分離部１４２は、パララックスバリアで実現されてよい。パララックスバリアは、複数のバリア領域を含む透明スリットアレイで実現される。それにより、バリア領域間のスリット（ｓｌｉｔ）を介して光を遮断して視聴領域別に異なった視点の映像が出写されるようにすることができる。

一方、視域分離部１４２は、画質改善のために一定の角度に傾いて動作することができる。制御部１６０は、複数の視点から撮影した各映像の映像フレームを視域分離部１４２が傾いた角度に基づいて分割し、それを組み合わせて映像フレームを生成することができる。それにより、ユーザはディスプレイパネル１４１のサブピクセルに垂直方向または水平方向にディスプレイされた映像を視聴するのではなく、サブピクセルに一定の勾配を有するようにディスプレイされた映像を視聴するようになる。

図３は、本発明の一実施形態に係るディスプレイ部１４０の実現例を説明するための図である。

図３によると、ディスプレイ部１２０は、ディスプレイパネル１４１、視域分離部１４２及びバックライトユニット１４３を含む。

図３においては、視域分離部１４２がレンチキュラレンズアレイで実現された場合を例に挙げて説明するようにする。

図３によると、ディスプレイパネル１４１は、複数の列（ｃｏｌｕｍｎ）に区分される複数のピクセルを含む。各列別に異なる視点のイメージが配置される。図３によると、相互異なる視点の複数のイメージ１、２、３、４が順次に繰り返し配置される形態を示す。すなわち、各ピクセル列は１、２、３、４にナンバリングされた組で配列される。パネルに印加されるグラフィック信号はピクセル列１が１番目のイメージをディスプレイし、ピクセル列２が２番目のイメージをディスプレイするように配列される。

バックライトユニット１２３は、ディスプレイパネル１４１に光を提供する。バックライトユニット１２３から提供される光により、ディスプレイパネル１４１に形成される各イメージ１、２、３、４は視域分離部１４２に投射され、視域分離部１４２は投射される各イメージ１、２、３、４の光を分散させて視聴者方向に伝達する。すなわち、視域分離部１４２は、視聴者の位置、すなわち視聴距離に射出瞳（ｅｘｉｔ ｐｕｐｉｌｓ）を生成する。図示のように、レンチキュラレンズアレイで実現された場合、レンチキュラレンズの厚さ及び直径、パララックスバリアで実現された場合、スリットの間隔などは、各列によって生成される射出瞳が６５ｍｍ未満の平均両眼中心距離に分離されるように設計されてよい。分離されたイメージ光は、それぞれの視聴領域を形成する。すなわち、図３に示すように、第１ないし第４ビューが形成されてユーザの左眼及び右眼がそれぞれ第２ビュー及び第３ビューに位置するようになる倍ア、３Ｄ映像を視聴することができるようになる。

ユーザインターフェース部１５０は、多様なユーザ命令を受信する。

特に、ユーザインターフェース部１５０は、ディスプレイされた３Ｄ映像に含まれた複数のＯＳＤ領域のうち、少なくとも１つのＯＳＤ領域を選択するためのユーザ命令を受信することができる。

具体的に、複数のＯＳＤ領域とともに複数のＯＳＤ領域のうち、少なくとも１つのＯＳＤ領域を選択するためのカーソル、ハイライト等のようなＧＵＩがディスプレイされ、当該ＧＵＩの位置を移動させるユーザ命令に応じて複数のＯＳＤ領域のうち、少なくとも１つのＯＳＤ領域が選択されてよい。

一方、ユーザインターフェース部１５０は、ディスプレイ装置１００の実現例に応じて多様な形態で実現可能である。ディスプレイ装置１００がデジタルテレビで実現される場合、ユーザインターフェース部１１０は遠隔制御装置２００からリモコン信号を受信するリモコン受信部、ユーザモーションを検知するカメラ、ユーザ音声を受信するマイク等で実現可能である。

制御部１６０は、ディスプレイ装置２００の動作全般を制御する。

具体的に、制御部１６０は、ディスプレイされた映像内の複数のコンテンツのうち、フォーカシングされるコンテンツに対しては他のコンテンツと異なるデプス値を有するようにすることができる。ここで、デプス値は、フォーカシングされるコンテンツが突出して見えるようにする＋デプス値だけでなく、フォーカシングされるコンテンツが窪んで見えるようにする−デプス値も含むようにすることができる。

一例として、制御部１６０は、３Ｄ映像に含まれた複数のＯＳＤ領域のうち、ユーザ命令に応じて選択されたＯＳＤ領域のデプスが残りのＯＳＤ領域のデプスと異なるようにデプス補正を行うようにデプス補正部１２０を制御することができる。

すなわち、制御部１６０は、複数のＯＳＤ領域の中からユーザ命令に応じて選択されたＯＳＤ領域のデプス値を再設定し、選択されたＯＳＤ領域のデプスが残りのＯＳＤ領域のデプスと異なるようにすることができる。場合によっては、異なるＯＳＤ領域のデプス値を再設定することも可能である。

具体的に、制御部１６０は、選択されたＯＳＤ領域のデプスを予め設定された第３デプス値に補正し、残りのＯＳＤ領域のデプスを０に補正するようにデプス補正部１２０を制御することができる。ここで、第３デプス値は０ではない値に設定されてよく、第３デプス値を設定する方法は、上述の第１デプス値を設定する方法と同一であるため、詳細な説明は省略する。

または、制御部１６０は、選択されたＯＳＤ領域のデプスを予め設定された第３デプス値に補正し、残りのＯＳＤ領域のデプスを予め設定された第４デプス値に補正するようにデプス補正部１２０を制御することができる。ここで、第４デプス値は、第３デプス値より小さい値であってよい。

なお、制御部１６０は、当該ＯＳＤ領域のデプス値を順次に変更してハイライト効果が順次に鮮明になるように制御することも可能である。例えば、当該ＯＳＤ領域のデプス値が−４から０に変更される場合、制御部１６０は、当該ＯＳＤ領域のデプス値−３、−２、−１でそれぞれ１回ずつ表示することで、−４から０までハイライト効果が次第に鮮明になるように表示されるようにすることができる。

それにより、ＯＳＤ領域の歪みが軽減するとともに、ユーザは選択されたＯＳＤ領域のみに対して立体感を感じることができるため、選択されたＯＳＤ領域に対する識別力が向上することができる。なお、フォーカシング効果を当該コンテンツの左眼映像及び右眼映像の時差のみを調整して実現することができるため、別途のイメージ処理過程（ハイライト、スケーリング、テクスチャ、遠近感効果処理等）を経る必要がなく、フォーカシング効果を提供することができるようになる。

一方、上述の実施形態においては、フォーカシングされるコンテンツとしてＯＳＤ領域を一例として説明したが、それは説明の便宜上のものであり、コンテンツはメニュー画面、警告フレーズ、時間やチャネル番号等の文字、図形、アプリケーション等、多様であってよい。例えば、複数のアプリケーションのそれぞれを示す複数のアイコンがディスプレイされた場合、選択されたアイコンが沈降または***して見えるように選択されたアイコン及び残りのアイコンのうち、少なくとも１つのデプス値を調整することができる。

図４Ａ及び図４Ｂは、本発明の一実施形態に係るＯＳＤマスク情報を説明するための図である。

図４Ａに示すように、ステレオ映像または多視点映像にＯＳＤ領域が含まれている場合、図４Ｂに示すようなＯＳＤマスクを用いてＯＳＤ領域を識別することができるようになる。

ここで、ＯＳＤマスク情報は、ＯＳＤ領域を含む左眼及び右眼映像とともに入力されることもできるが、当該情報がない場合にはＯＳＤ情報に基づいてＯＳＤマスク情報を算出することも可能である。例えば、ＯＳＤ領域を検出し、検出されたＯＳＤ領域によってマスクを拡張し、フィルタリングしてＯＳＤ領域に対応するマスクを生成することができる。

一例によると、ＯＳＤマスク情報は図４Ｂに示す映像のように、ＯＳＤ領域は１の値に設定され、残りの領域は０の値に設定されてよいが、ＯＳＤ領域を識別することができる情報なら、それに限定されずに適用可能である。

図５Ａないし図５Ｃは、本発明の多様な実施形態に係るデプス補正方法を説明するための図である。

本発明の一実施形態によると、３Ｄ視聴モードでＯＳＤ情報５１０が入力される場合、図５Ａに示すように、３Ｄ視聴モードを維持する状態で抽出されたデプス情報を無視し、全てのデプス情報にディパリティ０を与えて、デプスの補正された映像を用いて多視点映像をレンダリングすることができる。それにより、ＯＳＤ領域の３次元立体感を解除することで、ＯＳＤ領域の映像の歪みを防止することができる。

本発明の更に別の実施形態によると、３Ｄ視聴モードでＯＳＤ情報５１０が入力される場合、図５Ｂに示すように、３Ｄ視聴モードを維持する状態で、ＯＳＤマスク情報によって識別されるＯＳＤ領域５２０に同一のデプス値を与えて、すなわち、ＯＳＤ領域のデプスを均一に設定し、デプスの補正された映像を用いて多視点映像をレンダリングすることができる。ここで、ＯＳＤ領域５２０に与えるデプス値は、０を含むデフォルト値、テキスト領域に対して算出されたデプス値のうち最大値、背景映像に含まれた客体のうち最も高いデプス値、または、平均値より所定値の分大きいデプス値、ＯＳＤ領域の中央におけるデプス値または境界におけるデプス値、ユーザによって入力された値等に設定されてよい。ただ、ＯＳＤ領域５２０に適用されるデプス値はそれに限定されるわけではない。

それにより、ＯＳＤ領域に対する３次元立体感を制御することによりＯＳＤ領域の映像の歪みを防止することができる。

本発明の更に別の実施形態によると、３Ｄ視聴モードでＯＳＤ情報５１０が入力される場合、図５Ｃに示すように３Ｄ視聴モードを維持する状態で、ＯＳＤマイク情報によって識別されるＯＳＤ領域５２０に同一のデプス値を与えて残りの領域５３０に対しては、ＯＳＤ領域に与えられたデプス値と異なるデプス値を与えた後、デプスの補正された映像を用いて多視点映像をレンダリングすることができる。それにより、ＯＳＤ領域の映像の歪みを防止するとともにＯＳＤ領域に対する立体効果を与えることができる。

図６は、本発明の別の実施形態に係るデプス補正方法を説明するための図である。

図６に示すように、図５Ａないし図５Ｃに示すように、ＯＳＤ領域のデプス補正後、多視点映像をレンダリングするわけではなく、多視点映像レンダリング後、レンダリングされた映像にＯＳＤ領域をオーバーレイすることもできる。具体的に、図示のように、それぞれの多視点映像に任意に設定された時差の分のディスパリティを与えてＯＳＤ領域をオーバーレイさせることができる。すなわち、図６に示すように、Ｎの多視点映像上のＯＳＤ領域に対してｄ分だけディスパリティを追加的に与えてＯＳＤ領域をオーバーレイすることができる。ここで、ｄは任意の誤り値を有してよい。例えば、ｄは背景映像に含まれた客体のうち、最も高いデプス値または平均値、ＯＳＤ領域の中央におけるデプス値または境界におけるデプス値、ユーザによって入力された値等に基いて適切な値に設定されてよい。

図７Ａ及び図７Ｂは、本発明の別の実施形態に係るデプス補正方法を説明するための図である。

図７Ａ及び図７Ｂに示すように、３Ｄ映像に複数のＯＳＤ領域７１１ないし７１４が含まれている場合、ユーザによって選択されたＯＳＤ領域に対して別のＯＳＤ領域と異なるデプス値を与えるように３Ｄ映像のデプスを補正することができる。

例えば、図７Ａに示すように、３Ｄ映像に複数のＯＳＤ領域が含まれている場合、ＯＳＤ領域７１１ないし７１４のうち、ユーザによって選択されたＯＳＤ領域７１２には０ではない、予め設定されたデプス値を与えて、残りのＯＳＤ領域及び背景映像領域にはデプス値０を与えて立体感が感じることができないようにすることができる。

次いで、図７Ｂに示すように、ユーザによって別のＯＳＤ領域７１３が選択されると、当該ＯＳＤ領域７１３には０ではない、予め設定されたデプス値を与え、残りのＯＳＤ領域及び背景映像領域にはデプス値０を与えて立体感が感じられないようにすることができる。

ただ、上述の実施形態は一実施形態に過ぎず、別の実施形態によると、選択されたＯＳＤ領域に対しては特定デプス値を与え、残りのＯＳＤ領域及び背景映像領域に対しては選択されたＯＳＤ領域に与えられたデプス値より小さいデプス値を与えて、相対的に選択されたＯＳＤ領域の立体感が協調されるようにすることもできる。

更に別の実施形態によると、選択されたＯＳＤ領域に対しては特定デプス値を与え、残りのＯＳＤ領域に対しては選択されたＯＳＤ領域に与えられたデプス値より小さいデプス値を与え、背景映像領域に対しては残りのＯＳＤ領域に与えられたデプス値より更に小さい値を与えることも可能である。

図８Ａないし図８Ｃは、本発明の更に別の実施形態に係るデプス補正方法を説明するための図である。

図８Ａないし図８Ｃに示すように、ＯＳＤ領域ではない場合にも、映像内の特定コンテンツ領域に対して均一のデプス値を与えることも可能である。ここで、映像内の特定コンテンツ領域は、メニュー画面、警告フレーズ、時間、チャネル番号、放送局名称等の文字、図形、アプリケーション、音量調整バー、コンテンツ再生バー等のグラフィック要素等を含む領域であってよい。すなわち、映像内にオーバーレイされて表示される特定コンテンツを含む領域に対して均一のデプス値を与えることができる。

一例として、図８Ａに示すように、チャネル番号が表示される領域８１０に予め設定された均一のデプス値を与えることができる。ただ、図８Ａにおいては、映像が２Ｄ形態でディスプレイされ、チャネル番号の表示される領域８１０が予め設定されたデプス値を有する３Ｄ形態でディスプレイされるものとして説明したが、それは説明の便宜のためである。実質的には、３Ｄ映像上にチャネル番号が表示される場合、チャネル番号を表示する領域に均一のデプス値（例えば、デプス値０）を与えて当該領域で歪みが生じないようにすることができる。

別の例として、図８Ｂに示すように、音量調節バーの表示される領域８２０に予め設定された均一のデプス値を与えることができる。図８Ｂの場合にも、図８Ａと同一の例が適用されることができるため、詳細な説明は省略する。

更に別の例として、図８Ｃに示すように、複数のアプリケーションのそれぞれを示すアイコンがディスプレイされた場合、ユーザ命令に応じて選択されたアイコン８３０が予め設定されたデプス値を有する形態でディスプレイされてよい。例えば、背景画面及び選択されたアイコン８３０を除く残りのアイコンはデプス値０または予め設定された値以下のデプス値を与え、選択されたアイコン８３０に対しては予め設定された値以上のデプス値を与えて選択されたアイコン８３０が別のアイコンと識別されるようにすることができる。

一方、図８Ａないし図８Ｃは、説明の便宜のための一例であり、本発明は画面にディスプレイされる映像内に含まれるコンテンツ、特に、映像にオーバーレイされてディスプレイされるコンテンツなら、限定されずに適用されることができる。

図９は、本発明の一実施形態に係る多視点映像処理装置の制御方法を説明するためのフローチャートである。

図９に示す多視点映像処理装置の制御方法によると、まず、入力された３Ｄ映像のデプス情報を抽出する（Ｓ９１０）。

次いで、３Ｄ映像に含まれたＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）領域に対等するＯＳＤマスク情報及び抽出されたデプス情報に基づいてＯＳＤ領域のデプスを補正する（Ｓ９２０）。

その後、デプスの補正された３Ｄ映像を用いて多視点映像をレンダリングする（Ｓ９３０）。

具体的に、デプス情報を抽出するステップＳ９１０においては、抽出されたデプス情報に基づいてデプスマップ（ｄｅｐｔｈ ｍａｐ）を生成し、デプスを補正するステップＳ９２０では、デプスマップでＯＳＤ領域のデプス値を補正することができる。

なお、デプスを補正するステップＳ９２０においては、デプスマップでＯＳＤ領域のデプス値を第１デプス値に補正することができる。

なお、デプスを補正するステップＳ９２０においては、デプスマップでＯＳＤ領域を除く残りの領域のデプス値を第２デプス値に補正することができる。

なお、デプスを補正するステップ９２０においては、デプスマップでＯＳＤ領域を含む全領域のデプス値を０に補正することができる。

なお、複数のＯＳＤ領域を含む３Ｄ映像をディスプレイするステップ、複数のＯＳＤ領域のうちの少なくとも１つを選択するためのユーザ命令を受信するステップと、ユーザ命令に応じて選択されたＯＳＤ領域のデプスが残りのＯＳＤ領域のデプスと異なるようにデプス補正を行うステップを更に含んでよい。

この場合、デプス補正を行うステップにおいては、選択されたＯＳＤ領域のデプスを予め設定された第２デプス値に補正し、残りのＯＳＤ領域のデプスを０に補正することができる。

以上のように、本発明の多様な実施形態によると、３Ｄ映像に含まれたＯＳＤ領域における映像の歪みを防止することができる裸眼式３Ｄシステムを提供することができるようになる。なお、本発明によると、裸眼式３Ｄシステムで部分３Ｄ機能を実現することができるようになる。

上述の多様な実施形態に係る多視点映像処理装置の制御方法は、プログラムで実現されてディスプレイ装置に提供されてよい。

一例として、入力された３Ｄ映像のデプス情報を抽出するステップ、３Ｄ映像に含まれたＯＳＤ領域に対応するＯＳＤマスク情報及び抽出されたデプス情報に基づいてＯＳＤ領域のデプスを補正するステップ、及びデプスの補正された３Ｄ映像を用いて多視点映像をレンダリングするステップを行うプログラムが保存された非一時的な読み取り可能な媒体（Ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）が提供されてよい。

非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のような短い間データを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り（Ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、ＣＤやＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。

一方、本発明の多様な実施形態において、デプス抽出部１１０、デプス補正部１２０、レンダリング部１３０、ディスプレイ部１４０、ユーザインターフェース部１５０及び制御部１７０のうちの少なくとも１つは、それらのそれぞれの機能を行うためのプロセッサ、ハードウェアモジュールまたは回路のうち少なくとも１つを含むことができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

Claims (14)

1. 入力された３Ｄ入力映像のデプス情報を抽出するデプス抽出部と、
   前記３Ｄ入力映像に含まれた複数のＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）領域のうちの１つに対応するＯＳＤマスク情報及び前記抽出されたデプス情報に基づいて、前記３Ｄ入力映像で当該ＯＳＤ領域のデプスを補正するデプス補正部と、
   前記デプスの補正された３Ｄ入力映像を用いて多視点映像をレンダリングするレンダリング部と、
   前記多視点映像をディスプレイするディスプレイ部と、
   前記複数のＯＳＤ領域のうち、前記ＯＳＤ領域のデプスが残りのＯＳＤ領域のデプスと異なるように前記デプス補正部を制御し、前記補正されたデプスに基づき前記ＯＳＤ領域のデプスを順次変更し表示するよう前記ディスプレイ部を制御する制御部と、
   を含み、
   前記レンダリング部は、前記補正された３Ｄ入力映像に基づいて最左側ビュー及び最右側ビューを生成し、前記多視点映像をレンダリングする前に前記最左側ビュー及び最右側ビューに存在するホールにホールフィーリングを行う、多視点映像処理装置。
2. 前記デプス抽出部は、
   前記抽出されたデプス情報に基づいてデプスマップ（ｄｅｐｔｈ ｍａｐ）を生成し、
   前記デプス補正部は、
   前記デプスマップで前記ＯＳＤ領域のデプス値を補正することを特徴とする請求項１に記載の多視点映像処理装置。
3. 前記デプス補正部は、
   前記デプスマップで前記ＯＳＤ領域のデプス値を第１デプス値に補正することを特徴とする請求項２に記載の多視点映像処理装置。
4. 前記デプス補正部は、
   前記デプスマップで前記ＯＳＤ領域を除く残りの領域の複数のデプス値を第２デプス値に補正することを特徴とする請求項３に記載の多視点映像処理装置。
5. 前記デプス補正部は、
   前記デプスマップで前記ＯＳＤ領域を含む全領域のデプス値を０に補正することを特徴とする請求項２に記載の多視点映像処理装置。
6. ユーザ命令を受信するユーザインターフェース部を更に含み、
   前記制御部は、
   前記３Ｄ入力映像に含まれた複数のＯＳＤ領域の中からユーザ命令に応じて選択された少なくとも１つのＯＳＤ領域のデプスが、前記選択された少なくとも１つのＯＳＤ領域を除く残りのＯＳＤ領域の複数のデプスと異なるようにデプス補正を行うように前記デプス補正部を制御することを特徴とする請求項１に記載の多視点映像処理装置。
7. 前記制御部は、
   前記選択された少なくとも１つのＯＳＤ領域のデプスを予め設定された第３デプス値に補正し、前記選択された少なくとも１つのＯＳＤ領域を除く残りのＯＳＤ領域の複数のデプスを０に補正するように前記デプス補正部を制御することを特徴とする請求項６に記載の多視点映像処理装置。
8. 入力された３Ｄ入力映像のデプス情報を抽出するステップと、
   前記３Ｄ入力映像に含まれた複数のＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）領域のうちの１つに対応するＯＳＤマスク情報及び前記抽出されたデプス情報に基づいて、前記３Ｄ入力映像で当該ＯＳＤ領域のデプスを補正するステップと、
   前記デプスの補正された３Ｄ入力映像に基づいて最左側ビュー及び最右側ビューを生成し、前記最左側ビュー及び最右側ビューに存在するホールにホールフィーリングを行った後に、多視点映像をレンダリングするステップと、
   前記多視点映像をディスプレイするステップと、
   を含み、
   前記デプスを補正するステップは、前記複数のＯＳＤ領域のうち、前記ＯＳＤ領域のデプスが残りのＯＳＤ領域のデプスと異なるようにデプスを補正し、
   前記ディスプレイするステップは、前記デプス補正に基づき前記ＯＳＤ領域のデプスを順次変更し表示する、
   多視点映像処理方法。
9. 前記デプス情報を抽出するステップは、
   前記抽出されたデプス情報に基づいてデプスマップ（ｄｅｐｔｈ ｍａｐ）を生成し、
   前記デプスを補正するステップは、
   前記デプスマップで前記ＯＳＤ領域のデプス値を補正することを特徴とする請求項８に記載の多視点映像処理方法。
10. 前記デプスを補正するステップは、
    前記デプスマップで前記ＯＳＤ領域のデプス値を第１デプス値に補正することを特徴とする請求項９に記載の多視点映像処理方法。
11. 前記デプスを補正するステップは、
    前記デプスマップで前記ＯＳＤ領域を除く残りの領域の複数のデプス値を第２デプス値に補正することを特徴とする請求項１０に記載の多視点映像処理方法。
12. 前記デプスを補正するステップは、
    前記デプスマップで前記ＯＳＤ領域を含む全領域のデプス値を０に補正することを特徴とする請求項９に記載の多視点映像処理方法。
13. 前記複数のＯＳＤ領域の中から少なくとも１つを選択するためのユーザ命令を受信するステップを更に含み、
    前記デプスを補正するステップは、
    前記ユーザ命令に応じて選択された少なくとも１つのＯＳＤ領域のデプスが、前記選択された少なくとも１つのＯＳＤ領域を除く残りのＯＳＤ領域の複数のデプスと異なるようにデプスを補正する、
    ことを特徴とする請求項８に記載の多視点映像処理方法。
14. 前記選択された少なくとも１つのＯＳＤ領域のデプスを予め設定された第３デプス値に補正し、前記選択された少なくとも１つのＯＳＤ領域を除く残りのＯＳＤ領域の複数のデプスを０に補正することを特徴とする請求項１３に記載の多視点映像処理方法。
    

Images