JP5490252B2 - 立体画像処理装置、立体画像表示装置及び立体画像処理方法 - Google Patents
立体画像処理装置、立体画像表示装置及び立体画像処理方法 Download PDFInfo
- Publication number
- JP5490252B2 JP5490252B2 JP2012541680A JP2012541680A JP5490252B2 JP 5490252 B2 JP5490252 B2 JP 5490252B2 JP 2012541680 A JP2012541680 A JP 2012541680A JP 2012541680 A JP2012541680 A JP 2012541680A JP 5490252 B2 JP5490252 B2 JP 5490252B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- parallax
- stereoscopic image
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、立体画像処理技術に関し、特に立体画像信号の左右画像を交互に表示するフレームシーケンシャル表示向けに画像処理を行う技術に関するものである。
近年、視聴者の左右の目に異なる画像を提示することにより、立体感を認識させる両眼視差方式の3D映画が急速に普及しており、映画館での3D映画上映や、家庭での3D対応機器を用いた3D映画視聴が一般的なものになってきている。
家庭での立体視聴の代表的な方式である液晶シャッターメガネ方式では、ディスプレイには左眼用画像と右眼用画像が交互に表示され(フレームシーケンシャル表示)、視聴者は表示と同期して左目または右目に入る画像を遮断する液晶シャッターメガネをかける。これにより、視聴者の左目には左眼用画像のみが、右目には右眼用画像のみが認識されるので、左右画像の視差により視聴者は立体感を知覚できる。
図9に示すような画面上をボールが横切るシーンを、左右それぞれ60Hzで立体撮影し、左右交互に120Hzでフレームシーケンシャル表示する場合の表示画像におけるボールの表示位置と時間との関係を図10に示す。
左右画像を同時に撮影した立体画像をフレームシーケンシャル方式で表示した場合、左右画像は1/120秒ずれて表示される。人はほぼ均一に動くものを見る場合、視線が動きを追いかけるように移動することが知られている。図10の場合、視線は表示されているボールを追いかけ、矢印で示す移動軌跡のように移動する。
このため、図11に示すとおり、片側の眼用画像を表示したとき、他方の眼の視線位置はボールの移動に応じてずれが生じる。例えば、右眼画像を表示した時点では、左眼の視線位置は、直前の左眼画像におけるボールの位置から0.5フレーム分ずれることになる。すなわち、横方向に動くボールを立体撮影したシーンをフレームシーケンシャル表示すると、ボールの0.5フレーム分の動きに応じた量だけ左右の視線の位置が水平方向にずれる。左右の視線の水平方向のずれは、立体画像の立体感に影響を与え、実際よりも飛び出して、あるいは引っ込んで画像が認識される。
以上のようなフレームシーケンシャル表示に起因する問題を抑制するために、画像信号から動きベクトルを検出し、この検出した動きベクトルを用いて一方の眼用画像の位相を0.5フレームずらした補間フレームを生成し、立体表示を行うことが知られている(例えば、特許文献1参照)。
補間フレームの生成で使用する動きベクトルは、連続するフレームを比較することによって検出するため、物体の移動に関しては正しく検出することができるが、回転や拡大/縮小といった動きは正しく検出できない場合がある。また、動く物体の背景に隠れる領域や、背景から現れる領域、また物体の変形など、連続するフレームの一方にしか含まれない領域についても正しい動きベクトルを検出することはできない。さらには、通常動きベクトルの検出は検出を行う対象のブロックを基準として、所定の範囲を探索することで検出することが多く、この探索範囲を超える動きがある場合にも正しい動きベクトルが検出できないことがある。
このように正しい動きベクトルが検出されない場合、補間フレーム、および補間フレームが連続する画像において、動く物体等の周囲にハロ(Halo)と呼ばれるノイズが発生する。
また、特許文献1のように、一方の眼用画像の位相を常に0.5フレーム分ずらすものとすると、左右画像のうちの一方については変換をかけない原画像が、他方については補間フレームが常に表示されることになる。この場合、正しい動きベクトルを検出できず補間の誤りが生じるとき、左右画像間で対応がとれず立体視できない画像となる可能性があり、立体感を得られない、あるいは品質の低い立体感しか得られないといった影響を及ぼす。
上述したような問題を鑑みると、補間フレームの生成は、フレームシーケンシャル表示される立体画像の立体感に影響を与えるような動きが画像中に含まれている場合にのみ行うものとし、立体感に特に影響を与えるような動きがない場合には、補間フレームを生成しないで原画像を用いる、という制御が好ましいと考えられる。このような制御によって、立体画像の表示品質がさらに向上するものと予想される。
本発明は、フレームシーケンシャル表示される立体画像の表示品質をより向上させる立体画像処理技術を提供することを目的とする。
本発明の一態様では、入力された立体画像信号からフレームシーケンシャル表示向けの出力画像信号を生成する立体画像処理装置は、前記立体画像信号について左眼用画像と右眼用画像との視差を検出する視差検出部と、前記立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、フレーム間の動きベクトルを検出するベクトル検出部と、前記視差検出部によって検出された視差、および前記ベクトル検出部によって検出された動きベクトルを基にして、補間フレームを生成するか否かを判断し、この判断結果を示す制御信号を出力する出力制御部と、前記制御信号を受け、前記制御信号が補間フレームを生成することを示すとき、前記立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、前記動きベクトルを用いて、補間位相における補間フレームを生成する出力画像生成部と、前記立体画像信号の左眼用画像および右眼用画像のフレームを時間的に交互に配列するものであり、かつ、前記出力画像生成部によって生成された補間フレームを、当該補間位相に対応するフレームに置き換える出力部とを備えている。
本発明の他の態様では、立体画像表示装置は、上の態様に係る立体画像処理装置と、前記立体画像処理装置から出力された出力画像信号を受けて、フレームシーケンシャル表示を行う表示部とを備えている。
本発明の他の態様では、入力された立体画像信号からフレームシーケンシャル表示向けの出力画像信号を生成する立体画像処理方法は、前記立体画像信号について左眼用画像と右眼用画像との視差を検出する視差検出ステップと、前記立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、フレーム間の動きベクトルを検出するベクトル検出ステップと、前記視差検出ステップにおいて検出された視差、および前記ベクトル検出ステップにおいて検出された動きベクトルを基にして、補間フレームを生成するか否かを判断する出力制御ステップと、前記出力制御ステップにおいて補間フレームを生成すると判断したとき、前記立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、前記動きベクトルを用いて、補間位相における補間フレームを生成する出力画像生成ステップと、前記立体画像信号の左眼用画像および右眼用画像のフレームを時間的に交互に配列するものであり、かつ、前記出力画像生成ステップにおいて生成された補間フレームを、当該補間位相に該当するフレームに置き換える出力ステップとを備えている。
上の各態様では、入力された立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、動きベクトルを用いて補間位相における補間フレームが生成される。ただし、補間フレームを生成するか否かが、左眼用画像と右眼用画像との視差と、動きベクトルとを用いて判断される。これにより、フレームシーケンシャル表示される立体画像の立体感に影響を与えるような動きが画像中に含まれているときに、補間フレームを生成し、それ以外のときは原画像を用いる、という制御が可能になる。したがって、正しい動きベクトルを検出できないため適切な補間フレームが生成されず、立体画像の表示品質を低下させてしまう可能性を抑制できるので、立体画像の表示品質をより向上させることが可能となる。
本発明によれば、高品位な立体表示を可能にしつつ、補間誤りによる画質劣化を抑制することができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。
図1は実施形態に係る立体画像表示装置100の主要な構成を示すブロック図である。立体画像表示装置100は、表示部1と、入力された立体画像信号から、フレームシーケンシャル表示向けの出力画像信号を生成する立体画像処理装置2とを備えている。
立体画像処理装置2に入力される立体画像信号は、ここでは、フレーム周波数がそれぞれ60Hzの左右画像が時間軸上で交互に配置された、120Hzの立体画像信号とする。立体画像処理装置2は、入力された立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、フレーム間で動きベクトルを検出し、この動きベクトルを使用して補間フレームを生成する。そして、生成した補間フレームを原フレームに置き換えて、左眼用画像と右眼用画像を時間軸上で交互に配列することによって、表示部1に出力する出力画像信号を生成する。
表示部1は、立体画像処理装置2から出力された出力画像信号を例えば120Hzでフレームシーケンシャル表示する。表示部1は液晶ディスプレイ(LCD:Liquid Crystal Display)やプラズマディスプレイ(PDP:Plasma Display Panel)など立体画像信号の表示が可能なものであればよく、特に制限はない。
立体画像処理装置2は、画像メモリ202、動きベクトルを検出するベクトル検出部203、補間フレームの生成を制御する出力制御部204、ベクトルメモリ205、補間フレームを作成する出力画像生成部206、出力部207、および、左右画像の視差を検出する視差検出部210を有する。
ここでは、立体画像処理装置2が、入力される立体画像信号の右眼用画像の位相を0.5フレーム分ずらして補間フレームを生成し、出力画像信号を生成する場合を例にとって、その構成および動作について説明する。すなわち、本実施形態では、左眼用画像に原画像を用い、右眼用画像に動きベクトルを用いた補間画像を用いるものとする。ただし、本発明はこれに限定されるものではなく、例えば、右眼用画像に原画像を用い、左眼用画像に補間画像を用いてもよい。
立体画像処理装置2に入力された入力画像信号は、画像メモリ202と、ベクトル検出部203と、視差検出部210とに入力される。ここではまず、視差の情報を用いない場合の補間フレーム生成について説明を行い、視差検出部210の動作と視差の情報を用いた補間フレーム生成については、後述する。
画像メモリ202は、入力された画像信号を少なくとも3フレーム分記憶することが可能であり、また記憶された任意のフレームを読み出し可能なメモリである。ここでは画像メモリ202は、現在の左右画像と1フレーム前の右眼用画像とを記憶し、1フレーム前の右眼用画像をベクトル検出部203に出力する。
ベクトル検出部203は、入力画像信号が左眼用画像である場合は動作しない。一方、入力画像信号が右眼用画像である場合は、当該右眼用画像を例えば8画素×8画素からなるブロックに分割し、それぞれのブロックに対して、画像メモリ202から入力される1フレーム前の右眼用画像を同様に分割したブロックの中から、相関が最も高いブロック位置を探索することによって、動きベクトルを検出する。
例えば、図2に示すように、右眼用画像第1フレームであるフレーム1(R)内の対象ブロックの動きベクトルを検出する場合、1つ前の右眼用画像第0フレームであるフレーム0(R)内で対象ブロックと相関が最も大きくなる位置を探索し、この位置の差を動きベクトルとして検出する。このとき探索を行う範囲は、動きベクトルを検出するブロックを基準に、例えば水平±64画素、垂直±32ラインのような範囲であり、この範囲の中で相関の最も大きな位置を求める。また、相関の指標としては例えば、ブロックに含まれる各画素の値と、比較を行う位置の画素の値の差の絶対値をブロック全体で合計したもの(SAD:Sum of Absolute Difference、差分絶対値和)を用いることができる。
なお、ブロックの大きさはこれに限るものではなく、これよりも小さくても大きくてもかまわない。また、相関の指標としてSAD以外を使用することが可能であり、探索方法としても処理量を削減し、効率よく動きベクトルを検出する多くの手法が知られており、これらを使用することが可能である。
図1に戻り、ベクトル検出部203は、入力画像信号と当該入力画像信号より前に入力された入力画像信号とから検出した検出動きベクトルを、ベクトルメモリ205に出力する。
ベクトルメモリ205は、ベクトル検出部203が検出した動きベクトルを記憶するメモリであり、ベクトル検出部203からの書き込みと、後述する出力画像生成部206からの読み出しとの時間差を吸収する。ベクトルメモリ205は、この時間差に相当する容量があればよいが、ここでは入力画像の2フレーム分に対応するベクトルを記憶できるものとする。
出力制御部204は補間フレームの生成の制御を行う。具体的には、
(1)ベクトルメモリ205に記憶されたどの動きベクトルを読み出すか、
(2)画像メモリ202に記憶されたどの2つのフレームを読み出すか、
(3)2つのフレームの間のどの補間位相に補間フレームを生成するか
を決定し、それぞれの決定に従った制御信号を出力する。すなわち、(1)の決定に従ってベクトルメモリ205にベクトル選択信号を出力し、(2)の決定に従って画像メモリ202にフレーム選択信号を出力し、(3)の決定に従って出力画像生成部206に補間位相制御信号を出力する。出力制御部204の動作の詳細については後述する。
(1)ベクトルメモリ205に記憶されたどの動きベクトルを読み出すか、
(2)画像メモリ202に記憶されたどの2つのフレームを読み出すか、
(3)2つのフレームの間のどの補間位相に補間フレームを生成するか
を決定し、それぞれの決定に従った制御信号を出力する。すなわち、(1)の決定に従ってベクトルメモリ205にベクトル選択信号を出力し、(2)の決定に従って画像メモリ202にフレーム選択信号を出力し、(3)の決定に従って出力画像生成部206に補間位相制御信号を出力する。出力制御部204の動作の詳細については後述する。
画像メモリ202は、出力制御部204から補間に使用する2つのフレームを選択するフレーム選択信号を受け、フレーム選択信号で指定された2つのフレームを前後フレーム画像信号として出力画像生成部206に出力する。
ベクトルメモリ205は、出力制御部204から補間に使用するベクトルを選択するベクトル選択信号を受け、ベクトル選択信号で指定された動きベクトルを補間用動きベクトルとして出力画像生成部206に出力する。
図3は視差の情報を用いない場合における補間フレーム生成のタイミングを示す図である。左画像については、補間は行われずに入力フレームがそのまま出力される。一方、右画像については、補間により生成した補間画像が出力される。
動きベクトルの検出は、入力画像信号の周波数60Hzで行われる。入力画像信号が左眼用画像であるときはベクトル検出処理を行わず、一方、入力画像信号が右眼用画像であるときはベクトル検出処理を行う。入力画像信号としてフレーム1(R)が入力されている間、前フレーム画像信号として入力されるフレーム0(R)との間で検出した動きベクトルがベクトルメモリ205に書き込まれる。以降同様に、右眼用画像フレームと一つ前の右眼用画像フレームとの間で検出した動きベクトルがベクトルメモリ205に書き込まれる。
補間フレームの生成も、出力画像信号のフレーム周波数である60Hzで行われる。このため、出力制御部204からの各制御信号は60Hzの周期で出力される。出力制御部204は、生成する補間フレームに必要となる入力フレームと補間用動きベクトルとを適切に選択し、これらを出力画像生成部206に入力するための制御信号、すなわちフレーム選択信号およびベクトル選択信号をそれぞれ画像メモリ202およびベクトルメモリ205に出力する。またこれに併せて出力制御部204は、補間位相制御信号を出力画像生成部206に出力する。
図3を例に説明すると、まず左眼用画像第0フレームであるフレーム0(L)については、補間を行わずにそのまま出力する。このため、出力制御部204は、ベクトル選択信号は出力せず、前フレームとしてフレーム0(L)を選択するためのフレーム選択信号を出力し、補間位相制御信号として「0」を出力する。
一方、フレーム0(R)、フレーム1(R)に対して、生成する補間フレームの補間位相は0.5となる。このため出力制御部204は、
(1)補間用動きベクトルとしてフレーム1(R)とフレーム0(R)の間で検出した動きベクトルを選択するベクトル選択信号を、ベクトルメモリ205に出力し、
(2)前後フレーム画像信号としてフレーム0(R)とフレーム1(R)を選択するためのフレーム選択信号を、画像メモリ202に出力し、
(3)補間位相制御信号として「0.5」を出力画像生成部206へ出力する。
(1)補間用動きベクトルとしてフレーム1(R)とフレーム0(R)の間で検出した動きベクトルを選択するベクトル選択信号を、ベクトルメモリ205に出力し、
(2)前後フレーム画像信号としてフレーム0(R)とフレーム1(R)を選択するためのフレーム選択信号を、画像メモリ202に出力し、
(3)補間位相制御信号として「0.5」を出力画像生成部206へ出力する。
出力画像生成部206は、画像メモリ202から前後フレーム画像信号として入力される2つのフレームと、ベクトルメモリ205から入力される、この2フレームの間の動きに対応する補間用動きベクトルとを用い、補間位相制御信号で指定される補間位相の補間フレームを生成する。
補間フレームの生成は、図4で示すように、生成する補間フレームの前後のフレームの少なくとも一方の画素もしくは画素ブロックを補間用動きベクトルに沿って移動することによって行うことができる。このとき、補間フレームを生成する時間軸上の位置、すなわち、補間位相は、フレーム(F−1)とフレーム(F)の間で任意に選ぶことができる。具体的には、補間位相に近い側のフレームのみを用いるなど、いずれか一方から移動した画素を用いて補間フレームを生成することも可能であり、また両フレームから移動した画素を一定の割合、または補間位相に対応する割合で混合するなどによって生成することも可能である。図4は、フレーム(F−1)から1/3の補間位相に補間フレームを生成する例を示している。なお、本実施の形態では、補間位相を0以上1以下の値として表し、補間位相が0の場合は、フレーム(F−1)の時間軸上の位置を示し、補間位相が1の場合はフレーム(F)の時間軸上の位置を示す。補間位相が0.5の場合は、フレーム(F−1)とフレーム(F)の中間点の時間軸上の位置を意味する。
出力部207は、立体画像信号の左眼用画像および右眼用画像のフレームをフレームシーケンシャル方式で表示するために時間的に交互に配列する制御を行う。さらに出力部207は、出力画像生成部206が補間フレームを生成した場合は、配列制御した立体画像信号の一部を当該補間フレームで置き換える(代替)する制御を行う。この際の、置き換えの対象となる画像は、出力画像生成部206が生成した補間フレームの補間位相に該当する画像である。なお、補間フレームが生成されなかった場合は出力部207はフレームの代替処理を行わない。出力部207は、生成したフレーム配列をその順序に応じて表示部1に出力する。
以降、このような処理を繰り返し実行することによって、出力画像信号が生成される。
上述したような方法によると、フレームシーケンシャル表示向けの出力画像信号において、右眼用画像は常に、入力画像信号における右眼用画像から0.5フレーム分位相をずらした画像となる。この場合、フレームシーケンシャル表示において時間軸上の位置に応じた位相を持つ画像がそれぞれ表示されるため、画像中に動きがある場合でも、立体画像に違和感が生じない。しかしながら、例えば正しい動きベクトルが検出されていない場合には、補間に誤りが生じ、正しい補間フレームが生成できないため、大きな画質劣化を招く可能性がある。
そこで、本実施形態では、立体画像処理装置2に視差検出部210を設けて、入力された立体画像信号について左右画像の視差を検出する。そして出力制御部204が、視差検出部210によって検出された視差とベクトル検出部203によって検出された動きベクトルとを基にして、補間フレームを生成するか否かを判断する。補間フレームを生成しないと判断したとき、出力制御部204は補間位相制御信号として「0」を出力する。
視差検出部210は、右眼用画像を上記の動きベクトル算出の際と同様に例えば8画素×8画素からなるブロックに分割し、それぞれのブロックに対して、左眼用画像から相関が最も高い位置を探索することによって視差を検出する。例えば図5において、フレーム1(R)内の対象ブロックに対して相関が最も高い位置を左眼用画像第1フレームであるフレーム1(L)内で探索し、この位置の差を視差として検出する。なお、視差は通常、水平方向(横方向)に発生するため、当該対象ブロックの位置を基準にして水平方向に探索すれば、該当するブロックを見つけることができる。
出力制御部204は、ベクトル検出部203によってブロック単位で検出された動きベクトルと、視差検出部210によってブロック単位で検出された視差とを基にして、「見かけの視差」の値を算出する。「見かけの視差」は、例えば下式により算出される。
(見かけの視差)=(視差)−(動きベクトルの水平成分)/2
つまり「見かけの視差」とは、対象物が画面上を動くことによって生じた動きベクトル(特に、動きベクトルの水平成分)による影響を受けた後の視差のことを意味する。言いかえると、被写体の動きの影響を受けて、画像を視る人が実際に知覚する視差のことである。左右画像の実際の視差と見かけの視差に差が生じるのは、同時に撮影した立体画像の左右画像を時間的に交互に表示するという、撮影時と表示時の画像の取り扱い方式が異なるためである。
なお、本実施形態では、説明を簡単にするために、「見かけの視差」を上式で算出するものとしたが、これに限定されるものではなく、上式以外で算出してもよい。すなわち、左右画像が本来持つ視差が、画像に含まれる被写体の動きにより影響を受けて、視聴者に実際に見える「見かけの視差」を測るものであれば、どのようなものであってもよい。
出力制御部204はフレーム画像を領域分割し、各領域について視差および動きベクトルを算出する。各領域の視差および動きベクトルは、領域内のブロックの視差および動きベクトルの平均値や中央値などを用いて計算できる。また、フレーム画像の領域分割は、縦横所定の大きさの領域に分割してもよいし、グラフカット等の方式によりオブジェクト単位で分割してもよい。
そして各領域について、視差と動きベクトルから「見かけの視差」を求める。そして、領域間における「見かけの視差」の比較に基づいて、補間フレームを生成するか否かを判断する。ここでは、視差と「見かけの視差」とについて、領域間の大小関係が逆転しているか否かを判定するものとする。この判定は例えば、ある領域とこれに隣接する領域とで行ってもよいし、ある領域とフレーム内の全ての領域とで行ってもよい。視差と「見かけの視差」とで領域間の大小関係が逆転している場合、立体画像を視たとき、対象物の前後関係が実際とは逆転して知覚される。このため、このような画像は、視聴者の眼には違和感のある画像として認識される。つまり、このような画像は立体画像として品質の低い画像となる。
図6は画像が有する視差と「見かけの視差」との関係の一例を示す図であり、(a)は画像が有する視差、(b)は「見かけの視差」である。図6では、各領域が持つ視差を数字で表しており、数字の値が小さいほど、前面(視聴者の方)に被写体が飛び出して見え、数字の値が大きいほど奥方向(視聴者から遠ざかる方向)に被写体が見えるものとする。
図6(a)では中心のB2領域のみが正の値「25」を有し、他の領域は負の値を有する。一方、「見かけの視差」を表す図6(b)ではB2領域のみが図6(a)と異なる値「−12」を有し、他の領域は図6(a)と同じ値を有する。この場合、B2領域と周辺領域との値の大小関係が図6(a)と図6(b)とで異なっている。すなわち、図6(a)では、B2領域の値「25」はA1領域の「−5」やB1領域の「−10」よりも大きい。しかし、図6(b)では、B2領域の値「―12」はA1領域の「−5」やB1領域の「−10」よりも小さい。すなわち、図6は視差と「見かけの視差」とで領域間の大小関係が逆転している例である。
図6は、B2領域について、実際の視差は値「25」であるため画面の奥手方向に見える対象物が、「見かけの視差」は値「−12」であるので、前面方向に飛び出して見えてしまうことを意味する。この際、本来はA1領域やB1領域よりも奥手方向に見えるべきB2領域の対象物が、手前に見えることになり、被写体の前後関係が狂ってしまうため、立体画像としては不自然な画像となる。つまり、視差と「見かけの視差」との大小関係が逆転するということは、入力された立体画像信号の左右画像が持つ視差により表される被写体の奥行き感が、実際に表示される際には、元の立体画像信号とは異なってしまうことを意味する。
そこで、出力制御部204は、視差と「見かけの視差」とについて、領域間における大小関係が逆転していると判定した場合、補間位相制御信号として「0.5」を出力する。例えば図6の場合、第1領域としてのB2領域と、第2領域としてのA1領域およびB1領域との間で、視差の大小関係と「見かけの視差」の大小関係が異なっているため、補間フレームを生成すると判断する。一方、視差と「見かけの視差」の大小関係が逆転しないと判定した場合、補間位相制御信号として「0」を出力する。このとき、補間フレームの生成は必要でないため、ベクトルメモリ205に補間用動きベクトルを出力させない。なお、補間位相が「0.5」とは、時間的に前の画像の位相を0、時間的に後の画像の位相を1とした場合における略中間位置を意味する位相である。つまり、この場合には補間位相は時間的に前後する画像の略中間位置となる。
なお、本実施形態では説明を簡単にするために、補間フレームを生成するか否かの判断基準として、領域間における視差と「見かけの視差」の大小関係を用いたが、これに限定されるものではない。ここで領域間における大小関係を用いているのは、これが画像内の対象物の相対的な奥行き感が異なって見えることを表す一つの判断基準となるからである。これ以外の、奥行き情報の変化を図る指標を用いて、補間フレームを生成するか否かを判断するようにしてもよい。
また、たとえ画像が本来有する視差と「見かけの視差」とに関して領域間の大小関係が逆転している場合であっても、その領域(以下、不自然領域と称する)の大きさが画像全体に対してごく小さい場合には、視聴者にさほど不自然さを感じさせないと考えられるため、必ずしも補間フレームを生成する必要はない。つまり、補間フレームの生成の要否について、不自然領域の大きさを判断基準にしてもよい。この場合は例えば、視差と「見かけの視差」の大小関係は逆転していないものの、「見かけの視差」の領域間の差分が小さい(0に近い)領域についても、不自然領域に含めるようにしてもかまわない。
また、同様に、画像内における不自然領域の位置(例えば、中央付近、端部付近)等を判断要素に加えてもよい。例えば、画像の中央付近のように影響が比較的大きい部分に不自然領域があるときは、積極的に補間フレームを生成するようにすればよい。
つまり、補間フレーム生成の要否については、入力される立体画像が有する視差と、表示される立体画像が有する「見かけの視差」とに基づいて、様々な方法によって決定することができる。
図7は本実施形態における視差の情報を用いた場合の補間フレーム生成のタイミングを示す図である。図7の例では、フレーム0(R)からフレーム1(R)への間に画像の動きによって視差と「見かけの視差」とにずれが生じ、不自然領域が検出されたので、補間フレーム0.5(R)が生成されている。一方、フレーム1(R)からフレーム2(R)の間では、不自然領域は検出されなかったため、補間フレームは生成されず、元のフレーム1(R)が出力されている。その他の動作は図3と同様である。
このように、視差と「見かけの視差」とに関して領域間の大小関係が逆転している場合等において補間フレームを生成することによって、左右画像を同時に撮影した立体画像をフレームシーケンシャル方式で表示する場合に、フレームシーケンシャル表示の時間軸により適合した画像を表示することが可能となる。これにより、従来と比較してより自然な立体画像を表示することが可能となる。
なお、入力される立体画像は、左右画像が同時に撮影された画像である必要はなく、左右画像の撮影タイミングが時間差を有する立体画像であっても良い。また、画像は撮影画像に限らず、アニメーションやCG等のように人工的に作成された画像であってもよい。
本実施形態で説明した立体画像処理技術では、立体画像中の物体に動きがあり、表示の際に物体の前後関係が原画像から逆転してしまうおそれがある場合(例えば、視差と「見かけの視差」とに関して領域間の大小関係が逆転する場合)には、表示タイミングのずれに合わせた補間位相を有する補間フレームを生成する。これにより、正しい立体感を知覚できる立体画像の表示が可能となる。
また、画像中の物体の前後関係が正しく保たれる場合には補間フレームを生成しないため、補間の誤りによる画質劣化を抑制できる。以上のように、本明細書に開示した立体画像処理装置および立体画像処理方法によると、従来と比較して高品位な立体表示を可能としつつ、補間の誤りによる画質劣化を抑制できる。
なお、本実施形態では、視差と「見かけの視差」に関してフレーム内の領域間における大小関係が逆転しているか否かによって、補間フレームの生成要否を判断するものとしたが、これに限定されるものではない。例えば図8に示すように、視差と動きベクトルの水平成分を階級に分けて、各階級に属するフレーム内のブロック数を度数とするヒストグラムを作成し、このヒストグラムを基にして補間フレームの生成要否を判断しても良い。例えば、所定値以上の大きな度数を有する階級について、当該階級を代表する視差と動きベクトルの値から「見かけの視差」を算出する。そして、大きな度数を持つ階級間で視差と「見かけの視差」の大小関係が逆転しているか否かを判定し、逆転しているときに補間フレームの生成を行うものと判断する。
また、本実施形態では、フレーム単位で補間の要否を判断するものとしたが、補間フレーム内の画像領域ごとに、補間画像の生成の要否を判断するようにしてもよい。この場合の画像領域の大きさは、動きベクトル検出におけるブロックと同一であってもよいし、それとは異なる大きさであってもよい。例えば、視差と「見かけの視差」との大小関係が一部の画像領域においてのみ逆転する場合には、この画像領域、あるいはこの画像領域を含む領域について、補間画像を生成する。これにより、不自然に見えるおそれのある領域については補間画像を生成することによって高品位な立体表示が可能となる一方、画像全体に占める補間画像の割合は低く抑えることができるので、補間の誤りによる画質劣化を抑制できる。
また、信頼性の低い動きベクトルや、信頼性の低い視差について、補間フレーム生成の要否の判断から外してもよい。例えば、動きベクトルや視差の信頼度が低いブロックについて、視差と「見かけの視差」の大小関係を判定する領域から除外してもよい。この場合には例えば、ベクトル検出部203は検出した動きベクトルとともにその信頼度を示す情報を出力し、視差検出部210は検出した視差とともにその信頼度を示す情報を出力する。そして、出力制御部204は、信頼度が所定の閾値より低い動きベクトルを、補間フレームを生成するか否かの判断から外し、また、信頼度が所定の閾値より低い視差を、補間フレームを生成するか否かの判断から外す。
動きベクトルや視差の信頼度は、例えば、検出結果のSAD値を基にして得ることができる。検出結果のSAD値が所定の基準値より大きい場合(信頼度が所定の閾値よりも低い場合)は、動き検出および視差検出の際のフレーム間の相関が低いため、検出結果の信頼度は低いものと推測できる。なお、信頼度の算出方法はこれ以外の方法であってもよい。例えば、入力される立体画像の特徴により判定してもよい。例えば、絵柄が平坦な画像、同じ模様(パターン)が繰り返し表現される画像等についても、動き検出や視差検出が困難であり、検出結果の信頼度が低いものと推測できる。
また、上記の実施形態では、右眼用画像の入力画像信号のみを0.5フレーム分位相をずらして補間フレームを生成するものとしたが、左右両方の入力画像信号について補間フレームを生成してもよい。例えば、左右画像のいずれか一方について位相を0.25フレーム分進めて、他方について位相を0.25フレーム分遅らせて補間フレームを生成してもよい。つまり、出力される立体画像の左右画像間で、補間位相が立体画像信号の半周期分異なっていればよい。なお、左右画像の両方を例えば±0.25フレーム分位相をずらす場合は、左右画像の対称性をより好適に保つことができるため、左右バランスのとれた立体画像を表示することができる。ただし、左右画像の一方のみの位相をずらす場合に比べて、制御が複雑になる。
この場合、画像メモリ202は、現在の左右画像および直前の左右画像の少なくとも4フレーム分を記憶できることが必要である。ベクトル検出部203は、動きベクトルの検出を左右画像の両方に対して120Hzで行う。また、左右画像の両方について補間フレームが生成されるため、出力制御部204は各制御信号を120Hzで出力する。
これにより、正しい立体感を知覚できる立体画像の表示が可能となるとともに、入力画像信号の原フレームに比較的近い位相に補間フレームが生成されるため、間違った動きベクトルの影響が小さくなり、補間の誤りによる画質劣化を抑制できる。
また、上記の実施形態では、左右画像それぞれ60Hzの立体画像信号が入力される場合を前提とした説明を行っているが、入力される立体画像信号がその他のフレーム周波数の信号であってもかまわない。また、図3および図7に示す各信号のタイミング関係は一例であり、画像メモリ202およびベクトルメモリ205の容量次第では、これと異なるタイミングで処理を行うことも可能である。
また、画像メモリ202およびベクトルメモリ205は、立体画像処理装置2の内部メモリではなく、外部のメモリを用いてもよい。また、本実施形態では、立体画像処理装置2は左右画像を時分割処理するものとしたが、左右画像の信号系統に対してそれぞれの別個の立体画像処理装置を備え、分割処理するようにしてもよい。
なお、上記の実施形態の説明では、立体画像処理装置を中心に説明したが、本実施形態の説明はこれに限定されるものではない。他の実施態様として、図1に示す立体画像表示装置100として実現することも可能である。立体画像表示装置100には、立体画像処理装置2から出力された出力画像信号を受けて、フレームシーケンシャル表示を行う表示部1が設けられている。
また、別の実施態様として、上記で説明した立体画像信号処理装置の処理内容を、CPUやDSP等の演算処理装置上で動作するソフトウェアとして実現することも可能である。この場合には、図1で示した機能構成図における各構成要素が、処理アルゴリズムにおける各ステップとして実現される。
本発明では、画像中に動きがあってもより品質の高い立体画像を表示することができるため、例えば、立体動画を表示するテレビ等に有用である。
1 表示部
2 立体画像処理装置
100 立体画像表示装置
203 ベクトル検出部
204 出力制御部
206 出力画像生成部
207 出力部
210 視差検出部
2 立体画像処理装置
100 立体画像表示装置
203 ベクトル検出部
204 出力制御部
206 出力画像生成部
207 出力部
210 視差検出部
Claims (8)
- 入力された立体画像信号から、フレームシーケンシャル表示向けの出力画像信号を生成する立体画像処理装置であって、
前記立体画像信号について、左眼用画像と右眼用画像との視差を検出する視差検出部と、
前記立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、フレーム間の動きベクトルを検出するベクトル検出部と、
前記視差検出部によって検出された視差、および前記ベクトル検出部によって検出された動きベクトルを基にして、被写体の動きの影響を受けて人が実際に知覚する視差である見かけの視差を算出し、複数の領域間において視差の大小関係と見かけの視差の大小関係とが異なっているとき、補間フレームを生成すると判断し、この判断結果を示す制御信号を出力する出力制御部と、
前記制御信号を受け、前記制御信号が補間フレームを生成することを示すとき、前記立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、前記動きベクトルを用いて、補間位相における補間フレームを生成する出力画像生成部と、
前記立体画像信号の左眼用画像および右眼用画像のフレームを時間的に交互に配列するものであり、かつ、前記出力画像生成部によって生成された補間フレームを、当該補間位相に対応するフレームに置き換える出力部とを備えている
ことを特徴とする立体画像処理装置。 - 請求項1記載の立体画像処理装置において、
前記出力制御部は、補間フレームの画像領域毎に、補間画像を生成するか否かを判断するものであり、
前記出力画像生成部は、補間フレームにおいて、補間画像を生成するよう判断された画像領域に補間画像を生成し、補間画像を生成しないよう判断された画像領域に原画像を用いる
ことを特徴とする立体画像処理装置。 - 請求項1記載の立体画像処理装置において、
前記ベクトル検出部は、検出した動きベクトルとともに、当該動きベクトルの信頼度を示す情報を出力するものであり、
前記出力制御部は、信頼度が所定の閾値より低い動きベクトルを、補間フレームを生成するか否かの判断から外す
ことを特徴とする立体画像処理装置。 - 請求項1記載の立体画像処理装置において、
前記視差検出部は、検出した視差とともに、当該視差の信頼度を示す情報を出力するものであり、
前記出力制御部は、信頼度が所定の閾値より低い視差を、補間フレームを生成するか否かの判断から外す
ことを特徴とする立体画像処理装置。 - 請求項1記載の立体画像処理装置において、
前記出力画像生成部は、前記立体画像信号の左眼用画像および右眼用画像のいずれか一方について補間フレームを生成するものであり、かつ、連続する2個のフレームの中間位置を補間位相とする
ことを特徴とする立体画像処理装置。 - 請求項1記載の立体画像処理装置において、
前記出力画像生成部は、前記立体画像信号の左眼用画像および右眼用画像の両方について補間フレームを生成するものであり、かつ、左眼用画像の補間位相と右眼用画像の補間位相とが前記立体画像信号の半周期分異なるように、補間フレームを生成する
ことを特徴とする立体画像処理装置。 - 請求項1〜6のうちいずれか1項記載の立体画像処理装置と、
前記立体画像処理装置から出力された出力画像信号を受けて、フレームシーケンシャル表示を行う表示部とを備えている
ことを特徴とする立体画像表示装置。 - 入力された立体画像信号から、フレームシーケンシャル表示向けの出力画像信号を生成する立体画像処理方法であって、
前記立体画像信号について、左眼用画像と右眼用画像との視差を検出する視差検出ステップと、
前記立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、フレーム間の動きベクトルを検出するベクトル検出ステップと、
前記視差検出ステップにおいて検出された視差、および前記ベクトル検出ステップにおいて検出された動きベクトルを基にして、被写体の動きの影響を受けて人が実際に知覚する視差である見かけの視差を算出し、複数の領域間において視差の大小関係と見かけの視差の大小関係とが異なっているとき、補間フレームを生成すると判断する出力制御ステップと、
前記出力制御ステップにおいて補間フレームを生成すると判断したとき、前記立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、前記動きベクトルを用いて、補間位相における補間フレームを生成する出力画像生成ステップと、
前記立体画像信号の左眼用画像および右眼用画像のフレームを時間的に交互に配列するものであり、かつ、前記出力画像生成ステップにおいて生成された補間フレームを、当該補間位相に該当するフレームに置き換える出力ステップとを備えている
ことを特徴とする立体画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012541680A JP5490252B2 (ja) | 2011-08-25 | 2012-04-12 | 立体画像処理装置、立体画像表示装置及び立体画像処理方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011183268 | 2011-08-25 | ||
JP2011183268 | 2011-08-25 | ||
JP2012541680A JP5490252B2 (ja) | 2011-08-25 | 2012-04-12 | 立体画像処理装置、立体画像表示装置及び立体画像処理方法 |
PCT/JP2012/002554 WO2013027307A1 (ja) | 2011-08-25 | 2012-04-12 | 立体画像処理装置、立体画像表示装置及び立体画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5490252B2 true JP5490252B2 (ja) | 2014-05-14 |
JPWO2013027307A1 JPWO2013027307A1 (ja) | 2015-03-05 |
Family
ID=47746084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012541680A Expired - Fee Related JP5490252B2 (ja) | 2011-08-25 | 2012-04-12 | 立体画像処理装置、立体画像表示装置及び立体画像処理方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5490252B2 (ja) |
WO (1) | WO2013027307A1 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007267360A (ja) * | 2006-02-28 | 2007-10-11 | Sharp Corp | 画像表示装置及び方法、画像処理装置及び方法 |
JP2010062695A (ja) * | 2008-09-02 | 2010-03-18 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2010278955A (ja) * | 2009-06-01 | 2010-12-09 | Seiko Epson Corp | 画像処理装置、電気光学装置、表示方法及び電子機器 |
JP2011019202A (ja) * | 2009-07-10 | 2011-01-27 | Sony Corp | 映像信号処理装置および映像表示装置 |
JP2011066574A (ja) * | 2009-09-16 | 2011-03-31 | Toshiba Corp | 映像処理装置、映像表示システム、及び映像表示方法 |
JP2011103504A (ja) * | 2009-11-10 | 2011-05-26 | Panasonic Corp | 立体表示装置、立体表示方法および立体表示システム |
JP2011114472A (ja) * | 2009-11-25 | 2011-06-09 | Sony Corp | 情報処理装置、情報処理方法、プログラム、表示制御装置、送信装置、および受信装置 |
JP2011139222A (ja) * | 2009-12-28 | 2011-07-14 | Toshiba Corp | 立体画像処理装置、tv受信機及び立体画像処理方法 |
-
2012
- 2012-04-12 JP JP2012541680A patent/JP5490252B2/ja not_active Expired - Fee Related
- 2012-04-12 WO PCT/JP2012/002554 patent/WO2013027307A1/ja active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007267360A (ja) * | 2006-02-28 | 2007-10-11 | Sharp Corp | 画像表示装置及び方法、画像処理装置及び方法 |
JP2010062695A (ja) * | 2008-09-02 | 2010-03-18 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2010278955A (ja) * | 2009-06-01 | 2010-12-09 | Seiko Epson Corp | 画像処理装置、電気光学装置、表示方法及び電子機器 |
JP2011019202A (ja) * | 2009-07-10 | 2011-01-27 | Sony Corp | 映像信号処理装置および映像表示装置 |
JP2011066574A (ja) * | 2009-09-16 | 2011-03-31 | Toshiba Corp | 映像処理装置、映像表示システム、及び映像表示方法 |
JP2011103504A (ja) * | 2009-11-10 | 2011-05-26 | Panasonic Corp | 立体表示装置、立体表示方法および立体表示システム |
JP2011114472A (ja) * | 2009-11-25 | 2011-06-09 | Sony Corp | 情報処理装置、情報処理方法、プログラム、表示制御装置、送信装置、および受信装置 |
JP2011139222A (ja) * | 2009-12-28 | 2011-07-14 | Toshiba Corp | 立体画像処理装置、tv受信機及び立体画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2013027307A1 (ja) | 2013-02-28 |
JPWO2013027307A1 (ja) | 2015-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5567578B2 (ja) | 入力された三次元ビデオ信号を処理するための方法及びシステム | |
US8803947B2 (en) | Apparatus and method for generating extrapolated view | |
TWI493505B (zh) | 影像處理方法以及影像處理裝置 | |
US20100321472A1 (en) | Image processing apparatus, image processing method, and program | |
JP4748251B2 (ja) | 映像変換方法および映像変換装置 | |
JP5325341B2 (ja) | 立体映像処理装置および方法ならびに立体映像表示装置 | |
WO2014136144A1 (ja) | 映像表示装置および映像表示方法 | |
US9113140B2 (en) | Stereoscopic image processing device and method for generating interpolated frame with parallax and motion vector | |
CA2900144A1 (en) | System for generating an intermediate view image | |
JP5127973B1 (ja) | 映像処理装置、映像処理方法および映像表示装置 | |
JP2012186652A (ja) | 電子機器、画像処理方法及び画像処理プログラム | |
WO2012014489A1 (ja) | 映像信号処理装置及び映像信号処理方法 | |
WO2012098974A1 (ja) | 画像処理装置および方法、画像表示装置および方法 | |
JP5478728B2 (ja) | 立体映像処理装置および方法ならびに立体映像表示装置 | |
JP2013090129A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP5490252B2 (ja) | 立体画像処理装置、立体画像表示装置及び立体画像処理方法 | |
WO2012117462A1 (ja) | 立体映像処理装置および方法ならびに立体映像表示装置 | |
WO2012117464A1 (ja) | 立体映像処理装置および方法ならびに立体映像表示装置 | |
JP5700998B2 (ja) | 立体映像表示装置及びその制御方法 | |
US20130181984A1 (en) | Apparatus and Method for Processing Three-Dimensional Image | |
JP2013165306A (ja) | 立体映像表示装置 | |
US8902286B2 (en) | Method and apparatus for detecting motion vector, and method and apparatus for processing image signal | |
JP2012182691A (ja) | 画像変換装置 | |
JP2012142852A (ja) | 擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置 | |
WO2012098972A1 (ja) | 画像処理装置および方法、画像表示装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140225 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5490252 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |