JP2004343290A - Stereographic picture display device - Google Patents
Stereographic picture display device Download PDFInfo
- Publication number
- JP2004343290A JP2004343290A JP2003135436A JP2003135436A JP2004343290A JP 2004343290 A JP2004343290 A JP 2004343290A JP 2003135436 A JP2003135436 A JP 2003135436A JP 2003135436 A JP2003135436 A JP 2003135436A JP 2004343290 A JP2004343290 A JP 2004343290A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- information
- display
- stereoscopic image
- stereoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、複数の視点に対応した複数の画像データに基づいて表示手段に立体画像表示を行う技術に関する。
【0002】
【従来の技術】
従来から、視差を有する一組の画像を立体感のある画像として見ることができる立体画像表示技術が知られている。例えば、左眼用と右眼用の画像データを交互に表示装置に出力し、観察者は、その表示の切り替えタイミングに同期してシャッターを切り替えることのできる眼鏡を通して画像データを再生することにより、立体画像を観察することができる。
【0003】
また、特別な眼鏡等を用いずに立体画像を再生する方法としては、パララックスバリア方式と呼ばれる方法がある。左眼用の画像データと右眼用の画像データとのそれぞれを、画像データの垂直走査方向に短冊状に分解し、交互に並べて一枚の画像データとする。その画像データに基づいて画像を表示する表示装置には、画像データを分解した場合と同様の短冊状のスリットがある。短冊状の画像データを、スリットを通して表示装置により観察する。偏光板により短冊状に配置された左眼用の画像データに基づく画像を観察者の左眼で、右眼用の画像データに基づく画像を右眼で視ると、立体感を得ることができる。スリットの代わりにレンチキュラレンズを用いたレンチキュラ方式と呼ばれる方法もある。
【0004】
観察者が、より良い立体画像を見るために、再生画像の立体感を変更する技術も開示されている。人間が物体を立体的に観察する際には、左右の眼では異なる像を観察しており、それらの像は視差と呼ばれるずれを有する。人間はこの視差によって立体感を認識する。視差の量を視差量といい、視差量を調整することにより立体感を調整する。デジタル放送において立体映像を受信し表示する際に、視差量を調整することにより立体ディスプレイに表示する技術が知られており、この技術により観察者は、その立体映像を視聴する環境などに合わせて、立体画像を観察することができる(例えば特許文献1参照)。
【0005】
【特許文献1】
特開2000−78615号公報
【0006】
【発明が解決しようとする課題】
ところで、視差量の調整を行う際に、例えば、レンチキュラ方式、パララックスバリア方式などの左右の画像データを1ライン毎交互に短冊状に並べて表示する方式では、通常、その短冊状データの組み合わせ位置を変えることにより視差量の調整が可能であるが、調整の精度は短冊幅によって規定されることになる。従って、必ずしも観察者の好みに合わせて立体感を調整できるわけではない。
【0007】
また、短冊状データの組み合わせ位置を変えると、再生するためのデータが存在しない部分が発生し、その部分は良好な立体視表示ができない。従って、立体画像データに基づく立体画像を良好に表示できる部分(立体画像を観察できる表示領域)が小さくなってしまう。
【0008】
一方、視差量調整後の画像データにおいて、全ての画像データを表示させようとしても、視差量調整後の短冊状の画像データの幅は、視差量調整分だけ表示領域の幅より広くなり、全て画像データを表示することが出来ない。
本発明の目的は、視差量が調整された立体画像データに基づいて、違和感が少なく良好な立体画像を表示させることである。
【0009】
【課題を解決するための手段】
本発明の一観点によれば、異なるN(Nは2以上の自然数)視点に対応するN個の画像データのそれぞれの視差量の調整に関する視差量調整情報と、視差量を調整した後の少なくともM個(MはN以下の自然数)の画像データを包含する統合領域から立体表示のために切り出される領域に関する切り出し領域情報と、に基づいて、立体画像の表示位置に関する表示位置情報を生成する表示位置情報生成手段と、前記N個の画像データと前記表示位置情報とに基づいて立体表示用の画像データ(以下、「立体画像データ」と称する。)を生成する立体画像データ処理手段と、前記立体画像データに基づいて立体画像を表示する表示手段とを備えることを特徴とする立体画像表示装置が提供される。
【0010】
前記切り出し領域情報は、それぞれの前記視点に応じて選択可能な複数の領域のいずれかを基準にして前記統合領域内に前記画像データを表示させるかに関する情報であるのが好ましい。
【0011】
上記立体画像表示装置によれば、前記切り出し領域情報を切り替えることにができる。例えば、立体画像データ上の、視差の調整により発生する画素データが存在しなくなる部分の位置を変更することもできる。
また、前記切り出し領域情報は、前記統合領域内で最も右端あるいは最も左端の視点の画像データを示す領域を示す情報を含むことが好ましい。
【0012】
上記立体画像表示装置によれば、前記切り出し領域情報を切り替えることによって、立体画像データ上の、視差の調整により発生する画素データのない部分の位置を変更することができる。
また、前記切り出し領域情報は、前記統合領域内の中央部近傍に位置する領域を示す情報を含むことが好ましい。
【0013】
上記立体画像表示装置によれば、前記切り出し領域情報を中央近傍にすることによって、立体画像データ上の、視差の調整により発生する画素データのない部分の位置を左右に分散し表示することにより、目立たなくすることができる。
また、前記切り出し領域情報は、前記統合領域内の周辺部近傍に位置する領域を示す情報を含むことが好ましい。
【0014】
上記立体画像表示装置によれば、前記切り出し領域情報を切り替えることによって、立体画像データ上の、視差の調整により発生する画素データのない部分の位置を変更することができる。
また、前記表示位置情報は、前記立体画像データに基づく画像を表示する表示領域を基準にして生成されるのが好ましい。
【0015】
上記立体画像表示装置によれば、前記表示位置情報を、前記立体画像データに基づく立体画像を表示する表示領域を基準にして生成することによって、前記表示位置情報生成手段内で、前記N個(Nは2以上の自然数)の視点の各々に対応したN個の画像データに対し、前記表示位置情報に従って画像をずらすだけで、簡易に前記立体画像データを作成することができる。
また、前記切り出し領域情報は、視点の数Nに応じて、前記複数の領域の数を変更することが好ましい。
【0016】
上記立体画像表示装置によれば、視点の数Nの値に応じて選択できる前記統合領域内の複数の領域の種類を変更することにより、例えば、視点数が多くなるにつれ観察者の観察位置に含まれる視点の画像データに基づく立体画像を表示領域の中心に近いように表示するように、切り出し領域情報の定義を観察者が切り替えるなどすることによって、視差量の調整を行う際の立体表示の自由度を増やすことができる。
また、前記表示手段は、視差量の調整度合に合わせて前記立体画像データに基づく立体画像を表示する表示領域の大きさを変更することが好ましい。
【0017】
上記立体画像表示装置によれば、画像データをずらすことにより視差量を調整した後、ずらしたことにより画素データがなくなり、かつ表示領域に含まれる領域を表示しないようにすることにより、その領域に対して正しく補間ができなかった場合でも、観察者は違和感の無い立体画像データに基づく立体画像を観察することができる。
【0018】
また、前記表示手段は、前記立体画像データを表示する表示領域の大きさを変更するか否かをユーザーが切り替えると共に、前記表示領域の大きさを変更する場合には、視差量の調整度合に合わせて前記表示領域の大きさを変更することが好ましい。
【0019】
上記立体画像表示装置によれば、画像データをずらすことにより視差量を調整した後、ずらしたことにより画素データがなくなり、かつ表示領域に含まれる領域に対して正しく補間ができなかった場合は、正しく補間ができなかった部分を表示しないように表示領域の大きさを変更するように観察者が指示し、表示する枠を変更するなどして立体表示を行い、正しく補間ができた場合は、表示領域の大きさを変更しないように観察者が指示することによって、観察者はより違和感の無い立体画像データに基づく立体画像を観察することができる。
【0020】
また、前記N個の画像データのそれぞれにおいて、視差量を制限することによって、前記立体画像データを表示する表示領域に含まれない領域の割合を制限することが好ましい。
【0021】
上記立体画像表示装置によれば、前記表示領域に含まれない領域を少なくする、つまり、表示領域中に各視差の画像データ間で対応の取れない領域が少なくすることにより、立体視できる領域が減るのを防ぐことができる。
【0022】
また、前記N個の画像データのそれぞれにおいて、視差量の調整の結果、前記立体画像データを表示する表示領域に含まれない領域の割合がある所定の値以上の場合に、観察者にその旨を通知するのが好ましい。
【0023】
上記立体画像表示装置によれば、前記表示領域に含まれない領域が多くなった、つまり、表示領域中に各視差の画像データ間で対応の取れない領域が多くなったことにより、立体視できる領域が減ったことを観察者に通知することができる。
【0024】
【発明の実施の形態】
本明細書において、3原色のRGBデータのそれぞれをドットと称し、3原色のRGBデータのまとまりを画素と称する。また、画像データは、動画像データ、静止画像データなどを含む。さらに、画像データ中には、例えばJPEGやMPEG−4などの圧縮技術を用いた圧縮画像データも含まれる。
【0025】
また、視差量の調整処理の中には、視差量の調整量が“0”である場合も含まれるものとする。画像データとは、表示手段に画像を表示させるためのデータを指し、立体画像とは、画像データにより表示手段に表示される立体画像を指す。
【0026】
以下に、本発明の実施の形態による立体画像表示技術について、図面を参照して説明する。図1は、本発明の一実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。図1に示すように、本発明の実施の形態による立体画像表示装置1は、入力画像データDinとして、水平方向にいくつの視点の画像データが入力されているかを示す視点数(以下、「総視点数」と称する。)と切り出し領域情報と視差量調整情報とを入力とし、これらのデータに基づいて、立体視表示が可能な画像データ(以下、「立体画像データ」と称する。)を生成する際に用いる表示位置情報と、視差調整した立体画像データ内に無効な領域(立体画像データを構成する各視点の画像データを表示領域から水平方向にずらすことにより視差を調整する場合、表示領域には画像データが無い領域が発生する。以下では、この領域を「無効領域」と称する。)が発生する場合の無効領域情報とを算出する。立体画像表示装置1は、さらに、表示位置情報を立体画像データ処理手段3に伝送し無効領域情報を画像データ補間手段4に伝送する表示位置生成手段2と、入力画像データDinと上記表示位置情報を用いて立体画像データを生成するための画像データ処理を行う立体画像データ処理手段3と、上記無効領域情報を用いて無効領域に補間データを生成する画像データ補間手段4と、生成された画像データを表示する表示手段5と、を有している。ここで、表示領域とは、統合領域のうち実際に画像を表示する領域を指す。統合領域については後述する。
【0027】
まず、総視点数が「2」、つまり、入力画像データDinとして2つの視点の画像データが入力された場合における立体画像表示装置1の動作について説明する。ここで2つの視点の画像データが、左眼用画像データ及び右眼用画像データであるとすると、立体画像表示装置1に入力された左眼用画像データ及び右眼用画像データは、まず立体画像データ処理手段3において、立体視表示が可能なデータに変換される。例えば、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置であれば、立体画像データ処理手段3は、左眼用画像データと右眼用画像データとが短冊状に交互に並べられた立体画像データを生成する。
【0028】
図2は、立体画像表示装置1に入力される2つの視点の画像データ(に基づく画像)の例を示す図である。例えば、図2に示すように、視点1の画像データ20を左眼用画像データとし、視点2の画像データ21を右眼用画像データとする。これらの左眼用画像データ20と右眼用画像データ21とを、例えばドット毎に短冊状に交互に並べて立体画像データを生成する。図3は、2視点の画像データを入力とした場合の、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置に表示する立体画像データの作成方法の一例を示す図である。ドット毎に短冊状に交互に並べて立体画像データを生成する際に、全ての水平方向のラインに対して同じ方法で生成するため、以下においては説明の簡単化のために、水平方向の1ラインについてのみ説明する。
【0029】
視点1の画像データ20と視点2の画像データ21、及び、それらを用いて生成する立体画像データの水平方向の1ラインあたりの画像データを、それぞれ、視点1の1ラインあたりの画像データ30、視点2の1ラインあたりの画像データ31、1ラインあたりの立体画像データ32と称する。例えば、図3に示すように、それぞれの1ラインが12ドット(画素単位では4画素)のRGBデータにより構成されていると仮定する。画像データ30及び31は、Rlm、Glm、Blm(lは視点番号を表す整数、mは左端からの画素の位置を表す整数とし、それぞれ1≦l≦2、で、0≦m≦3とする)から構成されているものとし、立体画像データ作成データ32の各ドットをOx(xは、0≦x≦11の整数とする)とする。
【0030】
図3に示すように、立体画像データ32は視点1からドット毎に交互に視点の異なる画像データのドットを並べて、R10,G20,B10,R21,G11,B21,R12,G22,B12,R23,G13,B23の順に生成する。このようにして、立体画像データ処理手段3は立体画像データ32を生成する。また、外部から視差量調整情報と切り出し領域情報とが、図1に示す表示位置生成手段2にそれぞれ入力される。ここで、視差量調整情報は、立体画像データの飛び出し距離そのものを示す。例えば視差量調整情報をcmなどの距離の単位によって記録しておいてもよい。飛び出し距離は、例えば視差量を調整しない状態を基準(0)として表される。切り出し領域情報については後述する。
【0031】
まず、入力された視差量調整情報が0の場合について説明する。この場合、表示位置生成手段2は、上記で生成した立体画像データを画像データ補間手段4に出力するように立体画像データ処理手段3を制御する。これと同時に表示位置生成手段2は、無効領域情報として、無効領域がない、つまり補間を行う領域がないことを示す情報を画像データ補間手段4に送信する。画像データ補間手段4はこの情報により補間を行う領域がないと判断し、表示手段5に入力された立体画像データに基づく立体画像をそのまま出力する。表示手段5は入力された立体画像を表示する。
【0032】
次いで、表示手段5について説明する。図4は、パララックスバリア方式による表示手段5の一例を示す図である。表示手段5は、スリット40とディスプレイ面41とを含んで構成されており、図3において作成された立体画像データ32がディスプレイ面41に表示される。図4に示すように、ディスプレイ面の前(観察者側)にスリット40を配置することにより、観察者の左眼は左眼用の画像データのみを、右眼は右眼用の画像データのみを観察する。これにより、観察者は立体画像データ32を、立体感を感じた状態で観察することができる。
【0033】
また、上記の例では、ドット毎に異なる視点の画像データを交差させて、立体画像データを生成する例について説明したが、画素毎に異なる視点の画像データを交差させて、立体画像データを生成しても良い。以上では、入力された視差量調整情報が0の場合における、本発明の実施の形態による立体画像表示装置の動作について説明した。
【0034】
次に、入力された視差量調整情報が0でない場合について説明する。表示位置生成手段2において、入力された総視点数と視差量調整情報と切り出し領域情報とから表示位置情報を算出し、立体画像データ処理手段3に出力される。ここで、表示位置生成手段2において算出される表示位置情報の算出例について図5から図13までを参照して説明する。表示位置情報は、シフトベクトル及び切り出し領域情報と、作成される立体画像データに含まれる総視点数から算出される。まず、シフトベクトルについて説明する。
【0035】
図5(A)から(C)までは、立体画像データの飛び出し距離dとディスプレイ面に表示する画像データとの関係を示す図である。図5(A)に示すように、観察者の左眼と右眼の間の距離をeとし、観察者とディスプレイとの間の距離をLとする。図5(A)の状態は、右眼で観察する画素と左眼で観察する画素とが同一のスリット(Q1)で観察される状態である。この時、画素がディスプレイ上において観察される。次に、右眼で観察する画像データを図面の左方向に、例えば1ドット分だけ移動させる。この状態を図5(B)に示す。Q1に存在した画素はQ2の位置に移動する。この時、左眼で観察される画素と右眼で観察される画素とは異なるスリットで観察されS1の位置に像を結び、立体感が生じる。この時のディスプレイからの距離dが飛び出し距離である。
【0036】
ここで、図5(B)に示すようにQ1からQ2への移動距離をwとする。wは、装置(ディスプレイ)に依存する値である。また、ディスプレイと観察者との距離Lも、パララックスバリア方式やレンチキュラ方式の場合、ディスプレイに依存する。従って、飛び出し量を算出するためには、ディスプレイと観察者との距離Lと移動距離wとを知る必要がある。尚、観察者の左眼と右眼の距離eはほぼ一定と考えられる。これらを前提として、飛び出し距離dは次の式で求められる。
e:(L−d)=w:d (1)
(1)式より(2)式が求められる。
d=(w×L)/(e+w) (2)
【0037】
ここで、飛び出し距離dと移動距離wとは正負の値をとる。飛び出し距離dが正の値を取る時は、視差量の調整を行う前の状態から飛び出すように見えることを示し、負の値を取る時は、視差量の調整を行う前の状態から奥に見えることを示す。また、移動距離wは、右眼で観察する画像データを左に移動させる時は正の値をとり、右眼で観察する画像データを右に移動させるときは負の値をとる。図5(B)では、w及びdが共に正の値を取るため、dの距離だけ飛び出して見える。これとは逆に、図5(A)から右眼で観察する画像データを右方向に、例えば1ドット分だけ移動させた様子を示す図が、図5(C)である。Q1に存在した画素がQ3の位置に移動し、S2の位置に像を結ぶ。この時、移動距離wは負の値を取るため、飛び出し距離dは、上記(2)式より負の値となる。また、通常、裸眼式の立体ディスプレイの場合、観察者の左目と右目の距離eを越えて画像データを表示させても観察者は、ディスプレイ面に表示された画像データを立体として融合できず、画像データが2重にダブって見えてしまうため、―e≦wとする。従って、図5(A)に比べ、図5(C)では奥に像が見えることになる。また、左眼で観察する画像データを移動させる時は、移動距離wの正負の値は、右眼で観察する画像データを移動させる時の逆となる。
(1)式より(3)式が求められる。
w=(d×e)/(L−d) (3)
この移動距離wを、以降シフトベクトルと称する。上記では画素単位で説明を行ったが、ドット単位であっても同様であり、容易に適用可能である。
【0038】
本実施の形態では、シフトベクトルを、右眼用画像データを移動させた画素数やドット数(右方向を+、左方向を−で示す)で表すものとする。また、上記のようにシフトベクトルの単位をドットや画素毎とする場合、実際の飛び出し量d’が入力された飛び出し量dに最も近い値となるシフトベクトルの値をシフトベクトルとしてもよいし、(飛び出し量dの絶対値)≧(実際の飛び出し量d’)かつ、実際の飛び出し量d’が入力された飛び出し量dに最も近い値となるシフトベクトルの値をシフトベクトルとしてもよいし、(飛び出し量dの絶対値)≦(実際の飛び出し量d’)かつ、実際の飛び出し量d’が入力された飛び出し量dに最も近い値となるシフトベクトルの値をシフトベクトルとしてもよい。
【0039】
以上、シフトベクトルとは、左眼用画像データに対してどれだけ右眼用画像データを移動させるかを示す値であり、視差量調整情報からその値を求める方法について説明した。
【0040】
次に、切り出し領域情報について説明する。図6は、視差量調整情報が0でない(=シフトベクトルwが0でない)場合において立体画像データを生成するのに必要な各視点の画像データと画像データに基づく画像の表示領域との関係について示す図である。例えば、シフトベクトルを−W1とする(W1>0)。この場合、図6(A)に示すように、左眼用の画像データである視点1の画像データ20に対して、右眼用の画像データである視点2の画像データ21を右にW1だけずらして、視差量の調整を行う。この際、画像データ21のシフトを行っても生成する立体画像データに基づく立体画像の幅は変わらないため、画像データ20と21の少なくともいずれか一方に無効領域が発生する場合がある。
【0041】
また、生成する立体画像データに基づく立体画像の幅は表示手段5における表示領域となり、図6の符号60の幅を有する領域がその表示領域にあたる。図6の(A)、(B)、(C)は、それぞれ、この表示領域60が、中央(画像データ20と画像データ21との無効領域が、それぞれ等しいようにする)、左端(画像データ21にのみ無効領域が発生する)、右端(画像データ20にのみ無効領域が発生する)にあるとした場合において、立体画像データを生成するのに必要な各視点の画像データを示す。
【0042】
第1に、図6(A)について説明する。この場合、表示領域60は中央であり、画像データ20と画像データ21とのそれぞれに発生する無効領域61と無効領域62とが等しくなるように画像データ20を左に、画像データ21を右に、それぞれW1/2ずつシフトする。
【0043】
図21は、全ての視点の画像データを含んだ領域である統合領域から、その中央を中心にして立体画像データを生成し、その画像データに基づき立体表示させた様子を示す図である。例えば、図21において、視点1の画像データ20と視点2の画像データ21とに対して視差量の調整を行い、全ての視点の画像データを含んだ領域を統合領域210とし、統合領域210の中央の位置を示す線を211とする。この場合、画像データ20と画像データ21のシフトする量が等しければ、表示領域60の中心は、この中央の位置を示す線211になる。このようにして、視差量の調整を行った全ての視点の画像データを含む統合領域の中央を中心にして立体画像データを生成する。
【0044】
次に、図6(B)について説明する。この場合、表示領域60は左端(表示領域60が左端の視点の画像データと同じ位置)となり、画像データ21のみをW1だけ右にシフトする。画像データ21の左隣にのみ、無効領域63が発生する。次に、図6(C)について説明する。この場合、表示領域60は右端(=表示領域60が右端の視点の画像データと同じ位置)となり、画像データ20のみをW1だけ左にシフトする。画像データ20の右隣にのみ、無効領域64が発生する。
【0045】
また、以上で述べた無効領域61〜64内の値については、画像データ補間手段4(図1)により補間を行うため、立体画像データ処理手段3(図1)で立体画像データを生成する際には、この無効領域の値は不定であっても構わない。
【0046】
以上のように、切り出し領域情報は、図6(A)〜(C)で説明したように、表示領域が、中央に位置するか、左端に位置するか、右端に位置するかのいずれかを示す情報となり、それぞれに対する切り出し領域情報の定義を「中央」、「左端」、「右端」とする。続いて、シフトベクトル及び切り出し領域情報と、作成される立体画像データに含まれる総視点数から算出される表示位置情報と、そのときに生成される立体画像データと、のそれぞれについて説明する。
【0047】
まず、切り出し領域情報が「中央」の場合について説明する。図7は、総視点数が「2」かつシフトベクトルが「―1ドット」かつ切り出し領域情報が「中央」の場合に生成する立体画像データを示す図である。シフトベクトルが「―1ドット」かつ切り出し領域情報が「中央」であるため、視点1の画像データ30を左に0.5ドット、視点2の画像データ31を右に0.5ドットずらした画像データを用いて立体画像データ32を生成する。
【0048】
従って、視点1の画像データ30に対し、視点2の画像データ31は1ドット右にずれるため、シフトベクトルが「―1ドット」という条件を満たし、また、視点1の画像データ30と視点2の画像データ31の無効領域が等しくなるため、切り出し領域情報が「中央」、つまり、表示領域を「中央」とする条件も満たすことになる。しかしながら、実際に生成する立体画像データ32はドット単位の画像データであるため、実際上、0.5ドット分だけ画像データをずらすことはできない。そこで、画像データ30又は画像データ31のうちいずれか一方を1ドットずらす必要がある。これは、シフトベクトルが奇数であり、かつ切り出し領域情報が「中央」の場合に必ず起こる問題であり、ここでは、視点1の画像データのずらし量の絶対値が、視点2の画像データのずらし量の絶対値以下になるようにする。
【0049】
また上記で述べたドット単位でずらした立体画像データについて説明する。例えばRGBの各色成分の表示位置が水平方向にRGBの順で繰り返し並ぶような一般的なディスプレイにおいてドット単位でずらす場合、各色成分単位で考えてずらす必要がある。図7のように画像データ31を右に1ドットずらす場合、R20はずらしを行う前の位置70から、同じ色成分の1つ右隣の位置である位置71に移動させる。つまり、画像データ31内のR成分のみが、画像データ31内のR成分が存在する位置上でずれることになる。実質的には、図7において矢印で示すように、R20は、画像データ上の位置で3ドット分動くことになるが、G成分やB成分はずらさない。観察者がRGBのディスプレイを観察する場合、RGBの3ドットを1画素として観察するのであるが、1画素の内にRGBそれぞれの要素が1つづつ存在していれば良く、RGBの集まり、GBRの集まり、BRGの集まりのいずれであっても1画素として観察者は認識することができる。よって、この場合、観察者は画像データ31が右に1ドットずれた画像データを観察することになる。
【0050】
同様に、例えば、右に2ドットずらす場合は、RとGの成分を1つ右隣の同じ色成分のドットがある位置に、右に3ドットずらす場合は、RとGとBのすべての成分を1つ右隣の同じ色成分のドットがある位置にそれぞれずらす。
【0051】
以下、上記の手順をまとめると、例えばk(kは0以上の整数)ドット右にずらす際、RGBの順でずらすとして、Rの成分は、(k/3)のあまりが0の場合、右にk/3離れたRの成分の位置まで、(k/3)のあまりが1の場合、右に(k+2)/3離れたRの成分の位置まで、(k/3)のあまりが2の場合、右に(k+1)/3離れたRの成分の位置までずらす。
【0052】
Gの成分は、(k/3)のあまりが0の場合、右にk/3離れたGの成分の位置まで、(k/3)のあまりが1の場合、右に(k−1)/3離れたGの成分の位置まで、(k/3)のあまりが2の場合、右に(k+1)/3離れたGの成分の位置までずらす。
【0053】
Bの成分は、(k/3)のあまりが0の場合、右にk/3離れたBの成分の位置まで、(k/3)のあまりが1の場合、右に(k−1)/3離れたBの成分の位置まで、(k/3)のあまりが2の場合、右に(k−2)/3離れたBの成分の位置まで、それぞれずらす。
【0054】
また、例えば、k(kは整数)ドット左にずらす際は、右にずらす場合とは逆にBGRの順でずらす。すなわち、Bの成分は、(k/3)のあまりが0の場合、左にk/3離れたBの成分の位置まで、(k/3)のあまりが1の場合、左に(k+2)/3離れたBの成分の位置まで、(k/3)のあまりが2の場合、左に(k+1)/3離れたBの成分の位置までずらす。
【0055】
Gの成分は、(k/3)のあまりが0の場合、左にk/3離れたGの成分の位置まで、(k/3)のあまりが1の場合、左に(k−1)/3離れたGの成分の位置まで、(k/3)のあまりが2の場合、左に(k+1)/3離れたGの成分の位置までずらす。
【0056】
Rの成分は、(k/3)のあまりが0の場合、左にk/3離れたRの成分の位置まで、(k/3)のあまりが1の場合、左に(k−1)/3離れたRの成分の位置まで、(k/3)のあまりが2の場合、左に(k−2)/3離れたRの成分の位置まで、それぞれずらす。
【0057】
以上に、RGBの各色成分の表示位置が水平方向にRGBの順で繰り返し並ぶような一般的なディスプレイにおいて、ドット単位でずらす場合のずらし方について説明した。
【0058】
次に表示位置情報について説明する。本明細書において、視差量調整情報から求めたシフトベクトルと切り出し領域情報を考慮して求めた各視点の画像データのずらし量との組を、表示位置情報と定義する。例えば、上記の場合、視点1のずらし量が0ドット、視点2のずらし量が右に1ドットであるため、表示位置情報は(0,1)となる。但し、ここで各視点のずらし量は符号を付した整数とし、右にずらす場合はプラスとし、左にずらす場合はマイナスとする。このように、表示位置情報は、立体画像データに基づく立体画像を表示する表示領域を基準にして生成される。以上のようにして、視差量調整情報と切り出し領域情報とから算出された表示位置情報が、図1に示す表示位置生成手段2から立体画像データ処理手段3に出力される。
【0059】
立体画像データ処理手段3では、この表示位置情報に基づいて入力画像データをずらし、ずらした入力画像データを1ドット分の画像データ毎に交互に短冊状に並べて立体画像データ32を生成し、画像データ補間手段4に出力する。作成された立体画像データ32は、図7に示すように「R10,G20,B10,R20,G11,B21,R12,G22,B12,R22,G13,B23」となる。これと同時に、表示位置生成手段2は、無効領域情報として、前述の「無効領域」がない旨を、つまり補間を行う必要のある領域がない旨を示す情報を、画像データ補間手段4に送信する。画像データ補間手段4は、この情報により補間を行う領域がないと判断し、表示手段5に入力された立体画像データをそのまま出力する。表示手段5は、入力された立体画像データに基づく立体画像を表示する。
【0060】
また、上記の手順では、視点1の画像データのずらし量の絶対値が、視点2の画像データのずらし量の絶対値以下になるようにして視差量の調整を行ったが、逆に視点2の画像データのずらし量の絶対値が、視点1の画像データのずらし量の絶対値以下になるようにして視差量の調整を行っても良い。いずれのずらし量の絶対値を小さくするかを、観察者が選択できるようにしておき、観察者の選択に基づいて視差量の調整を行ってもよい。
【0061】
例えば、表示手段5は、立体表示と通常の2D表示を切り替え表示することが可能な表示手段であるとすると、2D表示する場合は、立体画像データに含まれる所定の視点の画像データを用いて2D表示用の画像データを作成し、2D表示を行う。この際、2D表示用の画像データ作成に用いる所定の視点の画像データに対し、そのずらし量の絶対値が全ての視点の画像データ中におけるずらし量の絶対値の中で最も小さくなるようにして視差量の調整を行ってもよい。このようにすれば、画像データをずらすことにより視差量の調整をした立体画像データに基づく立体画像を表示している際、立体表示から2D表示に切り替える際に必要な表示位置のずれを減らすことができる。
【0062】
次に、総視点数が「2」であり、かつ、シフトベクトルが「―2ドット」かつ切り出し領域情報が「中央」の場合の表示位置生成手段2と立体画像データ処理手段3との動作について説明する。図8は、総視点数が「2」であり、かつ、シフトベクトルが「−2ドット」であり、かつ、切り出し領域情報が「中央」の場合に生成する立体画像データを示す。シフトベクトルが「―2ドット」であり、かつ、切り出し領域情報が「中央」であるため、視点1の画像データ30を左に1ドット、視点2の画像データ31を右に1ドットずらした画像データを用いて立体画像データ32を生成する。この場合、表示位置生成手段2で生成される表示位置情報は(―1,1)、で立体画像データ処理手段3により生成される立体画像データ32は「R10,G20,B11,R20,G11,B21,R12,G22,B13,R22,G13,B23」となり、図7を参照して説明した場合と同様にして立体表示を行うことができる。
【0063】
次に、総視点数が「2」であり、かつ、シフトベクトルが「―3ドット」であり、かつ、切り出し領域情報が「中央」である場合における表示位置生成手段2と立体画像データ処理手段3の動作について説明する。図9は、総視点数が「2」であり、かつ、シフトベクトルが「―3ドット」であり、かつ、切り出し領域情報が「中央」の場合に生成される立体画像データを示す。シフトベクトルが「―3ドット」であり、かつ、切り出し領域情報が「中央」であるため、視点1の画像データ30を左に1ドット、視点2の画像データ31を右に2ドットずらした画像データを用いて立体画像データ32を生成する。この場合、表示位置生成手段2で生成される表示位置情報は(―1,2)であり、立体画像データ処理手段3で生成される立体画像データ32は「R10,G無(R無、G無、B無は、RGBそれぞれの成分において、ずらしにより発生した無効領域のドットとし、その値は不定の値とする),B11,R20,G11,B21,R12,G21,B13,R22,G13,B23」となる。
【0064】
上記のように、生成される立体画像データ32内には、入力画像データをずらしたことにより発生した無効領域にある「不定の値」が存在することになる。この場合、表示位置生成手段2は、その「不定の値」が存在する立体画像データ32内の位置を示す無効領域情報を、画像データ補間手段4に送信する。これと同時に、立体画像データ処理手段3から生成された立体画像データ32が画像データ補間手段4に入力される。画像データ補間手段4は、入力された無効領域情報を用いて立体画像データ32の不定の値に対して補間を行う。
【0065】
補間の第1の方法は、不定の値である「O1を含むRGBの組である」O0、O1、O2に、それぞれの色成分毎に所定の値を代入する方法を用いることができる。或いは、補間の第2の方法として、「不定の値であるO1を含むRGBの組である」O0、O1、O2及び、「O1に最も近いO1を含まないRGBの組である」O3、O4、O5の全てに対し、O0とO3(R)にある所定の値、O1とO4(G)にある所定の値、O2とO5(B)にある所定の値というように、RGBのそれぞれの色成分毎に所定の値を代入する方法を用いてもよい。
【0066】
補間の第3の方法として、不定の値であるO1と、「O1(G)に最も近い位置にあり、かつ同じ色成分(G)であり、かつ、隣り合い異なる視点の画像データとして表示されるドットである」O4とに所定の値を代入する方法を用いてもよい。
【0067】
補間の第4の方法として、不定の値であるO1に対して、「O1に最も近い位置にあり、かつ同じ色成分であり、かつ隣り合う視点の画像データ(例えば、O1が右画像データにあるなら、左画像データ)として表示されるドットである」O4の値を代入する方法を用いてもよい。
【0068】
補間の第5の方法として、不定の値であるO1に、「O1(G)に最も近い位置にあり、かつ同じ色成分(G)であり、かつ同じ視点(R)の画像データとして表示されるドットである」O7の値を代入する方法を用いてもよい。
【0069】
以上に説明した方法のいずれかを用いて補間した立体画像データに基づく立体画像を表示手段5に出力し、表示手段5は立体表示を行う。
以上では、切り出し領域情報が「中央」である場合について、本発明の実施の形態による立体表示装置が立体表示を行う場合について説明を行った。
【0070】
以下、切り出し領域情報が「左端」と「右端」の場合における本発明の実施の形態による立体画像表示装置1の動作について説明する。尚、画像データ補間手段4と表示手段5の動作は、切り出し領域情報が「中央」である場合と同様に動作するため説明を省略し、表示位置生成手段2で生成される表示位置情報と、立体画像データ処理手段3で生成される立体画像データとに関して説明を行う。
【0071】
まず、切り出し領域情報が「左端」の場合について説明する。総視点数が「2」であり、かつ、シフトベクトルが「―1ドット」であり、かつ、切り出し領域情報が「左端」の場合の表示位置生成手段2と立体画像データ処理手段3の動作について説明する。図10は、総視点数が「2」であり、かつ、シフトベクトルが「―1ドット」であり、かつ、切り出し領域情報が「左端」の場合に生成する立体画像データを示す図である。シフトベクトルが「―1ドット」であり、かつ、切り出し領域情報が「左端」であるため、視点1の画像データ30と、視点2の画像データ31を右に1ドットずらした画像データとを用いて立体画像データ32を生成する。この場合、表示位置生成手段2により生成される表示位置情報は(0,1)となり、また、立体画像データ処理手段3で生成される立体画像データ32は「R10,G20,B10,R20,G11,B21,R12,G22,B12,R22,G13,B23」となる。
【0072】
次に、総視点数が「2」であり、かつ、シフトベクトルが「―2ドット」であり、かつ、切り出し領域情報が「左端」の場合の表示位置生成手段2と立体画像データ処理手段3の動作について説明する。図11は、総視点数が「2」であり、かつ、シフトベクトルが「―2ドット」であり、かつ、切り出し領域情報が「左端」である場合に生成される立体画像データを示す図である。シフトベクトルが「―2ドット」であり、かつ、切り出し領域情報が「左端」であるため、視点1の画像データ30と、視点2の画像データ31を右に2ドットずらした画像データとを用いて立体画像データ32を生成する。この場合、表示位置生成手段2で生成される表示位置情報は(0,2)となり、また立体画像データ処理手段3で生成される立体画像データ32は「R10,G無,B10,R20,G11,B21,R12,G21,B12,R22,G13,B23」となる。
【0073】
次に、切り出し領域情報が「右端」の場合について説明する。まず、総視点数が「2」であり、かつ、シフトベクトルが「―1ドット」であり、かつ、切り出し領域情報が「右端」の場合における表示位置生成手段2と立体画像データ処理手段3の動作について説明する。図12は、総視点数が「2」であり、かつ、シフトベクトルが「―1ドット」であり、かつ、切り出し領域情報が「右端」である場合に生成される立体画像データを示す図である。シフトベクトルが「−1ドット」であり、かつ、切り出し領域情報が「右端」であるため、視点1の画像データ30を左に1ドットずらした画像データと、視点2の画像データ31を用いて立体画像データ32を生成する。この場合、表示位置生成手段2で生成される表示位置情報は(−1,0)で、立体画像データ処理手段3で生成される立体画像データ32は「R10,G20,B11,R21,G11,B21,R12,G22,B13,R23,G13,B23」となる。
【0074】
次に、総視点数が「2」であり、かつ、シフトベクトルが「−2ドット」であり、かつ、切り出し領域情報が「右端」の場合の表示位置生成手段2と立体画像データ処理手段3の動作について説明する。図13は、総視点数が「2」であり、かつ、シフトベクトルが「―2ドット」であり、かつ、切り出し領域情報が「右端」の場合に生成する立体画像データを示す。シフトベクトルが「−2ドット」であり、かつ、切り出し領域情報が「右端」であるため、視点1の画像データを左に2ドットずらした画像データと、視点2の画像データ31とを用いて立体画像データ32を生成する。この場合、表示位置生成手段2で生成される表示位置情報は(−2,0)であり、立体画像データ処理手段3で生成される立体画像データ32は「R10,G20,B11,R21,G12,B21,R12,G22,B13,R23,G無,B23」となる。
【0075】
以上のようにして、本実施の形態による立体画像表示装置は、総視点数と、切り出し領域情報と、視差量調整情報と、を用いて表示位置情報を生成し、生成した表示位置情報と、入力された2つの視点の画像データと、を用いて視差調整された立体画像データを違和感のない良好な画像データとして生成することができる。
【0076】
次に、総視点数が「3」、つまり、入力画像データDinとして3つの視点の画像データが入力された場合における立体画像表示装置1の動作について説明する。
【0077】
立体画像表示装置1に入力された3つの視点の画像データは、まず立体画像データ処理手段3において、立体視表示可能なデータに変換される。例えば、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置であれば、立体処理手段3は、各視点の画像データを視点順に短冊状に交互に並べられた立体画像データを生成する。前述した2つの視点の画像データが入力された場合における立体画像表示装置1の表示手段5の説明において、水平方向にRGBを並べて表示を行うタイプを前提として説明を行ったが、表示手段5は垂直方向にRGBを並べて画像データを表示するものであっても構わない。
【0078】
3以上の視点の画像データをドット毎に短冊状に交互に並べて立体画像データを生成する場合、垂直方向にRGBを並べて画像データに基づく画像を表示する表示手段である方が、RGBの各色成分毎に同じ配置でバリアやレンチキュラを作成すればよいため、立体画像データの作成及び視差量の調整の説明が簡易になる。
【0079】
そこで、以下においては、垂直方向にRGBを並べて画像データに基づく画像を表示する表示手段を用いた場合について、RGBのうちRの成分のみを説明する。残りのGとBの成分に関しては、Rの成分と同様に処理を行うため説明を省略する。また、垂直にRGBを並べて画像データに基づく画像を表示する表示手段を用いた場合の1画素とは、縦方向に連続して隣り合うRGBのドットの組み合わせとする。
【0080】
図14は、立体画像表示装置1に入力される第3の視点の画像データの例を示す図である。例えば、図2に示すような視点1の画像データ20と、視点2の画像データ21と、図14に示すような視点3の画像データ140が立体画像表示装置1に入力される。各視点の画像データを、例えばR成分のドット毎で、短冊状に、交互に、かつ視点順に並べて立体画像データを生成する。
【0081】
図15は、3視点の画像データを入力とした場合の、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置に表示する立体画像データにおいて、そのR成分の作成方法の一例を示す図である。以下では、立体画像データを生成する際、全ての水平方向のラインに対して同じ方法で生成するため、ここでは説明の簡単化のために水平方向の1ラインについてのみ説明を行う。視点1の画像データ20と視点2の画像データ21と視点3の画像データ140(図14)と、これらを用いて生成する立体画像データのR成分の水平方向の1ラインあたりの画像データを、それぞれ視点1の1ラインあたりの画像データ150、視点2の1ラインあたりの画像データ151、視点3の1ラインあたりの画像データ152、1ラインあたりの立体画像データ153と称する。例えば、図15のように、R成分のデータはそれぞれの1ラインが9ドットのデータにより構成されていると仮定する。
【0082】
R成分の画像データ150、151、152は、Rlm、(lは視点番号を表す整数、mは左端からのドットの位置を表す整数とし、それぞれ1≦l≦3、で、0≦m≦8とする)から構成されているものとし、立体画像データ153のR成分のドットをPy(yは、0≦y≦11の整数とする)とする。図15に示すように、立体画像データ153は、視点1、2、3の順でドット毎に視点の異なる画像データのドットを繰り返し並べて、R10,R21,R32,R13,R24,R35,R16,R27,R38の順に生成する。このようにして、立体画像データ処理手段3は立体画像データを生成する。
【0083】
また、図1において、2視点の場合と同様に、総視点数と視差量調整情報と切り出し領域情報とが、外部から表示位置生成手段2にそれぞれ入力される。まず、入力された視差量調整情報が0の場合について説明する。表示位置生成手段2と画像データ補間手段4との動作は、2視点の際に説明した場合と同様の動作を行い、立体画像データ処理手段3は、図15に示すように、3視点の立体画像データを生成し、生成された画像データを表示手段5は立体表示する。
【0084】
図16は、3視点の画像データから構成された立体画像データを表示する際の、パララックスバリア方式による表示手段5の一例を示す図である。基本構成に関しては図1に示されており、図1を適宜参照する。表示手段5は、スリット160とディスプレイ面161とを含んで構成されており、図15において作成された立体画像データ153がディスプレイ面161に表示される。図16に示すように、ディスプレイ面の前にスリット160を置くことにより、観察位置1における観察者の左眼には視点1の画像データのみが、右眼には視点2の画像データのみが観察される。また同様に、観察位置2における観察者の左眼には視点2の画像データのみが、右眼には視点3の画像データのみが観察される。これにより観察者は、立体画像データ153を立体感を持って観察することができる。
【0085】
次に、入力された視差量調整情報が0でない場合について説明する。表示位置生成手段2において、入力された総視点数と視差量調整情報と切り出し領域情報とから表示位置情報が算出され、立体画像データ処理手段3に出力される。
【0086】
図17は、視差量調整情報が0でない(=シフトベクトルwが0でない)場合において立体画像データを生成するのに必要な各視点の画像データと、画像データの表示領域との関係を示す図である。例えば、シフトベクトルを−W1とする(W1>0)。この場合、図17の(A)に示すように、視点1の画像データ20に対して、視点2と視点3との画像データ21を右にW1ずらし、さらに、視点2の画像データ20に対して、視点3の画像データを右にW1ずらして視差量の調整を行う。このとき、視差量調整情報から求めたシフトベクトルは、各隣り合う視点の画像データの間の全てにおいて、同じ分だけ画像データをずらすことにより視差を調整するものとする。このように画像画像データをずらしても、生成する立体画像データに基づく立体画像の幅は変わらないため、表示領域内にある各視点の画像データ20と21と140のいずれかに無効領域が発生する。
【0087】
図17の(A)、(B)、(C)は、それぞれ、切り出し領域情報が、「中央」(画像データ20と画像データ140とに無効領域が発生し、それぞれに発生した無効領域は等しいようにする)、「左端」(画像データ21と画像データ140とに無効領域が発生する)、「右端」(画像データ20と画像データ140とに無効領域が発生する)にあるとした場合において、立体画像データを生成するのに必要な各視点の画像データを示す。
【0088】
また、切り出し領域情報が「中央」であり、かつ総視点数が「3」というように奇数である場合は、画像データ20と画像データ140との無効領域を等しくするため、中央にある視点の画像データ21を表示領域とするのが好ましい。このようにすれば、表示領域内における、最も中央にある視点の画像データ21には無効領域が発生せず、また、画像データ21の左右の隣り合う視点の画像データ20と画像データ140との無効領域が等しくなる。
【0089】
まず、図17(A)を参照して説明を行う。図17(A)に示すように、切り出し領域情報が「中央」(=表示領域60が中央の視点の画像データと同じ位置になる)であり、画像データ20と画像データ140とのそれぞれの隣に発生する無効領域170、171が、それぞれ等しくなるように画像データ20を左に、画像データ140を右に、それぞれW1ずつシフトする。次に、図17(B)を参照して説明を行う。この場合は、切り出し領域情報が「左端」(=表示領域60が左端の視点の画像データと同じ位置になる)であり、画像データ21、画像データ140をW1だけ右にシフトさせ、さらに、画像データ140は右にW1シフトさせる(トータルで、画像データ140は右に2*W1シフトする)。この場合、画像データ21及び画像データ140の左隣に、それぞれ無効領域172、173が発生する。
【0090】
次に、図17(C)を参照して説明を行う。この場合、切り出し領域情報が「右端」(=表示領域60が右端の視点の画像データと同じ位置になる)であり、画像データ20、画像データ21をW1だけ左にシフトさせる。さらに、画像データ20をW1左にシフトさせる(トータルで、画像データ20は左に2*W1シフトする)。この場合、画像データ20、画像データ21の右隣に、それぞれ、無効領域174、175が発生する。
【0091】
また、以上で述べた無効領域内の値については、画像データ補間手段4により補間するため、立体画像データ処理手段3で立体画像データを生成する際、この無効領域の値は不定であっても良い。
【0092】
入力が3視点の画像データである場合においても、2視点の場合と同様に、上記で説明したシフトベクトル及び切り出し領域情報と作成される立体画像データに含まれる総視点数から、表示位置情報を算出することができる。
【0093】
図18から図20までを参照して、3視点の場合において算出される表示位置情報と生成される立体画像データについて説明する。まず、切り出し領域情報が「中央」の場合について説明する。
【0094】
図18は、総視点数が「3」であり、かつ、シフトベクトルが「―2ドット」であり、かつ、切り出し領域情報が「中央」である場合に生成される立体画像データを示す図である。シフトベクトルが「−2ドット」であり、かつ、切り出し領域情報が「中央」であるため、中央の視点である視点2の画像データ151はずらさず、視点1の画像データ150を左に2ドット、視点2の画像データ152を右に2ドットずらした画像データを用いて立体画像データ153を生成する。
【0095】
従って、視点1の画像データ150に対して視点2の画像データ151は2ドット右にずれ、かつ、視点2の画像データ151に対して視点3の画像データ152は2ドット右にずれることになるため、各隣り合う視点の画像データの間において、シフトベクトルが「―2ドット」という条件を満たすことになる。
【0096】
また、視点1の画像データ150と、視点3の画像データ152との無効領域が等しくなり、また、中央の視点である視点2の画像データ151に無効領域が発生しないため、表示領域を「中央」とするという条件も満たすことになる。
【0097】
ここで、2視点の場合と同様に、表示位置情報を各視点の画像データのずらし量の組で表現すると、視点数が3であるので、例えば上記の場合、視点1のずらし量が左に2ドット,視点2のずらし量が右に2ドットであり、表示位置情報は(2,0,−2)となる。以上のようにして、視差量調整情報と切り出し領域情報から算出された表示位置情報が、表示位置生成手段2から立体画像データ処理手段3に出力される。
【0098】
立体画像データ処理手段3では、この表示位置情報に基づいて入力画像データを水平方向にずらし、ずらした入力画像データを1ドット分の画像データ毎に、交互に、短冊状に、かつ視点順に並べて立体画像データ32を生成し、画像データ補間手段4に出力する。作成された立体画像データ32は、図18に示すように「R12,R21,R30,R15,R24,R33,R18,R27,R36」となる。
【0099】
これと同時に、表示位置生成手段2は、補間を行う領域がないことを示す情報を画像データ補間手段4に送信する。画像データ補間手段4はこの情報により補間を行う領域がないと判断し、表示手段5に入力された立体画像データをそのまま出力する。表示手段5は入力された立体画像データに基づき立体画像を表示する。
【0100】
次に、切り出し領域情報が「左端」の場合について説明する。まず、総視点数が「3」であり、かつ、シフトベクトルが「―2ドット」であり、かつ、切り出し領域情報が「左端」である場合の表示位置生成手段2と立体画像データ処理手段3との動作について説明する。図19は、総視点数が「3」であり、かつ、シフトベクトルが「―2ドット」であり、かつ、切り出し領域情報が「左端」である場合に生成する立体画像データを示す図である。シフトベクトルが「―2ドット」であり、かつ、切り出し領域情報が「左端」であるため、視点1の画像データ150と、視点2の画像データ151と、を右に2ドットずらした画像データと、視点3の画像データ152を右に4ドットずらした画像データと、を用いて立体画像データ153を生成する。この場合、表示位置生成手段2で生成される表示位置情報は(0,2,4)であり、立体画像データ処理手段3で生成される立体画像データ153は、「R10,R無,R無,R13,R22,R31,R16,R25,R34」となる。
【0101】
立体画像データ処理手段3は立体画像データ153を、表示位置生成手段2は不定の値であるドットの位置を、それぞれ補間手段4に送る。次に、補間手段4における不定の値のドットに対する補間処理について説明する。ここで、全ての視点のドットを1ドットずつ含むドットの組を「視点の組」とする。例えば、「P0,P1,P2」で第1の視点の組、「P3,P4,P5」で第2の視点の組、「P6,P7,P8」で第3の視点の組というように定義する。補間の第1の方法は、不定の値であるP1、P2を含む第1の視点の組であるP0、P1、P2全てに、ある共通の所定の値を代入する方法であってもよい。例えば、第1の視点の組の部分が黒い画像データとなるように表示する。
【0102】
このように補間を行うことにより、3視点の画像データを含む立体画像データにおいて視差量を調整行うことにより発生する画素データが存在しない部分を、観察者がどの位置から見た場合においても観察することができないようにすることができる。
【0103】
また、別の第2の補間方法として、同じ視点の組内に不定でない値がある場合、同じ視点の組内の不定でない値のいずれかで、視点の組内にある全ての不定でない値を代入してもよい。例えば、第1の視点の組であるP1、P2に、同じ第1の視点の組であり、かつ不定の値でないP0の値を代入する方法を用いてもよい。
【0104】
このように補間を行うことにより、3視点の画像データを含む立体画像データにおいて視差量を調整行うことにより発生する画素データが存在しない部分を、観察者がどの位置から見ても2Dで観察できるようにすることができる。
【0105】
また、別の第3の補間方法として、第1の視点の組であるP1に対して、第1の視点の組に最も近い視点の組内であり、かつ、同じ視点の画像データとして表示されるドットであり、かつ、不定の値でないP4の値を代入し、かつ、P2にもこのP4の値を代入してもよい。
【0106】
これにより、P1はP0に対応することになり、観察者がP0を含む第1の視点の画像データとP1を含む第2の視点の画像データとを観察する際に、補間した部分であっても立体として観察することができる。
【0107】
また、別の第4の補間方法として、第1の視点の組であるP1(またはP2)に対して、第1の視点の組に最も近い視点の組内であり、かつ、同じ視点の画像データとして表示されるドットであり、かつ、不定の値でないP4(またはP5)の値を代入してもよい。これによりP2はP1に対応することになり、観察者がP1を含む第2の視点の画像データとP2を含む第3の視点の画像データを観察する際、補間した部分であっても立体として観察することができる。画像データ補間手段4は、この補間した立体画像データを、表示手段5に出力する。表示手段5は入力された立体画像データを立体表示する。
【0108】
次に、切り出し領域情報が「右端」の場合について説明する。まず、総視点数が「3」であり、かつ、シフトベクトルが「−2ドット」であり、かつ、切り出し領域情報が「右端」である場合の表示位置生成手段2と立体画像データ処理手段3との動作について説明する。図20は、総視点数が「3」であり、かつ、シフトベクトルが「−2ドット」であり、かつ、切り出し領域情報が「右端」の場合に生成する立体画像データを示す。シフトベクトルが「−2ドット」であり、かつ、切り出し領域情報が「右端」であるため、視点1の画像データ150を左に4ドットずらした画像データと、視点2の画像データ151を左に2ドットずらした画像データと、視点3の画像データ152を用いて立体画像データ153と、を生成する。この場合、表示位置生成手段2により生成される表示位置情報は(−4、−2,0)であり、立体画像データ処理手段3で生成される立体画像データ153は、「R14,R23,R32,R17,R26,R35,R無,R無,R38」となる。
【0109】
図19で説明した場合と同様に、立体画像データ処理手段3は立体画像データ153を、表示位置生成手段2は不定の値であるドットの位置を、それぞれ補間手段4に送る。補間手段4における不定の値のドットに対する補間処理は図19と同様にして行い、画像データ補間手段4はこの補間した立体画像データを、表示手段5に出力する。表示手段5は入力された立体画像データに基づく立体画像を表示する。
【0110】
このようにして、本実施の形態による立体画像表示装置は、総視点数、切り出し領域情報及び視差量調整情報を用いて表示位置情報を生成し、生成した表示位置情報と、入力された3つの視点の画像データと、を用いて視差調整された立体画像データを、違和感の少ない良好な立体画像データとして生成することができる。
【0111】
また、上記では入力画像データが2視点のときと3視点の場合について説明したが、a視点(aは4以上の整数)の場合も、2視点から3視点に拡張したときと同様に拡張することにより、視差調整された立体画像データを、違和感の少ない良好な立体画像データとして生成することができる。
【0112】
以上のように、視差量が調整された立体画像データを表示する際に、「左端」、「右端」、「中央」というように、統合領域に対してどの位置を基準にして表示するかを指定して視差量の調整を行うことにより、画素データが存在しなくなることにより立体視が困難になる部分の位置を自由に設定、変更することができる。
【0113】
特に、切り出し領域情報を「中央」とした場合は、切り出し領域情報を「左端」や「右端」にした場合に比べ、補間を行わなければならない場所が立体画像データの左右の端に分散するため、正しく補間ができないことで立体視が困難になる部分を観察者が判別しづらくすることにより、違和感が少なく良好な立体画像データとして生成することができる。また、上記では、切り出し領域情報を「中央」、「左端」、「右端」の3種類のみの場合について説明したが、中央、左端、右端のそれぞれの近傍であっても構わない。
【0114】
また、切り出し領域情報は上記の3種類に限らず、b種類の近傍であっても構わない(bは正の整数)。例えば、視差量の調整を行った全ての視点の画像データを含む統合領域に対し、統合領域の左端からc(cは正の整数)ドット(または画素)ずらした位置を表示領域の左端にするなど、切り出し領域情報の定義を複数にしてもよい。上記の場合、切り出し領域情報により指定された表示領域の位置を考慮して、上記で説明した場合と同様に視差量の調整を行った立体画像データを生成する。また、このときのcの値自体を切り出し領域情報としても良い。
【0115】
さらに、上記の例では、切り出し領域情報の定義を、統合領域の左端からcドットとしているが、任意の所定の場所からずらしても良い。例えば、統合領域の中央や右端からcドットずらすというようにしてもよい。また、総視点数に合わせて、この際の切り出し領域情報の定義を変えてもよい。例えば、2視点の切り出し領域情報は、「左端」、「右端」、「中央」の3つと定義し、16視点の切り出し領域情報は、統合領域を水平方向に均等に16分割した位置を表示領域の位置とするように定義するなど、総視点数毎にその定義を切り替えて用いてもよい。
【0116】
例えば、視点数が多くなるにつれ観察者の観察位置に含まれる視点の画像データを表示領域の中心に近いように表示するように、切り出し領域情報の定義を、観察者が切り替えるようにしてもよい。このようにして、総視点数毎に切り出し領域情報の定義を切り替えることにより、視差量の調整を行う際の立体表示の自由度を増やすことができる。また、切り出し領域情報の定義として視点の画像データを指定してもよい。この場合、指定した視点の画像データの位置を表示領域として視差量の調整を行う。このため、指定した視点の画像データに無効な領域が発生することは無く、すべて表示することができる。
【0117】
また、この際の切り出し領域情報の定義は、水平方向だけでなく垂直方向の指定も含んでもよい。例えば、統合領域の左上から水平方向に1画素右、垂直方向に1画素下の位置を表示領域の位置としてもよい。このようにして、視差量の調整を行う際の立体表示の自由度を増やすことができる。また上記の説明では、視差量の調整を行うことにより発生する無効な領域を補間手段4で補間して、表示手段5で表示を行っていたが、表示手段5に無効領域情報を代入し、例えば枠をつけて立体表示する場合などは、表示領域の大きさを小さくして表示することにより、無効な領域を省いて立体表示してもよい。
【0118】
さらに、この無効な領域を省いて立体表示するか否かを、観察者が外部から入力することにより切り替えることができるようにしてもよい。このように無効な領域を表示しないようにすることにより、正しく補間ができなかった場合でも、観察者は違和感の無い立体画像データに基づく画像を観察することができる。また視差量の調整を行う際、視差量の調整後に、表示領域内に存在する各視点画像データにおいて、少なくとも1つの視点の画像データ内における無効な領域(または表示領域に含まれない領域)が、その視点の画像データ全体のX(Xは0≦X≦100)%以上発生した場合は、X%より小さくなるように変更する視差量の絶対値が小さくなるよう視差量を調整してもよいし、無効な領域(または表示領域に含まれない領域)が全体のX%を越えたことを示す通知を観察者に通知してもよい。これにより、視差量の調整によって無効な領域が多くなるために立体視できる領域が減るのを防ぐことができる。
【0119】
また上記で説明した、実施形態の立体画像表示装置に入力される総視点数と切り出し領域情報と視差量調整情報は、観察者が入力することができるようにしてもよい。さらに、本実施形態の立体画像表示装置に入力される総視点数と切り出し領域情報と視差量調整情報、及び入力画像データDinは全て、例えば3Dフォーマットデータのような1つのデータに含まれていても構わない。この場合、立体画像表示装置1の前段に、3Dフォーマットデータから、総視点数と切り出し領域情報と視差量調整情報、及び入力画像データDinのそれぞれを分離する分離手段を設けることにより、立体画像表示装置1にこれらのデータを入力するようにしてもよい。
【0120】
また、上記3Dフォーマットデータ内に、総視点数と切り出し領域情報と視差量調整情報のうちのいずれかに含まれていないデータがある場合に備えて、それぞれの値を端末でデフォルトで設定しておき、それらのデータのうち含まれていないデータがある場合は端末のデフォルト値を代わりに用いてもよい。
【0121】
また、切り出し領域情報と視差量調整情報に関しては立体画像表示装置1で用いる際、観察者の入力した値と、3Dフォーマットデータの値と、端末でデフォルトとして設定されている値とのうち、どの値を使うようにしても構わず、観察者がどの値を使うかを自由に設定できるようにしてもよい。
【0122】
また、上記3Dフォーマットデータは、ファイルであっても、放送やストリーミングのデータ、テープメディア上のデータなど、総視点数と切り出し領域情報と視差量調整情報、及び入力画像データDinなどを含むフォーマットであればいずれの形式のデータであっても構わない。
【0123】
図22は、ファイルにおける3Dフォーマットデータの例を示す図である。例えば、図22に示すように、3D画像データファイルは、管理情報領域と画像データ領域とから構成されており、画像データ領域には入力画像データDinが、管理情報領域には総視点数と切り出し領域情報と視差量調整情報とが含まれるような3Dフォーマットデータとして、3D画像データファイルを構成してもよい。
【0124】
次に、3D画像データファイルの管理情報領域について詳細に説明する。
管理情報領域は、「画像データ情報」と、「立体視用画像データのための情報(以下、3D情報と称する)」と、「各視点画像データ情報」と、により構成されている。「画像データ情報」には、画像データのサイズや動画であればその再生時間などの画像データ全体に関する情報が、「各視点画像データ情報」には各画像データを復号するのに必要な情報(例えば、符号化の技術としてMPEG−4技術が用いられているなどの情報)が、「3D情報」には総視点数と切り出し領域情報と視差量調整情報などの立体画像特有の情報がそれぞれ含まれる。また、3D画像データファイルを再生する際に、装置が3D情報を正しく読み取れるように、3D情報の存在を示すヘッダが必要である。このため、3D情報の先頭に、立体画像データ(3D画像)識別情報を記録する領域を設ける。3D画像識別情報は、3D情報の存在を示すとともに、後に続く画像データが立体視用画像データである旨を示す。3D画像識別情報は、固定長或いは可変長の符号で符号化されたフラグでも良いが、識別可能であれば、例えば、特定の記号列や文字列などでも良い。制御情報は、総視点数と切り出し領域情報と視差量調整情報とに関する情報をこの制御情報に含む。このようにして、3D画像識別情報と、それ以外の情報である制御情報とにより3D情報を構成する。
【0125】
図23は、放送における3Dフォーマットデータの例を示す。例えば、図23に示すように、3Dの放送コンテンツを、コンテンツと番組配列情報とにより構成し、かつ、コンテンツの部分に入力画像データDinが、番組配列情報の部分に3D情報が含まれるような3Dフォーマットデータとして、3Dの放送コンテンツを構成してもよい。
【0126】
次に、上記で説明した3Dフォーマットデータを作成する画像データ作成装置について説明する。図24は、3Dフォーマットデータを作成する画像データ作成装置の構成例を示すブロック図である。図24に示すように、画像データ作成装置240は、制御部241と、多視点(視点数K、ここでKは2以上の整数である)の画像データ1〜Kを隣接させて結合した画像データを作成する画像結合部242と、画像データの結合に関する情報をまとめた画像結合情報、総視点数、切り出し領域情報、視差量調整情報などの情報をフォーマット化して3D情報を作成する3D情報作成部243と、画像データを符号化する符号化部244と、符号化されたデータを多重化する多重化部245とを有している。以上のように構成された画像データ作成装置240の動作について説明する。
【0127】
制御部241は、縮小の有無、結合の有無、画像データの配置順などの画像結合情報、水平方向の視点数X(上述の総視点数)、垂直方向の視点数Y、表示領域データ視差量調整情報などを指定し出力する。画像結合部242は、制御部241により指定された「結合の有無」が「結合あり」である場合に、入力された画像データ1から画像データKまでの配置方法を選択する。配置方法としては、各画像データを水平に並べた水平配置と、上下に並べた垂直配置と、水平・垂直の両方向に並べた格子状配置との3通りの配置のうちから選択が可能である。
ここで、画像データの配置方法は、撮像装置の設置方法と一致するようにしてもよいし、一致させなくてもよい。
【0128】
まず、画像データの配置方法が撮像装置の設置方法と一致する場合について説明する。図26は、撮像部の設置方法が水平、かつ、撮像部の設置方法と一致させた場合の画像データの配置例を示す図である。図26(a)は、画像データの配置方法が撮像部の設置方法と水平である場合の撮像部の設置方法を示す図である。図26(a)に示すように、この場合には、1〜XまでのX台の撮像部261〜264までを同じ水平面上に並ぶように設置して撮影を行う。
【0129】
図26(b)は、撮像部の設置方法が水平であり、かつ、撮像部の設置方法に一致するように画像データを配置して作成した画像の一例を示す図である。図26(b)に示すように、撮像部261、262、263、…、264によりそれぞれ撮影したX個の画像データを、撮像部の設置方法と同様の順番で水平に並べて、一枚の画像を作成する。この場合、作成した画像の視点数は、X≧2、Y=1、画像データの配置は水平配置となる。
【0130】
上記と同様に、撮像部の設置方法が垂直配置の場合には、作成した画像の視点数は、X=1、Y≧2となり、画像データの配置は垂直配置となる。また、撮像部の設置方法が水平配置又は垂直配置以外の場合は、撮像部の設置方法は格子状配置となる。この場合、作成した画像の視点数は、X≧2、Y≧2となり、画像データの配置は格子状配置となる。
【0131】
また、画像データの配置が垂直配置や格子状配置である場合においても、水平配置の場合と同様に一枚の画像を構成する個々の画像データの配置は、それらを撮影した撮像部の設置方法と同じ順番で並べた構成となる。
【0132】
次に、画像データの配置方法が撮像装置の設置方法と一致させない場合について説明する。一致させない場合は、X≧2、Y=1又はX=1、Y≧2のときには、垂直配置と水平配置のいずれかを選択できるようにしてもよいし、X≧2、Y≧2のときには、垂直配置と水平配置と格子状配置のいずれかを選択できるようにしてもよい。また、制御部241から入力された縮小の有無が「縮小あり」を示す場合には、入力された各視点の画像データを縮小する。
【0133】
以上のように、画像結合部242が画像データを結合し、結合した画像結合情報を3D情報作成部243に送るとともに、結合した画像データを符号化部244に送る。3D情報作成部243は、画像データの結合に関する情報をまとめた画像データ結合情報と、総視点数と、切り出し領域情報と、視差量調整情報と、を含む情報をフォーマット化して3D情報を作成し、符号化部244は画像データを符号化して符号化データを作成する。作成された3D情報と符号化データのそれぞれのデータが多重化部245に送られ、多重化部245においてデータの多重化を行い、多重化部245は、多重化された多重化データを出力する。このときの多重化データが3Dフォーマットデータとなる。
【0134】
次に、上記の3Dフォーマットデータを再生する画像データ再生装置について説明する。図25は、3Dフォーマットデータを再生する画像データ再生装置250の構成例を示すブロック図である。図25において、図1と同一ブロックに対しては同一符号を付す。図25に示すように、画像データ再生装置250は、分離手段251と、3D情報を解析する3D情報解析手段252と、符号化データを復号する復号手段253と、3D情報内にある切り出し情報や視差量調整情報と、観察者が入力した切り出し情報や視差量調整情報とのうちのいずれか一方を選択し、必要があれば観察者が入力した切り出し情報や視差量調整情報を用いた3D情報を出力する選択手段254と、復号した画像データを各視点の画像データに変換し出力する画像データ変換手段255とを含んで構成されている。
【0135】
以上のように構成された画像データ再生装置250について、その動作を説明する。分離手段251は、3Dフォーマットデータから3D情報を含んでいる3Dヘッダと、符号化データとに分離する。この符号化データは、例えばJPEG(Joint Photographic Expert Group)やMPEG(Moving picture expert group)−4などの圧縮技術を用いた圧縮符号化データを含む。
【0136】
3D情報解析手段252は、3Dヘッダ内の3D情報を解析し、画像データ結合情報や総視点数、切り出し情報、視差量調整情報などを抽出する。復号手段253は、分離手段251により分離された符号化データから画像データを復号する。選択手段254は、3D情報内に存在する切り出し情報や視差量調整情報と、観察者が入力した切り出し情報や視差量調整情報のうちのいずれか一方を選択し、必要があれば新たな3D情報を作成し出力する。例えば、観察者からの入力があれば、入力した切り出し情報や視差量調整情報を用いた3D情報を出力してもよい。画像データ変換手段255は、選択手段254により入力された画像結合情報、総視点数に応じて、復号された画像データから各視点の入力画像データDinを出力する。
【0137】
立体画像表示装置1は、図1において説明した装置と同様に動作し、切り出し情報と視差調整量情報と総視点数とを含む3D情報と、各視点の入力画像データDinとを用いて立体表示を行う。
【0138】
以上説明したように、本実施の形態による立体画像表示装置によれば、視点数Nの画像データから構成される視差量が調整された立体画像データを表示する際に、例えば、左端、右端、中央のそれぞれの近傍というように、どの位置を基準にして表示するかを指定して視差量の調整を行うことにより、視差量の調整を行った際に生じる各視点画像データにおける画素データがなくなって立体視が困難になる部分の位置を変更することができる。
【0139】
特に、切り出し領域情報を中央近傍とした場合には、切り出し領域情報を左端近傍や右端近傍にした場合よりも、視差量の調整を行った際に左眼用画像データと右眼用画像データとの画素データがなくなり、補間を行わなければならない場所が立体画像データの左右の端に分散するため、正しく補間ができなかったが、上記の変更を行えば、立体視が困難になる部分を観察者が判別しづらくすることができ、違和感が少なく良好な立体画像データとして生成することができる。
【0140】
また、立体画像データを表示する表示領域を基準にして表示位置情報を生成することにより、表示位置情報生成手段内で、N個(Nは2以上の自然数)の視点の各々に対応したN個の画像データに対し、表示位置情報に従って画像をずらすだけで立体画像データを簡易に作成することができる。また、切り出し領域情報を観察者が切り替えることによって、立体画像データ上の視差の調整により発生する画素データのない部分の位置を自由に変更することができる。
【0141】
視点の数Nの値に応じて選択できる上記統合領域内における複数の領域の種類を変更することにより、例えば、視点数が多くなるにしたがって観察者の観察位置に含まれる視点の画像データを表示領域の中心近くに表示するように、切り出し領域情報の定義を観察者が切り替えることによって、視差量の調整を行う際の立体表示の自由度を増やすことができる。
【0142】
また、上記表示手段が、視差量の調整度合に合わせて上記立体画像データを表示する表示領域の大きさを変更することにより、画像データをずらすことにより視差量を調整した後、ずらしたことにより画素データがなくなり、かつ表示領域に含まれる領域を表示しないようにすることができるため、その領域に対して正しく補間ができなかった場合でも、観察者は違和感の無い立体画像データを観察することができる。
【0143】
また、上記表示手段は、上記立体画像データを表示する表示領域の大きさを変更するか否かをユーザーが切り替えるととともに、上記表示領域の大きさを変更する場合には、視差量の調整度合に合わせて上記表示領域の大きさを変更することにより視差量を調整した後、ずらしたことにより画素データがなくなり、かつ表示領域に含まれる領域に対して正しく補間ができなかった場合は、正しく補間ができなかった部分を表示しないように表示領域の大きさを変更するように観察者が指示し、表示する枠を変更するなどして立体表示を行い、正しく補間ができた場合は、表示領域の大きさを変更しないように観察者が指示することができ、その結果、観察者はより違和感の無い立体画像データを観察することができる。
【0144】
N個の画像データのそれぞれにおいて、視差量を制限することによって、上記立体画像データを表示する表示領域に含まれない領域の割合を制限することにより、上記表示領域に含まれない領域を少なくする、つまり、表示領域中に各視差の画像データ間で画素データが存在しないため対応の取れなくなっている領域を少なくすることにより、立体視できる領域が減るのを防ぐことができる。
【0145】
また、N個の画像データのそれぞれにおいて、視差量の調整の結果、上記立体画像データを表示する表示領域に含まれない領域の割合がある所定の値以上の場合に、観察者にその旨を通知することもできる。
【0146】
尚、上記立体画像表示装置は、種々の電子機器に適用可能である。特に、コンパクトな構成が要求される携帯電話やPDAなどの携帯端末に用いるのに好適である。
以上、本発明に関して実施の形態に沿って説明を行ったが、本発明はこれらの例に限定されるものではなく、種々の変形が可能であるのは言うまでもない。
【0147】
【発明の効果】
以上説明したように、本発明によれば、N視点の数の画像データから構成される、視差量が調整された立体画像データを表示する際に、どの位置を基準にして表示するかを指定して視差量の調整を行うことにより、視差量の調整を行った際に生じる、各視点画像データにおける画素データがなくなり立体視が困難になる部分の位置を変更することができるという利点がある。
【図面の簡単な説明】
【図1】本発明の一実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。
【図2】本発明の実施の形態による立体画像表示装置1に入力される視点1及び視点2の2視点の画像データの例を示す図である。
【図3】視点1及び視点2の2視点の画像データを入力とした場合の、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置に表示する立体画像データの作成方法の一例を示す図である。
【図4】本発明の一実施の形態による立体画像表示装置であって、パララックスバリア方式による表示手段を有する構成例を示す図である。
【図5】図5(A)から図5(C)までは、本発明の一実施の形態による立体画像データの飛び出し距離dとディスプレイ面に表示する画像データとの関係を示す図である。立体画像表示装置
【図6】図6(A)から図6(C)までは、本発明の一実施の形態による立体画像表示装置において、視差量調整のために2視点の画像データを移動させた例を示す図である。
【図7】本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「2」であり、かつ、シフトベクトルが「―1ドット」であり、かつ、切り出し領域情報が「中央」である場合に生成される立体画像データの水平方向の1ラインデータの構成例を示す図である。
【図8】本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「2」であり、かつ、シフトベクトルが「―2ドット」であり、かつ、切り出し領域情報が「中央」である場合に生成される立体画像データの水平方向の1ラインデータの構成例を示す図である。
【図9】本発明の一実施の形態による立体画像表示装置において、総視点数が「2」であり、かつ、シフトベクトルが「―3ドット」であり、かつ、切り出し領域情報が「中央」の場合に生成される立体画像データの水平方向の1ラインデータの一例を示す図である。
【図10】本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「2」であり、かつ、シフトベクトルが「―1ドット」であり、かつ、切り出し領域情報が「左端」である場合に生成される立体画像データの水平方向の1ラインデータの一例を示す図である。
【図11】本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「2」であり、かつ、シフトベクトルが「―2ドット」であり、かつ、切り出し領域情報が「左端」の場合に生成される立体画像データの水平方向の1ラインデータの一例を示す図である。
【図12】本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「2」であり、かつ、シフトベクトルが「―1ドット」であり、かつ、切り出し領域情報が「右端」の場合に生成される立体画像データの水平方向の1ラインデータの一例を示す図である。
【図13】本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「2」であり、かつ、シフトベクトルが「―2ドット」であり、かつ、切り出し領域情報が「右端」の場合に生成される立体画像データの水平方向の1ラインデータの一例を示す図である。
【図14】本発明の一実施の形態による立体画像表示装置に入力される画像データの一例を示す図である。
【図15】3視点の画像データを入力とした場合の、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置に表示する立体画像データにおいて、そのR成分の作成方法の一例を示す図である。
【図16】3視点の画像データから構成された立体画像データを表示する際の、パララックスバリア方式による立体画像表示装置における表示手段の一例を示す図である。
【図17】図17(A)から図17(C)までは、本発明の一実施の形態による立体画像表示装置における視差量調整のために、3視点の画像データを移動させた際の例を示す図である。
【図18】本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「3」であり、かつ、シフトベクトルが「―2ドット」であり、かつ、切り出し領域情報が「中央」の場合に生成される立体画像データの水平方向の1ラインデータの一例を示す図である。
【図19】本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段3において、総視点数が「3」であり、かつ、シフトベクトルが「―2ドット」であり、かつ、切り出し領域情報が「左端」の場合に生成される立体画像データの水平方向の1ラインデータの一例を示す図である。
【図20】本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「3」であり、かつ、シフトベクトルが「―2ドット」であり、かつ、切り出し領域情報が「右端」の場合に生成される立体画像データの水平方向の1ラインデータの一例を示す図である。
【図21】本発明の一実施の形態による立体画像表示装置において、切り出し領域情報が「中央」である場合に、全ての視点の画像データを含んだ領域である統合領域の中央を中心にして立体画像データを生成し、その画像データを立体表示する様子を示す図である。
【図22】ファイルにおける3Dフォーマットデータの構成例を示す図である。
【図23】放送における3Dフォーマットデータの構成例を示す図である。
【図24】3Dフォーマットデータを作成する画像データ作成装置の構成例を示す図である。
【図25】3Dフォーマットデータを再生する画像データ再生装置の構成例を示す図である。
【図26】撮像部の設置方法が水平であり、かつ、撮像部の設置方法と一致させた場合の画像データの配置例を示す図である。
【符号の説明】
1…立体画像表示装置、2…表示位置生成手段、3…立体画像データ処理手段、4…画像データ補間手段、5…表示手段、20,21,31,31,32,140,150,151,152,153…画像データ、40,160…スリット、41、161…ディスプレイ面、60…表示領域、61,63,64,170,171,172,173,174,175…無効領域、70…ずらす前の画像データにおける最も左端のR成分の位置、210…統合領域、240…画像データ作成装置、241…制御部、242…画像結合部、243…3D情報作成部、244…符号化部、245…多重化部、250…画像データ再生装置、251…分離手段、252…3D情報解析手段、253…復号手段、254…選択手段、255…画像データ変換手段、261〜264…撮像部。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technique for displaying a stereoscopic image on a display unit based on a plurality of image data corresponding to a plurality of viewpoints.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a stereoscopic image display technique capable of viewing a set of images having parallax as an image having a stereoscopic effect has been known. For example, by outputting the image data for the left eye and the right eye to the display device alternately, the observer reproduces the image data through glasses that can switch the shutter in synchronization with the switching timing of the display, A stereoscopic image can be observed.
[0003]
As a method of reproducing a stereoscopic image without using special glasses or the like, there is a method called a parallax barrier method. Each of the left-eye image data and the right-eye image data is decomposed into strips in the vertical scanning direction of the image data, and alternately arranged to form one piece of image data. A display device that displays an image based on the image data has a strip-shaped slit similar to the case where the image data is decomposed. The strip-shaped image data is observed by the display device through the slit. When an image based on the image data for the left eye arranged in a strip shape by the polarizing plate is viewed with the left eye of the observer and an image based on the image data for the right eye with the right eye, a stereoscopic effect can be obtained. . There is also a method called a lenticular method using a lenticular lens instead of a slit.
[0004]
There is also disclosed a technique for changing the stereoscopic effect of a reproduced image so that an observer can see a better stereoscopic image. When a human observes an object three-dimensionally, different images are observed by the left and right eyes, and these images have a shift called parallax. Humans perceive a three-dimensional effect based on this parallax. The amount of parallax is called a parallax amount, and the stereoscopic effect is adjusted by adjusting the parallax amount. When receiving and displaying a stereoscopic video in digital broadcasting, a technique of adjusting the amount of parallax and displaying the stereoscopic video on a stereoscopic display is known. With this technology, an observer can adjust the stereoscopic video to an environment in which the stereoscopic video is viewed. It is possible to observe a stereoscopic image (for example, see Patent Document 1).
[0005]
[Patent Document 1]
JP 2000-78615 A
[0006]
[Problems to be solved by the invention]
When adjusting the amount of parallax, for example, in a method in which left and right image data such as a lenticular method and a parallax barrier method are alternately arranged in a strip for each line and displayed, a combination position of the strip data is usually used. The parallax amount can be adjusted by changing, but the accuracy of the adjustment is determined by the width of the strip. Therefore, it is not always possible to adjust the stereoscopic effect according to the viewer's preference.
[0007]
Further, when the combination position of the strip-shaped data is changed, a portion where no data exists for reproduction is generated, and the portion cannot be displayed in good stereoscopic view. Therefore, a portion (display region where the stereoscopic image can be observed) in which the stereoscopic image based on the stereoscopic image data can be favorably displayed becomes small.
[0008]
On the other hand, in the image data after the parallax adjustment, even if all the image data are to be displayed, the width of the strip-shaped image data after the parallax adjustment is wider than the width of the display area by the parallax adjustment, and Image data cannot be displayed.
An object of the present invention is to display a good stereoscopic image with less discomfort based on stereoscopic image data in which the amount of parallax has been adjusted.
[0009]
[Means for Solving the Problems]
According to one aspect of the present invention, disparity amount adjustment information relating to adjustment of respective disparity amounts of N pieces of image data corresponding to different N (N is a natural number of 2 or more) viewpoints, and at least after adjusting the disparity amount A display that generates display position information on a display position of a stereoscopic image based on cutout region information on a region cut out for stereoscopic display from an integrated region including M image data (M is a natural number equal to or less than N). Position information generating means; stereoscopic image data processing means for generating image data for stereoscopic display (hereinafter referred to as “stereoscopic image data”) based on the N pieces of image data and the display position information; A display unit that displays a stereoscopic image based on the stereoscopic image data.
[0010]
It is preferable that the cut-out area information is information on whether to display the image data in the integrated area based on one of a plurality of areas that can be selected according to each viewpoint.
[0011]
According to the three-dimensional image display device, the cut-out area information can be switched. For example, it is possible to change the position of a portion on the stereoscopic image data where the pixel data generated due to the parallax adjustment no longer exists.
In addition, it is preferable that the cutout area information includes information indicating an area indicating image data of a rightmost or leftmost viewpoint in the integrated area.
[0012]
According to the three-dimensional image display device, by switching the cut-out area information, it is possible to change the position of a part on the three-dimensional image data that does not have pixel data generated by adjusting parallax.
Further, it is preferable that the cut-out area information includes information indicating an area located near a central portion in the integrated area.
[0013]
According to the stereoscopic image display device, by setting the cutout region information near the center, by dispersing and displaying left and right positions of a portion of the stereoscopic image data where there is no pixel data generated by adjusting parallax, It can be less noticeable.
Further, it is preferable that the cut-out area information includes information indicating an area located near a peripheral part in the integrated area.
[0014]
According to the three-dimensional image display device, by switching the cut-out area information, it is possible to change the position of a part on the three-dimensional image data that does not have pixel data generated by adjusting parallax.
Further, it is preferable that the display position information is generated based on a display area for displaying an image based on the stereoscopic image data.
[0015]
According to the three-dimensional image display device, the display position information is generated on the basis of a display area for displaying a three-dimensional image based on the three-dimensional image data. The stereoscopic image data can be easily created simply by shifting the image in accordance with the display position information with respect to N pieces of image data corresponding to each of the viewpoints (N is a natural number of 2 or more).
Further, it is preferable that the cut-out area information changes the number of the plurality of areas according to the number N of viewpoints.
[0016]
According to the stereoscopic image display device, by changing the types of the plurality of regions in the integrated region that can be selected in accordance with the value of the number N of viewpoints, for example, as the number of viewpoints increases, the observation position of the observer increases. The observer switches the definition of the cut-out area information so that the stereoscopic image based on the image data of the included viewpoint is displayed close to the center of the display area, so that the stereoscopic display when adjusting the amount of parallax is performed. The degree of freedom can be increased.
Further, it is preferable that the display unit changes a size of a display area for displaying a stereoscopic image based on the stereoscopic image data according to a degree of adjustment of the amount of parallax.
[0017]
According to the stereoscopic image display device, after adjusting the amount of parallax by shifting the image data, the pixel data disappears due to the shift, and the area included in the display area is not displayed, so that the area is not displayed. On the other hand, even when interpolation is not correctly performed, the observer can observe a stereoscopic image based on stereoscopic image data without a sense of incongruity.
[0018]
In addition, the display means, the user switches whether or not to change the size of the display area for displaying the stereoscopic image data, and, when changing the size of the display area, the degree of adjustment of the amount of parallax It is preferable to change the size of the display area.
[0019]
According to the three-dimensional image display device, after adjusting the amount of parallax by shifting the image data, if there is no pixel data due to the shift, and if the interpolation is not correctly performed on the area included in the display area, If the observer instructs to change the size of the display area so as not to display the part that could not be correctly interpolated, performs a three-dimensional display by changing the frame to be displayed, etc. By instructing the observer not to change the size of the display area, the observer can observe a stereoscopic image based on stereoscopic image data without a sense of discomfort.
[0020]
In each of the N pieces of image data, it is preferable to limit the amount of parallax, thereby limiting the proportion of an area not included in a display area for displaying the stereoscopic image data.
[0021]
According to the stereoscopic image display device, an area that is not included in the display area is reduced, that is, an area that can not correspond between image data of each parallax is reduced in the display area. It can be prevented from decreasing.
[0022]
In addition, in each of the N pieces of image data, as a result of the adjustment of the amount of parallax, when a ratio of an area not included in the display area for displaying the stereoscopic image data is equal to or greater than a predetermined value, the observer is notified. Is preferably notified.
[0023]
According to the stereoscopic image display device, the number of areas not included in the display area increases, that is, the number of areas in which the image data of each parallax cannot correspond to each other increases in the display area, thereby enabling stereoscopic viewing. The observer can be notified that the area has been reduced.
[0024]
BEST MODE FOR CARRYING OUT THE INVENTION
In this specification, each of the RGB data of the three primary colors is called a dot, and a group of the RGB data of the three primary colors is called a pixel. The image data includes moving image data, still image data, and the like. Further, the image data also includes compressed image data using a compression technique such as JPEG or MPEG-4.
[0025]
It is assumed that the adjustment process of the parallax amount includes a case where the adjustment amount of the parallax amount is “0”. The image data refers to data for displaying an image on the display means, and the three-dimensional image refers to a three-dimensional image displayed on the display means by the image data.
[0026]
Hereinafter, a stereoscopic image display technique according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a functional block diagram illustrating a configuration example of a stereoscopic image display device according to an embodiment of the present invention. As shown in FIG. 1, the stereoscopic
[0027]
First, the operation of the stereoscopic
[0028]
FIG. 2 is a diagram illustrating an example of (based on) image data of two viewpoints input to the stereoscopic
[0029]
The
[0030]
As shown in FIG. 3, in the
[0031]
First, a case where the input parallax adjustment information is 0 will be described. In this case, the display
[0032]
Next, the display means 5 will be described. FIG. 4 is a diagram illustrating an example of the
[0033]
Further, in the above example, an example has been described in which image data of different viewpoints intersect for each dot to generate stereoscopic image data. However, image data of different viewpoints intersect for each pixel to generate stereoscopic image data. You may. The operation of the stereoscopic image display device according to the embodiment of the present invention when the input parallax adjustment information is 0 has been described above.
[0034]
Next, a case where the input disparity amount adjustment information is not 0 will be described. The display position generation means 2 calculates display position information from the input total number of viewpoints, parallax amount adjustment information, and cutout area information, and outputs the information to the stereoscopic image data processing means 3. Here, a calculation example of the display position information calculated by the display position generation means 2 will be described with reference to FIGS. The display position information is calculated from the shift vector and the cutout area information, and the total number of viewpoints included in the created stereoscopic image data. First, the shift vector will be described.
[0035]
FIGS. 5A to 5C are diagrams showing the relationship between the pop-out distance d of the stereoscopic image data and the image data displayed on the display surface. As shown in FIG. 5A, the distance between the left and right eyes of the observer is represented by e, and the distance between the observer and the display is represented by L. The state of FIG. 5A is a state in which the pixel observed by the right eye and the pixel observed by the left eye are observed through the same slit (Q1). At this time, the pixels are observed on the display. Next, the image data to be observed with the right eye is moved leftward in the drawing, for example, by one dot. This state is shown in FIG. The pixel existing in Q1 moves to the position of Q2. At this time, the pixel observed by the left eye and the pixel observed by the right eye are observed through different slits and form an image at the position of S1, thereby producing a three-dimensional effect. The distance d from the display at this time is the pop-out distance.
[0036]
Here, as shown in FIG. 5B, the moving distance from Q1 to Q2 is w. w is a value that depends on the device (display). Further, the distance L between the display and the observer also depends on the display in the case of the parallax barrier method or the lenticular method. Therefore, in order to calculate the pop-out amount, it is necessary to know the distance L and the moving distance w between the display and the observer. The distance e between the left and right eyes of the observer is considered to be substantially constant. Based on these assumptions, the pop-out distance d is obtained by the following equation.
e: (Ld) = w: d (1)
Equation (2) is obtained from equation (1).
d = (w × L) / (e + w) (2)
[0037]
Here, the pop-out distance d and the movement distance w take positive and negative values. When the pop-out distance d takes a positive value, it indicates that the object appears to jump out of the state before the adjustment of the parallax amount. When the pop-out distance d takes a negative value, the object moves backward from the state before the adjustment of the parallax amount. Show what you can see. The moving distance w takes a positive value when moving image data observed with the right eye to the left, and takes a negative value when moving image data observed with the right eye to the right. In FIG. 5B, since w and d both take positive values, they appear to jump out by the distance of d. On the contrary, FIG. 5C shows a state in which the image data to be observed with the right eye is moved rightward, for example, by one dot from FIG. 5A. The pixel existing at Q1 moves to the position of Q3 and forms an image at the position of S2. At this time, since the moving distance w has a negative value, the pop-out distance d has a negative value according to the above equation (2). In addition, usually, in the case of an autostereoscopic stereoscopic display, even if the image data is displayed beyond the distance e of the left and right eyes of the observer, the observer cannot fuse the image data displayed on the display surface as a stereoscopic image, Since the image data appears to be double-dubbed, −e ≦ w is set. Therefore, as compared with FIG. 5A, an image can be seen in the back in FIG. 5C. When moving the image data to be observed with the left eye, the positive and negative values of the moving distance w are opposite to those when moving the image data to be observed with the right eye.
Equation (3) is obtained from equation (1).
w = (d × e) / (L−d) (3)
This moving distance w is hereinafter referred to as a shift vector. Although the description has been made in pixel units in the above description, the same applies to dot units, and the present invention can be easily applied.
[0038]
In the present embodiment, it is assumed that the shift vector is represented by the number of pixels or the number of dots by which the right-eye image data has been moved (the right direction is indicated by +, and the left direction is indicated by-). Further, when the unit of the shift vector is a dot or a pixel as described above, the shift vector value in which the actual pop-out amount d ′ is the closest to the input pop-out amount d may be used as the shift vector, (The absolute value of the pop-out amount d) ≧ (the actual pop-out amount d ′) and the value of the shift vector in which the actual pop-out amount d ′ becomes the closest value to the inputted pop-out amount d may be used as the shift vector, (Absolute value of pop-out amount d) ≦ (actual pop-out amount d ′) The value of the shift vector in which the actual pop-out amount d ′ is the closest to the input pop-out amount d may be used as the shift vector.
[0039]
As described above, the shift vector is a value indicating how much the right-eye image data is moved with respect to the left-eye image data, and the method of obtaining the value from the parallax amount adjustment information has been described.
[0040]
Next, the cut-out area information will be described. FIG. 6 shows the relationship between the image data of each viewpoint required to generate stereoscopic image data and the image display area based on the image data when the parallax amount adjustment information is not 0 (= shift vector w is not 0). FIG. For example, the shift vector is set to -W1 (W1> 0). In this case, as shown in FIG. 6A, the
[0041]
Further, the width of the stereoscopic image based on the generated stereoscopic image data is a display area on the
[0042]
First, FIG. 6A is described. In this case, the
[0043]
FIG. 21 is a diagram illustrating a state in which three-dimensional image data is generated from an integrated region, which is a region including image data of all viewpoints, centering on the center thereof, and three-dimensionally displayed based on the image data. For example, in FIG. 21, the amount of parallax is adjusted with respect to the
[0044]
Next, FIG. 6B will be described. In this case, the
[0045]
In addition, since the values in the
[0046]
As described above, the cutout area information indicates whether the display area is located at the center, at the left end, or at the right end, as described with reference to FIGS. And the definition of the cutout area information for each is “center”, “left end”, and “right end”. Next, each of shift vector and cutout area information, display position information calculated from the total number of viewpoints included in the created stereoscopic image data, and stereoscopic image data generated at that time will be described.
[0047]
First, the case where the cutout area information is “center” will be described. FIG. 7 is a diagram illustrating stereoscopic image data generated when the total number of viewpoints is “2”, the shift vector is “−1 dot”, and the cutout area information is “center”. Since the shift vector is “−1 dot” and the cutout area information is “center”, an image in which the
[0048]
Therefore, since the
[0049]
The above-described stereoscopic image data shifted in dot units will be described. For example, in a general display in which the display positions of the respective color components of RGB are repeatedly arranged in the horizontal direction in the order of RGB, it is necessary to consider and shift by the unit of each color component. When the
[0050]
Similarly, for example, to shift two dots to the right, to shift the R and G components one dot to the right where a dot of the same color component is located, and to shift three dots to the right, all of the R, G, and B components are shifted. The component is shifted to the position where there is a dot of the same color component one adjacent to the right.
[0051]
Hereinafter, the above procedure is summarized as follows. For example, when shifting to the right by k (k is an integer of 0 or more) dots, shifting is performed in the order of RGB. If the value of (k / 3) is 1 to the position of the R component k / 3 away from the target, the value of (k / 3) is 2 to the position of the R component to the right (k + 2) / 3 away In the case of, it is shifted to the position of the component of R which is (k + 1) / 3 to the right.
[0052]
When the value of (k / 3) is 0, the component of G is shifted to the position of the component of G at a distance of k / 3 to the right, and when the value of (k / 3) is 1, the value of (k-1) is shifted to the right. If the value of (k / 3) is 2 to the position of the G component distant by / 3, it is shifted to the right by the position of the G component (k + 1) / 3.
[0053]
If the value of (k / 3) is 0, the component of B is shifted to the position of the component of B which is k / 3 to the right, and if the value of (k / 3) is 1, the value of (k-1) is shifted to the right. If the value of (k / 3) is 2 to the position of the B component distant by / 3, the position is shifted to the position of the B component to the right by (k-2) / 3.
[0054]
Also, for example, when shifting to the left by k (k is an integer) dots, the shifting is performed in the order of BGR, contrary to shifting to the right. That is, if the component of (k / 3) is 0, the component of B is up to the position of the component of B at a distance of k / 3 to the left, and if the component of (k / 3) is 1, the component is (k + 2) to the left. If the value of (k / 3) is 2 to the position of the B component at a distance of / 3, the position is shifted to the position of the B component at a position (k + 1) / 3 to the left.
[0055]
When the value of (k / 3) is 0, the component of G is up to the position of the component of G at a distance of k / 3 to the left, and when the value of (k / 3) is 1, the value of (k-1) is left. If the value of (k / 3) is 2 to the position of the G component at a distance of / 3, the position is shifted to the position of the G component at a distance of (k + 1) / 3 to the left.
[0056]
The component of R is the position of the component of R which is k / 3 to the left when (k / 3) is too small, and is (k-1) to the left when the value of (k / 3) is 1 to the left. If the value of (k / 3) is 2 to the position of the R component distant by / 3, the position is shifted to the position of the R component distant by (k-2) / 3 to the left.
[0057]
In the above, a description has been given of how to shift in a unit of dot in a general display in which the display positions of the RGB color components are repeatedly arranged in the horizontal direction in the order of RGB.
[0058]
Next, the display position information will be described. In this specification, a set of a shift vector obtained from parallax adjustment information and a shift amount of image data of each viewpoint obtained in consideration of cut-out area information is defined as display position information. For example, in the above case, the shift amount of the
[0059]
The three-dimensional image data processing means 3 shifts the input image data based on the display position information, and alternately arranges the shifted input image data in a strip shape for each one-dot image data to generate the three-
[0060]
In the above-described procedure, the parallax amount is adjusted such that the absolute value of the shift amount of the image data of the
[0061]
For example, assuming that the
[0062]
Next, the operation of the display position generating means 2 and the stereoscopic image data processing means 3 when the total number of viewpoints is "2", the shift vector is "-2 dots", and the cutout area information is "center" explain. FIG. 8 shows stereoscopic image data generated when the total number of viewpoints is “2”, the shift vector is “−2 dots”, and the cutout area information is “center”. Since the shift vector is “−2 dots” and the cut-out area information is “center”, the
[0063]
Next, the display position generating means 2 and the stereoscopic image data processing means when the total number of viewpoints is "2", the shift vector is "-3 dots", and the cutout area information is "center"
[0064]
As described above, in the generated three-
[0065]
A first method of interpolation can use a method of substituting a predetermined value for each color component into an indefinite value “a set of RGB including O1” O0, O1, and O2. Alternatively, as a second method of interpolation, "a set of RGB including O1 which is an indefinite value" O0, O1, O2, and "a set of RGB not including O1 closest to O1" O3, O4 , O5, a predetermined value at O0 and O3 (R), a predetermined value at O1 and O4 (G), a predetermined value at O2 and O5 (B), and so on. A method of substituting a predetermined value for each color component may be used.
[0066]
As a third method of interpolation, O1 which is an indefinite value is displayed as image data at a position closest to O1 (G), the same color component (G), and adjacent different viewpoints. Alternatively, a method of substituting a predetermined value for “O4” which is a dot to be used may be used.
[0067]
As a fourth method of interpolation, with respect to O1, which is an indefinite value, "image data of an adjacent viewpoint located at a position closest to O1 and having the same color component (for example, O1 If so, a method of substituting the value of O4, which is a dot displayed as left image data), may be used.
[0068]
As a fifth method of interpolation, an indeterminate value O1 is displayed as image data at the position closest to O1 (G), the same color component (G), and the same viewpoint (R). Alternatively, a method of substituting the value of “O7” which is a dot to be used may be used.
[0069]
A stereoscopic image based on the stereoscopic image data interpolated by using any of the methods described above is output to the display means 5, and the display means 5 performs stereoscopic display.
The case where the cut-out area information is “center” has been described above in the case where the stereoscopic display device according to the embodiment of the present invention performs stereoscopic display.
[0070]
Hereinafter, the operation of the stereoscopic
[0071]
First, the case where the cutout area information is “left end” will be described. Operation of display position generating means 2 and stereoscopic image data processing means 3 when the total number of viewpoints is "2", the shift vector is "-1 dot", and the cutout area information is "left end" explain. FIG. 10 is a diagram illustrating stereoscopic image data generated when the total number of viewpoints is “2”, the shift vector is “−1 dot”, and the cutout area information is “left end”. Since the shift vector is “−1 dot” and the cutout area information is “left end”, the
[0072]
Next, when the total number of viewpoints is “2”, the shift vector is “−2 dots”, and the cutout area information is “left end”, the display position generating means 2 and the stereoscopic image data processing means 3 The operation of will be described. FIG. 11 is a diagram showing stereoscopic image data generated when the total number of viewpoints is “2”, the shift vector is “−2 dots”, and the cutout area information is “left end”. is there. Since the shift vector is “−2 dots” and the cutout area information is “left end”, the
[0073]
Next, a case where the cutout area information is “right end” will be described. First, when the total number of viewpoints is “2”, the shift vector is “−1 dot”, and the cutout area information is “right end”, the display
[0074]
Next, when the total number of viewpoints is “2”, the shift vector is “−2 dots”, and the cutout area information is “right end”, the display position generating means 2 and the stereoscopic image data processing means 3 The operation of will be described. FIG. 13 shows stereoscopic image data generated when the total number of viewpoints is “2”, the shift vector is “−2 dots”, and the cutout area information is “right end”. Since the shift vector is “−2 dots” and the cutout area information is “right end”, the image data of
[0075]
As described above, the stereoscopic image display device according to the present embodiment generates display position information using the total number of viewpoints, cutout region information, and parallax amount adjustment information, and the generated display position information, It is possible to generate stereoscopic image data that has been subjected to parallax adjustment using the input image data of the two viewpoints as good image data without a sense of discomfort.
[0076]
Next, the operation of the stereoscopic
[0077]
First, the image data of the three viewpoints input to the stereoscopic
[0078]
When stereoscopic image data is generated by alternately arranging image data of three or more viewpoints in a strip shape for each dot, the display means for arranging RGB in the vertical direction and displaying an image based on the image data is better for each color component of RGB. Since it is sufficient to create the barrier and the lenticular with the same arrangement every time, the explanation of the creation of the stereoscopic image data and the adjustment of the parallax amount is simplified.
[0079]
Therefore, hereinafter, only the R component of RGB will be described in the case where display means for displaying images based on image data by arranging RGB in the vertical direction is used. The remaining G and B components are processed in the same manner as the R component, and thus the description is omitted. In addition, one pixel when a display unit that displays images based on image data by arranging RGB vertically is used is a combination of RGB dots that are continuously adjacent in the vertical direction.
[0080]
FIG. 14 is a diagram illustrating an example of image data of a third viewpoint input to the stereoscopic
[0081]
FIG. 15 is a diagram illustrating an example of a method of creating an R component in stereoscopic image data displayed on a parallax barrier or lenticular stereoscopic image display device when image data of three viewpoints is input. Hereinafter, when the stereoscopic image data is generated, the same method is used for all the horizontal lines, and therefore, only one horizontal line will be described here for simplicity. The
[0082]
R
[0083]
In FIG. 1, similarly to the case of two viewpoints, the total number of viewpoints, the parallax adjustment information, and the cutout area information are input to the display
[0084]
FIG. 16 is a diagram illustrating an example of the
[0085]
Next, a case where the input disparity amount adjustment information is not 0 will be described. In the display position generating means 2, display position information is calculated from the input total number of viewpoints, parallax amount adjustment information and cutout area information, and is output to the stereoscopic image data processing means 3.
[0086]
FIG. 17 is a diagram illustrating a relationship between image data of each viewpoint required to generate stereoscopic image data when the disparity amount adjustment information is not 0 (= shift vector w is not 0) and a display area of the image data. It is. For example, the shift vector is set to -W1 (W1> 0). In this case, as shown in FIG. 17A, the
[0087]
FIGS. 17A, 17B, and 17C respectively show that the cutout area information is “center” (an invalid area occurs in the
[0088]
If the cut-out area information is “center” and the total number of viewpoints is an odd number such as “3”, in order to make the invalid areas of the
[0089]
First, description will be made with reference to FIG. As shown in FIG. 17A, the cut-out area information is “center” (= the
[0090]
Next, description will be made with reference to FIG. In this case, the cutout area information is “right end” (= the
[0091]
Since the values in the invalid area described above are interpolated by the image data interpolating means 4, when the stereoscopic image data processing means 3 generates the stereoscopic image data, the value of the invalid area is indefinite. good.
[0092]
Even when the input is image data of three viewpoints, as in the case of two viewpoints, the display position information is obtained from the shift vector and the cutout region information described above and the total number of viewpoints included in the created stereoscopic image data. Can be calculated.
[0093]
Display position information calculated in the case of three viewpoints and generated stereoscopic image data will be described with reference to FIGS. First, the case where the cutout area information is “center” will be described.
[0094]
FIG. 18 is a diagram illustrating stereoscopic image data generated when the total number of viewpoints is “3”, the shift vector is “−2 dots”, and the cutout area information is “center”. is there. Since the shift vector is “−2 dots” and the cutout area information is “center”, the
[0095]
Therefore, the
[0096]
In addition, since the invalid area of the
[0097]
Here, as in the case of the two viewpoints, when the display position information is expressed by a set of the shift amounts of the image data of each viewpoint, the number of viewpoints is three. For example, in the above case, the shift amount of the
[0098]
The three-dimensional image data processing means 3 shifts the input image data in the horizontal direction based on the display position information, and arranges the shifted input image data alternately, in strips, and in the order of viewpoints for each image data of one dot. The
[0099]
At the same time, the display position generating means 2 transmits information indicating that there is no area to be interpolated to the image data interpolating means 4. Based on this information, the image data interpolation means 4 determines that there is no area to be interpolated, and outputs the stereoscopic image data input to the display means 5 as it is. The display means 5 displays a stereoscopic image based on the input stereoscopic image data.
[0100]
Next, a case where the cutout area information is “left end” will be described. First, when the total number of viewpoints is “3”, the shift vector is “−2 dots”, and the cutout area information is “left end”, the display position generating means 2 and the stereoscopic image data processing means 3 Will be described. FIG. 19 is a diagram illustrating stereoscopic image data generated when the total number of viewpoints is “3”, the shift vector is “−2 dots”, and the cutout area information is “left end”. . Since the shift vector is “−2 dots” and the cutout area information is “left end”, the
[0101]
The three-dimensional image data processing means 3 sends the three-
[0102]
By performing the interpolation in this way, a portion where no pixel data is generated due to the adjustment of the amount of parallax in stereoscopic image data including image data of three viewpoints is observed regardless of the observer's position. You can make it impossible.
[0103]
Further, as another second interpolation method, when there is a non-uncertain value in the same viewpoint set, any of the non-indeterminate values in the same viewpoint set is used to replace all non-indeterminate values in the viewpoint set. May be substituted. For example, a method of substituting the value of P0 which is the same set of the first viewpoint and is not an indefinite value into P1 and P2 which are the first set of viewpoints may be used.
[0104]
By performing the interpolation in this manner, a portion where no pixel data is generated by adjusting the amount of parallax in stereoscopic image data including image data of three viewpoints can be observed in 2D from any position by the observer. You can do so.
[0105]
As another third interpolation method, P1 which is a first viewpoint set is included in a viewpoint set closest to the first viewpoint set and is displayed as image data of the same viewpoint. It is also possible to substitute the value of P4 which is a dot that is not an indefinite value, and to substitute the value of P4 for P2.
[0106]
Accordingly, P1 corresponds to P0, and when the observer observes the image data of the first viewpoint including P0 and the image data of the second viewpoint including P1, it is an interpolated portion. Can also be observed as three-dimensional.
[0107]
Further, as another fourth interpolation method, the image of the same viewpoint is set in the viewpoint set closest to the first viewpoint set with respect to the first viewpoint set P1 (or P2). The value of P4 (or P5), which is a dot displayed as data and is not an indefinite value, may be substituted. Accordingly, P2 corresponds to P1, and when the observer observes the image data of the second viewpoint including P1 and the image data of the third viewpoint including P2, even if the interpolated portion is a three-dimensional image. Can be observed. The image data interpolation means 4 outputs the interpolated stereoscopic image data to the display means 5. The display means 5 stereoscopically displays the input stereoscopic image data.
[0108]
Next, a case where the cutout area information is “right end” will be described. First, when the total number of viewpoints is “3”, the shift vector is “−2 dots”, and the cutout area information is “right end”, the display position generating means 2 and the stereoscopic image data processing means 3 Will be described. FIG. 20 shows stereoscopic image data generated when the total number of viewpoints is “3”, the shift vector is “−2 dots”, and the cutout area information is “right end”. Since the shift vector is “−2 dots” and the cut-out area information is “right end”, the
[0109]
As in the case described with reference to FIG. 19, the three-dimensional image
[0110]
As described above, the stereoscopic image display device according to the present embodiment generates display position information using the total number of viewpoints, cutout region information, and parallax amount adjustment information, and generates the generated display position information and the three input positions. It is possible to generate stereoscopic image data that has been subjected to parallax adjustment using the image data of the viewpoint and good stereoscopic image data with less discomfort.
[0111]
Also, the case where the input image data has two viewpoints and the case where the input image data has three viewpoints has been described above, but the case of the viewpoint a (where a is an integer of 4 or more) is extended in the same manner as when extending from two viewpoints to three viewpoints. Thereby, the parallax-adjusted stereoscopic image data can be generated as favorable stereoscopic image data with less discomfort.
[0112]
As described above, when displaying the stereoscopic image data in which the amount of parallax has been adjusted, it is determined based on which position with respect to the integrated area, such as “left end”, “right end”, “center”, etc. By specifying and adjusting the amount of parallax, it is possible to freely set and change the position of a portion where stereoscopic viewing becomes difficult due to the absence of pixel data.
[0113]
In particular, when the cut-out area information is set to “center”, the place where interpolation must be performed is dispersed to the left and right ends of the stereoscopic image data, compared to the case where the cut-out area information is set to “left end” or “right end”. In addition, by making it difficult for the observer to determine a portion where stereoscopic vision becomes difficult due to inability to correctly perform interpolation, it is possible to generate good stereoscopic image data with less discomfort. Further, in the above description, the case where there are only three types of cutout area information, “center”, “left end”, and “right end” has been described, but the cutout area information may be near the center, the left end, and the right end.
[0114]
The cutout area information is not limited to the above three types, and may be b types of neighborhood (b is a positive integer). For example, a position shifted by c (c is a positive integer) dots (or pixels) from the left end of the integrated region to the integrated region including the image data of all viewpoints for which the amount of parallax has been adjusted is set as the left end of the display region. For example, the definition of the cutout area information may be plural. In the above case, in consideration of the position of the display area specified by the cut-out area information, stereoscopic image data in which the amount of parallax has been adjusted in the same manner as described above is generated. At this time, the value of c itself may be used as the cutout area information.
[0115]
Further, in the above example, the cut-out area information is defined as c dots from the left end of the integrated area, but may be shifted from any predetermined location. For example, the dot may be shifted by c dots from the center or right end of the integrated area. Further, the definition of the cutout area information at this time may be changed according to the total number of viewpoints. For example, the cut-out area information of two viewpoints is defined as three of “left end”, “right end”, and “center”, and the cut-out area information of 16 viewpoints is a display area obtained by equally dividing the integrated area into 16 in the horizontal direction. The definition may be switched for each total number of viewpoints.
[0116]
For example, the observer may switch the definition of the cutout area information so that the image data of the viewpoint included in the observation position of the observer is displayed closer to the center of the display area as the number of viewpoints increases. . In this way, by switching the definition of the cut-out area information for each total number of viewpoints, the degree of freedom of stereoscopic display when adjusting the amount of parallax can be increased. Alternatively, image data of a viewpoint may be designated as the definition of the cutout area information. In this case, the parallax amount is adjusted using the position of the image data of the designated viewpoint as a display area. Therefore, there is no occurrence of an invalid area in the image data of the designated viewpoint, and all of them can be displayed.
[0117]
Further, the definition of the cutout area information at this time may include not only the specification in the horizontal direction but also the specification in the vertical direction. For example, the position of the display area may be a position one pixel right in the horizontal direction and one pixel down in the vertical direction from the upper left of the integrated area. In this manner, the degree of freedom of stereoscopic display when adjusting the amount of parallax can be increased. In the above description, an invalid area generated by adjusting the amount of parallax is interpolated by the interpolation means 4 and displayed on the display means 5, but the invalid area information is substituted into the display means 5, For example, in the case of displaying a three-dimensional image with a frame, the size of the display area may be reduced, and the three-dimensional image may be displayed without an invalid area.
[0118]
Furthermore, whether or not to perform the stereoscopic display while omitting the invalid area may be switched by an observer inputting from outside. By not displaying the invalid area in this way, even if interpolation cannot be performed correctly, the observer can observe an image based on stereoscopic image data without a sense of incongruity. When adjusting the amount of parallax, after adjusting the amount of parallax, an invalid area (or an area not included in the display area) in the image data of at least one viewpoint in each viewpoint image data existing in the display area. If X (X is 0 ≦ X ≦ 100)% or more of the entire image data of the viewpoint, the parallax amount is adjusted so that the absolute value of the parallax amount changed to be smaller than X% becomes smaller. Alternatively, the observer may be notified that the invalid area (or the area not included in the display area) exceeds X% of the entire area. Thus, it is possible to prevent a region that can be stereoscopically viewed from decreasing due to an increase in invalid regions due to the adjustment of the amount of parallax.
[0119]
In addition, the total number of viewpoints, the cutout area information, and the parallax amount adjustment information that are input to the stereoscopic image display device according to the embodiment described above may be input by the observer. Further, the total number of viewpoints, cutout area information, parallax amount adjustment information, and input image data Din input to the stereoscopic image display device of the present embodiment are all included in one data such as, for example, 3D format data. No problem. In this case, by providing a separating unit for separating each of the total number of viewpoints, the cutout area information, the parallax amount adjustment information, and the input image data Din from the 3D format data in the preceding stage of the stereoscopic
[0120]
In addition, in case the 3D format data includes data that is not included in any of the total number of viewpoints, the cutout area information, and the parallax adjustment information, the respective values are set by default in the terminal. If there is data that is not included in the data, the terminal default value may be used instead.
[0121]
Further, when the cutout region information and the parallax amount adjustment information are used in the stereoscopic
[0122]
The 3D format data is a file format including the total number of viewpoints, cutout area information, parallax adjustment information, input image data Din, and the like, such as broadcast and streaming data and data on tape media. Any format data may be used.
[0123]
FIG. 22 is a diagram illustrating an example of 3D format data in a file. For example, as shown in FIG. 22, the 3D image data file includes a management information area and an image data area. The image data area includes input image data Din, and the management information area includes the total number of viewpoints and cutout. A 3D image data file may be configured as 3D format data that includes the area information and the parallax adjustment information.
[0124]
Next, the management information area of the 3D image data file will be described in detail.
The management information area includes “image data information”, “information for stereoscopic image data (hereinafter, referred to as 3D information)”, and “each viewpoint image data information”. The “image data information” includes information on the entire image data such as the size of the image data and the reproduction time of a moving image, and the “each viewpoint image data information” includes information necessary for decoding each image data ( For example, information such as MPEG-4 technology is used as an encoding technique), but “3D information” includes information specific to a stereoscopic image such as the total number of viewpoints, cutout area information, and parallax adjustment information. It is. Also, when playing back a 3D image data file, a header indicating the presence of the 3D information is required so that the device can correctly read the 3D information. For this reason, an area for recording the stereoscopic image data (3D image) identification information is provided at the head of the 3D information. The 3D image identification information indicates the presence of the 3D information and indicates that the subsequent image data is stereoscopic image data. The 3D image identification information may be a flag encoded with a fixed-length or variable-length code, but may be, for example, a specific symbol string or character string if it can be identified. The control information includes information on the total number of viewpoints, cutout area information, and parallax adjustment information in the control information. In this way, 3D information is constituted by the 3D image identification information and the control information that is other information.
[0125]
FIG. 23 shows an example of 3D format data in broadcasting. For example, as shown in FIG. 23, the 3D broadcast content is configured by the content and the program arrangement information, and the input image data Din is included in the content part, and the 3D information is included in the program arrangement information part. As 3D format data, 3D broadcast content may be configured.
[0126]
Next, an image data creating apparatus that creates the above-described 3D format data will be described. FIG. 24 is a block diagram illustrating a configuration example of an image data creation device that creates 3D format data. As shown in FIG. 24, the image
[0127]
The
Here, the method of arranging the image data may or may not match the method of installing the imaging device.
[0128]
First, a case where the arrangement method of the image data matches the installation method of the imaging device will be described. FIG. 26 is a diagram illustrating an example of the arrangement of image data when the installation method of the imaging unit is horizontal and matches the installation method of the imaging unit. FIG. 26A is a diagram illustrating a method of installing the imaging unit when the method of arranging the image data is horizontal to the method of installing the imaging unit. As shown in FIG. 26A, in this case,
[0129]
FIG. 26B is a diagram illustrating an example of an image created by arranging image data so that the method of installing the imaging unit is horizontal and matches the method of installing the imaging unit. As shown in FIG. 26B, X pieces of image data shot by the
[0130]
Similarly to the above, when the installation method of the imaging unit is the vertical arrangement, the number of viewpoints of the created image is X = 1, Y ≧ 2, and the arrangement of the image data is the vertical arrangement. Further, when the installation method of the imaging unit is other than the horizontal arrangement or the vertical arrangement, the installation method of the imaging unit is a lattice arrangement. In this case, the number of viewpoints of the created image is X ≧ 2, Y ≧ 2, and the image data is arranged in a grid.
[0131]
Even when the image data is arranged vertically or in a grid, the arrangement of the individual image data constituting one image is the same as the case of the horizontal arrangement. It becomes the structure arranged in the same order as.
[0132]
Next, a case where the method of arranging image data does not match the method of arranging the imaging device will be described. When they do not match, when X ≧ 2, Y = 1 or X = 1, Y ≧ 2, either the vertical arrangement or the horizontal arrangement may be selected. When X ≧ 2, Y ≧ 2, Alternatively, any of the vertical arrangement, the horizontal arrangement, and the lattice arrangement may be selected. If the presence or absence of reduction input from the
[0133]
As described above, the
[0134]
Next, an image data reproducing apparatus for reproducing the above 3D format data will be described. FIG. 25 is a block diagram illustrating a configuration example of an image
[0135]
The operation of the image
[0136]
The 3D
[0137]
The stereoscopic
[0138]
As described above, according to the stereoscopic image display device according to the present embodiment, when displaying the stereoscopic image data in which the amount of parallax is configured from the image data of the number of viewpoints N, for example, the left end, the right end, By adjusting the amount of parallax by specifying which position is to be displayed as a reference, such as near each center, there is no pixel data in each viewpoint image data generated when adjusting the amount of parallax It is possible to change the position of the part where stereoscopic vision becomes difficult.
[0139]
In particular, when the cut-out area information is set near the center, the left-eye image data and the right-eye image data are adjusted when the amount of parallax is adjusted, compared to the case where the cut-out area information is set near the left end or near the right end. Since the pixel data disappeared and the places where interpolation had to be performed were dispersed at the left and right ends of the stereoscopic image data, interpolation could not be performed correctly. This makes it difficult for the user to make a distinction, and can generate good stereoscopic image data with less discomfort.
[0140]
Also, by generating the display position information with reference to the display area for displaying the stereoscopic image data, the display position information generating means generates N display points corresponding to each of N (N is a natural number of 2 or more) viewpoints. 3D image data can be easily created simply by shifting the image with respect to the image data according to the display position information. Further, by switching the cut-out area information by the observer, the position of a portion having no pixel data generated by adjusting the parallax on the stereoscopic image data can be freely changed.
[0141]
By changing the types of the plurality of regions in the integrated region that can be selected according to the value of the number N of viewpoints, for example, the image data of the viewpoint included in the observation position of the observer is displayed as the number of viewpoints increases. The observer switches the definition of the cut-out area information so as to be displayed near the center of the area, so that the degree of freedom of stereoscopic display when adjusting the amount of parallax can be increased.
[0142]
Further, the display means adjusts the amount of parallax by shifting the image data by changing the size of the display area for displaying the stereoscopic image data in accordance with the degree of adjustment of the amount of parallax, and then by shifting the image data. Since pixel data is lost and an area included in the display area can be prevented from being displayed, even if interpolation cannot be correctly performed on the area, the observer can observe stereoscopic image data without a sense of incongruity. Can be.
[0143]
The display means may be configured such that the user switches whether or not to change the size of the display area for displaying the stereoscopic image data and, when changing the size of the display area, the degree of adjustment of the amount of parallax. After adjusting the amount of parallax by changing the size of the display area according to the above, if there is no pixel data due to the shift and the interpolation included in the area included in the display area could not be performed correctly, correct The observer instructs to change the size of the display area so that the part that could not be interpolated is displayed, changes the frame to be displayed, etc., performs three-dimensional display, and if interpolation is successful, displays The observer can give an instruction not to change the size of the region, and as a result, the observer can observe stereoscopic image data without a sense of discomfort.
[0144]
In each of the N pieces of image data, by limiting the amount of parallax, the ratio of the area not included in the display area for displaying the stereoscopic image data is reduced, thereby reducing the area not included in the display area. In other words, by reducing the number of areas that cannot be handled because there is no pixel data between image data of each parallax in the display area, it is possible to prevent the area that can be stereoscopically viewed from decreasing.
[0145]
In addition, in each of the N pieces of image data, if the proportion of the area not included in the display area for displaying the stereoscopic image data is equal to or more than a predetermined value as a result of the adjustment of the amount of parallax, the observer is notified. You can also notify.
[0146]
Note that the stereoscopic image display device is applicable to various electronic devices. In particular, it is suitable for use in mobile terminals such as mobile phones and PDAs that require a compact configuration.
As described above, the present invention has been described in accordance with the embodiments. However, it is needless to say that the present invention is not limited to these examples, and various modifications are possible.
[0147]
【The invention's effect】
As described above, according to the present invention, when displaying stereoscopic image data with an adjusted amount of parallax composed of image data of the number of N viewpoints, a position to be displayed is designated as a reference. By adjusting the amount of parallax as described above, there is an advantage that it is possible to change the position of a portion where the pixel data in each viewpoint image data is lost and stereoscopic viewing becomes difficult, which occurs when the amount of parallax is adjusted. .
[Brief description of the drawings]
FIG. 1 is a functional block diagram illustrating a configuration example of a stereoscopic image display device according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of image data of two viewpoints, a
FIG. 3 is a diagram illustrating an example of a method of creating stereoscopic image data to be displayed on a stereoscopic image display device using a parallax barrier method or a lenticular method when image data of two viewpoints,
FIG. 4 is a diagram illustrating an example of a configuration of a stereoscopic image display device according to an embodiment of the present invention, the display device including a display unit using a parallax barrier method.
FIGS. 5 (A) to 5 (C) are diagrams showing a relationship between a projection distance d of stereoscopic image data and image data displayed on a display surface according to an embodiment of the present invention. 3D image display device
FIGS. 6A to 6C show an example in which image data of two viewpoints is moved for adjusting a parallax amount in the stereoscopic image display device according to the embodiment of the present invention; FIG.
FIG. 7 shows a stereoscopic image data processing means in the stereoscopic image display device according to one embodiment of the present invention, wherein the total number of viewpoints is “2”, the shift vector is “−1 dot”, and clipping is performed. FIG. 9 is a diagram illustrating a configuration example of one-line data in the horizontal direction of stereoscopic image data generated when area information is “center”.
FIG. 8 shows a stereoscopic image data processing means in the stereoscopic image display device according to one embodiment of the present invention, in which the total number of viewpoints is “2”, the shift vector is “−2 dots”, and clipping is performed. FIG. 9 is a diagram illustrating a configuration example of one-line data in the horizontal direction of stereoscopic image data generated when area information is “center”.
FIG. 9 shows a stereoscopic image display apparatus according to an embodiment of the present invention, in which the total number of viewpoints is “2”, the shift vector is “−3 dots”, and the cutout area information is “center”. FIG. 8 is a diagram showing an example of one-line data in the horizontal direction of stereoscopic image data generated in the case of FIG.
FIG. 10 shows a stereoscopic image data processing means in the stereoscopic image display device according to one embodiment of the present invention, in which the total number of viewpoints is “2”, the shift vector is “−1 dot”, and clipping is performed. FIG. 8 is a diagram illustrating an example of one-line data in the horizontal direction of stereoscopic image data generated when the area information is “left end”.
FIG. 11 shows a stereoscopic image data processing unit in the stereoscopic image display device according to one embodiment of the present invention, in which the total number of viewpoints is “2”, the shift vector is “−2 dots”, and clipping is performed. FIG. 9 is a diagram illustrating an example of one-line data in the horizontal direction of stereoscopic image data generated when the area information is “left end”.
FIG. 12 shows a stereoscopic image data processing means in the stereoscopic image display device according to one embodiment of the present invention, in which the total number of viewpoints is “2”, the shift vector is “−1 dot”, and clipping is performed. FIG. 9 is a diagram illustrating an example of one-line data in the horizontal direction of stereoscopic image data generated when region information is “right end”.
FIG. 13 shows a stereoscopic image data processing means in the stereoscopic image display device according to one embodiment of the present invention, wherein the total number of viewpoints is “2”, the shift vector is “−2 dots”, and clipping is performed. FIG. 9 is a diagram illustrating an example of one-line data in the horizontal direction of stereoscopic image data generated when region information is “right end”.
FIG. 14 is a diagram showing an example of image data input to the stereoscopic image display device according to one embodiment of the present invention.
FIG. 15 is a diagram illustrating an example of a method of creating an R component in stereoscopic image data displayed on a stereoscopic image display device using a parallax barrier method or a lenticular method when image data of three viewpoints is input.
FIG. 16 is a diagram illustrating an example of a display unit in a stereoscopic image display device using a parallax barrier method when displaying stereoscopic image data composed of image data of three viewpoints.
FIGS. 17A to 17C illustrate an example in which image data of three viewpoints is moved to adjust the amount of parallax in the stereoscopic image display device according to the embodiment of the present invention; FIG.
FIG. 18 is a diagram illustrating a stereoscopic image data processing unit in a stereoscopic image display device according to an embodiment of the present invention, in which the total number of viewpoints is “3”, the shift vector is “−2 dots”, and clipping is performed. FIG. 9 is a diagram illustrating an example of one-line data in the horizontal direction of stereoscopic image data generated when the area information is “center”.
FIG. 19 is a diagram illustrating a stereoscopic image
FIG. 20 is a diagram illustrating a stereoscopic image data processing unit in a stereoscopic image display device according to an embodiment of the present invention, in which the total number of viewpoints is “3”, the shift vector is “−2 dots”, and FIG. 9 is a diagram illustrating an example of one-line data in the horizontal direction of stereoscopic image data generated when region information is “right end”.
FIG. 21 is a diagram illustrating a stereoscopic image display device according to an embodiment of the present invention, in which, when the cutout region information is “center”, the center of the integrated region which is a region including image data of all viewpoints is centered; FIG. 4 is a diagram illustrating a state in which stereoscopic image data is generated and the image data is stereoscopically displayed.
FIG. 22 is a diagram illustrating a configuration example of 3D format data in a file.
FIG. 23 is a diagram illustrating a configuration example of 3D format data in broadcasting.
FIG. 24 is a diagram illustrating a configuration example of an image data creation device that creates 3D format data.
FIG. 25 is a diagram illustrating a configuration example of an image data reproducing device that reproduces 3D format data.
FIG. 26 is a diagram illustrating an example of the arrangement of image data in a case where the installation method of the imaging unit is horizontal and coincides with the installation method of the imaging unit.
[Explanation of symbols]
DESCRIPTION OF
Claims (21)
前記N個の画像データと前記表示位置情報とに基づいて立体表示用の画像データ(以下、「立体画像データ」と称する。)を生成する立体画像データ処理手段と、
前記立体画像データに基づいて立体画像を表示する表示手段と
を備えることを特徴とする立体画像表示装置。Disparity amount adjustment information relating to adjustment of the respective amounts of parallax of N image data corresponding to different N (N is a natural number of 2 or more) viewpoints, and at least M (M is a natural number equal to or less than N) after adjusting the amount of parallax Display position information generating means for generating display position information on a display position of a stereoscopic image based on cutout region information on a region cut out for stereoscopic display from the integrated region including the image data of
Stereoscopic image data processing means for generating image data for stereoscopic display (hereinafter, referred to as “stereoscopic image data”) based on the N pieces of image data and the display position information;
Display means for displaying a three-dimensional image based on the three-dimensional image data.
前記表示位置生成手段は、それぞれの視点による前記画像データの視差量を調整した際に前記表示手段上における画像データの欠如に基づいて生じる無効領域に関する無効領域情報を算出することを特徴とする請求項1又は2に記載の立体画像表示装置。further,
The display position generating means calculates invalid area information on an invalid area generated based on a lack of image data on the display means when the amount of parallax of the image data from each viewpoint is adjusted. Item 3. The stereoscopic image display device according to item 1 or 2.
前記N個の画像データと前記表示位置情報とに基づいて立体画像データをドット単位で生成する立体画像データ処理手段と、
前記立体画像データに基づいて立体画像を表示する表示手段と
を備えることを特徴とする立体画像表示装置。Parallax amount adjustment information relating to adjustment of each parallax amount of N image data corresponding to N different (N is a natural number of 2 or more) viewpoints in units of dots distinguished for each color component, and the parallax amount in dot units Display on the display position of the stereoscopic image based on the cut-out area information on the area cut out for the stereoscopic display from the integrated area including at least M image data (M is a natural number equal to or less than N) in which the amount of parallax has been adjusted in Display position information generating means for generating position information;
Stereoscopic image data processing means for generating stereoscopic image data in dot units based on the N pieces of image data and the display position information;
Display means for displaying a three-dimensional image based on the three-dimensional image data.
前記表示位置生成手段は、それぞれの視点による画像データの視差量を調整した際に前記表示手段上における画像データのドット単位での欠如に基づいて形成される無効領域に関する無効領域情報を算出し、ドット単位での前記無効領域に対して、画像データを同じ色成分を有する隣接する位置にドット単位で移動させることにより補間を行う画像補間手段を備えることを特徴とする請求項16に記載の立体画像表示装置。further,
The display position generating means calculates the invalid area information on the invalid area formed based on the lack of the image data on a dot basis on the display means when the amount of parallax of the image data from each viewpoint is adjusted, 17. The three-dimensional image processing apparatus according to claim 16, further comprising: an image interpolation unit that performs interpolation by moving image data to adjacent positions having the same color component in units of dots with respect to the invalid area in units of dots. Image display device.
制御部からの指定に基づいて、多視点の画像データを結合させた多視点画像データを作成する画像結合部と、
該画像結合部からの画像の結合に関する画像結合情報と、総視点数と、切り出し領域情報と、視差量調整情報とのうちから選択される情報をフォーマット化した3D情報であって、ヘッダと符号化データとを含む3D情報を作成する3D情報作成部と、
前記画像結合部にからの画像データを符号化する符号化部と、
前記3D情報と符号化された前記画像データを多重化して3Dフォーマットデータを作成する多重化部と
を有する画像データ作成装置。A control unit that specifies image data combination information, the total number of viewpoints, and display area data;
An image combining unit that creates multi-view image data in which the multi-view image data is combined based on a designation from the control unit;
3D information in which information selected from image combination information relating to the combination of images from the image combination unit, the total number of viewpoints, cutout region information, and parallax amount adjustment information is formatted. 3D information creation unit for creating 3D information including encoded data,
An encoding unit that encodes image data from the image combining unit;
A multiplexing unit that multiplexes the 3D information and the encoded image data to generate 3D format data.
3Dフォーマットデータから前記3D情報と符号化された前記画像データを分離する分離手段と、
前記3D情報を解析し、前記画像結合情報と、総視点数と、切り出し領域情報と、視差量調整情報とのうちから選択される情報の少なくともいずれかを抽出する3D情報解析手段と、
符号化された前記画像データに基づいて画像データを復号する復号手段と、
前記3D情報解析手段により抽出された情報に応じて復号された前記画像データを、各視点の入力画像データに変換する画像データ変換手段と
を有する画像データ再生装置。An image for reproducing 3D format data created by the image data creation device according to claim 20 and outputting input image data and 3D information to be output to the stereoscopic image display device according to any one of claims 1 to 17. A data playback device,
Separating means for separating the 3D information and the encoded image data from 3D format data;
A 3D information analyzing unit that analyzes the 3D information and extracts at least one of information selected from the image combination information, the total number of viewpoints, the cutout region information, and the parallax amount adjustment information;
Decoding means for decoding image data based on the encoded image data,
An image data reproducing apparatus comprising: an image data conversion unit that converts the image data decoded according to the information extracted by the 3D information analysis unit into input image data of each viewpoint.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003135436A JP4181446B2 (en) | 2003-05-14 | 2003-05-14 | Stereoscopic image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003135436A JP4181446B2 (en) | 2003-05-14 | 2003-05-14 | Stereoscopic image display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004343290A true JP2004343290A (en) | 2004-12-02 |
JP4181446B2 JP4181446B2 (en) | 2008-11-12 |
Family
ID=33525699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003135436A Expired - Fee Related JP4181446B2 (en) | 2003-05-14 | 2003-05-14 | Stereoscopic image display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4181446B2 (en) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009129420A (en) * | 2007-11-28 | 2009-06-11 | Fujifilm Corp | Image processing device, method, and program |
JP2011024151A (en) * | 2009-07-21 | 2011-02-03 | Fujifilm Corp | Device and method for displaying image, and program |
WO2011024352A1 (en) * | 2009-08-25 | 2011-03-03 | パナソニック株式会社 | Stereovision-image editing device and stereovision-image editing method |
JP2011064814A (en) * | 2009-09-15 | 2011-03-31 | Nikon Corp | Display device, display method and program |
WO2011036813A1 (en) * | 2009-09-28 | 2011-03-31 | 株式会社 東芝 | Three-dimensional image displaying method and three-dimensional image displaying device |
WO2011086898A1 (en) * | 2010-01-14 | 2011-07-21 | パナソニック株式会社 | 3d image capturing device and control method therefor |
JP2011172286A (en) * | 2011-05-26 | 2011-09-01 | Fujifilm Corp | Image display device, image display method, and program |
JP2011211657A (en) * | 2010-03-30 | 2011-10-20 | Toshiba Corp | Electronic apparatus and image output method |
JP2011217388A (en) * | 2011-05-26 | 2011-10-27 | Fujifilm Corp | Device, method, and program for compound eye photographing |
JP2011217387A (en) * | 2011-05-26 | 2011-10-27 | Fujifilm Corp | Device, method, and program for compound eye photographing |
CN102274631A (en) * | 2010-06-14 | 2011-12-14 | 任天堂株式会社 | Stereoscopic image display system and method, and stereoscopic image display device |
JP2012002875A (en) * | 2010-06-14 | 2012-01-05 | Nintendo Co Ltd | Stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method |
US8106939B2 (en) | 2005-11-02 | 2012-01-31 | Sony Corporation | Image processing method, image processing device and image display apparatus employing the image processing device |
WO2012023330A1 (en) * | 2010-08-16 | 2012-02-23 | 富士フイルム株式会社 | Image processing device, image processing method, image processing program, and recording medium |
JP2012042623A (en) * | 2010-08-17 | 2012-03-01 | Olympus Imaging Corp | Display device |
JP2012083573A (en) * | 2010-10-12 | 2012-04-26 | Canon Inc | Stereoscopic video processor and method for controlling the same |
CN102478757A (en) * | 2010-11-25 | 2012-05-30 | 英业达股份有限公司 | Stereoscopic image generation device and stereoscopic image generation method |
JP2012529787A (en) * | 2009-06-05 | 2012-11-22 | クゥアルコム・インコーポレイテッド | Encoding of 3D conversion information performed with 2D video sequence (ENCODINGOFTHREE-DIMENSIONALCONVERSIONIONFORMATIONWITHWO-DIMENSIONALVIDEODEEQUENCE) |
WO2012172888A1 (en) * | 2011-06-16 | 2012-12-20 | シャープ株式会社 | Image generation device, image generation method, image generation program, and recording medium |
JP2013005259A (en) * | 2011-06-17 | 2013-01-07 | Sony Corp | Image processing apparatus, image processing method, and program |
JP2013061440A (en) * | 2011-09-13 | 2013-04-04 | Canon Inc | Imaging device and control method of imaging device |
JP2014044396A (en) * | 2012-07-31 | 2014-03-13 | Nlt Technologies Ltd | Stereoscopic image display device, image processing apparatus, and stereoscopic image processing method |
JP2014526823A (en) * | 2011-09-08 | 2014-10-06 | クゥアルコム・インコーポレイテッド | Method and apparatus for improved cropping of stereoscopic image pairs |
JP2015521442A (en) * | 2012-07-04 | 2015-07-27 | インテル コーポレイション | Panorama-based 3D video coding |
KR20150124034A (en) * | 2014-04-25 | 2015-11-05 | 한국전자통신연구원 | Multiview display and method for displaying multiview image |
US11221482B2 (en) | 2017-04-26 | 2022-01-11 | Kyocera Corporation | Display apparatus, display system, and mobile body |
-
2003
- 2003-05-14 JP JP2003135436A patent/JP4181446B2/en not_active Expired - Fee Related
Cited By (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8106939B2 (en) | 2005-11-02 | 2012-01-31 | Sony Corporation | Image processing method, image processing device and image display apparatus employing the image processing device |
JP2009129420A (en) * | 2007-11-28 | 2009-06-11 | Fujifilm Corp | Image processing device, method, and program |
JP2012529787A (en) * | 2009-06-05 | 2012-11-22 | クゥアルコム・インコーポレイテッド | Encoding of 3D conversion information performed with 2D video sequence (ENCODINGOFTHREE-DIMENSIONALCONVERSIONIONFORMATIONWITHWO-DIMENSIONALVIDEODEEQUENCE) |
US9124874B2 (en) | 2009-06-05 | 2015-09-01 | Qualcomm Incorporated | Encoding of three-dimensional conversion information with two-dimensional video sequence |
JP2011024151A (en) * | 2009-07-21 | 2011-02-03 | Fujifilm Corp | Device and method for displaying image, and program |
WO2011024352A1 (en) * | 2009-08-25 | 2011-03-03 | パナソニック株式会社 | Stereovision-image editing device and stereovision-image editing method |
JPWO2011024352A1 (en) * | 2009-08-25 | 2013-01-24 | パナソニック株式会社 | Stereoscopic image editing apparatus and stereoscopic image editing method |
US8682061B2 (en) | 2009-08-25 | 2014-03-25 | Panasonic Corporation | Stereoscopic image editing apparatus and stereoscopic image editing method |
JP5496185B2 (en) * | 2009-08-25 | 2014-05-21 | パナソニック株式会社 | Stereoscopic image editing apparatus and stereoscopic image editing method |
JP2011064814A (en) * | 2009-09-15 | 2011-03-31 | Nikon Corp | Display device, display method and program |
WO2011036813A1 (en) * | 2009-09-28 | 2011-03-31 | 株式会社 東芝 | Three-dimensional image displaying method and three-dimensional image displaying device |
US8614738B2 (en) | 2009-09-28 | 2013-12-24 | Kabushiki Kaisha Toshiba | Stereoscopic image display method and stereoscopic image display apparatus |
JP5296218B2 (en) * | 2009-09-28 | 2013-09-25 | 株式会社東芝 | 3D image display method and 3D image display apparatus |
WO2011086898A1 (en) * | 2010-01-14 | 2011-07-21 | パナソニック株式会社 | 3d image capturing device and control method therefor |
US8957950B2 (en) | 2010-03-30 | 2015-02-17 | Kabushiki Kaisha Toshiba | Electronic apparatus and image output method |
JP2011211657A (en) * | 2010-03-30 | 2011-10-20 | Toshiba Corp | Electronic apparatus and image output method |
CN102274631A (en) * | 2010-06-14 | 2011-12-14 | 任天堂株式会社 | Stereoscopic image display system and method, and stereoscopic image display device |
JP2012002875A (en) * | 2010-06-14 | 2012-01-05 | Nintendo Co Ltd | Stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method |
CN102274631B (en) * | 2010-06-14 | 2015-10-21 | 任天堂株式会社 | Stereo image display system and method and stereoscopic display device |
US9001192B2 (en) | 2010-06-14 | 2015-04-07 | Nintendo Co., Ltd. | Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method |
US8902298B2 (en) | 2010-06-14 | 2014-12-02 | Nintendo Co., Ltd. | Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method |
US8842166B2 (en) | 2010-06-14 | 2014-09-23 | Nintendo Co., Ltd. | Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method |
US8830231B2 (en) | 2010-06-14 | 2014-09-09 | Nintendo Co., Ltd. | Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method |
CN103098478A (en) * | 2010-08-16 | 2013-05-08 | 富士胶片株式会社 | Image processing device, image processing method, image processing program, and recording medium |
WO2012023330A1 (en) * | 2010-08-16 | 2012-02-23 | 富士フイルム株式会社 | Image processing device, image processing method, image processing program, and recording medium |
JP2012042623A (en) * | 2010-08-17 | 2012-03-01 | Olympus Imaging Corp | Display device |
JP2012083573A (en) * | 2010-10-12 | 2012-04-26 | Canon Inc | Stereoscopic video processor and method for controlling the same |
CN102478757A (en) * | 2010-11-25 | 2012-05-30 | 英业达股份有限公司 | Stereoscopic image generation device and stereoscopic image generation method |
JP2011217387A (en) * | 2011-05-26 | 2011-10-27 | Fujifilm Corp | Device, method, and program for compound eye photographing |
JP2011172286A (en) * | 2011-05-26 | 2011-09-01 | Fujifilm Corp | Image display device, image display method, and program |
JP2011217388A (en) * | 2011-05-26 | 2011-10-27 | Fujifilm Corp | Device, method, and program for compound eye photographing |
WO2012172888A1 (en) * | 2011-06-16 | 2012-12-20 | シャープ株式会社 | Image generation device, image generation method, image generation program, and recording medium |
JPWO2012172888A1 (en) * | 2011-06-16 | 2015-02-23 | シャープ株式会社 | Image generating apparatus, image generating method, image generating program, and recording medium |
JP2013005259A (en) * | 2011-06-17 | 2013-01-07 | Sony Corp | Image processing apparatus, image processing method, and program |
JP2014526823A (en) * | 2011-09-08 | 2014-10-06 | クゥアルコム・インコーポレイテッド | Method and apparatus for improved cropping of stereoscopic image pairs |
US9560334B2 (en) | 2011-09-08 | 2017-01-31 | Qualcomm Incorporated | Methods and apparatus for improved cropping of a stereoscopic image pair |
JP2013061440A (en) * | 2011-09-13 | 2013-04-04 | Canon Inc | Imaging device and control method of imaging device |
JP2015521442A (en) * | 2012-07-04 | 2015-07-27 | インテル コーポレイション | Panorama-based 3D video coding |
JP2014044396A (en) * | 2012-07-31 | 2014-03-13 | Nlt Technologies Ltd | Stereoscopic image display device, image processing apparatus, and stereoscopic image processing method |
US10237541B2 (en) | 2012-07-31 | 2019-03-19 | Nlt Technologies, Ltd. | Stereoscopic image display device, image processing device, and stereoscopic image processing method with reduced 3D moire |
KR20150124034A (en) * | 2014-04-25 | 2015-11-05 | 한국전자통신연구원 | Multiview display and method for displaying multiview image |
KR101726863B1 (en) | 2014-04-25 | 2017-04-14 | 한국전자통신연구원 | Multiview display and method for displaying multiview image |
US11221482B2 (en) | 2017-04-26 | 2022-01-11 | Kyocera Corporation | Display apparatus, display system, and mobile body |
Also Published As
Publication number | Publication date |
---|---|
JP4181446B2 (en) | 2008-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4181446B2 (en) | Stereoscopic image display device | |
US8035683B2 (en) | Stereoscopic image reproducing apparatus and stereoscopic image reproducing method | |
JP4174001B2 (en) | Stereoscopic image display apparatus, recording method, and transmission method | |
US9357231B2 (en) | Video encoding device, video encoding method, video reproducing device, video reproducing method, video recording medium, and video data stream | |
KR100768837B1 (en) | 3-dimensional image creating apparatus, 3-dimensional image reproducing apparatus, 3-dimensional image processing apparatus, and recording medium recorded with 3-dimensional image processing program | |
JP4693900B2 (en) | Image processing device | |
JP4879932B2 (en) | Stereoscopic image display method and stereoscopic image transmission method | |
JP6095067B2 (en) | Stereoscopic video encoding apparatus, stereoscopic video decoding apparatus, stereoscopic video encoding method, stereoscopic video decoding method, stereoscopic video encoding program, and stereoscopic video decoding program | |
US9219911B2 (en) | Image processing apparatus, image processing method, and program | |
EP1587330B1 (en) | Device for generating image data of multiple viewpoints, and device for reproducing these image data | |
CN102804756B (en) | Video image processing apparatus and method for controlling video image processing apparatus | |
JP2004336701A (en) | Video image providing method for stereoscopic view and stereoscopic video image display apparatus | |
KR20080108936A (en) | Method and apparatus for generating header information of stereoscopic image data | |
JP4222817B2 (en) | Stereoscopic image display apparatus, recording method, and transmission method | |
JP2008109267A (en) | Solid image generating device and solid image decoding device | |
KR20140030117A (en) | Method and apparatus for transmitting/receiving a digital broadcasting signal | |
JP4133683B2 (en) | Stereoscopic image recording apparatus, stereoscopic image recording method, stereoscopic image display apparatus, and stereoscopic image display method | |
JP4815004B2 (en) | Multi-view image encoding device | |
WO2004030377A1 (en) | Three-dimensional image display device, recording method, and transmission method | |
JP5742886B2 (en) | Stereoscopic video encoding apparatus, stereoscopic video decoding apparatus, stereoscopic video encoding system, stereoscopic video encoding program, and stereoscopic video decoding program | |
JP2012142800A (en) | Image processing device, image processing method, and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080501 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080610 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080806 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080826 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080829 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |