JP4222817B2 - Stereoscopic image display apparatus, recording method, and transmission method - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の視点に対応した複数の画像を、立体表示する技術に関する。
【０００２】
【従来の技術】
従来、視差を有する一組の画像を立体視することにより立体感のある画像を見ることができる立体画像表示方法が知られている。例えば、表示装置に左眼用と右眼用の画像を交互に出力し、ユーザーは、その表示の切り替えタイミングに同期してシャッターを切り替えることのできる眼鏡を通して画像を再生することにより、立体画像を観察することができる。
【０００３】
また、特別な眼鏡等を用いずに立体画像を再生する方法には、パララックスバリア方式と呼ばれる方法がある。左眼用の画像と右眼用の画像のそれぞれを画像の垂直走査方向に短冊状に分解し、交互に並べて一枚の画像とする。その画像を表示する表示装置には、画像を分解した場合と同様の短冊状のスリットがある。短冊状の画像データをスリットを通して表示装置により観察する。偏光板により短冊状に配置された左眼用の画像はユーザーの左眼で、右眼用の画像は右眼で再生すると、画像に立体感を得ることができる。スリットの代わりにレンチキュラレンズを用いたレンチキュラ方式と呼ばれる方法もある。
【０００４】
ユーザーが、より良い立体画像を見るために、再生画像の立体感を変更する技術が開示されている。人間が物体を立体的に観察する際には、左右の眼では異なる像を観察しており、それらの像は視差と呼ばれるずれを有する。
【０００５】
人間はこの視差によって立体感を認識する。視差の量を視差量といい、視差量を調整することにより立体感を調整する。デジタル放送において立体映像を受信し表示する際に、視差量を調整することにより立体ディスプレイに表示する技術について記載しており、ユーザーがその立体映像を視聴する環境などに合わせて、立体画像を観察することができる（例えば特許文献１参照）。
【特許文献１】
特開２０００−７８６１５号公報、図１
【０００６】
【発明が解決しようとする課題】
ところで、視差量の調整を行う際に、例えば、レンチキュラ方式、パララックスバリア方式などの左右の画像を１ラインごと交互に短冊状に並べて表示する方式では、通常、その短冊状データの組み合わせ位置を変えることにより視差量の調整が可能であるが、調整の精度は短冊幅によって規定されることになる。従って、必ずしもユーザーの好みに合わせて立体感を調整できるとは限らない。
【０００７】
また、短冊状データの組み合わせ位置を変えると、立体画像として再生するためのデータが存在しない部分が発生し、その部分は良好な立体視表示ができない。従って、立体画像を良好に表示できる部分（立体画像が観察できる表示領域）は小さくなってしまう。
【０００８】
一方、視差量調整後の画像において、全ての画像データを表示させようとしても、視差量調整後の短冊状の画像データの幅は視差量調整分だけ表示領域の幅より広くなり、全て画像データを表示することが出来ない。
本発明の目的は、視差量が調整された立体画像において、違和感が少なく良好な立体画像を表示させることである。
【０００９】
【課題を解決するための手段】
本発明の一観点によれば、複数の視点に対応した複数の画像に基づいて立体画像を表示する立体画像表示装置であって、視差量の変更に関する情報に基づいて、視差量の調整に関する視差量調整情報を算出する視差量調整情報算出部と、前記視差量調整情報に基づいて立体表示用の画像を生成する画像処理部と、前記複数の画像中の所定の領域を補間する画像補間部とを有する立体画像表示装置が提供される。
【００１０】
前記画像補間部は、前記立体表示用の画像の表示領域に画素値が存在しない無画素値領域がある場合に、該無画素値領域のみを、他の画素値を用いて補間するのが好ましい。
上記立体画像表示装置によれば、視差量の変更に関連して前記無画素値領域の画素値を補間することができる。
【００１１】
本発明の他の一観点によれば、複数の視点に対応した複数の画像に基づいて立体画像を表示する立体画像表示装置であって、視差量の変更に関する情報に基づいて、視差量の調整に関する視差量調整情報を算出する視差量調整情報算出部と、前記視差量調整情報に基づいて立体表示用の画像を生成する画像処理部と、前記複数の画像中の所定の領域に新たな画像を生成する画像生成部とを備える立体画像表示装置が提供される。
【００１２】
前記画像生成部は、前記立体表示用の画像の表示領域に画素値が存在しない無画素領域がある場合、該無画素領域のみに、新たな画像を生成するのが好ましい。
上記立体画像表示装置によれば、視差量の変更に関連して前記無画素値領域に新たな画像を生成することができる。
【００１３】
【発明の実施の形態】
本明細書において、３原色のＲＧＢデータのそれぞれをドットと称し、３原色のＲＧＢデータのひとまとまりを画素と称す。また、本実施の形態において、画像データは、動画像、静止画像を含む。さらに、画像データ中には、例えばＪＰＥＧなどの静止画像圧縮技術や、ＭＰＥＧ−４などの動画圧縮技術を用いた圧縮画像データを含む。
【００１４】
以下に、本発明の第１の実施の形態による立体画像表示技術について、図面を参照して説明する。図１は、本実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。図１に示すように、本実施の形態による立体画像表示装置Ａは、入力画像データＤｉｎに基づいて立体視表示が可能な画像データ（以下、「立体視用画像データ」とも称する。）を生成するための画像処理を行う立体画像処理部１と、ユーザーが入力を行うユーザー入力部２と、ユーザーの入力に基づいて視差量調整情報を算出する視差量調整情報算出部３と、画像処理された立体映像から実際に立体映像表示装置に表示する領域を判定する表示領域判定部４と、特定の領域に補間データを生成する画像補間部５と、生成された画像のうち判定された領域を表示する表示部６から成る。
【００１５】
立体画像表示装置Ａに入力された左眼用画像データ及び右眼用画像データは、まず立体画像処理部１において、立体視表示可能なデータに変換される。例えば、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置であれば、立体画像処理部１は、左眼用画像データと右眼用画像データとが短冊状に交互に並べられた立体視用画像データを生成する。
【００１６】
ユーザーは、ユーザー入力部２により、表示する立体画像の視差量調整用データを入力する。入力された視差量調整用データは、視差量調整情報算出部３において、視差量調整情報に変換され、立体画像処理部１に出力される。立体画像処理部１においては、立体視用画像データを生成する際に視差量調整情報の入力があると、これを用いて立体視用画像データを生成する。生成された立体視用画像データは、表示領域判定部４へ出力される。
【００１７】
表示領域判定部４では、生成された立体視用画像データが表示部６において良好に表示できるか否かを判定する。視差量調整が行われた立体視用画像データの画像幅は、表示部６が表示可能な画像幅と対応しない場合がある。このような場合に、表示部６の画素領域と立体視用画像データの画素領域とが一致せず、対応しない領域が発生する。このような領域においては、どのように表示されるかわからず、良好な状態で画像データを表示できない場合がある。
【００１８】
そこで、表示領域判定部４において対応が取れない領域の有無を判定し、表示領域判定部４において対応が取れない領域があると判定されると、画像補間部５に対して、対応が取れない領域に関する情報Ｓ1を出力する。表示領域判定部４において、対応が取れない領域が無いと判定された場合には、立体視用画像データＳ2をそのまま（スルーで）表示部６に出力する。
【００１９】
画像補間部５において、表示領域判定部４より出力された立体視用画像データは、表示領域判定部４で判定された領域に所定の方法で画素データを与えるように補間処理を行う。また、補間処理がなされた立体視用画像データを表示部６へ出力する。表示部６では、表示領域判定部４から出力された立体視用画像データＳ2、あるいは画像補間部５から出力された立体視用画像データＳ3の表示を行う。
【００２０】
尚、本実施の形態による立体画像表示装置Ａでは、表示部６で表示する立体視用画像データの形式は、パララックスバリア方式やレンチキュラ方式に代表される左右の画像を１画素分の画像データ毎に交互に短冊状に並べて立体視を行う方式である。入力画像は立体視可能なデータを含む画像データとし、表示部６において立体視する画像データは、左眼用画像と右眼用画像とのデータが短冊状に並んでいるものを扱うものとする。入力画像データは、立体画像処理部１において短冊状データが生成可能であればよい。例えば、入力画像は、元々短冊状に合成された画像データであっても良い。この場合、立体画像処理部１は入力データを改めて短冊状の画像を作成することなく、そのまま出力する。
【００２１】
或いは、左眼用と右眼用とのそれぞれの画像データが分離された形式の画像データであってもよい。この場合には、立体画像処理部１において、以下の図２（Ａ）で説明するように、左眼用画像と右眼用画像とから短冊状の画像を作成する。図２（Ａ）は、左眼用入力画像データと右眼用入力画像データとから、立体画像データを生成する例を示す図である。図２（Ａ）中の左眼用画像データと右眼用画像データとから、短冊状データを立体視する際に同一のスリットによって再生される画素（２０１、２０２）を取得し、それらを並べて立体表示用のデータ２００を生成する。この処理を繰り返すことにより、短冊状の幅が１画素分である立体視用画像データを生成することができる。
【００２２】
このような方法により短冊状の立体視用画像データ２００を作成すると、短冊状の立体視用画像データ２００の幅は、左眼用の入力画像データ２０１と右眼用の入力画像データ２０２とのそれぞれの画像幅を合わせた幅と等しくなる。従って、表示部６が表示可能なデータを作成するには、左眼用の入力画像データ２０１と右眼用の入力画像２０２とを、生成される短冊状の立体表示用画像データ２００の半分の画像幅にしておく必要がある。
【００２３】
左眼用の入力画像データ２０１と右眼用の入力画像データ２０２との画像幅が、表示部６の表示幅と同じ幅である場合は、短冊状の画像データを生成する際に、左眼用の入力画像データ２０１と右眼用の入力画像データ２０２との画像幅が半分になるようにデータを間引いた上で短冊状の画像データを生成する。
【００２４】
図２（Ｂ）に、入力された画像データからデータを間引いて短冊状のデータを作成する方法の例を示す。図２（Ｂ）に示すように、左眼用及び右眼用の画像の各画素から、ＲＧＢ３原色のうち、左眼用の入力画像データ２０１からＧデータ２０４の１ドットを取り、右眼用の入力画像データ２０２からＲデータ２０５，Ｂデータ２０６の２ドットのみを取ることにより１つのＲＧＢパタン２０３を生成する処理を行う。この処理を、それぞれの画像に対して交互に（左眼用の入力画像データ２０１から１つのデータを取り右眼用の入力画像データ２０２から２つのデータを取るパタンと、左眼用の入力画像データ２０１から２つのデータを取り右眼用の入力画像データ２０２から１つのデータを取るパタン）繰り返すことにより、立体視用の画像データ２００を作成する。短冊状の画像を作る方法は、図２（Ｂ）を参照して説明した方法に限定されるものではなく、例えば、図２の符号２０３で示す画素は、左眼用Ｇ１ドット（２０４）、右眼用のＲ１ドット（２０５）、Ｂ１ドット（２０６）で構成されているが、パタンを逆にした左眼用Ｒ１ドット（２０７）とＢ１ドット（２０８）と右眼用Ｇ１ドット（２０９）とから画像データを生成しても良い。図１に示す立体画像処理部１では、入力画像のそれぞれの画素数と表示可能な画素数を比較し、入力画像を間引いて短冊状の画像を生成するかどうかの判定を行い、短冊状画像の生成を行う。
【００２５】
次にユーザーが視差量調整を行う際の処理について説明する。ユーザーは、図１のユーザー入力部２により視差量を調整する。ユーザー入力部２は、キーボードやマウスなどの入力装置、或いは、リモコンなど形状および方式を問わない。例えば、キーボードの特定方向を指示するためのキーを１回以上押すことにより、その特定方向にキーを押した回数に比例した量だけ視差量を調整する方法も考えられる。ユーザー入力部２により入力されたデータは、視差量調整情報算出部３において視差量調整情報に変換される。例えば、「右眼用画像データを左方向に１画素分移動する。」などの具体的な情報に変換される。視差量調整情報算出部３は、算出した視差量調整情報を立体画像処理部１へ出力する。立体画像処理部１では、この視差量調整情報を用いて短冊状画像データを生成する。
【００２６】
図３及び図４を参照して前記視差量調整処理の経過を説明する。図３において、符号３０１等で示すブロックは、１画素分のデータを示しており、ＬとＲとは、それぞれ左眼用画像と右眼用画像とであることを示す符号である。また、Ｌ又はＲの下に付された数字は画素番号を示し、説明の便宜上付与したものであり、画像データ左端より順に画素番号を付与している。符号３０１は、左眼用画像の最左端の画素ということを示す。図３の符号３０４、図４の符号４０３は、表示部が各画像データを表示する表示領域の幅を示すものとする。
【００２７】
また、レンチキュラレンズやパララックスバリアなどを用いて立体画像を観察する際に、同一のスリットを通って観察される画素同士（例えば図１１の符号１１０３及び符号１１０４で示される画素）を立体映像として再生されるペアとして、図３の符号３０２と符号３０３のように上下に対応して表す。ここで生成された短冊状の画像データは、ユーザーにより視差量調整が行われなければ、表示部６が持つ全ての画素に対して表示すべきデータがあるので、表示領域判定部４での表示領域判定において補間すべき領域は無いものと判定される。
視差量調整情報算出部３によるユーザーの調整が、例えば左眼用画像を右へ１画素分移動する場合の画素とそれに対応する画素データを示したのが図４である。
【００２８】
画像データの表示位置を移動した状態でそのまま表示すると図４の画素４０１の位置（破線で示される）のように、表示すべき画素データがなくなり、また、図４の符号４０２で示される画素のように、表示領域４０３からはみ出るために表示できない画素データが生じる。このとき表示領域判定部４は、画素４０１に表示すべき画像データがないこと、画素４０２が表示領域４０３からはみ出していることを判定し、その情報を画像補間部５へ出力する。
【００２９】
以上において説明した視差量調整のための画像の移動は、１画素の単位である場合について説明を行った。このようにすると、画像データのサイズや表示部６のサイズによっては、調整精度が粗すぎる場合もある。
【００３０】
人間が画像を認識することは、各画素を構成するＲＧＢ３原色データの各ドットが眼に像を結ぶ際に、ＲＧＢをひとまとまりのデータとして認識することであると考えることができる。従って、例えば、ＲＧＢの並びをＧＲＢに変更したとしても、これらが人間の眼でひとまとまりと認識されればよい。図５は、図３における左眼用画像データをＲＧＢのドットレベルで表現したものである。Ｌ３の画像データ（図３の画素３０２）を認識するためには、Ｌ−Ｒ３（図５のドット５０１）、 Ｌ−Ｇ３（図５のドット５０２）、 Ｌ−Ｂ３（図５のドット５０３） の３ドットをひとまとまりと認識できればよい。
【００３１】
すなわち、３原色データＲＧＢのドットレベルで移動させることが可能である。このときの様子を図６に示す。図６は、図５での左眼用画像に着目しており、図６（Ａ）は、図５と同じ状態である。符号６０４は、表示部が左眼用画像を表示する表示領域を示す。図６（Ｂ）は、１画素分移動した状態（図４）を示している。図６（Ｃ）がドットレベルで１ドット分だけ移動した状態を示している。網がけの部分は左眼用画像の移動により、ドットのデータが欠落していることを示す。図６（Ｃ）は左眼用画像のＲデータ（図６（Ａ）の符号６０１）のドットに着目し、それぞれＬ−Ｒ１をＬ−Ｒ２へ、Ｌ−Ｒ２をＬ−Ｒ３へ、Ｌ−Ｒ３をＬ−Ｒ４の位置へとＲデータを移動した状態を示す図である。
【００３２】
このようにデータを移動しても、図６（Ｃ）に示すように、元のＲＧＢ１画素の並びは変化していない。この移動方法による画像の移動量は、図６（Ｃ）の符号６０２に示すように、１画素単位の移動（図６（Ｂ）の６０３）に比べて小さい、１／３画素分の移動となる。従って１画素分のデータ単位で移動させるよりも細かい視差量調整が可能である。
【００３３】
同様に、ＲデータとＧデータの２ドットに着目すれば、図７（Ｃ）のように、Ｌ−Ｒ１、Ｌ−Ｇ１をＬ−Ｒ２、Ｌ−Ｇ２へＬ−Ｒ２、Ｌ−Ｇ２をＬ−Ｒ３、Ｌ−Ｇ３へとそれぞれ移動させることにより調整量を細かくすることが可能となる。この移動は、２／３画素分の移動に対応する（図７の符号７０３）。この場合でも、１画素分のデータ単位で移動させるよりも細かい視差量調整が可能である。
【００３４】
本実施の形態では、Ｒデータの移動およびＲデータとＧデータの移動の例を示したが、該当データの組み合わせのみに限定されるものではない。また、色データ単位の移動と１画素単位の移動とを組み合わせて画像データを移動させてもよい。
【００３５】
以上に説明した方法により視差量を調整する際に、左右のうちの片方の画像のみを移動していくと、ユーザーが観察する立体画像の中心も移動した方向へずれてしまい、良好な立体視が難しい。そこで、視差量調整情報算出部３は、視差量調整情報を算出する際に、左眼用画像と右眼用画像とを連動させて、ともに移動するように調整してもよい。例えば、ユーザーによる視差量の調整が４画素分であれば、左眼用画像を４画素分移動させるのではなく、左眼用画像を２画素分、右眼用画像を左眼用画像とは逆方向に２画素分移動することで調整する方法を用いることもできる。このように、左眼用画像と右眼用画像を互いに逆方向に同量だけ移動させることにより、立体表示の中心を移動の前後でずらすことなく視差量の調整が可能である。
【００３６】
ユーザーによる視差量の調整量が偶数画素分である場合、立体表示の中心をずらさないように調整することが可能である。しかしながら、調整量が奇数画素である場合、左眼用画像、右眼用画像それぞれを同量だけ移動できないため立体表示の中心は左右どちらかにずれてしまう。
【００３７】
このような場合には、視差量調整情報算出部３が、立体表示の中心のずれが最小になるように左眼用画像と右眼用画像とを移動する量を算出する。例えば、ユーザーから５画素分の視差量調整の要求があった場合、画像を移動させる単位が１画素単位であれば、左眼用画像を３画素分、右眼用画像を２画素分だけ互いに逆方向に移動させる。前述したようにＲＧＢのそれぞれのドットごとに移動が可能であれば、左眼用画像を２＋（２／３）画素分、右眼用画像を２＋（１／３）画素分移動させる。
【００３８】
このように、立体表示の中心のずれを最小にするようにしても、調整量が奇数画素分の移動を繰り返すと、この中心のずれは大きくなる。そこで、視差量調整情報算出部３は移動を繰り返す場合に、ずれの情報を算出して記憶しておき、この記憶に基づき立体視表示の中心のずれが小さくなるように左眼用画像と右眼用画像の移動量を決定する。好ましくは、立体視表示の中心のずれが最小になるように調整する。
【００３９】
図８（Ａ）は、左眼用画像と右眼用画像との初期状態を示す。符号８０１は表示部６で各画像を表示する表示領域を示し、符号８０２は表示領域８０１の中心を示す。図８（Ａ）の画像データが立体視された場合に、その立体視表示の中心と表示領域の中心（８０２）は同一となる。図８（Ａ）の状態から、ユーザーが、まず左眼用画像データを右方向に１画素分移動させた状態を図８（Ｂ）に示す。視差量調整情報算出部３は、ユーザーからの視差量調整の入力から、移動する量を１画素分と算出し、立体画像処理部１へ通知する。例えば、「左眼用画像を１画素右方向に移動する」ことを示すベクトル情報として通知する（図８（Ｂ）の符号８０３）。
【００４０】
このベクトル情報が通知された立体画像処理部１は、図８（Ｂ）に示すように、移動した画像を生成する。視差調整量情報算出部３は、この情報から、立体視表示の中心の表示領域の中心からのずれを算出し記憶しておく。この例では、片方の画像のみを移動するため、立体表示の中心は図８（Ｂ）の符号８０４の位置となる。従って、視差量調整情報算出部３が算出したずれ情報は、図８（Ｂ）の符号８０５で示す矢印（ベクトル）となる。
【００４１】
次に、ユーザーが、再度視差量の調整を行うと、視差量調整情報算出部３は、前回の移動の際のずれ情報を用い、ずれが小さくなるように視差量調整情報を算出する。ずれが最小となるように調整するのが好ましい。視差量調整情報として「左眼用画像データを、さらに３画素分右に移動する」旨が算出された場合は、図８（Ｂ）の符号８０５のずれを解消するように、左眼用画像を右に１画素分移動し、右眼用画像を左に１画素分移動するように立体画像処理部１へ通知する。この通知に基づいて移動する様子を図８（Ｃ）に示している。図８（Ｃ）の符号８０６、符号８０７で示される矢印（ベクトル）が、それぞれの画像を移動した量に対応する。図８（Ｃ）の符号８０８で示される線が、移動後の立体視表示の中心となり、表示領域８０１の中心とのずれが解消されていることがわかる。
【００４２】
本実施の形態では、記憶したずれ情報に基づいてずれを調整する方法を例にして説明したが、ユーザーによる視差量調整後に立体表示の中心のずれが小さくなる方法、好ましくは最小になる方法であれば、他の方法を用いても良い。例えば、ユーザーが、１画素ごとに視差を調整する装置を用い、移動させた画像と方向とを記憶し、続く操作において前回の操作で移動対象では無かった画像を移動対象とし、交互に移動させることによりずれを解消する方法を用いても良い。このようにして、立体画像処理部１で視差量調整がなされた画像データは、表示領域判定部４へ出力される。
【００４３】
入力画像は、通常、視差量の調節なしに表示部６で良好に表示されることを考慮して作成されたものであるため、視差量の調整が行われなければ、入力画像から生成される短冊状の画像は表示部６が持つ表示領域と同じサイズである。しかし、視差量の調整が行われて生成された短冊状の画像は、表示部６が持つ表示領域より大きいサイズとなる。そこで、表示領域判定部４では、短冊状の画像のどの領域を表示部６で表示させるかを決定する。この領域の決定基準として、例えば、立体視表示の中心を可能な限り表示の中心からずらさないような方法、また、立体視可能な領域だけを抽出して表示させる方法などが考えられる。
【００４４】
図９及び図１０を参照して、入力画像データを移動させた際の処理を説明する。図９（Ａ）は、入力画像データを示している。図９（Ａ）の符号９０１が左眼用立体画像データであり、符号９０２が右眼用立体画像データである。これらの入力画像データから生成される短冊状の画像のサイズは図１の表示部６の表示領域と同一のサイズであるとする。図９（Ａ）から（Ｃ）までの符号９０３、符号９０５、符号９０９は、左眼用立体画像データ、右眼用立体画像データのそれぞれに対応した表示領域の幅を表す矢印である。
【００４５】
図９（Ｂ）は、右眼用立体画像データを符号９０６で示すベクトル分だけ移動した例である。符号９０４は、表示すべき画像データが存在しない領域であり、符号９１１は表示領域の中心を示し、符号９１２は立体視表示の中心を示し、符号９１３は、符号９１１から符号９１２へのずれ量を示す。図９（Ｂ）に示すように、表示領域判定部４（図１）により、画像データの表示領域を変更し、立体視表示の中心を変えないような領域を抽出することにより、良好な立体画像を再生することができる。
【００４６】
例えば、図１０の符号１００１の矢印で示す範囲を表示領域とする。図１０に示すように、符号１００４、符号１００５、符号１００６、符号１００７の領域は表示に用いない。このうち、符号１００６と符号１００５とで示す領域には、画素が存在するが、表示からは切り捨てられる部分である。また、領域１００２と、領域１００３とは、表示領域ではあるが画像データが存在しないため、後述する画像補間処理によりデータを与える部分である。このように表示領域を選択することで、表示位置の中心と立体視表示の中心とを一致または近傍に設定することが可能となる。
【００４７】
図９、図１０に示すように、画像を移動させると、図９（Ａ）の符号９０４の領域や、図１０の符号１００２、符号１００３の領域のように、画像データが無い表示領域が生じる。そこで、このような領域をより良好に再現するために、画像データの補間処理を行う。本実施の形態による方法では、表示部６（図１）に部分的に２次元表示モードと３次元表示モード（立体表示）とを切替可能なディスプレイを用いることを想定し、そのディスプレイにおいて良好に表示できるような補間処理を行う。図１も参照して説明する。
【００４８】
表示モードの切り替えは、例えば、図１１（Ａ）に示したバリアの一部（符号１１０１、符号１１０２）を無くすことにより、それぞれの片方の眼で再生されていた符号１１０３と符号１１０４とで指示される画素が、図１１（Ｂ）に示すように両眼で再生可能になることにより実現される。但し、部分的に表示モードが切り替えられば、その切り替え手段は、図１１（Ｂ）に示される方法に限定されるものではない。
【００４９】
前述のように、ユーザ−により視差量の調整が行われた画像データは、表示領域判定部４により表示領域すべき領域が設定され、その設定された表示領域中に画素データが無い領域が存在するかどうかを判定する。この領域に関する情報は、画像データと共に画像補間部５に出力される。２次元表示モードで良好に再生される画像データを得るため、画像補間部５では、画像データが存在しない画素に対して周辺画素のデータに基づく補間処理によって画素データを生成する。
【００５０】
図９を参照して、画像補間部５での処理の例を説明する。前述したように、図９（Ｂ）の符号９０４で示される領域が、移動に起因して補間処理が必要になる領域である。表示領域判定部４は、符号９０４で示される領域には表示するための画像データがない旨を判定し、この領域９０４を２次元表示モードで表示するように表示部６に指示する。併せて、画像補間部５に、この領域９０４に補間データを生成するように指示する。
【００５１】
画像補間部５では、まず、画像の移動によりデータが欠落した領域であり、かつ、表示対象でもある領域に対して、左眼用画像から対応する部分のデータをコピーする。図９（Ｃ）に示す例では、領域９０７のデータが領域９０８にコピーされる。実際には、図９（Ｃ）に示す状態は、左眼用立体画像データと右眼用立体画像データとが短冊状に並べられている。図９（Ｃ）の領域９１０付近を拡大した図を図１２（Ａ）に示す。図１２（Ａ）に示すように、木の部分を黒、背景の部分を白で示す。この部分を含む短冊状に変換された立体視用画像データは、図１２（Ｂ）に示すようになる。
【００５２】
図１２（Ｂ）の網かけの部分（符号１２０１で示される領域など）の部分は、右眼用立体画像データが移動したために、表示すべき画素データがない部分である。図１２（Ｃ）は、上述のように左眼用立体画像データの対応部分から右眼用立体画像データへ画素データをコピーした様子を示す図である。図１２（Ｃ）では、Ｌ１の画像データをＲ２へ、Ｌ２の画像データをＲ３へコピーしたことを示している。このような処理を行うことにより、該当領域を表示した際には、図１２（Ｂ）よりは良好に観察されるが、実際には粗さは目立つ。そこで、画像補間部５は、補間処理の際に、図１２（Ｄ）に示すような補間画像を生成する。例えば、水平方向に２タップの低域通過フィルタをかける。例えば、Ｒ５の画像領域（符号１２０４）のデータは、Ｌ４(符号１２０３)とＬ５（符号１２０２）から（Ｌ４＋Ｌ５）／２の式に基づいて算出する。例えば、符号１２０５で示される列の画素データを含む画素のデータがない他の領域の画素データに関しても、同様に隣り合う左眼用画像データに基づいて算出する。
【００５３】
補間方法は、上記のような平均値を用いる方法に限定されるものではなく、例えば、３タップ以上の低域通過フィルタを用いて補間を行ってもよい。また補間を行った領域は、その補間処理により水平エリアシングやフィルタによるボケが発生することがあるため、鮮鋭フィルタやノイズ除去フィルタなどを用いることにより、良好な表示が得られるようにしてもよい。このようにして生成された補間された立体画像データは、表示部６に出力される。前述のように低域通過フィルタを用いて補間画像データを生成することにより、表示部６において、２次元表示モードに適した良好な画像が得られる。図１０において画素データが存在しない表示領域１００２、１００３が生じているが、これらの領域についても、前述と同様の方法で補間しても良い。
【００５４】
以上のように、図１の表示領域判定部４では、実際の表示に用いられる領域内における画素データの有無を判定し、画素データが無い領域を画像補間部５において補間すべき領域と判定する。このように、補間する領域を表示領域内に限定することで、補間処理の負担を軽減を図ることができる。
【００５５】
また本実施の形態では、画素単位での画像の移動を例にして説明したが、前述のように、３原色データのＲＧＢデータ単位での移動の例に関しても、同様の領域判定処理や補間処理が可能であることは言うまでもない。また、表示装置において補間された領域を部分的に２次元表示モードに切り替える技術について説明したが、上記の方法は、部分的に２次元表示モードに切り替える機能を備えない立体表示装置に対して適用することも可能である。この場合には、補間された領域は、従来通り立体表示モードにより表示される。
【００５６】
以上、本発明の第１の実施の形態による立体画像表示技術によれば、視差量が調整された立体画像において、立体視表示が困難な領域に対して補間画像を作成して表示することにより、表示領域を縮小することなく、また、違和感の少ない良好な立体画像を表示することが可能となる。
【００５７】
次に、本発明の第２の実施の形態による立体画像表示技術について説明する。第１の実施の形態による立体画像表示技術では、ユーザーの視差量調整により画素データが存在しない表示領域については補間画像データを作成し、該当領域を２次元表示する技術について説明した。本実施の形態による立体画像表示技術は、画素データが存在しない表示領域に他の画像データを表示することで良好な立体表示を行う技術である。
【００５８】
図１３は、本実施の形態による立体画像表示装置の構成例を示すブロック図である。図１に示す立体画像表示装置との違いは、画像補間部５（図１）の代わりに画像データ生成部７を設けた点である。画像データ生成部７は、例えば図１０の領域１００２と領域１００２に対応する左眼用画像データの領域、および、領域１００３と領域１００３に対応する右眼用画像データの領域に新たな画像データを挿入する。
【００５９】
図１４は、画像データ生成部７（図１３）が、新たな画像データを挿入する様子を示す図である。図１４（Ａ）において、符号１４０１及び符号１４０２は、画素データが存在しない部分を示し、符号１４０３及び符号１４０４は、立体表示のためのペアになるデータが存在しない部分である。画像データ生成部７は、これらの領域（図１４（Ａ）の符号１４０６、１４０７の矢印で示される領域）に対して、図１４（Ｂ）に示すように新たな画像１４１１ａ、１４１１ｂを合成し、図１４（Ｃ）に示す画像を得る。尚、符号１４０５で示す矢印の領域は表示領域を示す。
このように、良好な立体視が出来ない領域に新たに画像データを生成して表示させることにより、ユーザーは良好な立体画像の箇所のみを再生することができる。
【００６０】
尚、本実施の形態で用いる新たな画像は２次元表示モード用の画像であっても、立体表示モード用の画像であっても良い。また、２次元表示モード用の画像を用いた場合、部分的に表示モードを２次元表示モードに切り替えてもよいが、このような機能が無い場合には、３次元表示モードのまま再生を行ってもよい。
本実施の形態よる立体画像表示技術によれば、立体視表示が困難な領域に対し、新たな画像を生成することにより違和感が少ない良好な立体画像を表示することができる。
【００６１】
次に、本発明の第３の実施の形態による立体画像表示技術について図面を参照して説明する。第１及び第２の実施の形態による立体画像表示技術は、ユーザーによる立体画像の視差量調整と視差量調整を行った際の立体画像の表示処理である。ところで、複数の立体画像を繰り返し表示する際に、その度毎に改めて視差量調整の操作を行うと、ユーザーにとって処理が煩雑になる。そこで、これを回避するため、本実施の形態による立体画像表示技術では、ユーザーが調整した視差量を立体画像毎に記憶する。
【００６２】
尚、以降、視差量調整情報をシフトベクトルと称する。このシフトベクトルは、例えば、図９（Ｂ）の符号９０６で示すベクトルである。シフトベクトルの内容は、調整した視差量を表せるものであれば、いかなる形式でもよい。例えば、立体画像が撮影された状態、すなわち、ユーザーによる視差量調整が行われていない状態を０とし、特定画像の特定方向への移動を＋とし、その逆の方向への移動を−とし、調整量（ドット数あるいは画素数）を示すようにしても良い。また、シフトベクトルの大きさを画素数で表した場合、立体画像を観察するディスプレイの大きさが変わると視差量も変わるため、見え方（飛び出し距離など）が変化する。従って、ディスプレイの大きさを変えても同様の状態が観察ができるように、シフトベクトルとして、立体画像の飛び出し距離そのものを、例えばｃｍなどの単位によって記録しておいてもよい。飛び出し距離は、例えば視差量を調整しない状態を基準（０）として表される。飛び出し距離の算出例を図２５を参照して説明する。
【００６３】
図２５（Ａ）に示すように、観察者の左眼と右眼の間の距離をｅとし、観察者とディスプレイとの間の距離をＬとする。図２５（Ａ）の状態は、右眼で観察する画素と左眼で観察する画素が同一のスリット（Ｐ１）で観察される状態である。この時、この画素はディスプレイ上において観察される。
【００６４】
次に、右眼で観察する画像を図面の左方向に１画素分だけ移動させる。この状態を図２５（Ｂ）に示す。Ｐ１に存在した画素はＰ２の位置に移動する。この時、左眼で観察される画素と右眼で観察される画素は異なるスリットで観察され、Ｓ１の位置に像を結び、立体感が生じる。この時のディスプレイからの距離ｄが飛び出し距離である。
【００６５】
ここで、図２５（Ｂ）に示すようにＰ１からＰ２への移動距離をｗとする。ｗは、装置（ディスプレイ）に依存する値である。また、ディスプレイと観察者との距離Ｌも、パララックスバリア方式やレンチキュラ方式の場合、ディスプレイに依存する。従って、飛び出し量を算出するためには、ディスプレイと観察者との距離Ｌと移動距離ｗとを知る必要がある。尚、観察者の左眼と右眼の距離ｅはほぼ一定と考えられる。これらを前提として、飛び出し距離ｄは次の式で求められる。
【００６６】
ｅ：（Ｌ−ｄ）＝ｗ：ｄ （１）
（１）式より（２）式が求められる。
ｄ＝（ｗ×Ｌ）／（ｅ＋ｗ） （２）
【００６７】
ここで、飛び出し距離ｄと移動距離ｗは正負の値をとる。飛び出し距離ｄが正の値を取る時は、ユーザーが視差量の調整を行う前の状態から飛び出すように見えることを示し、負の値を取る時は、ユーザーが視差量の調整を行う前の状態から奥に見えることを示す。また、移動距離ｗは、右眼で観察する画像を左に移動させる時は正の値をとり、右眼で観察する画像を右に移動させるときは負の値をとる。図２５（Ｂ）では、ｗ及びｄが共に正の値を取るため、ｄの距離だけ飛び出して見える。これとは逆に、図２５（Ａ）から右眼で観察する画像を右に１画素分だけ移動させた図が、図２５（Ｃ）である。Ｐ１に存在した画素がＰ３の位置に移動し、Ｓ２の位置に像を結ぶ。この時、移動距離ｗは負の値を取るため、飛び出し距離ｄは、上記（２）式より負の値となる。従って、図２５（Ａ）に比べ、図２５（Ｃ）では奥に像が見えることになる。また、左眼で観察する画像を移動させる時は、移動距離ｗの正負の値は、右眼で観察する画像を移動させる時の逆となる。本発明の第１の実施の形態による立体画像表示技術では、表示領域を自動的に設定していたが、ユーザーが表示領域を任意に設定する場合には、シフトベクトルの他に設定された表示領域の情報（表示領域情報）を記録し、次回の表示の際に利用する。表示領域情報は、例えば、右眼用画像に着目し、右眼用画像の左端が初期の表示領域の左端からどれだけ移動したかによって示される。
【００６８】
本発明の第１の実施の形態による立体画像表示技術では、表示領域を自動的に設定していたが、ユーザーが表示領域を任意に設定する場合には、シフトベクトルの他に設定された表示領域の情報（表示領域情報）を記録し、次回の表示の際に利用する。表示領域情報は、例えば、右眼用画像に着目し、右眼用画像の左端が初期の表示領域の左端からどれだけ移動したかによって示される。
【００６９】
以上の原理に基づく立体画像表示技術について、より具体的に説明する。図１５は、本実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。図１５に示すように、本実施の形態による立体画像表示装置は、図１に示す立体画像表示装置と同様に、入力画像を立体視表示可能なように画像処理を行う立体画像処理部１と、ユーザーからの入力を行うユーザー入力部２と、ユーザーの入力から視差量の調整情報を算出する視差量調整情報算出部３と、画像処理された立体映像から実際にディプレイに表示する領域を判定する表示領域判定部４と特定領域に補間データを生成する画像補間部５と、生成された画像のうち判定された領域を表示する表示部６とを含む。図１との相違点は、立体視情報記録部８を備えた点である。その他の部分の基本的な動作はこれまでの実施形態の説明と同様である。
【００７０】
図１５において、視差量調整情報算出部３で算出された視差量調整情報（シフトベクトル）は立体画像処理部１に出力されると共に、立体視情報記録部８へも出力される（符号１５０１）。表示領域判定部４は、表示領域を判定し、さらにユーザーが任意に表示領域を設定するような場合は表示領域を変更し、変更後の表示領域情報を立体視情報記録部８に出力する（符号１５０２）。立体視情報記録部８は、シフトベクトルを記録（記憶）し、必要に応じて表示領域情報も記録する。
【００７１】
次にシフトベクトルと表示領域情報の記録方法の例を示す。本実施の形態では、立体視用画像データにシフトベクトルや表示領域情報を記録するための領域を設ける。通常、画像データは、その画像の大きさや再生時間等を管理するための情報を記憶する領域が設けられている。図１６（Ａ）、（Ｂ）は、画像データのデータ構造例を示す図である。図１６（Ａ）に示すように、立体視用画像データは、例えば、再生時間・画像サイズ等の画像情報を管理する管理情報領域と左眼用・右眼用それぞれの画像データを記録する画像データ領域とを含んで構成されている。
【００７２】
図１６（Ａ）に示すように、画像情報１６０１には、画像のサイズや動画ならばその再生時間などの画像全体に関する情報が記述され、右眼用・左眼用画像データ情報１６０２・１６０３には、各画像データを復号するのに必要な情報（例えば、符号化の技術としてＭＰＥＧ−４技術が用いられているなどの情報）が記載されている。さらに、図１６（Ｂ）に示すように、この管理領域に立体視用画像データのための情報（立体視情報）を記録する領域１６０４を設け、シフトベクトルや表示領域位置を記録する。
【００７３】
記録する際には、装置がこれらの情報を正しく読み取れるように、立体視情報の存在を示すヘッダが必要である。このために、立体視情報１６０４の先頭に、立体（３Ｄ）画像識別情報１６０５を記録する領域を設ける。立体画像識別情報１６０５は、立体視情報の存在を示すとともに、後に続く画像データが立体視用画像データである旨を示す。立体画像識別情報１６０５は、固定長或いは可変長の符号で符号化されたフラグでも良いが、識別可能であれば、例えば、特定の記号列や文字列などでも良い。
【００７４】
立体視情報１６０４中に、立体視画像識別情報１６０５の他に、シフトベクトルや表示領域位置に関する情報があるが、例えば、長時間の立体視は眼に負担をかけるため、連続視聴時間を制限するといった場合には、その視聴可能時間を合わせて記録してもよい。これらの情報を立体視制御情報と称し、符号１６０６で示す領域に記録される。立体画像識別情報と立体視制御情報との構成例を、図１６（Ｂ）に示す。図１６（Ｂ）に示すように、立体画像識別情報１６０５に続いて立体視制御情報１６０６が記録されている。
【００７５】
図１７（Ａ）、（Ｂ）を参照して立体視制御情報について具体的に説明する。シフトベクトルは、移動させる画素数を表す。図１７（Ａ）及び（Ｂ）に示すように、右眼用画像データに着目し、視差が広がる方向（右方向）に右眼用画像データを４画素移動させた状態であり、シフトベクトル１７０４は４である。表示領域１７０３は、画像の左端を基準位置として、水平方向（符号１７０１の矢印で示される。）に２画素分だけ元の表示領域から移動している。これをベクトル１７０５で表す。このベクトルの成分は、水平方向に２、垂直方向（１７０２）に０であり、図１７（Ａ）に、表示領域情報として（２，０）で表される。
尚、これまで、立体視制御情報を画像データに付随する管理情報領域に記録する場合を例にして説明したが、立体視制御情報を、表示装置が有する所定の記憶部に記録させても良い。
【００７６】
視差量情報記録部８で所定の記録領域に格納されるシフトベクトルや表示領域情報の例を図１８に示す。図１８に示すように、視差量情報記録部には、コンテンツＡ、Ｂ及びＣなどのファイル名を付して立体視用画像データを識別する情報とともに、立体視制御情報（シフトベクトルや表示領域情報）がファイル名と対応付けされてテーブル化されている。例えば、コンテンツＡは、シフトベクトル（画素数）が４であり、表示領域情報（画素数）が、（２，０）である。尚、図１８では、シフトベクトルを１次元ベクトルとして表現している。
【００７７】
本実施の形態による立体画像表示技術においては、シフトベクトルと表示領域情報とは、整数画素が単位となっている場合を例にして説明しているが、これに限定するものではなく、整数でない画素単位をシフトベクトルと表示領域情報とを表示する情報として用いることもできる。
【００７８】
また、本実施の形態による立体画像表示技術では、シフトベクトルを、右眼用画像／左眼用画像を水平方向に移動させる画素数でも立体視の飛び出し距離の変化量でも良い。従って、シフトベクトルを、移動させる画素数又は立体視の飛び出し距離のいずれの形式で表しているかを示す情報やフラグを、上記立体視制御情報中に記録しても良い。また、立体視制御情報としてシフトベクトルと表示領域情報との両方を記録する例について説明したが、シフトベクトルのみを記録し、予め決められた所定の領域や自動的に求める領域を表示領域としてもよい。或いは、表示領域情報のみを記録してもよい。また、その他の立体視のための情報を記録してもよい。
【００７９】
また、本実施の形態では、立体画像識別情報と立体視制御情報とを、画像ファイルの先頭に一箇所だけ記録させた例を示した。しかしながら、抽出が可能であれば、画像ファイルのいずれの領域に記録されていても良く、或いは、画像データ内に記録させていても良い。例えば、画像がＭＰＥＧ−４で符号化されている場合、画像データには符号化データと符号化データを復号するための情報（ヘッダ情報）が含まれている。このヘッダ情報には、ユーザーが自由に使用できる領域（ユーザー領域）が設けられており、立体画像識別情報や立体視制御情報をこのユーザー領域に記録しても良い。また、立体画像識別情報や立体視制御情報は画像データ内に複数個存在してもよい。これにより、例えば、画像データの途中で視差量を変更することも可能となる。
【００８０】
次に、第３の実施の形態による立体画像表示技術により画像データを再生する手順について説明する。ここで、画像データ中には、図１７で示した立体画像識別情報と立体視制御情報が記録されているものと仮定する。
【００８１】
図１９は、本実施の形態における立体視制御情報が付加された立体視用の画像データを表示する立体画像表示装置の構成例を示す機能ブロック図である。図１に示す構成に加えて、立体視情報読み出し部９を有している。立体視情報読み出し部９において、入力画像データに含まれる立体画像識別情報を読み出す。立体画像識別情報の確認により立体視用画像であることが認識されると、立体視情報読み出し部９は立体視制御情報（シフトベクトルや表示領域情報）を読み出し、立体視情報が符号化されている場合は復号する。立体視制御情報にシフトベクトルが存在すれば、視差量調整情報算出部３へ出力し、領域表示位置が存在すれば表示領域判定部４へ出力する。
【００８２】
視差量調整情報算出部３では、立体視情報読み出し部９から入力されたシフトベクトルとユーザー入力部２から入力された視差量調整のためのデータを用い、視差量調整情報を算出する。ユーザー入力による視差量の調整がない場合は、シフトベクトのみから視差量調整情報を算出する。立体画像処理部１では、視差量調整情報を用いて立体表示用画像データを生成する。
【００８３】
また、表示領域判定部４では、立体視情報読み出し部９から入力された表示領域情報と視差量調整情報とに従って、新たな表示領域を判定する。ユーザー入力による視差量調整がない場合は、立体視情報読み出し部９からの視差量調整情報がそのまま用いられる。
【００８４】
以上説明したように、ユーザーが同一の立体画像データを繰り返して再生する際に、前回の再生時にユーザーが行った調整を立体視制御情報として記憶しておき、再生時に立体視制御情報を利用することにより、再生の度に視差量調整を行う手間をかけることなく、前回の再生時と同様に再生することが可能となる。
【００８５】
以上、本発明の第３の実施の形態によれば、画像データ即ちコンテンツに関するシフトベクトルを記録することで、同一のコンテンツを視聴する際には再度視差量を調整する手間が省け、また、コンテンツ毎に適切なシフトベクトルを記録しておくことができる。
【００８６】
次に、本発明の第４の実施の形態による立体画像表示技術について、図面を参照して説明する。適切な視差量の調整は、ユーザーにとってはより良好な状態で再生可能となるため有効である。しかし、調整方法を誤ると良好に立体視ができなくなる場合がある。本実施の形態では、これを避けるために、シフトベクトルの最大値（最大シフトベクトル）設定しておき、ユーザーが調整できる視差量を制限する。最大シフトベクトルは、画像データの管理領域（図１６（Ｂ）の立体視制御情報）中に含まれていてもよいし、本実施の形態による表示装置の所定の記録領域に記録されていてもよい。
【００８７】
最大シフトベクトルの記述例を図２０（Ａ）、（Ｂ）に示す。図２０（Ａ）、（Ｂ）において、最大シフトベクトルは前述したシフトベクトルと同一の記述方法で記述される。すなわち、移動させるドット数や飛び出し距離として表現する。図２０（Ａ）は、画像データに記録した例であり、最大シフトベクトルは１０に設定されている。図２０（Ｂ）は、表示装置の所定の記憶部にテーブル形式で記録した例であり、コンテンツ毎に最大シフトベクトル値が決められ、例えばコンテンツＡでは最大シフトベクトルが１０である。図２０（Ａ）、（Ｂ）の例では、最大シフトベクトルだけでなく他の立体視のための情報も含んでいる例を示しているが、必ずしもそれらと同じ領域に含まれている必要はない。
【００８８】
本実施の形態による立体画像データを再生装置の構成例を図２１に示す。図２１に示すように、図１９に示す立体視情報読み出し部９を、最大シフトベクトル読み出し部１０で置き換えた構成を有している。最大シフトベクトル読み出し部１０は、最大シフトベクトルを立体視制御情報から読み出す。立体視制御情報が入力画像データと同一ファイル内に存在すれば、そのファイル中から最大シフトベクトルの情報を抽出する。また、ファイルとは独立した記憶部に記録されている場合には、入力画像データに対応したシフトベクトルを記憶部より読み出し、最大シフトベクトル情報を抽出する。
【００８９】
抽出された最大シフトベクトルは視差量調整情報算出部３へ出力される。視差量調整情報算出部３はユーザー入力から算出したシフトベクトルが最大シフトベクトルの範囲内にあるかどうかを判定して、範囲内であれば算出したシフトベクトルをそのまま立体画像処理部１に送る。シフトベクトルが最大シフトベクトルより大きい場合は、最大シフトベクトルを、シフトベクトルとして出力する。これにより、立体視が困難となるような大きなシフトベクトルを用いた表示は行われなくなるため、良好な立体表示が可能となる。尚、最大シフトベクトルは、正の値と負の値の両方を定義することが出来、正の値の絶対値と負の値の絶対値とは必ずしも等しくなくても良い。例えば、図２０（Ｂ）のコンテンツＡに対する最大シフトベクトル（この例では１次元ベクトル）として、（＋１０）と共に、例えば（−７）を定義した場合には、ユーザー入力から算出したシフトベクトルは、（−７）から（＋１０）までの間の値に制限されることになる。
【００９０】
ユーザー入力から算出したシフトベクトルが、上記最大シフトベクトルの範囲外となる場合は、そのシフトベクトルを用いないようにしてもよい。例えば、図２０（Ｂ）のコンテンツＡの再生時にユーザー入力によるシフトベクトルが２０と算出された場合に、表示に用いるシフトベクトルをシフトベクトル値“４”のままとする。また、表示部６で表示モードの切替が可能である場合に、ユーザー入力によるシフトベクトルが最大シフトベクトルを超えたときは、画像全体を２次元表示モードで表示するようにしてもよい。
【００９１】
本実施の形態では、最大シフトベクトルを抽出するために、最大シフトベクトル読み出し部１０を設けたが、同様の処理を実行できる機能を、図１９に示した立体視情報読み出し部９に付加した構成としても良い。
【００９２】
本発明の第４の実施の形態によれば、最大シフトベクトルを設定することで、立体視が困難となるほどの視差量の調整を禁止することが可能となり、コンテンツ製作者の意図を損なうことがなく、良好な立体視用画像を生成することができる。
【００９３】
次に、本発明の第５の実施の形態による立体画像表示装置について、図面を参照して説明する。シフトベクトルと表示領域とが設定されている立体画像データを用いて画像の再生を行う場合や、画像の再生中に立体画像の視差量を調整する場合において、画像の拡大・縮小などの画像処理を併用して立体画像データの再生を行う場合に、シフトベクトルと実際にシフトすべき画素数とが異ってしまうことがある。このような場合には、画像の拡大・縮小処理とともに、シフトベクトルにも拡大・縮小処理を行うと良い。この様子を図２２（Ａ）から図２２（Ｅ）までを参照して説明する。
【００９４】
図２２（Ａ）に示す画像データを入力画像データとし、図２２（Ｂ）に示す画像データを、視差量調整（１画素シフト）を行った画像データとする。これに対して、図２２（Ｃ）に示す画像データは、入力画像データを拡大処理（水平方向に２倍拡大）を行った画像であり、図２２（Ｄ）に示す画像データは、図２２（Ｃ）に示す画像データを視差量調整した（１画素シフト）である。シフトベクトルが画素単位で表されている場合は、このように拡大後の画像に対しても図２２（Ｄ）のような調整を行うこととなるが、これは、ユーザーが意図した調整とは異なってしまう。そこで、本実施の形態による技術は、画像の拡大・縮小に合わせてシフトベクトルなどの立体視制御情報の拡大・縮小も行う。
【００９５】
図２３は、本実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。図２３は、図１９に示す構成に加えて、画像の拡大・縮小処理を行う拡大・縮小処理部１１と、立体視制御情報変換部１２とが設けられている。拡大・縮小が行われる際は、拡大・縮小処理部１１において、入力画像データの拡大・縮小処理が行われ、拡大・縮小された画像データは、画像処理部１へ出力される。その時、拡大・縮小処理部１１はその拡大・縮小率を、立体視制御情報変換部１２に出力する。
【００９６】
画像データに付随する立体視制御情報は、立体視情報読み出し部９で読み出される。本実施の形態における立体視情報読み出し部９は、シフトベクトル、表示領域情報に加え、最大シフトベクトルも読み出す。読み出された立体視制御情報は、視差量調整情報算出部３や表示領域判定部４に出力される。
【００９７】
視差量調整情報算出部３で算出された視差量調整情報は、立体視制御情報変換部１２において入力画像データの拡大・縮小率を乗じて変換される。例えば、視差量調整情報が１次元ベクトルで（−３）、拡大・縮小率が２である時、視差量調整情報は（−６）に変換される。同様に、表示領域判定部４にて生成された表示領域情報は、立体視制御情報変換部１２において拡大・縮小率に合わせて変換される。
【００９８】
本実施の形態による立体画像表示技術を用いると、図２２（Ｄ）ではなく図２２（Ｅ）のような拡大・縮小率に合わせた視差量調整が行われることになり、ユーザーは適切な画像を観察することができる。
【００９９】
本発明の第５の実施の形態によれば、視差量調整のためのシフトベクトルは、立体画像が拡大・縮小された際には、その拡大・縮小率に合わせた補正を行うので、視差量調整を行う立体画像データが拡大・縮小処理された場合にも、良好な立体視用画像を生成することができる。
【０１００】
次に、本発明の第６の実施の形態による立体画像表示技術について図面を参照して説明する。上記各実施の形態における技術は、ファイルに格納された立体視用の画像データに対し、立体視情報を格納する技術である。ところで、ＢＳ放送や地上デジタル放送などの放送コンテンツとして立体視用の画像データを伝送する際には、立体視情報を放送に適した方法で格納・伝送する必要がある。例えば、ユーザーがチャンネルを変えて、新たな放送コンテンツを受信し始めた時にも、このような立体視情報が取得できるようにする必要がある。
【０１０１】
ＢＳ放送や地上デジタルの放送等の場合、どのような番組が放送されているかを管理するための番組配列情報が、例えば図２４（Ａ）に示すようにコンテンツと多重化されて放送されている。放送コンテンツには複数のコンテンツのデータが含まれており、これらの内容を示す情報が番組配列情報である。番組配列情報は、各コンテンツを構成する映像信号及び音声信号を放送コンテンツの中から分離・識別するための情報（ＰＭＴ：Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）や各コンテンツの内容を記述した番組案内情報（ＥＩＴ：Ｅｖｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ）などからなる。
【０１０２】
番組配列情報は、受信機におけるチャンネルの切替が、どの時点で行われても対応できるように、放送コンテンツの中に繰り返し多重化されて送られる。本実施の形態による立体画像表示技術では、番組配列情報に、立体視情報を含めるものである。
【０１０３】
図２４（Ｂ）に、立体視情報を番組配列情報に組み込んだ例を示す。ここで、立体視情報は、本発明の第３の実施の形態において説明したように、立体画像識別情報と立体視制御情報とを含んでいるものとする。すなわち、立体画像識別情報は、コンテンツが立体画像であることを示し、立体視制御情報中には、シフトベクトルや表示領域情報、最大シフトベクトルなどの情報が含まれる。
【０１０４】
受信機は、上記のような放送コンテンツから立体画像識別情報を利用して、コンテンツが立体画像であることを判別し、立体視制御情報を抽出する。そして、これまで説明してきた他の実施の形態と同様に立体視制御情報からシフトベクトル等を取得し、立体視用画像データを生成・表示する。
【０１０５】
立体視制御情報中のシフトベクトルや領域表示位置などの情報は、ユーザーが画像の立体感を変更した際のデータを記録するものとして説明してきたが、これらの情報を放送側が設定してもよい。例えば、放送開始時には、シフトベクトルの値を０としておき、後に放送局が独自に、あるいはユーザーからの要求によって、放送側でシフトベクトルの値を０以外の値に設定して放送することも可能である。また、コンテンツ製作者の意図に従って、放送側で最大シフトベクトルを設定し立体視制御情報に含め、受信機にて視差量調整を行う際の制限に利用することも可能である。
【０１０６】
また、立体画像識別情報と立体視制御情報とは、番組配列情報に含まれるとして説明したが、これらの情報は番組配列情報中に限らず、画像データ中に含めてもよい。例えば、放送コンテンツがＭＰＥＧ−４で符号化されている場合、立体画像識別情報や立体視制御情報を先に説明したようにユーザー領域に含めるようにしてもよい。このような場合も、コンテンツを番組途中から視聴を可能にするために、立体画像識別情報や立体視制御情報を周期的に画像データに含まれなければならない。この復号のための情報に立体画像識別情報と立体視制御情報を含めようにしてもよい。
【０１０７】
本発明の第６の実施の形態によれば、ＢＳ放送や地上デジタル放送等の番組配列情報に立体視情報を含めることで、立体画像のコンテンツを放送する際にも、視差量の調整、表示位置の変更、視差量調整の制限を行うことができる。
【０１０８】
次に、本発明の第７の実施形態である立体画像表示技術について、図面を参照して説明する。前記第３の実施形態において、視差量を調整するための情報であるシフトベクトルとして、水平方向に移動させる画素数を指定する例を挙げているが、別の例として、立体画像の飛び出し方向及び距離を指定する例，画像を移動させる方向と距離を指定する例，立体画像の視差の角度を指定する例を以下に示す。
【０１０９】
図２５に示したように、右眼で観察される画像に関して、Ｐ１に位置する画素がＰ２やＰ３に位置するように移動すると、立体画像の見え方としては、移動前にはディスプレイ面上Ｐ１の位置に像を結んでいた画素が、移動後はディスプレイ面上から距離｜ｄ｜だけ離れた位置S1やS2に像を結ぶことになる。ここで｜ｄ｜は、ｃｍ等長さの単位で表せる量である。ｄ自体は正負の値をとり、例えば図２５（Ｂ）に示すように像がディスプレイ面より手前に離れていれば正の値、図２５（Ｃ）に示すように像がディスプレイ面より奥に離れていれば負の値とする。
【０１１０】
ｄは、ディスプレイの特性や観察条件が既知であって標準的な環境、即ち「標準観察環境」の下で測定もしくは規定される量とする。立体画像表示装置においては、このｄを基にして実際に必要な視差量の調整値を算出する。このような構成をとることにより、視差量調整の結果表示される立体画像から受ける観察者の印象や影響が、表示部（ディスプレイ）の特性や観察条件が様々に異なる複数の立体画像表示装置間で、同程度になるように制御することが可能になる。以下に、前記ｄを基にして視差量の調整値を算出する方法の例を示す。
【０１１１】
図２５（Ｂ）に示す状態を例に説明する。既に説明した通り、ディスプレイ面上の右眼用画素Ｐ１を、水平方向に距離ｗだけ離れた位置Ｐ２に来るように右眼用画像を水平移動すると、移動前はディスプレイ面上の位置Ｐ１で像を結んでいた画像が、ディスプレイ面から距離ｄだけ離れた位置Ｓ１で像を結ぶ。この時ｄは、前述の式（２）のように与えられる。
【０１１２】
ここで、式（２）で用いられている各変数ｄ，Ｌ，ｗ，ｅは、全て前記標準観察環境における値とする。同様に、任意の立体画像表示装置においても、前記式（２）の関係が成り立つ。ただし、ｅを除いた、ｄ，Ｌ，ｗは通常、前記標準観察環境とは異なる値になる。ここでは、任意の立体画像表示装置におけるこれらの変数を、ｄ’，Ｌ’，ｗ’と表す。即ち、以下の式（２’）が成り立つ。
ｄ’＝（ｗ’×Ｌ’）／（ｅ＋ｗ’） …（２’）
【０１１３】
ｅは、観察条件に関わらず一定とする。式（２）及び式（２’）からｄ’について解くと、以下の式（３）の関係が得られる。ただし、ここでＷ及びＷ’はそれぞれ、前記標準観察環境におけるディスプレイ上の画像表示幅Ｗ，および、上記任意の立体画像表示装置におけるディスプレイ上の画像表示幅Ｗ’を表し、これらは（Ｗ：Ｗ’＝ｗ：ｗ’）の関係にあることを仮定している。
ｄ’＝Ｌ’×Ｗ’×ｄ／（Ｌ×Ｗ＋（Ｗ’−Ｗ）×ｄ） …（３）
【０１１４】
前記式（３）のようにｄ’が得られれば、前記式（２’）の関係からｗ’が得られる。ｗ’は、ディスプレイ面上における画像の移動距離を表しているため、実際に移動させる必要のある画素数をｈ’とすると、ｈ’は以下の式（４）から得られる。ここでｐ’は、ディスプレイの水平方向の画素ピッチ（隣接した画素間の距離）である。
ｈ’＝ｗ’／ｐ’ …（４）
【０１１５】
以上のように、前記標準観察環境におけるＬ，Ｗ，ｄ等のパラメータが分かっていれば、任意の立体画像表示装置において必要な視差量の調整値を算出することが可能である。
【０１１６】
前記パラメータの内、ＬやＷは、標準観察環境を規定すれば値が固定されるパラメータであるので、立体視用画像データ毎に指定する必要はなく、予め各立体画像表示装置で記憶していれば良い。従って、視差量を調整するためには、前記ｄに相当するパラメータを立体視用画像データに関連付けて記録あるいは伝送すれば良い。ｄに相当するパラメータを記録あるいは伝送する場合には、該パラメータをｄの正負の方向を示すパラメータと、距離の絶対値を示すパラメータの二つのパラメータで構成しても良いし、両者を含んだ正負の値を持つ一つのパラメータのみで構成しても良い。
【０１１７】
図２６（ａ）、（ｂ）に、前記ｄに相当するパラメータを含む前記立体視情報の構成例を示す。図２６（ａ）の例は、ｄを飛び出し方向２６０１と飛び出し距離２６０２の二つのパラメータで表しており、図２６（ｂ）の例は、ｄを方向と距離を含んだ飛び出しベクトル２６０３のみで表している。ｄを示すパラメータは、上記のようにディスプレイ面からの飛び出し位置（もしくは引っ込み位置）を示すパラメータでも良いし、ディスプレイ面からは離れた任意の基準位置にあった画素の、ディスプレイ面に直交する方向の移動量を表すパラメータであっても良い。
【０１１８】
なお、上記ｄは、調整すべき飛び出し量を指定するための値である場合と、飛び出し量の許容最大値を指定するための値である場合の二通りが考えられる。従って、ｄに相当するパラメータを記録または伝送する際には、いずれであるかを予め決定しておくか、前記立体視制御情報中に、これらいずれの値であるかを示すパラメータを別途含めておけば良い。あるいは、両者を前記立体視制御情報中に含んでも良い。
視差量を調整するための情報の別の例として、画像を移動させる方向と距離を指定する例を以下に示す。
【０１１９】
前記のように、（Ｗ：Ｗ’＝ｗ：ｗ’）の関係にあることを仮定すると、標準観察環境の条件としてＷの値が予め分かっていれば、後はｗが与えられれば、Ｗ’の条件を備える立体画像表示装置において、ｗ’を算出することが可能である。従って、視差量を調整するための情報としてｗを示すパラメータを指定すれば良い。ｗを示すパラメータとしては、ｄと同様に、ｗの正負の方向を示す値と、距離の絶対値を示す値の二つのパラメータで構成されていても良いし、両者を含んだ正負の値を持つ一つのパラメータのみで構成されていても良い。このときのｗの方向は、例えば右眼用画像を右方向へ移動させる場合が正で、左方向へ移動させる場合を負とする。
視差量を調整するための情報のさらに別の例として、立体画像の視差の角度を指定する例を以下に示す。
【０１２０】
図２５に示したように、Ｐ１に位置する画素がＰ２やＰ３に位置するように移動すると、像を結ぶ位置に関して視差θであった角度がθ１、θ２に変化する。これら角度を、標準観察環境における値として規定すれば、ＬとＬ’の関係やＷとＷ’の関係などから、任意の立体画像表示装置における視差の角度θ’を算出することが可能である。従って、視差量を調整するための情報としてθｎを示すパラメータを指定すれば良い。θｎを示すパラメータとしては、θ１やθ２で表されるような、角度の絶対値を示すパラメータで構成されていても良いし、図２５（Ａ）で示すような視差の無い状態のθと、これらθ１やθ２との差を示すパラメータ（即ち、θ１−θやθ２−θを表す値）で構成されていても良い。
【０１２１】
次に、上記視差量調整の結果、どのように表示領域を決定するかについて説明する。既に説明した通り、視差量調整のために画像を移動させると、立体画像として表示できる画像の幅が変化するため、表示領域が一意に定まらない。前記第3の実施形態においては、この表示領域をユーザーが任意に設定し、表示領域情報として記録する例を挙げている。この表示領域情報の代わりに、平面表示画像選択情報を用いる例を以下に説明する。
【０１２２】
平面表示画像選択情報は、立体視用画像データを平面画像として表示する際に、左眼用画像，右眼用画像のいずれを用いるかを示す情報である。立体視用画像データは、前記のように左眼用画像と右眼用画像を含んでいるため、いずれかの画像をそのまま平面画像として表示することが可能である。もちろん、そのままではなく、補間処理や補正処理を加えた上で表示しても良い。
【０１２３】
平面表示画像選択情報は、図２６に示すように、立体視制御情報中に含める。平面表示画像選択情報は、前記表示領域情報と同様にユーザーが設定した結果を記録しても良いし、前記第6の実施形態に示したように、予め立体視情報の中に含まれていても良い。
【０１２４】
この平面表示画像選択情報は、前記立体画像表示装置においては、表示領域判定部４において解釈され、視差量調整を行った立体画像の表示領域を決定するために用いられる。即ち、前記表示領域判定部４は、立体視制御情報中の平面表示画像選択情報で指定された画像、即ち左眼用画像もしくは右眼用画像の全体を表示するように、視差量の調整された立体画像の表示領域を決定する。なお、本動作は、前記全ての実施形態で説明された構成の立体画像表示装置（図１、図１３、図１５、図１９、図２１、図２３）に関して適用可能である。
【０１２５】
前記のように表示領域を決定した際の、前記表示部６での表示状態を図２７に示す。図２７は、（ａ）が視差量調整を行わなかった場合の状態で、（ｂ），（ｃ）はいずれも、左眼用画像に対して右眼用画像を右方向にシフトした状態である。シフトしたことによって、図のように、左眼用画像と右眼用画像の水平位置が一致しなくなる。左眼用画像と右眼用画像の両方（両眼画像）が存在する領域は、そのまま立体表示ができる領域である。左眼用画像と右眼用画像のいずれか（片眼画像）しか存在しない領域は、そのままでは立体表示ができない領域である。片眼画像の領域は、観察者の両眼に同一の画像を見せて平面画像としてもよいし、該片眼画像をもとに他方の片眼画像を生成あるいは補間する等何らかの画像処理を施して立体画像としてもよい。この時、表示領域を、前記平面表示画像選択情報で指定された方の画像の位置と一致するように決定する。図２７（ｂ）は、前記平面表示画像選択情報で「左眼用画像」が指定されている例における左右画像の位置と表示領域の関係を、図２７（ｃ）は、前記平面表示画像選択情報で「右眼用画像」が指定されている例における左右画像の位置と表示領域の関係をそれぞれ示している。
【０１２６】
以上のように表示領域を決定することによって、次のような効果がある。即ち、前記のように、立体画像表示装置において平面表示する場合は、前記平面表示画像選択情報に従って、左眼用画像もしくは右眼用画像のみを用いて表示を行う。例えば、平面表示画像選択情報で「左眼用画像」が指定されている場合、左眼用画像全体が表示される。この時、表示モードを立体画像表示に切り替えたとしても、同様に左眼用画像全体が表示されるように表示領域が選択されるため、平面表示／立体表示の違いはあるが観察者からは左眼用画像の位置が固定して見えることになり、その結果、表示モード切り替えの違和感を少なくすることが可能である。
【０１２７】
なお、このように立体表示と平面表示の切り替えが可能な立体画像表示装置においては、表示部６は立体表示モードと平面表示モードを備え、両者を切り替えることが可能な表示デバイスである。立体表示モードと平面表示モードの切り替えは、立体画像表示装置のユーザーがボタンなどの操作によって切り替えても良いし、前記第6の実施形態に記載のように立体視情報が繰り返し伝送されるようなケースでは、前記立体視制御情報中に立体表示と平面表示を切り替えるためのパラメータを含めていても良い。また、立体画像識別情報自体、即ち立体視情報自体の有無によっても、立体表示と平面表示を切り替えるような構成とする。また、表示モードは、表示画面全体に対して切り替えても良いし、任意の表示範囲単位で切り替えても良い。
【０１２８】
次に、本発明の第８の実施の形態による立体画像記録技術について説明する。本発明の第３の実施の形態又は第７の実施の形態において、視差量を調整するための情報を指定する例を挙げている。本実施形態による立体画像記録技術は、このような立体視情報を含んだ記録方法の１形態であり、デジタルビデオテープに立体画像と立体視情報を記録する記録方法、及びそのための記録装置である。
【０１２９】
はじめに、本実施の形態による立体画像記録技術により記録されたデジタルビデオテープのトラックフォーマットについて説明する。一般に普及しているデジタルＶＴＲではヘリカルスキャンと呼ばれる方式が採用されている。図２８に示すように、この方式ではテープ上の不連続なトラックに対してデータが記録される。この様子を示したものが図２８であり、テープ２８００上にトラック２８０１が複数形成されており、１枚の立体画像も複数のトラック２８０１に分割して記録される。テープの走行方向は図２８の右から左方向（矢印方向）であり、左端のトラックが下方から上方に向けて走査され、続いてその右隣のトラックの下方から上方へと走査されていく。
【０１３０】
図２９は、１つのトラック２８０１の構成例を示す図であり、本実施の形態による立体画像記録技術によって記録されたデジタルＶＴＲのトラックフォーマットの１構成例を示す図である。トラック２８０１はアフレコを確実にするためのＩＴＩ（Ｉｎｓｅｒｔ ａｎｄ Ｔｒａｃｋ Ｉｎｆｏｒｍａｔｉｏｎ）領域２９０１と、音声に関するデータが記録される音声記録領域２９０２と、画像に関するデータが記録される画像記録領域２９０３、タイムコードなどの付随情報が記録されるサブコード記録領域２９０４と、を含んで構成される。画像記録領域２９０３には、立体画像そのものだけでなく、立体画像とかかわりのある付随情報も記録可能である。同様に、音声記録領域２９０２には、音声そのものだけでなく、音声とかかわりのある付随情報も記録可能である。また、これら２つとは別に、前述のとおりサブコード記録領域２９０４にも付随情報が記録可能である。また、各領域の間にはマージンがあり、個別にアフレコが可能になっている。
【０１３１】
図３０は画像記録領域２９０３を拡大したものである。画像記録領域２９０３は、同期パターンなどが記録されたプリアンブル３００１と、画像に関する付随情報が記録されるＶＡＵＸ（Ｖｉｄｅｏ ＡＵＸｉｌｉａｒｙ ｄａｔａ）α３００２及びＶＡＵＸβ３００４と、画像符号化データが記録される画像符号化データ記録領域３００３と、エラー訂正符号３００５と、マージンを稼ぐための機能を持つポストアンブル３００６とを含んで構成される。本実施の形態による立体画像記録技術では、画像に関する付随情報が記録される領域がＶＡＵＸα３００２とＶＡＵＸβ３００４の２つに分けられているが、以後、これらの２つの領域をまとめてＶＡＵＸ領域と呼ぶ。
また、図示はしないが音声記録領域２９０２にも、音声に関する付随情報を記録する領域としてＡＡＵＸ（Ａｕｄｉｏ ＡＵＸｉｌｉａｒｙ ｄａｔａ）領域が用意されている。
【０１３２】
続いて、図３１を参照して、本実施の形態による記録装置について説明する。図３１は本実施形態の記録装置の構成を示すブロック図である。図３１に示すように、本記録装置は立体画像符号化部３１０１、音声符号化部３１０２、付随情報符号化部３１０３、多重化部３１０４、テープ記録部３１０５を含む。
【０１３３】
立体画像符号化部３１０１は、立体視用画像データを入力とする。立体視用画像データは、前記第１の実施の形態等に関して説明したように、複数の画像を基に生成された立体視表示が可能な画像データである。立体画像符号化部３１０１は、この立体視用画像データを所定の方法で符号化して、立体画像符号化データを出力する。
【０１３４】
音声符号化部３１０２は、音声データを入力とし、これを符号化して音声符号化データを出力する。
付随情報符号化部３１０３は、前記立体視用画像データに関する立体視情報、即ち、立体画像であることを示すための立体画像識別情報、視差量調整のためのシフトベクトルもしくは飛び出し方向及び距離、表示領域を決定するための平面表示画像選択情報などを含む付随情報を符号化し、付随情報符号化データを出力する。ここでの符号化方法としては、それぞれの情報に対応する固定長の数値への変換などがあげられる。
【０１３５】
多重化部３１０４は、立体画像符号化データ、音声符号化データ、付随情報符号化データを入力とし、これらをテープに記録できる形式に多重化してテープ記録用データを出力する。
テープ記録部３１０５は、テープ記録用データを先に示したフォーマットに従って記録媒体であるテープに記録する。
【０１３６】
続いて、多重化部３１０４について、図３２を参照してより詳細に説明する。図３２に示すように、多重化部３１０４は、付随情報符号化データ振り分け部３２０５と、画像記録領域用データ合成部３２０１と、音声記録領域用データ合成部３２０２と、サブコード記録領域用データ合成部３２０３と、トラック合成部３２０４と、を含む。
【０１３７】
付随情報符号化データ振り分け部３２０５は、付随情報符号化データを入力とし、これらをＶＡＵＸ領域、ＡＡＵＸ領域、サブコード領域のいずれに記録するかを判別して振り分ける。本実施の形態では、立体画像識別情報と平面表示画像選択情報とに関する符号化データはＶＡＵＸ領域に、シフトベクトルや飛び出し方向／距離に関する符号化データはサブコード領域に振り分ける。
【０１３８】
画像記録領域用データ合成部３２０１は、立体画像符号化部３１０１から出力される立体画像符号化データ、及び付随情報符号化データ振り分け部３２０５から出力されるＶＡＵＸ領域用付随情報符号化データを入力とし、図３０に示したフォーマットとなるよう付随情報符号化データ及び立体画像符号化データを合成し、画像記録領域用データを出力する。
【０１３９】
音声記録領域用データ合成部３２０２は、音声画像符号化部３１０２から出力される音声符号化データ、及び付随情報符号化データ振り分け部３２０５から出力されるＡＡＵＸ領域用付随情報符号化データを入力とし、これらを所定のフォーマットとなるよう合成して音声記録領域用データを出力する。
【０１４０】
サブコード記録領域用データ合成部３２０３は、付随情報符号化データ振り分け部３２０５から出力されるサブコード領域用付随情報符号化データを入力とし、これらを所定のフォーマットとなるよう合成してサブコード記録領域用データを出力する。
【０１４１】
トラック合成部３２０４は、画像記録領域用データと、音声記録領域用データと、サブコード記録領域用データとを入力とし、これらが図２９に示したフォーマットとなるよう合成し、さらにＩＴＩ情報２９０１や各領域間のマージンを付加して記録用データを出力する。
【０１４２】
なお、本実施の形態では音声記録領域、画像記録領域、サブコード記録領域を同時に記録したが、これらは必ずしも同時に記録する必要があるものではなく、一部、例えば音声記録領域と画像記録領域のみを先に記録しておき、サブコード記録領域をアフレコによって記録することも可能である。あるいは、同時に全てを記録したとしても、それぞれの領域は個別にアフレコによって更新することも可能である。
【０１４３】
視差量調整のためのシフトベクトルや飛び出し方向／距離のような情報は、撮影時に決定される場合だけでなく、最終的なコンテンツの出来上がりに応じて撮影終了後の編集段階で決定される可能性がある。例えば、撮影時にはデフォルト値を記録しておき、編集段階で仕上がりを確認してからシフトベクトルや飛び出し方向／距離を示す情報をアフレコする場合がある。シフトベクトルや飛び出し方向／距離のデフォルト値としては、例えば全て０、即ち視差量を調整しないよう指定する。また、編集段階での調整方法としては、例えば前記第３の実施形態で示した立体画像表示装置と同様に、前記立体画像記録装置が、さらに入力画像を立体視可能なように画像処理を行う手段と、ユーザーからの入力を受けつける手段と、ユーザーの入力から視差量の調整情報を算出する手段と、視差量の調整情報を使用して画像処理された立体映像から実際にディスプレイに表示する領域を判定する手段と、判定された領域を表示する手段とを備え、前記立体画像記録装置において、ユーザーが立体画像の表示を確認しながら視差量を調整すれば良い。本実施の形態による記録方式及び記録装置によれば、シフトベクトルや飛び出し方向／距離を示す情報がアフレコの容易なサブコード領域に記録されているため、編集段階でも容易に変更することが可能である。
【０１４４】
また、本実施の形態ではシフトベクトルや飛び出し方向／距離を示す情報をサブコード領域に記録したが、これらも画像に関する付随情報であるという観点から、全てをまとめてＶＡＵＸ領域に記録するという方法もある。これには、図３２の付随情報符号化データ振り分け部３２０５の動作を変更し、上記の情報の符号化データを全てＶＡＵＸ領域に向けて出力する構成とする。この場合、アフレコの容易性はなくなるが、画像に関する付随情報が一箇所にまとまっていることによって取り扱いが簡易になるという長所がある。例えば、別の記録フォーマットを持つ媒体に複製を作る際に、画像記録領域の複製だけをつくれば画像に関する全ての情報を取得できることになり、サブコード領域を取り扱う必要がなくなる。また、アフレコによる上書きを避けるために、サブコード領域とＶＡＵＸ領域の両方に記録するという方法も可能である。
【０１４５】
あるいは、サブコード領域、ＶＡＵＸ領域のサイズ上の制限により、これらの領域に格納できなかった場合には、立体画像に関連する情報のうち、前記格納できなかった情報をＡＡＵＸ領域に記録するということも可能である。
【０１４６】
なお、本実施の形態の構成は、立体画像に特有の部分を除けば家庭用に普及しているデジタルＶＴＲの方式にも準拠している。このため、本実施形態が記録する付随情報のうち、立体画像に特有の付随情報、即ち、立体画像識別情報、平面表示画像選択情報、シフトベクトル、飛び出し方向及び距離に関する情報などを家庭用デジタルＶＴＲのフォーマットで拡張が許されている拡張領域に記録すれば、平面画像と立体画像を同一のテープに記録することが可能である。
【０１４７】
また、本発明の立体画像記録方法の説明では図２８及び図３１の構成に基づいて、記録媒体であるデジタルビデオテープに記録しているが、一般に画像処理装置や端末が具備する記録領域、あるいはデジタルビデオテープのカセットに装着されたＩＣメモリの記録領域等に記録することも可能である。この場合、これまでの説明と同様に、当該記録領域が音声記録領域、画像記録領域、サブコード記録領域などを備え、立体視情報などの付随情報をこれらの領域に記録することも可能である。
以上、本実施の形態に沿って説明したが、本発明はこれらの例に限定されるものではなく、種々の変形が可能であるのは言うまでもない。
【０１４８】
【発明の効果】
以上説明したように、本発明によれば、視差量が調整された立体画像において、違和感が少なく良好な立体画像を表示することが可能となる。
また、視差量が調整された立体画像を表示する場合に、画像の飛び出し具合や長時間観賞した場合の疲労度など観察者の受ける印象や影響が、画面サイズ等が異なるディスプレイ間で比較した際に大きく異ならないようにすることができる。
【０１４９】
また、視差量が調整された立体画像を表示する際は、表示領域を左眼画像もしくは右眼画像の全体が表示されるように選択することによって、立体表示／平面表示の表示モード切り替えを行った場合の、両モードで表示される画像の範囲がずれずに済み、違和感なく表示モードの切り替えを行うことが可能である。
【０１５０】
本発明によればさらに、視差量の調整に関する情報をアフレコの容易なサブコード領域に記録することにより、編集の利便性を高めることが可能となる。
本発明によればさらに、視差量の調整に関する情報を含む立体視制御情報をまとめて画像記録領域に記録することにより、取り扱いを簡易にすることが可能となる。
【０１５１】
本発明によればさらに、視差量の調整に関する情報を含む立体視制御情報をサブコード領域と画像記録領域の両方に記録しておくことにより、アフレコ時の上書きによるデータ消失を防ぐことが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。
【図２】図２（Ａ）、（Ｂ）は、本発明の第１の実施の形態による立体画像表示装置における左眼用画像データと右眼用画像データから立体視用画像データを生成する例を示す図である。
【図３】本発明の第１の実施の形態による立体画像表示装置における立体視する際の左眼用画像データと右眼用画像データの対応する画素の例を示す図である。
【図４】本発明の第１の実施の形態による立体画像表示装置における視差量調整した際の画像の移動例を示す図である。
【図５】本発明の第１の実施の形態による立体画像表示装置におけるＲＧＢ３原色のドットデータと画素の対応例を示す図である。
【図６】本発明の第１の実施の形態による立体画像表示装置における画像を移動させる際にＲＧＢ３原色のドットデータのうち１ドットを移動させる例を示す図である。
【図７】本発明の第１の実施の形態による立体画像表示装置における画像を移動させる際にＲＧＢ３原色のドットデータのうち２ドットを移動させる例を示す図である。
【図８】図８（Ａ）から（Ｃ）までは、本発明の第１の実施の形態による立体画像表示装置における視差量調整の際に画像を中心をずらすことなく移動させる例を示す図である。
【図９】図９（Ａ）から（Ｃ）までは、本発明の第１の実施の形態による立体画像表示装置における視差量調整のために画像データを移動させた際の例を示す図である。
【図１０】本発明の第１の実施の形態による立体画像表示装置における視差量地要請のために画像データを移動させ、移動後の中心をずらさないように領域を判定した際の補間対象領域の例を示す図である。
【図１１】図１１（Ａ）及び（Ｂ）は、本発明の第１の実施の形態による立体画像表示装置におけるディスプレイを３次元表示と２次元表示とを切り替える方法の例を示す図である。
【図１２】図１２（Ａ）から（Ｄ）までは、本発明の第１の実施の形態による立体画像表示装置における画像データを補間する例を示す図である。
【図１３】本発明の第２の実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。
【図１４】図１４（Ａ）から（Ｃ）までは、本発明の第２の実施の形態における、視差量調整を行い、画像の表示領域に画素値が存在しない時に、その領域に画像を生成する例を示す図である。
【図１５】本発明の第３の実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。
【図１６】図１６（Ａ）及び（Ｂ）は、本発明の第３の実施の形態による立体画像表示装置における立体視を行うための立体視制御情報の格納方法の例を示す図である。
【図１７】図１７（Ａ）及び（Ｂ）は、本発明の第３の実施の形態による立体画像表示装置における立体視を行うための立体視制御情報を画像データ内に格納する際の記述方法の例を示す図である。
【図１８】本発明の第３の実施の形態による立体画像表示装置における立体視を行うための立体視制御情報を装置内に記録する時の記述方法の例を示す図である。
【図１９】立体視制御情報を付随する立体視用の画像データを表示させる立体画像表示装置の構成例を示す機能ブロック図である。
【図２０】図２０（Ａ）及び（Ｂ）は、本発明の第４の実施の形態による立体画像表示装置における最大シフトベクトルを立体視制御情報に含めて記録する例を示す図である。
【図２１】本発明の第４の実施の形態による立体画像表示装置における最大シフトベクトルの情報を持つ立体視用の画像データを表示する立体画像表示装置の構成例を示す機能ブロック図である。
【図２２】図２２（Ａ）から（Ｅ）までは、本発明の第５の実施の形態による立体画像表示装置における立体視用の画像データを拡大・縮小して表示する時に視差量調整を行う時の画像データの移動例を示す図である。
【図２３】本発明の第５の実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。
【図２４】図２４（Ａ）及び（Ｂ）は、本発明の第６の実施の形態による立体画像表示装置における立体視制御情報を伝送媒体で伝送する際の格納例を示す図である。
【図２５】図２５（Ａ）から（Ｃ）までは、本発明の第３の実施の形態による立体画像表示装置における飛び出し距離を算出するための計算例を示す図である。
【図２６】本発明による第７の実施の形態による立体視情報の構成例を示す図である。
【図２７】本発明による第７の実施の形態による画像表示領域の選択例を示す図である。
【図２８】デジタルビデオテープ上のトラックの記録状態を示す図である。
【図２９】デジタルＶＴＲのトラックフォーマットを示す図である。
【図３０】各トラックの画像記録領域内のデータ構成を示す図である。
【図３１】本発明の第８の実施の形態による立体画像記録装置の構成を示す図である。
【図３２】本発明の第８の実施の形態による立体画像記録装置の多重化部の構成を示す図である。
【符号の説明】
１…立体画像処理部、２…ユーザー入力部、３…視差量調整情報算出部、４…表示領域判定部、５…画像補間部、６…表示部、７…画像データ生成部、８…立体視情報記録部、９…立体視情報読み出し部、１０…最大シフトベクトル読み出し部、１１…拡大・縮小処理部、２６０１…飛び出し方向、２６０２…飛び出し距離、２６０３…飛び出しベクトル、２６０４…平面表示画像選択情報、３００２…ＶＡＵＸα、３００３…画像符号化データ記録領域、３００４…ＶＡＵＸβ、３１０３…付随情報符号化部、３１０４…多重化部、３２０５…付随情報符号化データ振り分け部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for stereoscopically displaying a plurality of images corresponding to a plurality of viewpoints.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there is known a stereoscopic image display method capable of viewing a stereoscopic image by stereoscopically viewing a set of images having parallax. For example, left-eye and right-eye images are alternately output to the display device, and the user reproduces the images through glasses that can switch the shutter in synchronization with the switching timing of the display. Can be observed.
[0003]
A method for reproducing a stereoscopic image without using special glasses or the like includes a method called a parallax barrier method. Each of the image for the left eye and the image for the right eye is decomposed into strips in the vertical scanning direction of the image, and alternately arranged to form one image. The display device that displays the image has a strip-like slit similar to the case where the image is decomposed. The strip-shaped image data is observed by a display device through a slit. When the image for the left eye arranged in a strip shape by the polarizing plate is reproduced with the left eye of the user and the image for the right eye is reproduced with the right eye, a stereoscopic effect can be obtained. There is also a method called a lenticular method using a lenticular lens instead of a slit.
[0004]
A technique for changing the stereoscopic effect of a reproduced image so that the user can view a better stereoscopic image is disclosed. When a human observes an object in three dimensions, different images are observed with the left and right eyes, and these images have a shift called parallax.
[0005]
A human recognizes a three-dimensional feeling by this parallax. The amount of parallax is called the amount of parallax, and the stereoscopic effect is adjusted by adjusting the amount of parallax. Describes technology for displaying on a 3D display by adjusting the amount of parallax when receiving and displaying 3D images in digital broadcasting, and observing 3D images according to the environment in which the user views the 3D images. (For example, refer to Patent Document 1).
[Patent Document 1]
Japanese Patent Laid-Open No. 2000-78615, FIG.
[0006]
[Problems to be solved by the invention]
By the way, when adjusting the amount of parallax, for example, in the method of displaying the left and right images alternately in a strip shape for each line, such as the lenticular method and the parallax barrier method, the combination position of the strip data is usually set. The parallax amount can be adjusted by changing it, but the accuracy of the adjustment is defined by the strip width. Therefore, it is not always possible to adjust the stereoscopic effect according to the user's preference.
[0007]
Further, when the combination position of the strip-shaped data is changed, a portion where there is no data to be reproduced as a stereoscopic image is generated, and the portion cannot be displayed in a favorable stereoscopic view. Therefore, a portion where a stereoscopic image can be displayed satisfactorily (a display area where the stereoscopic image can be observed) becomes small.
[0008]
On the other hand, even if all image data is to be displayed in the image after adjusting the parallax amount, the width of the strip-shaped image data after adjusting the parallax amount is wider than the width of the display area by the amount of parallax adjustment, and all the image data Cannot be displayed.
An object of the present invention is to display a good stereoscopic image with less discomfort in a stereoscopic image in which the parallax amount is adjusted.
[0009]
[Means for Solving the Problems]
According to an aspect of the present invention, a stereoscopic image display device that displays a stereoscopic image based on a plurality of images corresponding to a plurality of viewpoints, the disparity relating to adjustment of the disparity amount based on information relating to the change of the disparity amount A parallax amount adjustment information calculation unit that calculates amount adjustment information, an image processing unit that generates an image for stereoscopic display based on the parallax amount adjustment information, and an image interpolation unit that interpolates a predetermined region in the plurality of images Is provided.
[0010]
The image interpolation unit preferably interpolates only the non-pixel value area using other pixel values when there is a non-pixel value area in which no pixel value exists in the display area of the stereoscopic display image. .
According to the stereoscopic image display device, it is possible to interpolate the pixel value of the non-pixel value region in association with the change in the amount of parallax.
[0011]
According to another aspect of the present invention, a stereoscopic image display device that displays a stereoscopic image based on a plurality of images corresponding to a plurality of viewpoints, the parallax amount adjustment based on information on a change in the parallax amount A parallax amount adjustment information calculation unit that calculates parallax amount adjustment information related to the image, an image processing unit that generates an image for stereoscopic display based on the parallax amount adjustment information, and a new image in a predetermined region in the plurality of images There is provided a stereoscopic image display device including an image generation unit that generates the image.
[0012]
When there is a non-pixel area where no pixel value exists in the display area of the stereoscopic display image, the image generation unit preferably generates a new image only in the non-pixel area.
According to the stereoscopic image display device, a new image can be generated in the non-pixel value region in association with the change in the amount of parallax.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
In this specification, each of the RGB data of the three primary colors is referred to as a dot, and a group of the RGB data of the three primary colors is referred to as a pixel. In the present embodiment, the image data includes a moving image and a still image. Furthermore, the image data includes compressed image data using still image compression technology such as JPEG and moving image compression technology such as MPEG-4.
[0014]
The stereoscopic image display technique according to the first embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a functional block diagram illustrating a configuration example of a stereoscopic image display device according to the present embodiment. As shown in FIG. 1, the stereoscopic image display apparatus A according to the present embodiment generates image data that can be stereoscopically displayed (hereinafter also referred to as “stereoscopic image data”) based on input image data Din. Image processing, a stereoscopic image processing unit 1 that performs image processing, a user input unit 2 that a user inputs, a parallax amount adjustment information calculation unit 3 that calculates parallax amount adjustment information based on a user input, and image processing A display area determination unit 4 that determines an area to be actually displayed on the stereoscopic video display device from the stereoscopic video, an image interpolation unit 5 that generates interpolation data in a specific area, and a determined area among the generated images. It comprises a display unit 6 for displaying.
[0015]
The left-eye image data and right-eye image data input to the stereoscopic image display device A are first converted into data that can be stereoscopically displayed by the stereoscopic image processing unit 1. For example, in the case of a stereoscopic image display device using a parallax barrier method or a lenticular method, the stereoscopic image processing unit 1 has a stereoscopic image in which left-eye image data and right-eye image data are alternately arranged in a strip shape. Generate data.
[0016]
The user inputs parallax amount adjustment data of a stereoscopic image to be displayed through the user input unit 2. The input parallax adjustment data is converted into parallax adjustment information by the parallax adjustment information calculation unit 3 and output to the stereoscopic image processing unit 1. When the stereoscopic image processing unit 1 receives parallax amount adjustment information when generating stereoscopic image data, the stereoscopic image processing unit 1 generates stereoscopic image data using the input. The generated stereoscopic image data is output to the display area determination unit 4.
[0017]
The display area determination unit 4 determines whether the generated stereoscopic image data can be satisfactorily displayed on the display unit 6. The image width of the stereoscopic image data for which the parallax amount adjustment has been performed may not correspond to the image width that can be displayed by the display unit 6. In such a case, the pixel area of the display unit 6 does not match the pixel area of the stereoscopic image data, and an incompatible area occurs. In such an area, it is not known how the image is displayed, and image data may not be displayed in a good state.
[0018]
Therefore, the display area determination unit 4 determines whether or not there is an area that cannot be handled. If the display area determination unit 4 determines that there is an area that cannot be handled, the image interpolation unit 5 cannot be handled. Output information S1 about the area. When the display area determination unit 4 determines that there is no area that cannot be handled, the stereoscopic image data S2 is output to the display unit 6 as it is (through).
[0019]
In the image interpolation unit 5, the stereoscopic image data output from the display area determination unit 4 is subjected to interpolation processing so that pixel data is given to the area determined by the display area determination unit 4 by a predetermined method. Further, the stereoscopic image data subjected to the interpolation processing is output to the display unit 6. The display unit 6 displays the stereoscopic image data S2 output from the display area determination unit 4 or the stereoscopic image data S3 output from the image interpolation unit 5.
[0020]
In the stereoscopic image display apparatus A according to the present embodiment, the format of the stereoscopic image data displayed on the display unit 6 is the image data for one pixel of left and right images represented by the parallax barrier method and the lenticular method. This is a method of performing stereoscopic viewing by arranging them alternately in a strip shape every time. The input image is image data including data that can be stereoscopically viewed, and the image data to be stereoscopically viewed on the display unit 6 handles data in which the data for the left eye image and the right eye image are arranged in a strip shape. . The input image data only needs to be able to generate strip data in the stereoscopic image processing unit 1. For example, the input image may be image data originally synthesized in a strip shape. In this case, the stereoscopic image processing unit 1 outputs the input data as it is without creating a strip-like image again.
[0021]
Alternatively, the image data may be in a format in which the image data for the left eye and for the right eye are separated. In this case, the stereoscopic image processing unit 1 creates a strip-shaped image from the left-eye image and the right-eye image, as described below with reference to FIG. FIG. 2A is a diagram illustrating an example of generating stereoscopic image data from left-eye input image data and right-eye input image data. From the left-eye image data and the right-eye image data in FIG. 2A, the pixels (201, 202) reproduced by the same slit when stereoscopically viewing the strip-shaped data are acquired and arranged. Three-dimensional display data 200 is generated. By repeating this process, it is possible to generate stereoscopic image data having a strip width of one pixel.
[0022]
When the strip-shaped stereoscopic image data 200 is created by such a method, the width of the strip-shaped stereoscopic image data 200 is set so that the input image data 201 for the left eye and the input image data 202 for the right eye are the same. Each image width is equal to the combined width. Therefore, in order to create data that can be displayed by the display unit 6, the input image data 201 for the left eye and the input image 202 for the right eye are half of the generated strip-shaped stereoscopic display image data 200. It is necessary to keep the image width.
[0023]
When the image widths of the left-eye input image data 201 and the right-eye input image data 202 are the same as the display width of the display unit 6, the left-eye image data is generated when the strip-shaped image data is generated. The striped image data is generated after the data is thinned out so that the image width of the input image data 201 for the right eye and the input image data 202 for the right eye is halved.
[0024]
FIG. 2B shows an example of a method for creating strip data by thinning data from input image data. As shown in FIG. 2B, from the pixels of the left-eye and right-eye images, one dot of the G data 204 is taken from the left-eye input image data 201 out of the RGB three primary colors, and the right-eye is used. A process for generating one RGB pattern 203 is performed by taking only two dots of R data 205 and B data 206 from the input image data 202. This process is performed alternately for each image (a pattern in which one data is taken from the input image data 201 for the left eye and two pieces of data are taken from the input image data 202 for the right eye, and the input image for the left eye The image data 200 for stereoscopic vision is created by repeating two patterns from the data 201 and one pattern from the input image data 202 for the right eye. The method for creating a strip-shaped image is not limited to the method described with reference to FIG. 2B. For example, the pixel denoted by reference numeral 203 in FIG. 2 includes the left-eye G1 dot (204), It is composed of R1 dots (205) and B1 dots (206) for the right eye, but R1 dots (207) and B1 dots (208) for the left eye and G1 dots for the right eye (209) with reversed patterns. Image data may be generated from the above. The stereoscopic image processing unit 1 shown in FIG. 1 compares the number of pixels of each input image with the number of displayable pixels, determines whether or not to generate a strip-shaped image by thinning out the input image, and Is generated.
[0025]
Next, processing when the user performs parallax amount adjustment will be described. The user adjusts the parallax amount by the user input unit 2 in FIG. The user input unit 2 may have any shape and method such as an input device such as a keyboard and a mouse, or a remote controller. For example, a method of adjusting the parallax amount by an amount proportional to the number of times the key is pressed in the specific direction by pressing a key for designating a specific direction of the keyboard at least once is also conceivable. Data input by the user input unit 2 is converted into parallax amount adjustment information by the parallax amount adjustment information calculation unit 3. For example, it is converted into specific information such as “move the right-eye image data leftward by one pixel”. The parallax amount adjustment information calculation unit 3 outputs the calculated parallax amount adjustment information to the stereoscopic image processing unit 1. The stereoscopic image processing unit 1 uses the parallax amount adjustment information to generate strip-shaped image data.
[0026]
The progress of the parallax amount adjustment processing will be described with reference to FIGS. 3 and 4. In FIG. 3, a block indicated by reference numeral 301 or the like indicates data for one pixel, and L and R are codes indicating a left-eye image and a right-eye image, respectively. The numbers given below L or R indicate pixel numbers and are given for convenience of explanation, and the pixel numbers are given in order from the left end of the image data. Reference numeral 301 indicates the leftmost pixel of the left-eye image. Reference numeral 304 in FIG. 3 and reference numeral 403 in FIG. 4 indicate the width of the display area in which the display unit displays each image data.
[0027]
Further, when a stereoscopic image is observed using a lenticular lens, a parallax barrier, or the like, pixels observed through the same slit (for example, pixels indicated by reference numerals 1103 and 1104 in FIG. 11) are used as a stereoscopic image. Pairs to be reproduced are shown corresponding to the upper and lower sides as indicated by reference numerals 302 and 303 in FIG. The strip-shaped image data generated here has data to be displayed for all the pixels of the display unit 6 unless the parallax amount is adjusted by the user. In the area determination, it is determined that there is no area to be interpolated.
FIG. 4 shows pixels and corresponding pixel data when the user adjustment by the parallax amount adjustment information calculation unit 3 moves, for example, the left-eye image to the right by one pixel.
[0028]
When the display position of the image data is moved and displayed as it is, there is no pixel data to be displayed as shown by the position of the pixel 401 in FIG. 4 (indicated by a broken line), and the pixel data indicated by reference numeral 402 in FIG. As described above, pixel data that cannot be displayed because it protrudes from the display area 403 is generated. At this time, the display area determination unit 4 determines that there is no image data to be displayed on the pixel 401 and that the pixel 402 protrudes from the display area 403, and outputs the information to the image interpolation unit 5.
[0029]
The case where the movement of the image for adjusting the parallax amount described above is a unit of one pixel has been described. In this case, the adjustment accuracy may be too rough depending on the size of the image data and the size of the display unit 6.
[0030]
It can be considered that a human being recognizes an image as recognizing RGB as a set of data when each dot of the RGB three primary color data constituting each pixel forms an image on the eye. Therefore, for example, even if the arrangement of RGB is changed to GRB, these may be recognized as a group by the human eye. FIG. 5 is a representation of the image data for the left eye in FIG. 3 at the RGB dot level. To recognize L3 image data (pixel 302 in FIG. 3), L-R3 (dot 501 in FIG. 5), L-G3 (dot 502 in FIG. 5), L-B3 (dot 503 in FIG. 5) It is sufficient if the three dots can be recognized as a group.
[0031]
That is, it is possible to move at the dot level of the three primary color data RGB. The state at this time is shown in FIG. FIG. 6 focuses on the image for the left eye in FIG. 5, and FIG. 6 (A) is in the same state as FIG. Reference numeral 604 denotes a display area in which the display unit displays an image for the left eye. FIG. 6B shows a state where the pixel has been moved by one pixel (FIG. 4). FIG. 6C shows a state where the dot level has moved by one dot. The shaded portion indicates that dot data is missing due to the movement of the left eye image. FIG. 6C focuses on the dots in the R data of the left-eye image (reference numeral 601 in FIG. 6A). L-R1 is changed to L-R2, L-R2 is changed to L-R3, L- It is a figure which shows the state which moved R data to the position of L3 to R-R4.
[0032]
Even if the data is moved in this way, as shown in FIG. 6C, the arrangement of the original RGB 1 pixel does not change. The movement amount of the image by this movement method is smaller than the movement of one pixel unit (603 in FIG. 6B), as shown by reference numeral 602 in FIG. Become. Therefore, it is possible to adjust the amount of parallax finer than when moving in units of data for one pixel.
[0033]
Similarly, if attention is paid to two dots of R data and G data, as shown in FIG. 7C, L-R1 and L-G1 are changed to L-R2 and L-G2, and L-R2 and L-G2 are changed to L. By moving to -R3 and L-G3, respectively, the adjustment amount can be reduced. This movement corresponds to a movement of 2/3 pixels (reference numeral 703 in FIG. 7). Even in this case, it is possible to adjust the amount of parallax finer than when moving in units of data for one pixel.
[0034]
In the present embodiment, an example of movement of R data and movement of R data and G data has been described, but the present invention is not limited to a combination of corresponding data. Further, the image data may be moved by combining movement in units of color data and movement in units of one pixel.
[0035]
When adjusting the amount of parallax using the method described above, if only one of the left and right images is moved, the center of the stereoscopic image observed by the user is also shifted in the moving direction, resulting in good stereoscopic viewing. Is difficult. Therefore, when calculating the parallax amount adjustment information, the parallax amount adjustment information calculation unit 3 may adjust the left eye image and the right eye image so as to move together in association with each other. For example, if the adjustment of the amount of parallax by the user is for 4 pixels, the left-eye image is not moved by 4 pixels, but the left-eye image is 2 pixels, and the right-eye image is the left-eye image. A method of adjusting by moving two pixels in the reverse direction can also be used. As described above, by moving the left-eye image and the right-eye image in the opposite directions by the same amount, it is possible to adjust the parallax amount without shifting the center of the stereoscopic display before and after the movement.
[0036]
When the adjustment amount of the parallax amount by the user is an even number of pixels, it is possible to adjust so as not to shift the center of the stereoscopic display. However, when the adjustment amount is an odd number of pixels, the left-eye image and the right-eye image cannot be moved by the same amount, so the center of the stereoscopic display is shifted to the left or right.
[0037]
In such a case, the parallax amount adjustment information calculation unit 3 calculates the amount of movement between the left-eye image and the right-eye image so that the shift of the center of the stereoscopic display is minimized. For example, when a user requests a parallax amount adjustment for 5 pixels, if the unit for moving the image is 1 pixel unit, the left-eye image is equivalent to 3 pixels and the right-eye image is equivalent to 2 pixels. Move in the opposite direction. As described above, if the movement is possible for each dot of RGB, the image for the left eye is moved by 2+ (2/3) pixels, and the image for the right eye is moved by 2+ (1/3) pixels.
[0038]
As described above, even if the shift of the center of the stereoscopic display is minimized, if the adjustment amount is repeatedly moved by an odd number of pixels, the shift of the center becomes large. Accordingly, when the movement is repeated, the parallax amount adjustment information calculation unit 3 calculates and stores information on the shift, and based on this storage, the image for the left eye and the right are adjusted so that the shift of the center of the stereoscopic display is reduced. The movement amount of the ophthalmic image is determined. Preferably, adjustment is performed so that the shift of the center of the stereoscopic display is minimized.
[0039]
FIG. 8A shows an initial state of the left eye image and the right eye image. Reference numeral 801 indicates a display area for displaying each image on the display unit 6, and reference numeral 802 indicates the center of the display area 801. When the image data in FIG. 8A is stereoscopically viewed, the center of the stereoscopic display and the center (802) of the display area are the same. FIG. 8B shows a state in which the user first moves the left-eye image data by one pixel in the right direction from the state of FIG. The parallax amount adjustment information calculation unit 3 calculates the amount of movement as one pixel from the input of the parallax amount adjustment from the user, and notifies the stereoscopic image processing unit 1 of it. For example, it is notified as vector information indicating that “the image for the left eye is moved rightward by one pixel” (reference numeral 803 in FIG. 8B).
[0040]
The stereoscopic image processing unit 1 notified of this vector information generates a moved image as shown in FIG. The parallax adjustment amount information calculation unit 3 calculates and stores a shift from the center of the display area at the center of the stereoscopic display from this information. In this example, since only one of the images is moved, the center of the stereoscopic display is at a position indicated by reference numeral 804 in FIG. Accordingly, the deviation information calculated by the parallax amount adjustment information calculation unit 3 is an arrow (vector) indicated by reference numeral 805 in FIG. 8B.
[0041]
Next, when the user adjusts the parallax amount again, the parallax amount adjustment information calculation unit 3 calculates the parallax amount adjustment information so as to reduce the shift by using the shift information in the previous movement. It is preferable to adjust so that the deviation is minimized. When it is calculated as the parallax amount adjustment information that “the image data for the left eye is further moved to the right by 3 pixels”, the image for the left eye is eliminated so as to eliminate the shift of the reference numeral 805 in FIG. Is moved to the right by one pixel, and the stereoscopic image processing unit 1 is notified to move the right-eye image to the left by one pixel. FIG. 8C shows a state of moving based on this notification. Arrows (vectors) indicated by reference numerals 806 and 807 in FIG. 8C correspond to the amounts of movement of the respective images. It can be seen that the line indicated by reference numeral 808 in FIG. 8C is the center of the stereoscopic display after movement, and the deviation from the center of the display area 801 is eliminated.
[0042]
In this embodiment, the method of adjusting the shift based on the stored shift information has been described as an example. However, the method of reducing the shift of the center of the stereoscopic display after adjusting the parallax amount by the user, preferably the method of minimizing the shift. Other methods may be used if they exist. For example, using a device that adjusts the parallax for each pixel, the user stores the moved image and direction, and in subsequent operations, the image that was not the movement target in the previous operation is set as the movement target, and is moved alternately. It is also possible to use a method of eliminating the deviation by doing so. In this way, the image data whose parallax amount has been adjusted by the stereoscopic image processing unit 1 is output to the display area determination unit 4.
[0043]
Since the input image is normally created in consideration of being displayed well on the display unit 6 without adjusting the amount of parallax, it is generated from the input image if the amount of parallax is not adjusted. The strip-shaped image has the same size as the display area of the display unit 6. However, the strip-shaped image generated by adjusting the parallax amount is larger than the display area of the display unit 6. Therefore, the display area determination unit 4 determines which area of the strip-shaped image is to be displayed on the display unit 6. As a determination criterion for this region, for example, a method of shifting the center of the stereoscopic display from the display center as much as possible, a method of extracting and displaying only a region that can be viewed stereoscopically, and the like can be considered.
[0044]
With reference to FIG. 9 and FIG. 10, a process when the input image data is moved will be described. FIG. 9A shows input image data. In FIG. 9A, reference numeral 901 is left-eye stereoscopic image data, and reference numeral 902 is right-eye stereoscopic image data. It is assumed that the size of the strip-shaped image generated from these input image data is the same size as the display area of the display unit 6 in FIG. Reference numerals 903, 905, and 909 in FIGS. 9A to 9C are arrows representing the widths of the display areas corresponding to the left-eye stereoscopic image data and the right-eye stereoscopic image data.
[0045]
FIG. 9B is an example in which the right-eye stereoscopic image data is moved by the vector indicated by reference numeral 906. Reference numeral 904 denotes an area where there is no image data to be displayed, reference numeral 911 denotes the center of the display area, reference numeral 912 denotes the center of stereoscopic display, and reference numeral 913 denotes an amount of deviation from reference numeral 911 to reference numeral 912. Indicates. As shown in FIG. 9B, the display area determination unit 4 (FIG. 1) changes the display area of the image data and extracts an area that does not change the center of the stereoscopic display, thereby obtaining a good 3D image. Images can be played back.
[0046]
For example, a range indicated by an arrow 1001 in FIG. As shown in FIG. 10, the areas of reference numerals 1004, 1005, 1006, and 1007 are not used for display. Among these, pixels exist in the areas indicated by reference numerals 1006 and 1005, but are portions that are discarded from the display. An area 1002 and an area 1003 are display areas, but no image data exists. Therefore, the areas 1002 and 1003 are portions to which data is given by image interpolation processing described later. By selecting the display area in this way, it is possible to set the center of the display position and the center of the stereoscopic display to be coincident or in the vicinity.
[0047]
As shown in FIGS. 9 and 10, when the image is moved, a display area without image data is generated, such as the area 904 in FIG. 9A and the areas 1002 and 1003 in FIG. . Therefore, in order to reproduce such a region better, image data interpolation processing is performed. In the method according to the present embodiment, it is assumed that a display capable of partially switching between the two-dimensional display mode and the three-dimensional display mode (stereoscopic display) is used for the display unit 6 (FIG. 1). Perform interpolation processing that can be displayed. This will be described with reference to FIG.
[0048]
Switching display modes is indicated by, for example, reference numerals 1103 and 1104 reproduced by one eye by eliminating a part of the barriers (reference numerals 1101 and 1102) shown in FIG. This is realized by enabling the pixels to be reproduced with both eyes as shown in FIG. However, if the display mode is partially switched, the switching means is not limited to the method shown in FIG.
[0049]
As described above, in the image data in which the parallax amount is adjusted by the user, an area to be displayed is set by the display area determination unit 4, and an area without pixel data exists in the set display area. Determine whether to do. Information regarding this region is output to the image interpolation unit 5 together with the image data. In order to obtain image data that is reproduced favorably in the two-dimensional display mode, the image interpolation unit 5 generates pixel data by interpolation processing based on data of peripheral pixels for pixels for which no image data exists.
[0050]
An example of processing in the image interpolation unit 5 will be described with reference to FIG. As described above, the region indicated by reference numeral 904 in FIG. 9B is a region that requires interpolation processing due to movement. The display area determination unit 4 determines that there is no image data to be displayed in the area indicated by reference numeral 904, and instructs the display unit 6 to display this area 904 in the two-dimensional display mode. At the same time, the image interpolation unit 5 is instructed to generate interpolation data in this area 904.
[0051]
The image interpolating unit 5 first copies the corresponding data from the left-eye image to an area where data is lost due to image movement and is also a display target. In the example shown in FIG. 9C, the data in the area 907 is copied to the area 908. Actually, in the state shown in FIG. 9C, left-eye stereoscopic image data and right-eye stereoscopic image data are arranged in a strip shape. FIG. 12A shows an enlarged view of the vicinity of the region 910 in FIG. As shown in FIG. 12A, the wood portion is shown in black and the background portion is shown in white. The stereoscopic image data converted into a strip shape including this portion is as shown in FIG.
[0052]
A shaded portion (such as an area indicated by reference numeral 1201) in FIG. 12B is a portion where there is no pixel data to be displayed because the right-eye stereoscopic image data has moved. FIG. 12C is a diagram illustrating a state in which pixel data is copied from the corresponding portion of the left-eye stereoscopic image data to the right-eye stereoscopic image data as described above. FIG. 12C shows that L1 image data is copied to R2 and L2 image data is copied to R3. By performing such processing, when the corresponding area is displayed, it is observed better than FIG. 12B, but the roughness is actually conspicuous. Therefore, the image interpolating unit 5 generates an interpolated image as shown in FIG. For example, a 2-tap low-pass filter is applied in the horizontal direction. For example, the data of the image area (reference numeral 1204) of R5 is calculated based on the equation of (L4 + L5) / 2 from L4 (reference numeral 1203) and L5 (reference numeral 1202). For example, pixel data in other areas where there is no pixel data including pixel data in the column indicated by reference numeral 1205 is similarly calculated based on adjacent left-eye image data.
[0053]
The interpolation method is not limited to the method using the average value as described above. For example, the interpolation may be performed using a low-pass filter having 3 taps or more. In addition, since the interpolated region may cause horizontal aliasing or blur due to the filter, good display may be obtained by using a sharp filter, a noise removal filter, or the like. . The interpolated stereoscopic image data generated in this way is output to the display unit 6. As described above, by generating the interpolated image data using the low-pass filter, the display unit 6 can obtain a good image suitable for the two-dimensional display mode. In FIG. 10, display areas 1002 and 1003 in which no pixel data exists are generated, but these areas may be interpolated by the same method as described above.
[0054]
As described above, the display area determination unit 4 in FIG. 1 determines the presence / absence of pixel data in an area used for actual display, and determines an area without pixel data as an area to be interpolated in the image interpolation unit 5. . In this way, by limiting the area to be interpolated within the display area, it is possible to reduce the burden of interpolation processing.
[0055]
In the present embodiment, the image movement in units of pixels has been described as an example. However, as described above, the same region determination process and interpolation process are also applied to the example of movement of the three primary color data in units of RGB data. It goes without saying that is possible. Moreover, although the technique which switches the area | region interpolated in the display apparatus partially to 2D display mode was demonstrated, said method is applied with respect to the stereoscopic display apparatus which does not have the function to switch to 2D display mode partially. It is also possible to do. In this case, the interpolated area is displayed in the stereoscopic display mode as usual.
[0056]
As described above, according to the stereoscopic image display technique according to the first embodiment of the present invention, by creating and displaying an interpolated image for a region in which stereoscopic display is difficult in a stereoscopic image in which the parallax amount is adjusted. Therefore, it is possible to display a good stereoscopic image with less discomfort without reducing the display area.
[0057]
Next, a stereoscopic image display technique according to the second embodiment of the present invention will be described. In the stereoscopic image display technique according to the first embodiment, a technique has been described in which interpolated image data is created for a display area in which no pixel data exists by adjusting the parallax amount of the user, and the corresponding area is displayed two-dimensionally. The stereoscopic image display technique according to the present embodiment is a technique for performing good stereoscopic display by displaying other image data in a display area where pixel data does not exist.
[0058]
FIG. 13 is a block diagram illustrating a configuration example of the stereoscopic image display device according to the present embodiment. The difference from the stereoscopic image display device shown in FIG. 1 is that an image data generation unit 7 is provided instead of the image interpolation unit 5 (FIG. 1). For example, the image data generation unit 7 assigns new image data to the areas of the left eye image data corresponding to the areas 1002 and 1002 in FIG. 10 and the areas of the right eye image data corresponding to the areas 1003 and 1003. insert.
[0059]
FIG. 14 is a diagram illustrating a state in which the image data generation unit 7 (FIG. 13) inserts new image data. In FIG. 14A, reference numerals 1401 and 1402 indicate portions where pixel data does not exist, and reference numerals 1403 and 1404 indicate portions where there is no paired data for stereoscopic display. The image data generation unit 7 synthesizes new images 1411a and 1411b to these regions (regions indicated by arrows 1406 and 1407 in FIG. 14A) as shown in FIG. 14B. The image shown in FIG. 14C is obtained. An arrow area indicated by reference numeral 1405 indicates a display area.
In this manner, by newly generating and displaying image data in an area where good stereoscopic viewing is not possible, the user can reproduce only a portion of a good stereoscopic image.
[0060]
Note that the new image used in this embodiment may be an image for a two-dimensional display mode or an image for a stereoscopic display mode. If an image for the 2D display mode is used, the display mode may be partially switched to the 2D display mode. If there is no such function, playback is performed in the 3D display mode. May be.
According to the stereoscopic image display technique according to the present embodiment, it is possible to display a favorable stereoscopic image with little discomfort by generating a new image in an area where stereoscopic display is difficult.
[0061]
Next, a stereoscopic image display technique according to the third embodiment of the present invention will be described with reference to the drawings. The stereoscopic image display technology according to the first and second embodiments is a stereoscopic image display process when the parallax amount adjustment of the stereoscopic image and the parallax amount adjustment by the user are performed. By the way, when a plurality of stereoscopic images are repeatedly displayed, if the parallax amount adjustment operation is performed again each time, the processing becomes complicated for the user. Therefore, in order to avoid this, the stereoscopic image display technique according to the present embodiment stores the parallax amount adjusted by the user for each stereoscopic image.
[0062]
Hereinafter, the parallax amount adjustment information is referred to as a shift vector. This shift vector is, for example, a vector indicated by reference numeral 906 in FIG. 9B. The content of the shift vector may be in any format as long as it can represent the adjusted amount of parallax. For example, a state where a stereoscopic image is captured, that is, a state where the parallax amount is not adjusted by the user is set to 0, a movement of the specific image in a specific direction is set to +, and a movement in the opposite direction is set to-, The adjustment amount (number of dots or number of pixels) may be indicated. In addition, when the size of the shift vector is represented by the number of pixels, the amount of parallax changes when the size of the display for observing a stereoscopic image changes, and thus the appearance (such as the jumping distance) changes. Accordingly, the projection distance itself of the stereoscopic image may be recorded as a shift vector in units of, for example, cm so that the same state can be observed even if the display size is changed. The pop-out distance is expressed, for example, with a state where the amount of parallax is not adjusted as a reference (0). An example of calculating the jump distance will be described with reference to FIG.
[0063]
As shown in FIG. 25A, the distance between the left eye and the right eye of the observer is e, and the distance between the observer and the display is L. The state of FIG. 25A is a state in which the pixel observed with the right eye and the pixel observed with the left eye are observed with the same slit (P1). At this time, this pixel is observed on the display.
[0064]
Next, the image observed with the right eye is moved by one pixel in the left direction of the drawing. This state is shown in FIG. The pixel existing in P1 moves to the position P2. At this time, the pixel observed with the left eye and the pixel observed with the right eye are observed with different slits, and an image is formed at the position of S1, resulting in a stereoscopic effect. The distance d from the display at this time is the jumping distance.
[0065]
Here, as shown in FIG. 25 (B), the moving distance from P1 to P2 is w. w is a value depending on the device (display). Further, the distance L between the display and the observer also depends on the display in the case of the parallax barrier method or the lenticular method. Therefore, in order to calculate the pop-out amount, it is necessary to know the distance L and the moving distance w between the display and the observer. Note that the distance e between the left eye and the right eye of the observer is considered to be substantially constant. Based on these assumptions, the pop-out distance d is obtained by the following equation.
[0066]
e: (L−d) = w: d (1)
Equation (2) is obtained from Equation (1).
d = (w × L) / (e + w) (2)
[0067]
Here, the jump-out distance d and the movement distance w take positive and negative values. When the pop-out distance d takes a positive value, it indicates that the user seems to jump out from the state before adjusting the parallax amount, and when the pop-out distance d takes a negative value, it indicates that the user has not adjusted the parallax amount. It shows that it can be seen from the back. The movement distance w takes a positive value when moving the image observed with the right eye to the left, and takes a negative value when moving the image observed with the right eye to the right. In FIG. 25 (B), both w and d have positive values, so that they appear to jump out by a distance of d. On the contrary, FIG. 25C is a diagram in which the image observed with the right eye is moved to the right by one pixel from FIG. The pixel existing at P1 moves to the position P3, and an image is formed at the position S2. At this time, since the moving distance w takes a negative value, the pop-out distance d becomes a negative value from the above equation (2). Therefore, compared to FIG. 25A, an image can be seen in the back in FIG. Further, when moving the image observed with the left eye, the positive and negative values of the moving distance w are opposite to those when moving the image observed with the right eye. In the stereoscopic image display technique according to the first embodiment of the present invention, the display area is automatically set. However, when the user arbitrarily sets the display area, the display set in addition to the shift vector is set. The area information (display area information) is recorded and used for the next display. The display area information is indicated, for example, by focusing on the right eye image and how much the left end of the right eye image has moved from the left end of the initial display area.
[0068]
In the stereoscopic image display technique according to the first embodiment of the present invention, the display area is automatically set. However, when the user arbitrarily sets the display area, the display set in addition to the shift vector is set. The area information (display area information) is recorded and used for the next display. The display area information is indicated, for example, by focusing on the right eye image and how much the left end of the right eye image has moved from the left end of the initial display area.
[0069]
The stereoscopic image display technology based on the above principle will be described more specifically. FIG. 15 is a functional block diagram illustrating a configuration example of the stereoscopic image display apparatus according to the present embodiment. As shown in FIG. 15, the stereoscopic image display device according to the present embodiment is similar to the stereoscopic image display device shown in FIG. 1, and the stereoscopic image processing unit 1 that performs image processing so that an input image can be stereoscopically displayed. A user input unit 2 that performs input from the user, a parallax amount adjustment information calculation unit 3 that calculates parallax amount adjustment information from the user input, and a region that is actually displayed on the display from the image-processed stereoscopic video A display area determination unit 4 for determining, an image interpolation unit 5 for generating interpolation data in a specific area, and a display unit 6 for displaying the determined area of the generated image are included. The difference from FIG. 1 is that a stereoscopic information recording unit 8 is provided. The basic operation of the other parts is the same as that described in the previous embodiments.
[0070]
In FIG. 15, the parallax amount adjustment information (shift vector) calculated by the parallax amount adjustment information calculation unit 3 is output to the stereoscopic image processing unit 1 and also to the stereoscopic information recording unit 8 (reference numeral 1501). . The display area determination unit 4 determines the display area, further changes the display area when the user arbitrarily sets the display area, and outputs the changed display area information to the stereoscopic information recording unit 8 ( Reference numeral 1502). The stereoscopic information recording unit 8 records (stores) the shift vector, and also records display area information as necessary.
[0071]
Next, an example of a method for recording the shift vector and the display area information is shown. In the present embodiment, an area for recording a shift vector and display area information is provided in the stereoscopic image data. Usually, the image data is provided with an area for storing information for managing the size and reproduction time of the image. FIGS. 16A and 16B are diagrams showing examples of the data structure of image data. As shown in FIG. 16A, stereoscopic image data includes, for example, a management information area for managing image information such as reproduction time and image size, and images for recording left-eye and right-eye image data. And a data area.
[0072]
As shown in FIG. 16A, the image information 1601 describes information about the entire image such as the size of the image and the reproduction time if it is a moving image, and the right eye / left eye image data information 1602 Describes information necessary for decoding each image data (for example, information that the MPEG-4 technology is used as an encoding technology). Further, as shown in FIG. 16B, an area 1604 for recording information for stereoscopic image data (stereoscopic information) is provided in this management area, and a shift vector and a display area position are recorded.
[0073]
When recording, a header indicating the presence of stereoscopic information is necessary so that the apparatus can correctly read the information. For this purpose, an area for recording stereoscopic (3D) image identification information 1605 is provided at the head of the stereoscopic information 1604. The stereoscopic image identification information 1605 indicates the presence of stereoscopic information and indicates that the subsequent image data is stereoscopic image data. The stereoscopic image identification information 1605 may be a flag encoded with a fixed-length or variable-length code, but may be a specific symbol string or character string, for example, as long as it can be identified.
[0074]
The stereoscopic information 1604 includes information on the shift vector and the display area position in addition to the stereoscopic image identification information 1605. For example, since long-time stereoscopic vision places a burden on the eyes, the continuous viewing time is limited. In such a case, the viewable time may be recorded together. These pieces of information are referred to as stereoscopic control information and are recorded in an area denoted by reference numeral 1606. A configuration example of the stereoscopic image identification information and the stereoscopic control information is shown in FIG. As shown in FIG. 16B, stereoscopic control information 1606 is recorded following the stereoscopic image identification information 1605.
[0075]
The stereoscopic control information will be specifically described with reference to FIGS. 17 (A) and 17 (B). The shift vector represents the number of pixels to be moved. As shown in FIGS. 17A and 17B, attention is paid to the right-eye image data, and the right-eye image data is moved by four pixels in the direction in which the parallax spreads (right direction). Is 4. The display area 1703 is moved from the original display area by two pixels in the horizontal direction (indicated by an arrow 1701) with the left end of the image as a reference position. This is represented by a vector 1705. This vector component is 2 in the horizontal direction and 0 in the vertical direction (1702), and is represented by (2, 0) as display area information in FIG.
In the above description, the case where the stereoscopic control information is recorded in the management information area associated with the image data has been described as an example. However, the stereoscopic control information may be recorded in a predetermined storage unit included in the display device. .
[0076]
Examples of shift vectors and display area information stored in a predetermined recording area by the parallax amount information recording unit 8 are shown in FIG. As shown in FIG. 18, the parallax amount information recording unit includes stereoscopic control information (shift vector and display area) together with information for identifying stereoscopic image data by attaching file names such as contents A, B, and C. Information) is associated with the file name and is tabulated. For example, the content A has a shift vector (number of pixels) of 4, and display area information (number of pixels) is (2, 0). In FIG. 18, the shift vector is expressed as a one-dimensional vector.
[0077]
In the stereoscopic image display technology according to the present embodiment, the shift vector and the display area information have been described by taking an example in which an integer pixel is a unit. However, the present invention is not limited to this and is not an integer. A pixel unit can also be used as information for displaying a shift vector and display area information.
[0078]
In the stereoscopic image display technique according to the present embodiment, the shift vector may be the number of pixels for moving the right-eye image / left-eye image in the horizontal direction or the amount of change in the stereoscopic projection distance. Therefore, information or a flag indicating whether the shift vector is expressed in the form of the number of pixels to be moved or the projection distance of the stereoscopic view may be recorded in the stereoscopic control information. Further, the example of recording both the shift vector and the display area information as the stereoscopic control information has been described. However, only the shift vector is recorded, and a predetermined predetermined area or an automatically obtained area may be used as the display area. Good. Alternatively, only display area information may be recorded. Further, other information for stereoscopic viewing may be recorded.
[0079]
In the present embodiment, the example in which the stereoscopic image identification information and the stereoscopic control information are recorded at only one place at the head of the image file is shown. However, as long as extraction is possible, it may be recorded in any area of the image file, or may be recorded in the image data. For example, when an image is encoded by MPEG-4, the image data includes encoded data and information (header information) for decoding the encoded data. This header information is provided with an area (user area) that the user can freely use, and stereoscopic image identification information and stereoscopic control information may be recorded in this user area. Further, a plurality of stereoscopic image identification information and stereoscopic control information may exist in the image data. Thereby, for example, the parallax amount can be changed in the middle of the image data.
[0080]
Next, a procedure for reproducing image data by the stereoscopic image display technique according to the third embodiment will be described. Here, it is assumed that the stereoscopic image identification information and the stereoscopic control information shown in FIG. 17 are recorded in the image data.
[0081]
FIG. 19 is a functional block diagram illustrating a configuration example of a stereoscopic image display apparatus that displays stereoscopic image data to which stereoscopic control information is added according to the present embodiment. In addition to the configuration shown in FIG. 1, a stereoscopic information reading unit 9 is provided. The stereoscopic information reading unit 9 reads the stereoscopic image identification information included in the input image data. When it is recognized that the image is for stereoscopic viewing by checking the stereoscopic image identification information, the stereoscopic information reading unit 9 reads the stereoscopic control information (shift vector and display area information), and the stereoscopic information is encoded. If yes, decrypt. If there is a shift vector in the stereoscopic control information, it is output to the parallax amount adjustment information calculation unit 3, and if there is an area display position, it is output to the display area determination unit 4.
[0082]
The parallax amount adjustment information calculation unit 3 calculates the parallax amount adjustment information using the shift vector input from the stereoscopic information reading unit 9 and the parallax amount adjustment data input from the user input unit 2. When the parallax amount is not adjusted by user input, the parallax amount adjustment information is calculated only from the shift vector. The stereoscopic image processing unit 1 generates stereoscopic display image data using the parallax amount adjustment information.
[0083]
The display area determination unit 4 determines a new display area according to the display area information and the parallax amount adjustment information input from the stereoscopic information reading unit 9. When there is no parallax amount adjustment by user input, the parallax amount adjustment information from the stereoscopic information reading unit 9 is used as it is.
[0084]
As described above, when the user repeatedly reproduces the same stereoscopic image data, the adjustment made by the user at the previous reproduction is stored as the stereoscopic control information, and the stereoscopic control information is used at the reproduction. As a result, it is possible to perform reproduction in the same manner as in the previous reproduction without taking the effort of adjusting the amount of parallax for each reproduction.
[0085]
As described above, according to the third embodiment of the present invention, it is possible to save the trouble of adjusting the amount of parallax again when viewing the same content by recording the shift vector related to the image data, that is, the content. An appropriate shift vector can be recorded for each time.
[0086]
Next, a stereoscopic image display technique according to the fourth embodiment of the present invention will be described with reference to the drawings. Adjustment of the appropriate amount of parallax is effective for the user because it can be reproduced in a better state. However, if the adjustment method is incorrect, there are cases where good stereoscopic viewing cannot be achieved. In the present embodiment, in order to avoid this, the maximum value of the shift vector (maximum shift vector) is set, and the amount of parallax that can be adjusted by the user is limited. The maximum shift vector may be included in the image data management area (stereoscopic control information in FIG. 16B), or may be recorded in a predetermined recording area of the display device according to the present embodiment. Good.
[0087]
Examples of description of the maximum shift vector are shown in FIGS. 20A and 20B, the maximum shift vector is described by the same description method as the shift vector described above. That is, it is expressed as the number of dots to be moved or the jump-out distance. FIG. 20A shows an example recorded in image data, and the maximum shift vector is set to 10. FIG. 20B shows an example of recording in a table format in a predetermined storage unit of the display device. The maximum shift vector value is determined for each content. For example, the maximum shift vector is 10 for content A. In the example of FIGS. 20A and 20B, an example including not only the maximum shift vector but also information for other stereoscopic vision is shown, but it is not necessarily required to be included in the same region as those. Absent.
[0088]
FIG. 21 shows a configuration example of a playback apparatus for stereoscopic image data according to this embodiment. As shown in FIG. 21, the stereoscopic information reading unit 9 shown in FIG. 19 is replaced with a maximum shift vector reading unit 10. The maximum shift vector reading unit 10 reads the maximum shift vector from the stereoscopic control information. If the stereoscopic control information is present in the same file as the input image data, the maximum shift vector information is extracted from the file. Further, when the data is recorded in the storage unit independent of the file, the shift vector corresponding to the input image data is read from the storage unit, and the maximum shift vector information is extracted.
[0089]
The extracted maximum shift vector is output to the parallax amount adjustment information calculation unit 3. The parallax amount adjustment information calculation unit 3 determines whether or not the shift vector calculated from the user input is within the range of the maximum shift vector, and if it is within the range, sends the calculated shift vector to the stereoscopic image processing unit 1 as it is. When the shift vector is larger than the maximum shift vector, the maximum shift vector is output as a shift vector. As a result, display using a large shift vector that makes stereoscopic viewing difficult is not performed, and thus excellent stereoscopic display is possible. The maximum shift vector can define both a positive value and a negative value, and the absolute value of the positive value and the absolute value of the negative value are not necessarily equal. For example, when (-7) is defined together with (+10) as the maximum shift vector (one-dimensional vector in this example) for the content A in FIG. 20B, the shift vector calculated from the user input is The value is limited to a value between (−7) and (+10).
[0090]
If the shift vector calculated from the user input falls outside the range of the maximum shift vector, the shift vector may not be used. For example, when the shift vector by the user input is calculated as 20 at the time of reproduction of the content A in FIG. 20B, the shift vector used for display remains the shift vector value “4”. When the display mode can be switched on the display unit 6 and the shift vector by the user input exceeds the maximum shift vector, the entire image may be displayed in the two-dimensional display mode.
[0091]
In the present embodiment, the maximum shift vector reading unit 10 is provided in order to extract the maximum shift vector. However, a function that can execute the same processing is added to the stereoscopic information reading unit 9 shown in FIG. It is also good.
[0092]
According to the fourth embodiment of the present invention, by setting the maximum shift vector, it is possible to prohibit adjustment of the amount of parallax so that stereoscopic viewing becomes difficult, which may impair the content creator's intention. And a good stereoscopic image can be generated.
[0093]
Next, a stereoscopic image display device according to a fifth embodiment of the present invention will be described with reference to the drawings. Image processing, such as image enlargement / reduction, when replaying an image using stereo image data for which a shift vector and display area are set, or when adjusting the parallax amount of a stereo image during image replay When the stereoscopic image data is reproduced using both the shift vector and the number of pixels to be actually shifted may be different. In such a case, the enlargement / reduction process may be performed on the shift vector together with the enlargement / reduction process of the image. This state will be described with reference to FIGS. 22A to 22E.
[0094]
The image data shown in FIG. 22A is input image data, and the image data shown in FIG. 22B is image data that has been subjected to parallax adjustment (1 pixel shift). On the other hand, the image data shown in FIG. 22C is an image obtained by enlarging the input image data (double enlargement in the horizontal direction), and the image data shown in FIG. The image data shown in (C) is obtained by adjusting the amount of parallax (1 pixel shift). When the shift vector is expressed in units of pixels, the enlarged image is adjusted as shown in FIG. 22D. This is the adjustment intended by the user. It will be different. Therefore, the technique according to the present embodiment also performs enlargement / reduction of stereoscopic control information such as a shift vector in accordance with enlargement / reduction of an image.
[0095]
FIG. 23 is a functional block diagram illustrating a configuration example of the stereoscopic image display device according to the present embodiment. FIG. 23 includes an enlargement / reduction processing unit 11 that performs image enlargement / reduction processing and a stereoscopic control information conversion unit 12 in addition to the configuration shown in FIG. 19. When enlargement / reduction is performed, the enlargement / reduction processing unit 11 performs enlargement / reduction processing of the input image data, and the enlarged / reduced image data is output to the image processing unit 1. At that time, the enlargement / reduction processing unit 11 outputs the enlargement / reduction rate to the stereoscopic control information conversion unit 12.
[0096]
Stereoscopic control information attached to the image data is read by the stereoscopic information reading unit 9. The stereoscopic information reading unit 9 in the present embodiment also reads the maximum shift vector in addition to the shift vector and display area information. The read stereoscopic control information is output to the parallax amount adjustment information calculation unit 3 and the display area determination unit 4.
[0097]
The parallax amount adjustment information calculated by the parallax amount adjustment information calculation unit 3 is converted by the stereoscopic control information conversion unit 12 by multiplying the enlargement / reduction ratio of the input image data. For example, when the parallax adjustment information is a one-dimensional vector (−3) and the enlargement / reduction ratio is 2, the parallax adjustment information is converted to (−6). Similarly, the display area information generated by the display area determination unit 4 is converted by the stereoscopic control information conversion unit 12 according to the enlargement / reduction ratio.
[0098]
When the stereoscopic image display technology according to the present embodiment is used, the parallax amount is adjusted according to the enlargement / reduction ratio as shown in FIG. 22E instead of FIG. Can be observed.
[0099]
According to the fifth embodiment of the present invention, the shift vector for adjusting the parallax amount is corrected in accordance with the enlargement / reduction ratio when the stereoscopic image is enlarged / reduced. Even when the stereoscopic image data to be adjusted is enlarged / reduced, a good stereoscopic image can be generated.
[0100]
Next, a stereoscopic image display technique according to a sixth embodiment of the present invention will be described with reference to the drawings. The technique in each of the above embodiments is a technique for storing stereoscopic information with respect to stereoscopic image data stored in a file. By the way, when transmitting stereoscopic image data as broadcast content such as BS broadcast or terrestrial digital broadcast, it is necessary to store and transmit stereoscopic information by a method suitable for broadcasting. For example, it is necessary to be able to acquire such stereoscopic information even when the user changes the channel and starts to receive new broadcast content.
[0101]
In the case of BS broadcasting, terrestrial digital broadcasting, and the like, program arrangement information for managing what programs are being broadcast is multiplexed and broadcasted as shown in FIG. 24A, for example. . The broadcast content includes data of a plurality of contents, and information indicating these contents is program arrangement information. Program arrangement information includes information (PMT: Program Map Table) for separating and identifying video signals and audio signals constituting each content from broadcast content, and program guide information (EIT: Event) describing the contents of each content. Information Table).
[0102]
The program arrangement information is repeatedly multiplexed and transmitted in the broadcast content so that the channel switching in the receiver can be performed at any time. In the stereoscopic image display technique according to the present embodiment, stereoscopic information is included in the program arrangement information.
[0103]
FIG. 24B shows an example in which stereoscopic information is incorporated into program arrangement information. Here, it is assumed that the stereoscopic information includes stereoscopic image identification information and stereoscopic control information as described in the third embodiment of the present invention. That is, the stereoscopic image identification information indicates that the content is a stereoscopic image, and the stereoscopic control information includes information such as a shift vector, display area information, and a maximum shift vector.
[0104]
The receiver uses the stereoscopic image identification information from the broadcast content as described above, determines that the content is a stereoscopic image, and extracts the stereoscopic control information. Then, similarly to the other embodiments described so far, a shift vector or the like is acquired from the stereoscopic control information, and stereoscopic image data is generated and displayed.
[0105]
The information such as the shift vector and the region display position in the stereoscopic control information has been described as recording data when the user changes the stereoscopic effect of the image. However, the broadcast side may set such information. . For example, at the start of broadcasting, the value of the shift vector is set to 0, and the broadcast station can later set the value of the shift vector to a value other than 0 on the broadcast side independently or upon request from the user. It is. Further, according to the intention of the content producer, a maximum shift vector can be set on the broadcast side and included in the stereoscopic control information, and can be used for restriction when adjusting the amount of parallax at the receiver.
[0106]
Further, although the stereoscopic image identification information and the stereoscopic control information have been described as being included in the program arrangement information, these pieces of information may be included in the image data as well as the program arrangement information. For example, when the broadcast content is encoded by MPEG-4, stereoscopic image identification information and stereoscopic control information may be included in the user area as described above. Even in such a case, in order to enable viewing of the content from the middle of the program, stereoscopic image identification information and stereoscopic control information must be periodically included in the image data. The information for decoding may include stereoscopic image identification information and stereoscopic control information.
[0107]
According to the sixth embodiment of the present invention, by including stereoscopic information in program arrangement information such as BS broadcasting and terrestrial digital broadcasting, the amount of parallax can be adjusted and displayed even when broadcasting stereoscopic image content. The position can be changed and parallax amount adjustment can be restricted.
[0108]
Next, a stereoscopic image display technique according to a seventh embodiment of the present invention will be described with reference to the drawings. In the third embodiment, an example is given in which the number of pixels to be moved in the horizontal direction is specified as a shift vector that is information for adjusting the parallax amount. An example of designating the distance, an example of designating the direction and distance to move the image, and an example of designating the parallax angle of the stereoscopic image are shown below.
[0109]
As shown in FIG. 25, regarding the image observed with the right eye, when the pixel located at P1 is moved so as to be located at P2 or P3, the stereoscopic image is viewed on the display surface P1 before the movement. After moving, the pixel that formed an image at the position of (2) forms an image at positions S1 and S2 that are separated from the display surface by a distance | d |. Here, | d | is an amount that can be expressed in units of length equal to cm. d itself takes a positive or negative value. For example, as shown in FIG. 25B, if the image is farther from the display surface, it is a positive value. As shown in FIG. 25C, the image is behind the display surface. If it is far away, the value is negative.
[0110]
d is a quantity that is known or measured under a standard environment, that is, a “standard viewing environment”, with known display characteristics and viewing conditions. In the stereoscopic image display device, an adjustment value of the actually required parallax amount is calculated based on this d. By adopting such a configuration, an observer's impression and influence received from a stereoscopic image displayed as a result of adjusting the parallax amount can be changed between a plurality of stereoscopic image display devices having different display unit characteristics and observation conditions. Thus, it is possible to control the same level. Hereinafter, an example of a method for calculating the parallax amount adjustment value based on d will be described.
[0111]
The state shown in FIG. 25B will be described as an example. As described above, when the right-eye image is horizontally moved so that the right-eye pixel P1 on the display surface is positioned at the position P2 that is separated by the distance w in the horizontal direction, the image is displayed at the position P1 on the display surface before the movement. The image that has been connected is connected at a position S1 that is a distance d away from the display surface. At this time, d is given by the above-described equation (2).
[0112]
Here, all the variables d, L, w, and e used in the expression (2) are values in the standard observation environment. Similarly, the relationship of the above formula (2) is established in any stereoscopic image display device. However, d, L, and w excluding e are usually different from those in the standard observation environment. Here, these variables in an arbitrary stereoscopic image display device are represented as d ′, L ′, and w ′. That is, the following equation (2 ′) is established.
d ′ = (w ′ × L ′) / (e + w ′) (2 ′)
[0113]
e is constant regardless of the observation conditions. Solving for d ′ from Equation (2) and Equation (2 ′) gives the relationship of Equation (3) below. Here, W and W ′ represent the image display width W on the display in the standard observation environment and the image display width W ′ on the display in the arbitrary stereoscopic image display device, respectively, which are (W: It is assumed that the relationship is W ′ = w: w ′).
d ′ = L ′ × W ′ × d / (L × W + (W′−W) × d) (3)
[0114]
If d ′ is obtained as in the equation (3), w ′ is obtained from the relationship of the equation (2 ′). Since w ′ represents the moving distance of the image on the display surface, h ′ is obtained from the following equation (4), where h ′ is the number of pixels that actually need to be moved. Here, p ′ is the pixel pitch in the horizontal direction of the display (distance between adjacent pixels).
h ′ = w ′ / p ′ (4)
[0115]
As described above, if parameters such as L, W, and d in the standard observation environment are known, it is possible to calculate a parallax amount adjustment value necessary for an arbitrary stereoscopic image display device.
[0116]
Among these parameters, L and W are parameters whose values are fixed if a standard observation environment is defined. Therefore, it is not necessary to specify them for each stereoscopic image data, and is stored in advance in each stereoscopic image display device. Just do it. Therefore, in order to adjust the parallax amount, the parameter corresponding to d may be recorded or transmitted in association with the stereoscopic image data. When a parameter corresponding to d is recorded or transmitted, the parameter may be composed of two parameters, i.e., a parameter indicating the positive or negative direction of d and a parameter indicating the absolute value of the distance. You may comprise only one parameter with a positive / negative value.
[0117]
FIGS. 26A and 26B show configuration examples of the stereoscopic information including a parameter corresponding to d. In the example of FIG. 26A, d is expressed by two parameters of a pop-out direction 2601 and a pop-up distance 2602, and in the example of FIG. 26B, d is expressed only by a pop-out vector 2603 including the direction and the distance. ing. The parameter indicating d may be a parameter indicating the protruding position (or retracted position) from the display surface as described above, or a direction perpendicular to the display surface of a pixel at an arbitrary reference position away from the display surface May be a parameter representing the amount of movement.
[0118]
There are two possible cases where d is a value for designating the pop-out amount to be adjusted and a value for designating an allowable maximum value of the pop-out amount. Therefore, when recording or transmitting a parameter corresponding to d, it is determined in advance, or a parameter indicating which value is included in the stereoscopic control information is included separately. It ’s fine. Alternatively, both may be included in the stereoscopic control information.
As another example of information for adjusting the amount of parallax, an example in which a direction and a distance in which an image is moved is specified is shown below.
[0119]
Assuming that there is a relationship of (W: W ′ = w: w ′) as described above, if the value of W is known in advance as the condition of the standard observation environment, if w is given later, W In a stereoscopic image display device having the condition “w”, w ′ can be calculated. Therefore, a parameter indicating w may be specified as information for adjusting the parallax amount. As with d, the parameter indicating w may be composed of two parameters, a value indicating the positive / negative direction of w and a value indicating the absolute value of the distance, or a positive / negative value including both parameters. It may be composed of only one parameter. The direction of w at this time is positive when, for example, the right-eye image is moved in the right direction, and negative when it is moved in the left direction.
As another example of information for adjusting the amount of parallax, an example in which the angle of parallax of a stereoscopic image is specified will be described below.
[0120]
As shown in FIG. 25, when the pixel located at P1 moves so as to be located at P2 or P3, the angle that is parallax θ with respect to the position connecting the images changes to θ1 and θ2. If these angles are defined as values in the standard observation environment, it is possible to calculate the parallax angle θ ′ in an arbitrary stereoscopic image display device from the relationship between L and L ′, the relationship between W and W ′, and the like. . Therefore, a parameter indicating θn may be specified as information for adjusting the parallax amount. The parameter indicating θn may be configured with a parameter indicating an absolute value of an angle as expressed by θ1 or θ2, or θ in a state without parallax as shown in FIG. You may comprise by the parameter (namely, the value showing (theta) 1- (theta) 2- (theta) 2- (theta)) which shows the difference with these (theta) 1 and (theta) 2.
[0121]
Next, how the display area is determined as a result of the parallax amount adjustment will be described. As described above, when the image is moved for adjusting the parallax amount, the width of the image that can be displayed as a stereoscopic image changes, and thus the display area is not uniquely determined. In the third embodiment, an example is given in which the display area is arbitrarily set by the user and recorded as display area information. An example in which flat display image selection information is used instead of the display area information will be described below.
[0122]
The planar display image selection information is information indicating which one of the left-eye image and the right-eye image is used when displaying the stereoscopic image data as a planar image. Since the stereoscopic image data includes the left-eye image and the right-eye image as described above, any one of the images can be displayed as it is as a planar image. Of course, the display may be performed after interpolation processing or correction processing is added.
[0123]
As shown in FIG. 26, the planar display image selection information is included in the stereoscopic control information. The flat display image selection information may record the result set by the user in the same way as the display area information, and is included in the stereoscopic information in advance as shown in the sixth embodiment. Also good.
[0124]
In the stereoscopic image display device, the planar display image selection information is interpreted by the display area determination unit 4 and used to determine the display area of the stereoscopic image on which the parallax amount adjustment is performed. That is, the display area determination unit 4 adjusts the parallax amount so as to display the image specified by the planar display image selection information in the stereoscopic control information, that is, the entire image for the left eye or the image for the right eye. The display area of the stereoscopic image is determined. This operation can be applied to the stereoscopic image display devices (FIGS. 1, 13, 15, 19, 21, and 23) having the configurations described in all the embodiments.
[0125]
FIG. 27 shows the display state on the display unit 6 when the display area is determined as described above. FIG. 27 shows a state where (a) does not adjust the parallax amount, and (b) and (c) both show a state where the right-eye image is shifted rightward with respect to the left-eye image. is there. As a result of the shift, the horizontal positions of the left-eye image and the right-eye image do not match as shown in the figure. The area where both the left-eye image and the right-eye image (binocular image) exist is an area where stereoscopic display can be performed as it is. An area where only one of the left-eye image and the right-eye image (one-eye image) exists is an area that cannot be stereoscopically displayed as it is. The one-eye image region may be a flat image by showing the same image to both eyes of the observer, or may be subjected to some image processing such as generating or interpolating the other one-eye image based on the one-eye image. 3D images may be used. At this time, the display area is determined so as to coincide with the position of the image specified by the planar display image selection information. FIG. 27B shows the relationship between the positions of the left and right images and the display area in an example in which “left-eye image” is specified in the flat display image selection information, and FIG. 27C shows the flat display image selection. The relationship between the position of the left and right images and the display area in an example in which “image for right eye” is designated by the information is shown.
[0126]
By determining the display area as described above, the following effects are obtained. That is, as described above, in the case of performing planar display in the stereoscopic image display device, display is performed using only the left-eye image or the right-eye image according to the planar display image selection information. For example, when “left eye image” is specified in the planar display image selection information, the entire left eye image is displayed. At this time, even if the display mode is switched to the stereoscopic image display, the display area is selected so that the entire left eye image is displayed in the same manner. The position of the left-eye image appears to be fixed, and as a result, it is possible to reduce the uncomfortable feeling of display mode switching.
[0127]
In the stereoscopic image display apparatus capable of switching between the stereoscopic display and the planar display as described above, the display unit 6 is a display device that includes the stereoscopic display mode and the planar display mode and can switch between them. Switching between the stereoscopic display mode and the planar display mode may be switched by a user of the stereoscopic image display device by operating a button or the like, and stereoscopic information is repeatedly transmitted as described in the sixth embodiment. In the case, a parameter for switching between stereoscopic display and planar display may be included in the stereoscopic control information. Further, the configuration is such that the stereoscopic display and the planar display are switched depending on the presence or absence of the stereoscopic image identification information itself, that is, the stereoscopic vision information itself. The display mode may be switched for the entire display screen, or may be switched in units of arbitrary display ranges.
[0128]
Next, a stereoscopic image recording technique according to the eighth embodiment of the present invention will be described. In the third embodiment or the seventh embodiment of the present invention, an example is given in which information for adjusting the parallax amount is specified. The stereoscopic image recording technique according to the present embodiment is one form of such a recording method including stereoscopic information, and is a recording method for recording a stereoscopic image and stereoscopic information on a digital video tape, and a recording apparatus therefor. .
[0129]
First, the track format of the digital video tape recorded by the stereoscopic image recording technique according to this embodiment will be described. A generally used digital VTR employs a method called helical scan. As shown in FIG. 28, in this system, data is recorded on discontinuous tracks on the tape. FIG. 28 shows this state. A plurality of tracks 2801 are formed on the tape 2800, and one stereoscopic image is also divided into a plurality of tracks 2801 and recorded. The running direction of the tape is from the right to the left in FIG. 28 (arrow direction), and the leftmost track is scanned from below to above, and then the track on the right is scanned from below to above.
[0130]
FIG. 29 is a diagram illustrating a configuration example of one track 2801, and is a diagram illustrating a configuration example of a track format of a digital VTR recorded by the stereoscopic image recording technique according to the present embodiment. The track 2801 includes an ITI (Insert and Track Information) area 2901 for ensuring after-recording, an audio recording area 2902 in which data relating to audio is recorded, an image recording area 2903 in which data relating to the image is recorded, a time code, etc. And a subcode recording area 2904 in which accompanying information is recorded. In the image recording area 2903, not only the stereoscopic image itself but also accompanying information related to the stereoscopic image can be recorded. Similarly, in the voice recording area 2902, not only the voice itself but also accompanying information related to the voice can be recorded. In addition to these two, incidental information can be recorded in the subcode recording area 2904 as described above. In addition, there is a margin between the areas, so that after-recording is possible.
[0131]
FIG. 30 is an enlarged view of the image recording area 2903. The image recording area 2903 includes a preamble 3001 in which a synchronization pattern and the like are recorded, VAUX (Video Auxiliary data) α3002 and VAUXβ3004 in which incidental information about the image is recorded, and an image encoded data recording area in which image encoded data is recorded. 3003, an error correction code 3005, and a postamble 3006 having a function for earning a margin. In the stereoscopic image recording technique according to the present embodiment, the area in which the accompanying information about the image is recorded is divided into two areas, VAUXα3002 and VAUXβ3004. Hereinafter, these two areas are collectively referred to as a VAUX area.
Although not shown, the audio recording area 2902 is also provided with an AAUX (Audio Auxiliary Data) area as an area for recording accompanying information related to audio.
[0132]
Subsequently, the recording apparatus according to the present embodiment will be described with reference to FIG. FIG. 31 is a block diagram showing the configuration of the recording apparatus of this embodiment. As shown in FIG. 31, the recording apparatus includes a stereoscopic image encoding unit 3101, an audio encoding unit 3102, an accompanying information encoding unit 3103, a multiplexing unit 3104, and a tape recording unit 3105.
[0133]
The stereoscopic image encoding unit 3101 receives stereoscopic image data as input. As described with reference to the first embodiment, the stereoscopic image data is image data that is generated based on a plurality of images and is capable of stereoscopic display. The stereoscopic image encoding unit 3101 encodes the stereoscopic image data by a predetermined method, and outputs stereoscopic image encoded data.
[0134]
The speech encoding unit 3102 receives speech data as input, encodes the speech data, and outputs speech encoded data.
The accompanying information encoding unit 3103 includes stereoscopic information regarding the stereoscopic image data, that is, stereoscopic image identification information for indicating that the image is a stereoscopic image, a shift vector for adjusting the amount of parallax or a pop-up direction and distance, display The accompanying information including the plane display image selection information for determining the region is encoded, and the accompanying information encoded data is output. Examples of the encoding method here include conversion to a fixed-length numerical value corresponding to each piece of information.
[0135]
The multiplexing unit 3104 receives stereoscopic image encoded data, audio encoded data, and accompanying information encoded data as inputs, multiplexes them into a format that can be recorded on a tape, and outputs tape recording data.
The tape recording unit 3105 records tape recording data on a tape that is a recording medium in accordance with the format shown above.
[0136]
Subsequently, the multiplexing unit 3104 will be described in more detail with reference to FIG. As shown in FIG. 32, the multiplexing unit 3104 includes an accompanying information encoded data distribution unit 3205, an image recording area data synthesis unit 3201, an audio recording area data synthesis unit 3202, and a subcode recording area data synthesis. A section 3203 and a track composition section 3204.
[0137]
The accompanying information encoded data distribution unit 3205 receives the accompanying information encoded data as input, and determines whether to record these in the VAUX area, AAUX area, or subcode area. In the present embodiment, the encoded data related to the stereoscopic image identification information and the flat display image selection information is allocated to the VAUX area, and the encoded data related to the shift vector and the pop-out direction / distance is allocated to the subcode area.
[0138]
The image recording area data synthesis unit 3201 receives the stereoscopic image encoded data output from the stereoscopic image encoding unit 3101 and the accompanying information encoded data for VAUX area output from the accompanying information encoded data distribution unit 3205. The accompanying information encoded data and stereoscopic image encoded data are synthesized so as to have the format shown in FIG. 30, and image recording area data is output.
[0139]
The voice recording area data synthesizing unit 3202 receives the audio encoded data output from the audio image encoding unit 3102 and the AAUX area auxiliary information encoded data output from the auxiliary information encoded data distribution unit 3205, and These are synthesized so as to have a predetermined format, and data for the voice recording area is output.
[0140]
The subcode recording area data combining unit 3203 receives the subcode area accompanying information encoded data output from the accompanying information encoded data distribution unit 3205 and combines them into a predetermined format to record the subcode. Output area data.
[0141]
The track synthesis unit 3204 receives the image recording area data, the audio recording area data, and the subcode recording area data as inputs, and synthesizes them so as to have the format shown in FIG. Recording data is output with a margin between each region.
[0142]
In the present embodiment, the audio recording area, the image recording area, and the subcode recording area are recorded simultaneously. However, it is not always necessary to record them simultaneously, for example, only the audio recording area and the image recording area. Can be recorded in advance, and the subcode recording area can be recorded by post-recording. Alternatively, even if all are recorded at the same time, each area can be individually updated by post-recording.
[0143]
Information such as the shift vector for adjusting the amount of parallax and the pop-out direction / distance may be determined not only at the time of shooting, but also at the editing stage after shooting depending on the final content. There is. For example, a default value may be recorded at the time of shooting, and after confirming the finish at the editing stage, information indicating the shift vector and the pop-out direction / distance may be post-recorded. As default values of the shift vector and the pop-out direction / distance, for example, all are set to 0, that is, the parallax amount is not adjusted. Further, as an adjustment method in the editing stage, for example, as in the stereoscopic image display apparatus shown in the third embodiment, the stereoscopic image recording apparatus further performs image processing so that the input image can be stereoscopically viewed. Means for receiving input from the user, means for calculating adjustment information on the amount of parallax from the user's input, and a region that is actually displayed on a display from a stereoscopic video image processed using the adjustment information on the amount of parallax And a means for displaying the determined area. In the stereoscopic image recording apparatus, the user may adjust the parallax amount while confirming the display of the stereoscopic image. According to the recording method and the recording apparatus of the present embodiment, the information indicating the shift vector and the jumping direction / distance is recorded in the subcode area where post-recording is easy, so that it can be easily changed even at the editing stage. is there.
[0144]
In this embodiment, information indicating the shift vector and the pop-out direction / distance is recorded in the subcode area. However, from the viewpoint that these are also incidental information related to the image, all of them are collectively recorded in the VAUX area. is there. For this purpose, the operation of the accompanying information encoded data distribution unit 3205 in FIG. 32 is changed to output all the encoded data of the above information toward the VAUX area. In this case, the ease of post-recording is lost, but there is an advantage that handling is simplified because the accompanying information about the image is gathered in one place. For example, when making a copy on a medium having a different recording format, if only a copy of the image recording area is made, all information relating to the image can be acquired, and there is no need to handle the subcode area. In order to avoid overwriting by after-recording, a method of recording in both the subcode area and the VAUX area is also possible.
[0145]
Alternatively, if the information cannot be stored in these areas due to the size restrictions of the subcode area and the VAUX area, the information that cannot be stored among the information related to the stereoscopic image is recorded in the AAUX area. Is also possible.
[0146]
Note that the configuration of the present embodiment also conforms to a digital VTR system that is widely used for home use, except for a portion specific to a stereoscopic image. For this reason, among the accompanying information recorded in the present embodiment, accompanying information specific to the stereoscopic image, that is, stereoscopic image identification information, flat display image selection information, shift vector, information about the pop-out direction and distance, and the like are used. If the recording is recorded in the extended area in which the extension is allowed in this format, the planar image and the stereoscopic image can be recorded on the same tape.
[0147]
In the description of the stereoscopic image recording method of the present invention, recording is performed on a digital video tape as a recording medium based on the configuration shown in FIGS. 28 and 31, but in general, a recording area included in an image processing apparatus or terminal, or It is also possible to record in a recording area of an IC memory mounted on a digital video tape cassette. In this case, similarly to the description so far, the recording area includes an audio recording area, an image recording area, a subcode recording area, and the like, and accompanying information such as stereoscopic information can be recorded in these areas. .
As mentioned above, although demonstrated along this Embodiment, it cannot be overemphasized that this invention is not limited to these examples, and various deformation | transformation are possible.
[0148]
【The invention's effect】
As described above, according to the present invention, it is possible to display a good stereoscopic image with little discomfort in the stereoscopic image with the parallax amount adjusted.
In addition, when displaying a stereoscopic image with an adjusted amount of parallax, the impression and influence of the observer, such as how the image pops out and the fatigue level when watching for a long time, are compared between displays with different screen sizes. So that it doesn't differ greatly.
[0149]
Also, when displaying a stereoscopic image with an adjusted amount of parallax, the display area is selected so that the entire left-eye image or right-eye image is displayed, thereby switching the display mode between stereoscopic display and planar display. In this case, the range of images displayed in both modes is not shifted, and the display mode can be switched without a sense of incongruity.
[0150]
Furthermore, according to the present invention, it is possible to improve the convenience of editing by recording information related to adjustment of the amount of parallax in a subcode area where post-recording is easy.
Furthermore, according to the present invention, it is possible to simplify handling by collectively recording stereoscopic control information including information related to adjustment of the amount of parallax in the image recording area.
[0151]
Further, according to the present invention, it is possible to prevent data loss due to overwriting at the time of post-recording by recording stereoscopic control information including information related to adjustment of the parallax amount in both the subcode area and the image recording area. Become.
[Brief description of the drawings]
FIG. 1 is a functional block diagram illustrating a configuration example of a stereoscopic image display device according to a first embodiment of the present invention.
FIGS. 2A and 2B generate stereoscopic image data from left-eye image data and right-eye image data in the stereoscopic image display device according to the first embodiment of the present invention. It is a figure which shows an example.
FIG. 3 is a diagram illustrating an example of corresponding pixels of left-eye image data and right-eye image data when performing stereoscopic viewing in the stereoscopic image display device according to the first embodiment of the present invention.
FIG. 4 is a diagram illustrating an example of image movement when the parallax amount is adjusted in the stereoscopic image display device according to the first embodiment of the present invention;
FIG. 5 is a diagram illustrating a correspondence example between dot data of RGB three primary colors and pixels in the stereoscopic image display device according to the first embodiment of the present invention.
FIG. 6 is a diagram illustrating an example of moving one dot of RGB three primary color dot data when moving an image in the stereoscopic image display apparatus according to the first embodiment of the present invention.
FIG. 7 is a diagram illustrating an example of moving two dots of RGB three primary color dot data when moving an image in the stereoscopic image display device according to the first embodiment of the present invention.
FIGS. 8A to 8C are diagrams illustrating examples of moving an image without shifting the center when adjusting the amount of parallax in the stereoscopic image display device according to the first embodiment of the present invention. It is.
FIGS. 9A to 9C are diagrams showing examples when image data is moved for parallax adjustment in the stereoscopic image display device according to the first embodiment of the present invention. is there.
FIG. 10 is a region to be interpolated when image data is moved for requesting the amount of parallax in the stereoscopic image display device according to the first embodiment of the present invention, and the region is determined so as not to shift the center after the movement. It is a figure which shows the example of.
FIGS. 11A and 11B are diagrams illustrating an example of a method of switching a display in the stereoscopic image display device according to the first embodiment of the present invention between three-dimensional display and two-dimensional display. .
FIGS. 12A to 12D are diagrams illustrating an example of interpolating image data in the stereoscopic image display apparatus according to the first embodiment of the present invention.
FIG. 13 is a functional block diagram illustrating a configuration example of a stereoscopic image display device according to a second embodiment of the present invention.
FIGS. 14 (A) to (C) perform parallax adjustment in the second embodiment of the present invention, and when there is no pixel value in the image display area, the image is displayed in that area. It is a figure which shows the example to produce | generate.
FIG. 15 is a functional block diagram illustrating a configuration example of a stereoscopic image display device according to a third embodiment of the present invention.
FIGS. 16A and 16B are diagrams illustrating an example of a method of storing stereoscopic control information for performing stereoscopic viewing in the stereoscopic image display device according to the third embodiment of the present invention. .
FIGS. 17A and 17B are descriptions when stereoscopic control information for performing stereoscopic viewing in a stereoscopic image display device according to the third embodiment of the present invention is stored in image data. It is a figure which shows the example of a method.
FIG. 18 is a diagram illustrating an example of a description method when recording stereoscopic control information for performing stereoscopic vision in the stereoscopic image display device according to the third embodiment of the present invention.
FIG. 19 is a functional block diagram illustrating a configuration example of a stereoscopic image display apparatus that displays stereoscopic image data accompanied by stereoscopic control information.
FIGS. 20A and 20B are diagrams illustrating an example in which the maximum shift vector in the stereoscopic image display apparatus according to the fourth embodiment of the present invention is included in the stereoscopic control information and recorded.
FIG. 21 is a functional block diagram illustrating a configuration example of a stereoscopic image display device that displays stereoscopic image data having maximum shift vector information in a stereoscopic image display device according to a fourth embodiment of the present invention;
22 (A) to 22 (E), the parallax amount adjustment is performed when stereoscopic image data is displayed in an enlarged or reduced manner in the stereoscopic image display device according to the fifth embodiment of the present invention. It is a figure which shows the example of a movement of the image data at the time of performing.
FIG. 23 is a functional block diagram illustrating a configuration example of a stereoscopic image display device according to a fifth embodiment of the present invention.
FIGS. 24A and 24B are diagrams showing a storage example when transmitting stereoscopic control information in a stereoscopic image display apparatus according to the sixth embodiment of the present invention using a transmission medium.
FIGS. 25A to 25C are diagrams showing calculation examples for calculating the pop-up distance in the stereoscopic image display device according to the third embodiment of the present invention.
FIG. 26 is a diagram showing a configuration example of stereoscopic information according to a seventh embodiment of the present invention.
FIG. 27 is a diagram showing an example of selecting an image display area according to a seventh embodiment of the present invention.
FIG. 28 is a diagram illustrating a recording state of a track on a digital video tape.
FIG. 29 is a diagram showing a track format of a digital VTR.
FIG. 30 is a diagram illustrating a data configuration in an image recording area of each track.
FIG. 31 is a diagram showing a configuration of a stereoscopic image recording apparatus according to an eighth embodiment of the present invention.
FIG. 32 is a diagram illustrating a configuration of a multiplexing unit of a stereoscopic image recording apparatus according to an eighth embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Stereo image processing part, 2 ... User input part, 3 ... Parallax amount adjustment information calculation part, 4 ... Display area determination part, 5 ... Image interpolation part, 6 ... Display part, 7 ... Image data generation part, 8 ... Stereo Viewing information recording unit, 9 ... stereoscopic information reading unit, 10 ... maximum shift vector reading unit, 11 ... enlargement / reduction processing unit, 2601 ... projection direction, 2602 ... projection distance, 2603 ... projection vector, 2604 ... planar display image selection Information 3002 ... VAUXα, 3003 ... Image encoded data recording area, 3004 ... VAUXβ, 3103 ... Accompanying information encoding unit, 3104 ... Multiplexing unit, 3205 ... Accompanying information encoded data distribution unit.

Claims (12)

左右の画像を１ラインごと交互に短冊状に並べて表示する方式を用い、複数の視点に対応した複数の画像に基づいて立体画像を表示する立体画像表示装置であって、視差量の変更を指示する情報に基づいて、視差量を調整しない状態からの画像の移動量を示す視差量調整情報を前回の移動の際の立体視表示の中心の表示領域の中心からのずれ情報を用い、立体視表示の中心の表示領域の中心からのずれが小さくなるように算出する視差量調整情報算出部と、前記視差量調整情報に基づいて、複数の視点に対応した複数の画像から構成される立体視可能な立体視用画像を生成する画像処理部と、前記複数の画像中の所定の領域を補間する画像補間部と、を備える立体画像表示装置において、
前記画像補間部は、前記立体視用画像を構成する複数画像間で対応する画素の存在しない領域がある場合、該領域のみを、他の画素値を用いて補間し、
前記画像処理部は、前記視差量調整情報算出部で算出された視差量調整情報に基づいて、前記立体視用画像を構成する複数画像間で対応する画素の存在しない領域の幅が立体視用画像内の左右端間で略均等となるように、立体視用画像を生成することを特徴とする立体画像表示装置。A stereoscopic image display device that displays a stereoscopic image based on a plurality of images corresponding to a plurality of viewpoints, using a method of displaying left and right images alternately in a strip shape for each line, and instructing to change the amount of parallax to based on the information, using the deviation information from the center of the display area of the center of the stereoscopic display during the movement amount to move the previous parallax amount adjustment information indicating the image from the state not adjusted parallax amount, the stereoscopic A parallax amount adjustment information calculation unit that calculates the deviation of the center of the display from the center of the display area, and a stereoscopic view including a plurality of images corresponding to a plurality of viewpoints based on the parallax amount adjustment information. In a stereoscopic image display device comprising: an image processing unit that generates a possible stereoscopic image; and an image interpolation unit that interpolates a predetermined region in the plurality of images.
When there is a region where there is no corresponding pixel between a plurality of images constituting the stereoscopic image, the image interpolation unit interpolates only the region using other pixel values,
Based on the parallax amount adjustment information calculated by the parallax amount adjustment information calculation unit, the image processing unit determines that the width of a region where there is no corresponding pixel among a plurality of images constituting the stereoscopic image is for stereoscopic viewing. A stereoscopic image display device that generates a stereoscopic image so as to be substantially uniform between right and left ends in an image. 左右の画像を１ラインごと交互に短冊状に並べて表示する方式を用い、複数の視点に対応した複数の画像に基づいて立体画像を表示する立体画像表示装置であって、視差量の変更を指示する情報に基づいて、視差量を調整しない状態からの画像の移動量を示す視差量調整情報を前回の移動の際の立体視表示の中心の表示領域の中心からのずれ情報を用い、立体視表示の中心の表示領域の中心からのずれが小さくなるように算出する視差量調整情報算出部と、前記視差量調整情報に基づいて、複数の視点に対応した複数の画像から構成される立体視可能な立体視用画像を生成する画像処理部と、前記複数の画像中の所定の領域に新たな画像を生成する画像生成部と、を備える立体画像表示装置において、
前記画像生成部は、前記立体視用画像を構成する複数画像間で対応する画素の存在しない領域がある場合、該領域のみに、新たな画像を生成し、
前記画像処理部は、前記視差量調整情報算出部で算出された視差量調整情報に基づいて、前記立体視用画像を構成する複数画像間で対応する画素の存在しない領域の幅が立体視用画像内の左右端間で略均等となるように、立体視用画像を生成することを特徴とする立体画像表示装置。A stereoscopic image display device that displays a stereoscopic image based on a plurality of images corresponding to a plurality of viewpoints, using a method of displaying left and right images alternately in a strip shape for each line, and instructing to change the amount of parallax to based on the information, using the deviation information from the center of the display area of the center of the stereoscopic display during the movement amount to move the previous parallax amount adjustment information indicating the image from the state not adjusted parallax amount, the stereoscopic A parallax amount adjustment information calculation unit that calculates the deviation of the center of the display from the center of the display area, and a stereoscopic view including a plurality of images corresponding to a plurality of viewpoints based on the parallax amount adjustment information. In a stereoscopic image display device comprising: an image processing unit that generates a stereoscopic image that is possible; and an image generation unit that generates a new image in a predetermined region of the plurality of images.
The image generation unit generates a new image only in the region where there is no corresponding pixel between a plurality of images constituting the stereoscopic image.
Based on the parallax amount adjustment information calculated by the parallax amount adjustment information calculation unit, the image processing unit determines that the width of a region where there is no corresponding pixel among a plurality of images constituting the stereoscopic image is for stereoscopic viewing. A stereoscopic image display device that generates a stereoscopic image so as to be substantially uniform between right and left ends in an image. さらに、前記立体視用画像を表示する際の表示用領域を判定する表示領域判定部であって、前記立体視用画像を表示する表示画面領域上の水平方向における中心位置と前記立体視用画像上の水平方向における中心位置とのずれが小さくなるように、前記表示領域の判定を行う表示領域判定部を有することを特徴とする請求項１又は２に記載の立体画像表示装置。  Further, a display area determination unit that determines a display area when displaying the stereoscopic image, the horizontal position on the display screen area displaying the stereoscopic image and the stereoscopic image 3. The stereoscopic image display device according to claim 1, further comprising a display area determination unit configured to determine the display area so that a deviation from the center position in the upper horizontal direction is reduced. 前記視差量調整情報算出部は、前記視差量の変更量を制限する機能を有することを特徴とする請求項１から３までのいずれか１項に記載の立体画像表示装置。  The stereoscopic image display apparatus according to any one of claims 1 to 3, wherein the parallax amount adjustment information calculation unit has a function of limiting a change amount of the parallax amount. さらに、少なくとも前記複数の画像が立体視用の画像であることを示す立体画像識別情報と前記視差量の変更を示す情報とを含む立体視情報を記録する立体視情報記録部を有することを特徴とする請求項１から４までのいずれか１項に記載の立体画像表示装置。  And a stereoscopic information recording unit that records stereoscopic information including at least stereoscopic image identification information indicating that the plurality of images are stereoscopic images and information indicating the change in the amount of parallax. The stereoscopic image display device according to any one of claims 1 to 4. さらに、少なくとも前記複数の画像が立体視用の画像であることを示す立体画像識別情報と前記表示用領域の情報とを含む立体視情報を記録する立体視情報記録部を有することを特徴とする請求項１から４までのいずれか１項に記載の立体画像表示装置。  And a stereoscopic information recording unit that records stereoscopic information including stereoscopic image identification information indicating that at least the plurality of images are stereoscopic images and information on the display area. The three-dimensional image display apparatus of any one of Claim 1 to 4. さらに、少なくとも前記複数の画像が立体視用の画像であることを示す立体画像識別情報と前記視差量の変更の範囲を示す情報とを含む立体視情報を記録する立体視情報記録部を有することを特徴とする請求項１から４までのいずれか１項に記載の立体画像表示装置。  And a stereoscopic information recording unit that records stereoscopic information including at least stereoscopic image identification information indicating that the plurality of images are stereoscopic images and information indicating a range of change in the parallax amount. The three-dimensional image display device according to claim 1, wherein さらに、前記複数の画像を拡大あるいは縮小する拡大・縮小処理部と、立体視制御情報を変換する立体視制御情報変換部とを備え、
前記立体視制御情報変換部は、前記複数の画像が前記拡大・縮小処理部において拡大・縮小された拡大・縮小率に基づいて、前記視差量の変更を示す情報を変換することを特徴とする請求項１から７までのいずれか１項に記載の立体画像表示装置。Furthermore, an enlargement / reduction processing unit that enlarges or reduces the plurality of images, and a stereoscopic control information conversion unit that converts stereoscopic control information,
The stereoscopic control information conversion unit converts the information indicating the change in the amount of parallax based on an enlargement / reduction ratio at which the plurality of images are enlarged / reduced by the enlargement / reduction processing unit. The three-dimensional image display apparatus of any one of Claim 1-7. さらに、前記複数の画像を拡大あるいは縮小する拡大・縮小処理部と、立体視制御情報を変換する立体視制御情報変換部とを備え、
前記立体視制御情報変換部は、前記複数の画像が前記拡大・縮小処理部において拡大・縮小された拡大・縮小率に基づいて、前記表示用領域の情報を変換することを特徴とする請求項１から７までのいずれか１項に記載の立体画像表示装置。Furthermore, an enlargement / reduction processing unit that enlarges or reduces the plurality of images, and a stereoscopic control information conversion unit that converts stereoscopic control information,
The stereoscopic viewing control information conversion unit converts the information of the display area based on an enlargement / reduction ratio at which the plurality of images are enlarged / reduced by the enlargement / reduction processing unit. The stereoscopic image display device according to any one of 1 to 7. さらに、前記複数の画像を拡大あるいは縮小する拡大・縮小処理部と、立体視制御情報を変換する立体視制御情報変換部とを備え、
前記立体視制御情報変換部は、前記複数の画像が前記拡大・縮小処理部において拡大・縮小された拡大・縮小率に基づいて、前記視差量の変更の範囲を示す情報を変換することを特徴とする請求項１から７までのいずれか１項に記載の立体画像表示装置。Furthermore, an enlargement / reduction processing unit that enlarges or reduces the plurality of images, and a stereoscopic control information conversion unit that converts stereoscopic control information,
The stereoscopic control information conversion unit converts information indicating a range of change in the parallax amount based on an enlargement / reduction ratio at which the plurality of images are enlarged / reduced by the enlargement / reduction processing unit. The stereoscopic image display device according to any one of claims 1 to 7. 左右の画像を１ラインごと交互に短冊状に並べて表示する方式を用い、複数の視点に対応した複数の画像に基づいて立体画像を表示する立体画像表示方法であって、視差量の変更を指示する情報に基づいて、視差量を調整しない状態からの画像の移動量を示す視差量調整情報を前回の移動の際の立体視表示の中心の表示領域の中心からのずれ情報を用い、立体視表示の中心の表示領域の中心からのずれが小さくなるように算出する視差量調整情報算出ステップと、前記視差量調整情報に基づいて、複数の視点に対応した複数の画像から構成される立体視可能な立体視用画像を生成する画像処理ステップと、前記複数の画像中の所定の領域を補間する画像補間ステップと、を有する立体画像表示方法において、
前記画像補間ステップは、前記立体視用画像を構成する複数画像間で対応する画素の存在しない領域がある場合、該領域のみを、他の画素値を用いて補間し、
前記画像処理ステップは、前記視差量調整情報算出ステップで算出された視差量調整情報に基づいて、前記立体視用画像を構成する複数画像間で対応する画素の存在しない領域の幅が立体視用画像内の左右端間で略均等となるように、立体視用画像を生成することを特徴とする立体画像表示方法。A stereoscopic image display method for displaying a stereoscopic image based on a plurality of images corresponding to a plurality of viewpoints using a method of displaying left and right images alternately in a strip shape for each line, and instructing to change the amount of parallax to based on the information, using the deviation information from the center of the display area of the center of the stereoscopic display during the movement amount to move the previous parallax amount adjustment information indicating the image from the state not adjusted parallax amount, the stereoscopic A parallax amount adjustment information calculation step for calculating a deviation of the center of the display from the center of the display area, and a stereoscopic view composed of a plurality of images corresponding to a plurality of viewpoints based on the parallax amount adjustment information. In a stereoscopic image display method comprising: an image processing step for generating a possible stereoscopic image; and an image interpolation step for interpolating a predetermined region in the plurality of images.
In the image interpolation step, when there is a region where a corresponding pixel does not exist between a plurality of images constituting the stereoscopic image, only the region is interpolated using another pixel value,
In the image processing step, based on the parallax amount adjustment information calculated in the parallax amount adjustment information calculation step, a width of a region where a corresponding pixel does not exist between a plurality of images constituting the stereoscopic image is A stereoscopic image display method, wherein a stereoscopic image is generated so as to be substantially uniform between right and left ends in an image. 左右の画像を１ラインごと交互に短冊状に並べて表示する方式を用い、複数の視点に対応した複数の画像に基づいて立体画像を表示する立体画像表示方法であって、視差量の変更を指示する情報に基づいて、視差量を調整しない状態からの画像の移動量を示す視差量調整情報を前回の移動の際の立体視表示の中心の表示領域の中心からのずれ情報を用い、立体視表示の中心の表示領域の中心からのずれが小さくなるように算出する視差量調整情報算出ステップと、前記視差量調整情報に基づいて、複数の視点に対応した複数の画像から構成される立体視可能な立体視用画像を生成する画像処理ステップと、前記複数の画像中の所定の領域に新たな画像を生成する画像生成ステップと、を有する立体画像表示方法において、
前記画像生成ステップは、前記立体視用画像を構成する複数画像間で対応する画素の存在しない領域がある場合、該領域のみに、新たな画像を生成し、
前記画像処理ステップは、前記視差量調整情報算出ステップで算出された視差量調整情報に基づいて、前記立体視用画像を構成する複数画像間で対応する画素の存在しない領域の幅が立体視用画像内の左右端間で略均等となるように、立体視用画像を生成することを特徴とする立体画像表示方法。A stereoscopic image display method for displaying a stereoscopic image based on a plurality of images corresponding to a plurality of viewpoints using a method of displaying left and right images alternately in a strip shape for each line, and instructing to change the amount of parallax to based on the information, using the deviation information from the center of the display area of the center of the stereoscopic display during the movement amount to move the previous parallax amount adjustment information indicating the image from the state not adjusted parallax amount, the stereoscopic A parallax amount adjustment information calculation step for calculating a deviation of the center of the display from the center of the display area, and a stereoscopic view composed of a plurality of images corresponding to a plurality of viewpoints based on the parallax amount adjustment information. In a stereoscopic image display method comprising: an image processing step for generating a possible stereoscopic image; and an image generation step for generating a new image in a predetermined region in the plurality of images.
The image generation step generates a new image only in the region where there is no corresponding pixel between a plurality of images constituting the stereoscopic image.
In the image processing step, based on the parallax amount adjustment information calculated in the parallax amount adjustment information calculation step, a width of a region where a corresponding pixel does not exist between a plurality of images constituting the stereoscopic image is A stereoscopic image display method, wherein a stereoscopic image is generated so as to be substantially uniform between right and left ends in an image.

Images