JP5415217B2 - 三次元映像処理装置 - Google Patents

三次元映像処理装置 Download PDF

Info

Publication number
JP5415217B2
JP5415217B2 JP2009231003A JP2009231003A JP5415217B2 JP 5415217 B2 JP5415217 B2 JP 5415217B2 JP 2009231003 A JP2009231003 A JP 2009231003A JP 2009231003 A JP2009231003 A JP 2009231003A JP 5415217 B2 JP5415217 B2 JP 5415217B2
Authority
JP
Japan
Prior art keywords
picture
offset value
offset
video
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009231003A
Other languages
English (en)
Other versions
JP2011082631A (ja
Inventor
憲吾 西村
陽平 池内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2009231003A priority Critical patent/JP5415217B2/ja
Priority to PCT/JP2010/004998 priority patent/WO2011039927A1/ja
Priority to CN201410482507.5A priority patent/CN104243957B/zh
Priority to CN201080009975.0A priority patent/CN102342121B/zh
Publication of JP2011082631A publication Critical patent/JP2011082631A/ja
Priority to US13/192,946 priority patent/US8941718B2/en
Application granted granted Critical
Publication of JP5415217B2 publication Critical patent/JP5415217B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、三次元映像処理装置及び三次元映像処理方法に関し、特に、三次元映像を示す映像データと、当該映像データの制御情報とを含む映像信号を処理する三次元映像処理装置に関する。
視聴者が立体的に感じる二次元映像である三次元映像を表示する三次元映像表示装置が知られている（例えば、特許文献１参照）。
この三次元映像表示装置は、互いに視差を有する右眼用の画像と左眼用の画像とを表示することにより、視聴者が立体的に感じる画像を表示する。例えば、三次元映像表示装置は、右眼用の画像と左眼用の画像とを１フレームごとに交互に表示する。また、視聴者は、１フレームごとに右眼と左眼とのどちらが見えるかが切り替わる眼鏡を用いる。これにより、視聴者は、右眼用の画像は右眼でのみ、左眼用の画像は左眼でのみ見ることができるので、三次元映像表示装置が表示する画像を三次元として認識できる。
特開２００５−２６７６５５号公報
しかしながら、このような三次元映像を処理する三次元映像処理装置には、ユーザにとって、より良好な三次元映像を生成できることが望まれている。
そこで、本発明は、ユーザにとって、より良好な三次元映像を提供できる三次元映像処理装置及び三次元映像処理方法を提供することを目的とする。
上記目的を達成するために、本発明に係る三次元映像処理装置は、三次元映像を示す映像データと、当該映像データの制御情報とを含む映像信号を処理する三次元映像処理装置であって、前記制御情報から、前記映像データに含まれるピクチャに対応付けられ、当該ピクチャの少なくとも一部の深さ方向の表示位置を調整するために当該一部をずらす量であるオフセット値を抽出する抽出部と、前記抽出部により抽出されたオフセット値を用いて、第１ピクチャに対応するオフセット値を、当該第１ピクチャより時間的に前に位置する第２ピクチャに対応付けられたオフセット値と、当該第１ピクチャより時間的に後に位置する第３ピクチャに対応付けられたオフセット値とのうち小さい方である第１オフセット値以上、かつ、大きい方である第２オフセット値以下に補完するオフセット値補完部と、前記オフセット値補完部により補完されたオフセット値分、前記第１ピクチャの少なくとも一部をずらすことにより、当該一部の深さ方向の表示位置を調整するオフセット制御部とを備える。
以上より、本発明は、ユーザにとって、より良好な三次元映像を提供できる三次元映像処理装置及び三次元映像処理方法を提供できる。
本発明の実施の形態１に係る三次元映像表示システムの構成を示すブロック図である。 本発明の実施の形態１に係る三次元映像信号の一例を示す図である。 本発明の実施の形態１に係る左眼用画像及び右眼用画像の一例を示す図である。 本発明の実施の形態１に係る三次元映像信号の別の例を示す図である。 本発明の実施の形態１に係る三次元映像処理装置の構成を示すブロック図である。 本発明の実施の形態１に係る入力映像信号の構成を示す図である。 本発明の実施の形態１に係るオフセット情報の構成を示す図である。 本発明の実施の形態１に係る、主映像の深さ方向の表示範囲と、字幕及びメニュー画面の深さ方向の表示位置とを示す図である。 本発明の実施の形態１に係る変換部による処理を示す図である。 本発明の実施の形態１に係るオフセット値補完部による処理を示す図である。 本発明の実施の形態１に係るオフセット制御部による処理を示す図である。 本発明の実施の形態１に係るオフセット制御部による処理の変形例を示す図である。 本発明の実施の形態１に係る三次元映像処理装置による処理の流れを示すフローチャートである。 本発明の実施の形態２に係る三次元映像処理装置の構成を示すブロック図である。 本発明の実施の形態２に係るオフセット値補完部による処理を示す図である。 本発明の実施の形態２に係る三次元映像処理装置による処理の流れを示すフローチャートである。 本発明の実施の形態２に係るエラー判定部による処理の流れを示すフローチャートである。 本発明の実施の形態２に係るエラー判定部による処理の変形例の流れを示すフローチャートである。 本発明の実施の形態２に係るエラー判定部による処理の変形例の流れを示すフローチャートである。 本発明の実施の形態２に係る、正常な場合のフレームのＰＴＳとオフセット値のＰＴＳとの関係を示す図である。 本発明の実施の形態２に係る、ＰＴＳにエラーが発生した場合のフレームのＰＴＳとオフセット値のＰＴＳとの関係を示す図である。 本発明の実施の形態２に係る三次元映像処理装置による、ＰＴＳのエラーに対する処理の流れを示すフローチャートである。 本発明の実施の形態２に係る、フレーム数にエラーが発生した場合のフレームとオフセット値との対応関係を示す図である。 本発明の実施の形態２に係る三次元映像処理装置による、フレーム数のエラーに対する処理の流れを示すフローチャートである。 本発明の実施の形態２に係る三次元映像処理装置による、フレーム数のエラーに対する処理を示す図である。 本発明の実施の形態２に係る三次元映像処理装置による、フレーム数のエラーに対する処理の変形例の流れを示すフローチャートである。 本発明の実施の形態２に係る三次元映像処理装置による、フレーム数のエラーに対する処理の変形例を示す図である。 本発明の実施の形態３に係る三次元映像処理装置の構成を示すブロック図である。 本発明の実施の形態３に係るオフセット値補完部による処理を示す図である。 本発明の実施の形態３に係る三次元映像処理装置による処理の流れを示すフローチャートである。 本発明の実施の形態３に係るオフセット値補完部による処理の変形例を示す図である。 本発明の実施の形態３に係るオフセット値補完部による処理の変形例を示す図である。
以下、本発明に係る三次元映像処理装置の実施の形態について、図面を参照しながら詳細に説明する。
（実施の形態１）
本発明の実施の形態１に係る三次元映像処理装置は、入力映像信号のピクチャ間に新たなピクチャを挿入することにより、変換映像信号を生成する。さらに、本発明の実施の形態１に係る三次元映像処理装置は、新たに挿入したピクチャのずらし量を、前後のピクチャのずらし量を用いて算出する。これにより、本発明の実施の形態１に係る三次元映像処理装置は、深さ方向の表示位置が滑らかに変換する良好な三次元映像信号を生成できる。
まず、本発明の実施の形態１に係る三次元映像処理装置を含む三次元映像表示システムの構成を説明する。
図１は、本発明の実施の形態１に係る三次元映像表示システムの構成を示すブロック図である。
図１に示す三次元映像表示システム１０は、デジタルテレビ２０と、デジタルビデオレコーダ３０と、シャッタメガネ４３とを含む。また、デジタルテレビ２０とデジタルビデオレコーダ３０とは、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブル４０を介して接続されている。
デジタルビデオレコーダ３０は、ＢＤ（ブルーレイディスク）等の光ディスク４１に記録されている三次元映像信号を処理し、処理した三次元映像信号を、ＨＤＭＩケーブル４０を経由してデジタルテレビ２０へ出力する。
デジタルテレビ２０は、デジタルビデオレコーダ３０により出力される三次元映像信号、及び放送波４２に含まれる三次元映像信号で示される三次元映像を表示する。例えば、放送波４２は、地上デジタルテレビ放送、及び衛星デジタルテレビ放送等である。
なお、デジタルビデオレコーダ３０は、光ディスク４１以外の記録媒体（例えば、ハードディスクドライブ及び不揮発性メモリ等）に記録されている三次元映像信号を処理してもよい。また、デジタルビデオレコーダ３０は、放送波４２に含まれる三次元映像信号、又はインターネット等の通信網を経由して取得した三次元映像信号を処理してもよい。また、デジタルビデオレコーダ３０は、外部の装置により、外部入力端子（図示せず）等に入力された三次元映像信号を処理してもよい。
同様に、デジタルテレビ２０は、光ディスク４１及びその他の記録媒体に記録されている三次元映像信号で示される映像を表示してもよい。また、デジタルテレビ２０は、インターネット等の通信網を経由して取得した三次元映像信号で示される映像を表示してもよい。また、デジタルテレビ２０は、デジタルビデオレコーダ３０以外の外部の装置により、外部入力端子（図示せず）等に入力された三次元映像信号で示される映像を表示してもよい。
また、デジタルテレビ２０は、取得した三次元映像信号に所定の処理を施し、処理を施した三次元映像信号で示される映像を表示してもよい。
また、デジタルテレビ２０とデジタルビデオレコーダ３０とは、ＨＤＭＩケーブル４０以外の規格のケーブルにより接続されていてもよいし、無線通信網により接続されていてもよい。
デジタルビデオレコーダ３０は、入力部３１と、デコーダ３２と、三次元映像処理装置１００と、ＨＤＭＩ通信部３３とを備える。
入力部３１は、光ディスク４１に記録されている符号化三次元映像信号５１を取得する。
デコーダ３２には、入力部３１により取得された符号化三次元映像信号５１を復号することにより、入力映像信号１１１を生成する。
三次元映像処理装置１００は、入力映像信号１１１を処理することにより、出力映像信号１１７を生成する。
ＨＤＭＩ通信部３３は、三次元映像処理装置１００により生成された出力映像信号１１７を、ＨＤＭＩケーブル４０を経由してデジタルテレビ２０へ出力する。
なお、デジタルビデオレコーダ３０は、生成した出力映像信号１１７を、当該デジタルビデオレコーダ３０が備える記憶部（ハードディスクドライブ及び不揮発性メモリ等）に記憶してもよいし、当該デジタルビデオレコーダ３０に着脱可能な記録媒体（光ディスク等）に記録してもよい。
デジタルテレビ２０は、入力部２１と、デコーダ２２と、ＨＤＭＩ通信部２３と、三次元映像処理装置１００Ｂと、表示パネル２６と、トランスミッタ２７とを備える。
入力部２１は、放送波４２に含まれる符号化三次元映像信号５５を取得する。
デコーダ２２には、入力部２１により取得された符号化三次元映像信号５５を復号することにより、入力映像信号５６を生成する。
ＨＤＭＩ通信部２３は、ＨＤＭＩ通信部３３により出力された出力映像信号１１７を取得し、入力映像信号５７として出力する。
三次元映像処理装置１００Ｂは、入力映像信号５６又は入力映像信号５７を処理することにより、出力映像信号５８を生成する。
表示パネル２６は、三次元映像処理装置１００Ｂにより生成された出力映像信号５８で示される映像を表示する。
トランスミッタ２７は、無線通信を用いて、シャッタメガネ４３を制御する。
図２は、三次元映像データの一例を示す図である。図２に示すように、三次元映像データは、交互に配置される左眼用画像１７０ｌと右眼用画像１７０ｒとを含む。
図３は、左眼用画像１７０ｌ及び右眼用画像１７０ｒの一例を示す図である。
図３に示すように、左眼用画像１７０ｌと右眼用画像１７０ｒとに含まれるオブジェクトは、撮影位置からオブジェクトの距離に応じた視差を有する。
シャッタメガネ４３は、例えば、視聴者が装着する液晶シャッタメガネであり、左眼用液晶シャッタと右眼用液晶シャッタとを備える。トランスミッタ２７は、左眼用画像１７０ｌと右眼用画像１７０ｒとの表示タイミングにあわせて、左眼用液晶シャッタ及び右眼用液晶シャッタの開閉を制御する。具体的には、トランスミッタ２７は、左眼用画像１７０ｌが表示されている期間は、シャッタメガネ４３の左眼用液晶シャッタを開き、かつ右眼用液晶シャッタを閉じる。また、トランスミッタ２７は、右眼用画像１７０ｒが表示されている期間は、シャッタメガネ４３の左眼用液晶シャッタを閉じ、かつ右眼用液晶シャッタを開く。このように、視聴者の左眼には左眼用画像１７０ｌが、右眼には右眼用画像１７０ｒが、それぞれ選択的に入射される。
なお、視聴者の左眼及び右眼に、左眼用画像１７０ｌ及び右眼用画像１７０ｒを選択的に入射させる方法は、この方法に限定されず、これ以外の方法を用いてもよい。
例えば、図４に示すように、三次元映像データの各ピクチャ内に左眼用ライン１７５ｌと右眼用ライン１７５ｒとがストライプ状に配置されてもよい。
この場合、表示パネル２６は、左眼用の画素上に形成された左眼用偏光フィルムと、右眼用の画素上に形成された右眼用偏光フィルムとを備えることにより、左眼用ライン１７５ｌと右眼用ライン１７５ｒとに異なる偏光（直線偏光又は円偏光等）をかける。また、シャッタメガネ４３の代わりに、上記偏光にそれぞれ対応する左眼用及び右眼用の偏光フィルタを備える偏光メガネを用いることで、視聴者の左眼及び右眼に、左眼用ライン１７５ｌ及び右眼用ライン１７５ｒを入射させることができる。
なお、三次元映像データにおける、左眼用映像と右眼用映像との配置パターンは、横ストライプ状以外であってもよい。例えば、各ピクチャ内に左眼用映像と右眼用映像とが縦ストライプに配置されてもよい。また、１ピクチャ内に左眼用映像と右眼用映像が市松状（チェッカ状）に配置されてもよい。また、１ピクチャ内に、左眼用画像１７０ｌと右眼用画像１７０ｒとが垂直方向又は水平方向に並んで配置されてもよい。
以下、本発明の実施の形態１に係る三次元映像処理装置１００について詳細に説明する。
図５は、三次元映像処理装置１００の構成を示すブロック図である。
図５に示す三次元映像処理装置１００は、入力映像信号１１１に含まれる三次元の主映像上に、三次元の字幕又はメニュー画面を重ねて表示した三次元映像を示す出力映像信号１１７を生成する。この三次元映像処理装置１００は、抽出部１０１と、変換部１０３と、オフセット値補完部１０４と、オフセット制御部１０５と、合成部１０６とを備える。
抽出部１０１は、入力映像信号１１１に含まれるオフセット情報１１２を抽出する。
図６は、入力映像信号１１１の構成を示す図である。図６に示すように、入力映像信号１１１は、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）単位のデータである複数のＧＯＰデータ１３０を含む。ここでＧＯＰとは、圧縮及び再生等に用いられる複数ピクチャ単位である。
各ＧＯＰデータ１３０は、ＧＯＰ毎の制御情報を含むＧＯＰヘッダ部１３１と、ＧＯＰに含まれる複数のピクチャのデータであるＧＯＰデータ部１３２とを含む。
ＧＯＰデータ部１３２は、それぞれが１ピクチャ分のデータである複数のピクチャデータ１３５を含む。このピクチャデータ１３５は、ピクチャ毎の制御情報を含むピクチャヘッダ部１３６と、主映像の画像データであるピクチャデータ部１３７とを含む。また、入力映像信号１１１は、字幕又はメニュー画面等の画像データである字幕データを含む。この字幕データは、映像データとは異なる識別子（ＰＩＤ）が付与されており、ＴＳ（トランスポート・ストリーム）内において映像データと区別されて格納されている。
ＧＯＰヘッダ部１３１は、オフセット情報１１２を含む。このオフセット情報１１２は、字幕又はメニュー画面のずらし量を示す。言い換えると、オフセット情報１１２は、字幕又はメニュー画面を、三次元表示における深さ方向にずらす量を示す。
図７は、オフセット情報１１２の構成を示す図である。図７に示すようにオフセット情報１１２は、フレームレート１４１と、先頭のＰＴＳ１４２と、オフセット値の数１４３と、フレーム数１４４と、複数のオフセット値１４５とを含む。なお、図７に示す値及びビット数は一例であり、図７に示す値及びビット数以外であってもよい。
フレームレート１４１は、当該ＧＯＰ内の映像データのフレームレートを示す。
先頭のＰＴＳ１４２は、当該ＧＯＰの先頭のピクチャのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）の値を示す。ここでＰＴＳとは、ピクチャの表示時刻を示すタイムスタンプである。
オフセット値の数１４３は、当該オフセット情報１１２に含まれるオフセット値１４５の数を示す。
フレーム数１４４は、当該ＧＯＰに含まれるピクチャ（フレーム又はフィールド）の数を示す。
各オフセット値１４５は、当該ＧＯＰに含まれる各ピクチャに対応する。また、各オフセット値１４５は、オフセット方向１４６と、オフセット値の絶対値１４７とを含む。また、同じ時刻に表示可能な字幕及びメニュー画面が複数個存在する場合には、オフセット値１４５は、字幕又はメニュー画面ごとに設けられる。つまり、このような場合には、オフセット値１４５は、１つのピクチャに対して複数個設けられる。なお、１つのピクチャに対応して設けられるオフセット値１４５の数は、同じ時刻に表示可能な字幕及びメニュー画面の数より多くてもよい。
オフセット方向１４６は、対応するピクチャの字幕又はメニュー画面をずらす方向（右方向又は左方向）を示す。言い換えると、オフセット方向１４６は、対応するピクチャの字幕又はメニュー画面を、三次元表示における深さ方向の手前方向にずらすか奥方向にずらすかを示す。
オフセット値の絶対値１４７は、当該オフセット値１４５の絶対値を示す。
なお、図７に示すフレームレート１４１及びオフセット方向１４６の値は、その意味を示すものであり、実際には、フレームレート１４１及びオフセット方向１４６の値は、当該意味に対応付けられた１ビット以上のデータ値である。
また、オフセット値１４５は、各ピクチャにおいて、主映像より手前に字幕又はメニュー画面を表示するために設定されているデータである。
図８は、主映像の深さ方向の表示範囲と、字幕及びメニュー画面の深さ方向の表示位置とを示す図である。図８に示すように字幕又はメニュー画面を主映像の表示範囲より手前にすることにより、ユーザに好適な三次元映像を表示できる。
変換部１０３は、入力映像信号１１１を３：２プルダウン処理することにより、変換映像信号１１４を生成する。
図９は、３：２プルダウン処理を示す図である。３：２プルダウン処理とは、２４ｐ（フレームレートが２４ｆｐｓのプログレッシブ方式）の映像データを、６０ｉ（フレームレートが６０ｆｐｓのインタレース方式）の映像データに変換する処理である。
具体的には、変換部１０３は、入力映像信号１１１に含まれる２つのピクチャ（主映像及び字幕）を５つのピクチャに変換する。言い換えると、変換部１０３は、入力映像信号１１１に含まれる連続する２枚のピクチャの間に、１枚又は２枚の新たなピクチャを挿入する。
より具体的には、変換部１０３は、入力映像信号１１１に含まれる第１のピクチャ１２０Ａを用いて、変換映像信号１１４に含まれる２つのピクチャ１２１Ａ及び１２２Ａを生成する。ここで、ピクチャ１２１Ａは、ピクチャ１２０Ａに含まれるラインのうち、奇数ラインのみがコピーされたピクチャ（トップフィールド）である。また、ピクチャ１２２Ａは、ピクチャ１２０Ａに含まれるラインのうち、偶数ラインのみがコピーされたピクチャ（ボトムフィールド）である。
また、変換部１０３は、入力映像信号１１１に含まれる第２のピクチャ１２０Ｂを用いて、変換映像信号１１４に含まれる３つのピクチャ１２１Ｂ、１２２Ｂ及び１２３Ｂを生成する。ここで、ピクチャ１２１Ｂ及び１２３Ｂは、ピクチャ１２０Ｂに含まれるラインのうち、奇数ラインのみがコピーされたピクチャ（トップフィールド）である。また、ピクチャ１２２Ｂは、ピクチャ１２０Ｂに含まれるラインのうち、偶数ラインのみがコピーされたピクチャ（ボトムフィールド）である。
オフセット値補完部１０４は、抽出部１０１により抽出されたオフセット値１４５（入力映像信号１１１に含まれるオフセット値）を用いて、変換映像信号１１４に含まれる各ピクチャのオフセット値１４５を補完する。
図１０は、オフセット値補完部１０４の処理を示す図である。
まず、オフセット値補完部１０４は、１枚の元ピクチャから生成された２枚又は３枚のピクチャのうち先頭のピクチャ１２１Ａ、１２１Ｂ及び１２１Ｃ（以下「先頭ピクチャ」と記す）のオフセット値１４５を、対応する元ピクチャ１２０Ａ、１２０Ｂ及び１２０Ｃのオフセット値１４５と同じ値にする。
次に、オフセット値補完部１０４は、１枚の元ピクチャから生成された２枚又は３枚のピクチャのうち先頭ピクチャ以外のピクチャ１２２Ａ、１２２Ｂ及び１２３Ｂ（以下「補完ピクチャ」と記す）のオフセット値１４５を、当該補完ピクチャに対して時間的に直前に位置する先頭ピクチャ（以下「直前先頭ピクチャ」と記す）のオフセット値１４５と、当該補完ピクチャに対して時間的に直後に位置する先頭ピクチャ（以下「直後先頭ピクチャ」と記す）のオフセット値１４５とを用いて算出する。言い換えると、オフセット値補完部１０４は、補完ピクチャのオフセット値１４５を、当該補完ピクチャの元ピクチャのオフセット値１４５と、入力映像信号１１１の当該元ピクチャの次のピクチャのオフセット値１４５とを用いて算出する。
具体的には、オフセット値補完部１０４は、直前先頭ピクチャのオフセット値１４５及び直後先頭ピクチャのオフセット値に対して補完ピクチャのオフセット値１４５が等間隔かつ滑らかに変化するように補完ピクチャのオフセット値１４５を算出する。
より具体的には、オフセット値補完部１０４は、下記（式１）を用いて、直前先頭ピクチャからｉ（１≦ｉ≦ｎ）番目に位置する補完ピクチャのオフセット値Ｏ（ｉ）を算出する。なお、ｎは、直前先頭ピクチャと直後先頭ピクチャとの間に挿入された補完ピクチャの数である。また、Ｍ１は、直前先頭ピクチャのオフセット値１４５及び直後先頭ピクチャのオフセット値１４５のうち小さいほうのオフセット値１４５であり、Ｍ２は、直前先頭ピクチャのオフセット値１４５及び直後先頭ピクチャのオフセット値１４５のうち大きいほうのオフセット値１４５である。
Ｏ（ｉ）＝Ｍ１＋（Ｍ２−Ｍ１）×ｉ／（ｎ＋１）・・・（式１）
例えば、図１０に示す補完ピクチャ１２２Ａに対しては、直前先頭ピクチャ１２１Ａのオフセット値１４５は「６」であり、直後先頭ピクチャ１２１Ｂのオフセット値１４５は「１０」であり、ｎ＝１及びｉ＝１である。よって、上記（式１）より、補完ピクチャ１２２Ａのオフセット値１４５は「８」となる。
また、オフセット値補完部１０４は、変換映像信号１１４に、生成したオフセット値１４５を加えた補完映像信号１１５をオフセット制御部１０５に出力する。
なお、補完ピクチャ、直前先頭ピクチャ及び直後先頭ピクチャは、それぞれ、本発明の第１ピクチャ、第２ピクチャ及び第３ピクチャに相当する。
オフセット制御部１０５は、オフセット値補完部１０４により生成されたオフセット値１４５で示される値分、字幕又はメニュー画面をずらすことにより、調整映像信号１１６を生成する。言い換えると、オフセット制御部１０５は、オフセット値補完部１０４により生成されたオフセット値１４５に相当する距離分、字幕又はメニュー画面の、三次元表示における深さ方向の位置をずらす。これにより、オフセット制御部１０５は、字幕又はメニュー画面の、三次元表示における深さ方向の表示位置が、主映像の表示位置より手前側になるように調整する。
図１１は、オフセット制御部１０５の処理を示す図である。
図１１に示すように、オフセット制御部１０５は、補完映像信号１１５に含まれる字幕画像を水平方向にオフセット値１４５分ずらす。
ここで、図１１では、字幕画像の元の深さ方向の表示位置が表示パネル２６上である場合を示している。言い換えると、補完映像信号１１５に、左眼用及び右眼用に一つの字幕画像のみ（又は同じ字幕画像）が含まれる例を示している。
なお、補完映像信号１１５（入力映像信号１１１）には、左眼用字幕画像と、右眼用字幕画像とが含まれていてもよい。言い換えると、字幕画像の元の表示位置が、表示パネル２６上以外であってもよい。この場合には、図１２に示すように、オフセット制御部１０５は、補完映像信号１１５に含まれる左眼用字幕画像及び右眼用字幕画像をそれぞれ水平方向にオフセット値１４５分ずらす。
また、オフセット値１４５に含まれるオフセット方向１４６で示される情報は、画像をずらす方向を示してもよいし、三次元表示における深さ方向（奥方向又は手前方向）を示してもよい。つまり、後者の場合、オフセット制御部１０５は、処理対象の画像が左眼用であるか右眼用であるかを判定し、判定結果に応じて、画像をずらす方向を決定すればよい。例えば、オフセット制御部１０５は、処理対象の画像が左眼用であるか右眼用であるかに応じて、互いに反対の方向（左方向及び右方向）に当該画像をずらす。
合成部１０６は、変換映像信号１１４に含まれる主映像に、調整映像信号１１６に含まれる字幕を重ねて表示した出力映像信号１１７を生成する。
以下、三次元映像処理装置１００による処理の流れを説明する。
図１３は、三次元映像処理装置１００による処理の流れを示すフローチャートである。三次元映像処理装置１００は、図１３に示す処理をＧＯＰ単位で行う。
まず、抽出部１０１は、入力映像信号１１１に含まれる当該ＧＯＰのオフセット情報１１２を抽出する（Ｓ１０１）。
一方、変換部１０３は、入力映像信号１１１に含まれる映像データをデコードした結果を３：２プルダウン処理することにより、変換映像信号１１４を生成する（Ｓ１０２）。
次に、オフセット値補完部１０４は、抽出部１０１により抽出されたオフセット値１４５を用いて、新たなオフセット値１４５を算出する（Ｓ１０３）。
次に、オフセット値補完部１０４は、算出したオフセット値１４５を変換映像信号１１４に含まれる各ピクチャのオフセット値１４５として補完する（Ｓ１０４）。
次に、オフセット制御部１０５は、オフセット値補完部１０４により生成されたオフセット値１４５で示される値分、字幕又はメニュー画面をずらすことにより、調整映像信号１１６を生成する（Ｓ１０５）。
次に、合成部１０６は、変換映像信号１１４に含まれる主映像に、調整映像信号１１６に含まれる字幕を重ねて表示した出力映像信号１１７を生成する（Ｓ１０６）。
以上により、本発明の実施の形態１に係る三次元映像処理装置１００は、３：２プルダウン処理により生成された各ピクチャのオフセット値１４５を、前後のピクチャのオフセット値１４５を用いて算出することにより、字幕の深さ方向の表示位置を連続的かつ滑らかに変化させることができる。これにより、本発明の実施の形態１に係る三次元映像処理装置１００は、ユーザにとって、より良好な三次元映像を生成できる。
なお、上記説明では、本発明の実施の形態１に係る三次元映像処理装置を、デジタルビデオレコーダ３０が備える三次元映像処理装置１００に適用した例を述べたデジタルテレビ２０が備える三次元映像処理装置１００Ｂに適用してもよい。
また、上記説明では、三次元映像処理装置１００は、合成部１０６を備えているが、合成部１０６を備えず、調整映像信号１１６を出力映像信号１１７として出力してもよい。この場合、後段の処理装置（例えば、デジタルテレビ２０）が合成部１０６を備えればよい。
また、上記説明では、抽出部１０１は、入力映像信号１１１に含まれるオフセット情報１１２を抽出しているが、変換部１０３が入力映像信号１１１に含まれるオフセット情報１１２を含む変換映像信号１１４を生成し、抽出部１０１は、変換映像信号１１４に含まれるオフセット情報１１２を抽出してもよい。
また、上記説明では、オフセット情報１１２（オフセット値１４５）がＧＯＰ毎に含まれる例を述べたが、オフセット情報１１２（オフセット値１４５）は、その他の単位毎に含まれてもよい。例えば、オフセット情報１１２（オフセット値１４５）はピクチャ毎に含まれてもよい。
また、図７に示すオフセット情報１１２の構成は一例であり、オフセット情報１１２は、複数のオフセット値１４５と、各オフセット値１４５とフレームとの対応関係を識別できる情報とを含めばよい。例えば、オフセット情報１１２は、オフセット値の数１４３及びフレーム数１４４のうち一方のみを含んでもよい。また、オフセット情報１１２は、フレームレート１４１及び先頭のＰＴＳ１４２の代わりに、各オフセット値１４５のＰＴＳを含んでもよい。
また、上記説明では、変換部１０３が２４ｐの映像信号を６０ｉに変換する例を述べたが、フレームレートを増加させる変換処理であればよい。例えば、変換部１０３は、２４ｐの映像信号を６０ｐに変換してもよし、その他のフレームレートの信号に変換してもよい。また、変換部１０３により挿入されるピクチャは、元ピクチャの一部又は全てをコピーしたピクチャに限らず、時間的に前後に位置するピクチャを用いて生成されたピクチャであってもよい。
また、上記説明では、オフセット値補完部１０４が上記（式１）を用いて補完ピクチャのオフセット値１４５を算出する例を述べたが、補完ピクチャのオフセット値１４５の算出方法はこれ以外であってもよい。具体的には、オフセット値補完部１０４は、抽出部１０１により抽出されたオフセット値１４５を用いて、補完ピクチャに対応するオフセット値を、直前先頭ピクチャに対応付けられたオフセット値１４５と、直後先頭ピクチャに対応付けられたオフセット値１４５とのうち小さい方である第１オフセット値以上、かつ、大きい方である第２オフセット値以下に補完すればよい。
例えば、オフセット値補完部１０４は、補完ピクチャのオフセット値１４５を直前先頭ピクチャのオフセット値（例えば「６」）と直後先頭ピクチャのオフセット値（例えば「１０」）との間の値（例えば「７〜９」）にしてもよい。
また、オフセット値補完部１０４は、補完ピクチャのオフセット値１４５を直前先頭ピクチャのオフセット値（例えば「６」）又は直後先頭ピクチャのオフセット値（例えば「１０」）にしてもよい。
なお、２枚の補完ピクチャ１２２Ｂ及び１２３Ｂを挿入する場合には、直前先頭ピクチャ１２１Ｂ、補完ピクチャ１２２Ｂ、補完ピクチャ１２３Ｂ及び直後先頭ピクチャ１２１Ｃのオフセット値１４５が、単調増加又は単調減少するように、補完ピクチャ１２２Ｂ及び補完ピクチャ１２３Ｂのオフセット値１４５を決定することが好ましい。これにより、三次元映像処理装置１００は、字幕の深さ方向の表示位置を連続的かつ滑らかに変化させることができる。
なお、上述したように、オフセット値補完部１０４が上記（式１）を用いて補完ピクチャのオフセット値１４５を算出することが、より好ましい。これにより、より滑らかに字幕の深さ方向の表示位置を変化させることができる。
また、上記説明では、オフセット値１４５が、字幕又はメニュー画面のずらし量を示す例を示したが、オフセット値１４５は、ピクチャの少なくとも一部のずらし量を示せばよい。例えば、オフセット値１４５は、副映像を主映像に重ねて表示する場合の、副映像又は主映像のずらし量を示してもよい。
さらに、オフセット値１４５は、主映像のみを表示する場合の当該主映像のずらし量を示してもよい。
また、オフセット値１４５は、三次元映像に含まれるオブジェクト（被写体）ごとに対応して設けられていてもよい。または、三次元映像信号に、当該三次元映像信号に含まれるオブジェクトごとに当該オブジェクトの深さ方向の位置を示す情報が含まれている場合には、オフセット制御部１０５は、当該情報とオフセット値１４５とを用いて、オブジェクトごとにずらし量を決定してもよい。または、オフセット制御部１０５は、三次元映像の左眼用映像及び右眼用映像から、各オブジェクトの視差（深さ方向の位置）を算出したうえで、当該視差とオフセット値１４５とを用いて、オブジェクトごとにずらし量を決定してもよい。
（実施の形態２）
上記実施の形態１では、新たに作成したピクチャのオフセット値１４５を補完する例を述べた。本発明の実施の形態２に係る三次元映像処理装置２００は、エラーが発生したピクチャのオフセット値１４５を前後のピクチャのオフセット値１４５を用いて補完する。
なお、本発明の実施の形態２に係る三次元映像処理装置２００は、上記実施の形態１と同様に、図１に示す三次元映像表示システム１０に適用できる。
図１４は、本発明の実施の形態２に係る三次元映像処理装置２００の構成を示すブロック図である。なお、図５と同様の要素には同一の符号を付しており重複する説明は省略する。
図１４に示す三次元映像処理装置２００は、入力映像信号１１１に含まれる主映像上に字幕又はメニュー画面を重ねて表示した三次元映像を示す出力映像信号２１７を生成する。この三次元映像処理装置２００は、抽出部１０１と、オフセット値補完部２０４と、オフセット制御部１０５と、合成部１０６と、エラー判定部２０７とを備える。
抽出部１０１は、入力映像信号１１１に含まれるオフセット情報１１２を抽出する。
エラー判定部２０７は、オフセット情報１１２が適切であるか否かを判定する。具体的には、エラー判定部２０７は、オフセット値１４５が適切な値であるか否かを判定する。また、エラー判定部２０７は、この判定結果を示すエラー判定信号２１８を出力する。
オフセット値補完部２０４は、エラー判定信号２１８によりオフセット値１４５が適切でないことが示される場合、抽出部１０１により抽出されたオフセット値１４５（入力映像信号１１１に含まれるオフセット値）を用いて、入力映像信号１１１に含まれる当該ピクチャのオフセット値１４５を補完する。
図１５は、オフセット値補完部２０４の処理を示す図である。
例えば、図１５に示すように、フレーム４のオフセット値１４５が適切でない場合、オフセット値補完部２０４は、当該フレーム４のオフセット値１４５を補完する。なお、以下では、オフセット値１４５が適切でないピクチャをエラーピクチャと記し、オフセット値１４５が適切であるピクチャを正常ピクチャと記す。
具体的には、オフセット値補完部２０４は、エラーピクチャに対して時間的に直前に位置する正常ピクチャ（以下「直前正常ピクチャ」と記す）のオフセット値１４５と、当該フレーム４に対して時間的に直後に位置する正常ピクチャ（以下「直後正常ピクチャ」と記す）のオフセット値１４５とを用いて当該エラーピクチャのオフセット値１４５を算出する。
より具体的には、オフセット値補完部２０４は、直前正常ピクチャのオフセット値１４５及び直後制御ピクチャのオフセット値に対してエラーピクチャのオフセット値１４５が等間隔かつ滑らかに変化するようにエラーピクチャのオフセット値１４５を算出する。
より具体的には、オフセット値補完部２０４は、上記（式１）を用いて、直前正常ピクチャからｉ（１≦ｉ≦ｎ）番目に位置するエラーピクチャのオフセット値Ｏ（ｉ）を算出する。なお、ｎは、直前正常ピクチャと直後正常ピクチャとの間に挿入されたエラーピクチャの数である。また、Ｍ１は、直前正常ピクチャのオフセット値１４５及び直後正常ピクチャのオフセット値１４５のうち小さいほうのオフセット値１４５であり、Ｍ２は、直前正常ピクチャのオフセット値１４５及び直後正常ピクチャのオフセット値１４５のうち大きいほうのオフセット値１４５である。
例えば、図１５に示す例では、直前正常ピクチャのオフセット値１４５は「２」であり、直後正常ピクチャのオフセット値１４５は「４」であり、ｎ＝１及びｉ＝１である。よって、上記（式１）より、エラーピクチャ１２２Ａのオフセット値１４５は「３」となる。
また、オフセット値補完部２０４は、入力映像信号１１１のエラーピクチャのオフセット値１４５を補完した補完映像信号２１５をオフセット制御部１０５に出力する。
なお、エラーピクチャ、直前正常ピクチャ及び直後正常ピクチャは、それぞれ、本発明の第１ピクチャ、第２ピクチャ及び第３ピクチャに相当する。
オフセット制御部１０５は、補完映像信号２１５に含まれるオフセット値１４５で示される値分、字幕又はメニュー画面をずらすことにより、調整映像信号２１６を生成する。言い換えると、オフセット制御部１０５は、オフセット値補完部２０４により生成されたオフセット値１４５に相当する距離分、字幕又はメニュー画面の、三次元表示における深さ方向の位置をずらす。
合成部１０６は、入力映像信号１１１に含まれる主映像に、調整映像信号２１６に含まれる字幕を重ねて表示した出力映像信号２１７を生成する。
以下、三次元映像処理装置２００による処理の流れを説明する。
図１６は、三次元映像処理装置２００による処理の流れを示すフローチャートである。三次元映像処理装置２００は、図１６に示す処理をＧＯＰ単位で行う。
まず、抽出部１０１は、入力映像信号１１１に含まれるＧＯＰ単位のオフセット情報１１２を抽出する（Ｓ２０１）。
次に、エラー判定部２０７は、オフセット値１４５が適切な値であるか否かを判定する（Ｓ２０２）。
図１７は、エラー判定部２０７によるエラー判定処理（Ｓ２０２）の流れを示すフローチャートである。エラー判定部２０７は、図１７に示す処理をフレーム（ピクチャ）単位で行う。
まず、エラー判定部２０７は、処理対象のフレームのオフセット値１４５と、当該処理対象のフレームに対して直前のフレームのオフセット値１４５との差分を算出する（Ｓ２１１）。
次に、エラー判定部２０７は、ステップＳ２１１で算出した差分が予め定めされた第１閾値以上であるか否かを判定する（Ｓ２１２）。
ステップＳ２１１で算出した差分が第１閾値以上である場合（Ｓ２１２でＹｅｓ）、エラー判定部２０７は、処理対象のフレームのオフセット値１４５が適切でないと判定する（Ｓ２１６）。
一方、ステップＳ２１１で算出した差分が第１閾値未満である場合（Ｓ２１２でＮｏ）、次に、エラー判定部２０７は、処理対象のフレームのオフセット値１４５と、当該処理対象のフレームに対して直後のフレームのオフセット値１４５との差分を算出する（Ｓ２１３）。
次に、エラー判定部２０７は、ステップＳ２１３で算出した差分が予め定めされた第２閾値以上であるか否かを判定する（Ｓ２１４）。なお、この第２閾値は上記第１閾値と同一の値であってもよいし、異なる値であってもよい。
ステップＳ２１３で算出した差分が第２閾値以上である場合（Ｓ２１４でＹｅｓ）、エラー判定部２０７は、処理対象のフレームのオフセット値１４５が適切でないと判定する（Ｓ２１６）。
一方、ステップＳ２１３で算出した差分が第２閾値未満である場合（Ｓ２１４でＮｏ）、エラー判定部２０７は、処理対象のフレームのオフセット値１４５が適切である判定する（Ｓ２１５）。
なお、ここでは、エラー判定部２０７は、処理対象のフレームと直前のフレームとのオフセット値１４５の差分が閾値以上であるかの判定（Ｓ２１１及びＳ２１２）と、処理対象のフレームと直後のフレームとのオフセット値１４５の差分が閾値以上であるかの判定（Ｓ２１３及びＳ２１４）とを共に行っているが、いずれか一方のみを行ってもよい。また、この２つの処理の順序は逆でもよいし、一部を同時に行ってもよい。
再度、図１６を用いて説明を行う。
ステップＳ２０２で、オフセット値１４５が適切な値でないと判定された場合（Ｓ２０２でＹｅｓ）、次に、オフセット値補完部２０４は、抽出部１０１により抽出されたオフセット値１４５を用いて、新たなオフセット値１４５を算出する（Ｓ２０３）。
次に、オフセット値補完部２０４は、算出したオフセット値１４５をエラーピクチャのオフセット値１４５として補完する（Ｓ２０４）。
次に、オフセット制御部１０５は、オフセット値補完部２０４により生成されたオフセット値１４５で示される値分、字幕又はメニュー画面をずらすことにより、調整映像信号２１６を生成する（Ｓ２０５）。
次に、合成部１０６は、入力映像信号１１１に含まれる主映像に、調整映像信号２１６に含まれる字幕を重ねて表示した出力映像信号２１７を生成する（Ｓ２０６）。
一方、ステップＳ２０２で、オフセット値１４５が適切な値であると判定された場合（Ｓ２０２でＮｏ）、次に、オフセット制御部１０５は、入力映像信号１１１に含まれるオフセット値１４５で示される値分、字幕又はメニュー画面をずらすことにより、調整映像信号２１６を生成する（Ｓ２０５）。
次に、合成部１０６は、入力映像信号１１１に含まれる主映像に、調整映像信号２１６に含まれる字幕を重ねて表示した出力映像信号２１７を生成する（Ｓ２０６）。
以上により、本発明の実施の形態２に係る三次元映像処理装置２００は、エラーピクチャのオフセット値１４５を、前後のピクチャのオフセット値１４５を用いて算出することにより、字幕の深さ方向の表示位置を連続的かつ滑らかに変化させることができる。これにより、本発明の実施の形態２に係る三次元映像処理装置２００は、ユーザにとって、より良好な三次元映像を生成できる。
なお、エラー判定部２０７は、図１７に示す処理の代わりに、以下に示す処理を行ってもよい。
図１８は、エラー判定部２０７によるエラー判定処理の変形例のフローチャートである。
図１８に示すようにエラー判定部２０７は、まず、処理対象のフレームと、当該処理対象のフレームに対して直前に位置するフレームとのオフセット値１４５の差分Ｄｎを算出する（Ｓ２２１）。
次に、エラー判定部２０７は、ステップＳ２２１で算出した差分Ｄｎを保持する（Ｓ２２２）。
次に、エラー判定部２０７は、今回の差分Ｄｎと、前回の差分Ｄｎ−１（２枚前のフレームと直前のフレームとのオフセット値１４５の差分）との差分を算出する（Ｓ２２３）。
次に、エラー判定部２０７は、ステップＳ２２３で算出した差分が、予め定められた第３閾値以上であるか否かを判定する（Ｓ２２４）。
ステップＳ２２４で算出した差分が第３閾値以上である場合（Ｓ２２４でＹｅｓ）、エラー判定部２０７は、処理対象のフレームのオフセット値１４５が適切でないと判定する（Ｓ２２６）。
一方、ステップＳ２２４で算出した差分が第３閾値未満である場合（Ｓ２２４でＮｏ）、エラー判定部２０７は、処理対象のフレームのオフセット値１４５が適切であると判定する（Ｓ２２５）。
以上の処理により、エラー判定部２０７は、直近のオフセット値１４５の変化量に対して、直前のピクチャから処理対象のピクチャへのオフセット値１４５の変化量が急激に増加する場合には、当該処理対象のピクチャのオフセット値１４５が不適切であると判定できる。
なお、エラー判定部２０７は、ステップＳ２２３において、ステップＳ２２２で保持された２回分以上の差分の平均値、最大値又は最小値と、今回のステップＳ２２１で算出された差分Ｄｎとの差分を算出してもよい。
また、エラー判定部２０７は、さらに、処理対象のフレームと直後のフレームとのオフセット値１４５の差分に対して同様の処理を行ってもよい。
さらに、エラー判定部２０７は、図１７又は図１８に示す処理の代わりに、以下に示す処理を行ってもよい。
図１９は、エラー判定部２０７によるエラー判定処理の変形例のフローチャートである。また、エラー判定部２０７は、図１９に示す処理をＧＯＰ単位で行う。
まず、エラー判定部２０７は、ＧＯＰ内のオフセット値１４５の平均値Ａｎを算出する（Ｓ２３１）。
次に、エラー判定部２０７は、ステップＳ２３１で算出した平均値Ａｎを保持する（Ｓ２３２）。
次に、エラー判定部２０７は、処理対象のＧＯＰの平均値Ａｎと、直前のＧＯＰの平均値Ａｎ−１との差分を算出する（Ｓ２３３）。
次に、エラー判定部２０７は、ステップＳ２３３で算出した差分が、予め定められた第４閾値以上であるか否かを判定する（Ｓ２３４）。
ステップＳ２３４で算出した差分が第４閾値以上である場合（Ｓ２３４でＹｅｓ）、エラー判定部２０７は、処理対象のＧＯＰのオフセット値１４５が適切でないと判定する（Ｓ２３６）。
一方、ステップＳ２３４で算出した差分が第４閾値未満である場合（Ｓ２３４でＮｏ）、エラー判定部２０７は、処理対象のＧＯＰのオフセット値１４５が適切であると判定する（Ｓ２３５）。
以上の処理により、エラー判定部２０７は、ＧＯＰ単位でオフセット値１４５が適切であるか否かを判定できる。
なお、エラー判定部２０７は、ＧＯＰに含まれるオフセット値１４５の平均値を用いるのではなく、最大値又は最小値を用いてもよい。また、エラー判定部２０７は、直前のＧＯＰの最後のフレームのオフセット値１４５と、処理対象のＧＯＰの最初のフレームのオフセット値１４５とを比較してもよい。
なお、エラー判定部２０７において、ＧＯＰ単位でオフセット値１４５のエラーを判定した場合には、オフセット値補完部２０４は、直前の正常なＧＯＰの最後のフレームのオフセット値１４５と、直後の正常なＧＯＰの最初のフレームのオフセット値１４５とを用いて、上記と同様に補完を行えばよい。
また、エラー判定部２０７は、上述した図１７〜図１９に示すエラー判定処理及びその変形例のうち、２以上を行ってもよい。
また、上述した実施の形態１と同様の変形例を三次元映像処理装置２００に適用してもよい。
また、三次元映像処理装置２００は、さらに、オフセット情報１１２に含まれる先頭のＰＴＳ１４２が適切であるか否かを判定し、適切でない場合には、先頭のＰＴＳ１４２を補完してもよい。
図２０は、先頭のＰＴＳ１４２が正常な場合のフレームのＰＴＳとオフセット値１４５のＰＴＳとの関係を示す図である。図２１は、先頭のＰＴＳ１４２が不適切な場合のフレームのＰＴＳとオフセット値１４５のＰＴＳとの関係を示す図である。なお、各フレームのＰＴＳを示す情報（本発明の第１タイムスタンプ情報に相当）は、入力映像信号１１１に含まれている。また、先頭のＰＴＳ１４２は、本発明の第２タイムスタンプ情報に相当する。
ここで、オフセット制御部１０５は、先頭のＰＴＳ１４２と、フレームレート１４１とを用いて、各オフセット値１４５のＰＴＳを算出する。また、オフセット制御部１０５は、同一のＰＴＳを有するフレームとオフセット値１４５とが互いに対応すると判断する。言い換えると、オフセット制御部１０５は、各フレームのＰＴＳと同一のＰＴＳを有するオフセット値１４５分、当該フレームをずらすことにより、当該フレームの深さ方向の表示位置を調整する。
よって、図２１に示すように、先頭のＰＴＳ１４２の値が不適切な場合、ＧＯＰに含まれるフレームに対応するオフセット値１４５が存在しないことになってしまう。
図２２は、この場合のエラー判定部２０７及びオフセット値補完部２０４の処理の流れを示すフローチャートである。
図２２に示すように、エラー判定部２０７は、処理対象のフレームのＰＴＳと同一のＰＴＳのオフセット値１４５がオフセット情報１１２内に存在するか否かを判定する（Ｓ２５１）。
ステップＳ２５１でオフセット値１４５が存在しない場合（Ｓ２５１でＹｅｓ）、先頭のＰＴＳ１４２の値にエラーが発生しているので、オフセット値補完部２０４は、オフセット値１４５のＰＴＳを無視して、対応するフレームにオフセット値１４５を割り付ける（Ｓ２５２）。
具体的には、オフセット値補完部２０４は、ＧＯＰに含まれるフレーム順に、図７に示すＩＤ０のオフセット値１４５からフレーム数１４４で示される数のＩＤまでのオフセット値１４５を順番に割り付ける。言い換えると、オフセット値補完部２０４は、ＧＯＰに含まれるフレームのうち、ＰＴＳが小さい方から順に、ＰＴＳが小さいオフセット値１４５を順時対応付ける。また、オフセット制御部１０５は、各フレームを、対応付けられたオフセット値１４５分、ずらすことにより、当該ピクチャの深さ方向の表示位置を調整する。
また、ステップＳ２５２の処理として、オフセット値補完部２０４が、オフセット情報１１２に含まれる先頭のＰＴＳ１４２を正しい値に補完したのち、オフセット制御部１０５が補完された先頭のＰＴＳ１４２を用いてオフセット制御処理を行ってもよいし、エラーが発生した場合に、オフセット制御部１０５が、上記のフレームとオフセット値１４５との対応付けを行ったうえで、オフセット制御処理を行ってもよい。
なお、フレームレート１４１が適切でない場合にも、先頭のフレーム以外は、ＰＴＳが一致するオフセット値１４５が存在しない状態になる。この場合にも、三次元映像処理装置２００は、上記と同様の処理を行ってもよい。
また、エラー判定部２０７は、ステップＳ２５１でオフセット値１４５が存在しない場合（Ｓ２５１でＹｅｓ）、当該ＧＯＰにエラーが発生したと判定してもよい。この場合、オフセット値補完部２０４は、直前の正常なＧＯＰの最後のフレームのオフセット値１４５と、直後の正常なＧＯＰの最初のフレームのオフセット値１４５とを用いて、上記と同様に補完を行えばよい。つまり、オフセット値補完部２０４は、抽出部１０１により抽出されたオフセット値１４５を用いて、エラーが発生したＧＯＰに含まれるオフセット値１４５を、直前の正常なＧＯＰの最後のフレームのオフセット値１４５と、直後の正常なＧＯＰの最初のフレームのオフセット値１４５とのうち小さい方である第１オフセット値以上、かつ、大きい方である第２オフセット値以下に補完すればよい。
また、オフセット値補完部２０４は、先頭のＰＴＳ１４２にエラーが発生した場合には、当該ＧＯＰ内のオフセット値１４５を、予め定められた値（例えば０）にしてもよい。
また、オフセット値補完部２０４は、先頭のＰＴＳ１４２にエラーが発生した場合には、当該ＧＯＰ以外のＧＯＰのオフセット情報１１２を参照し、処理対象のフレームとＰＴＳが一致するオフセット値１４５を検索してもよい。
以上により、本発明の実施の形態２に係る三次元映像処理装置２００は、オフセット情報１１２に含まれる先頭のＰＴＳ１４２又はフレームレート１４１にエラーが発生した場合でも、好適な三次元映像をユーザに提供できる。
また、三次元映像処理装置２００は、さらに、オフセット情報１１２に含まれるフレーム数１４４が適切であるか否かを判定し、適切でない場合には、当該フレーム数１４４を補完してもよい。
図２３は、フレーム数１４４が適切でない場合のフレームとオフセット値１４５との対応関係を示す図である。また、図２３に示す例では、正しいフレーム数１４４の値は「１５」である。
図２３に示すように、エラーによりフレーム数１４４の値が「１３」となった場合には、フレーム「１４」及び「１５」に対応するオフセット値１４５が存在しない。
図２４は、この場合のエラー判定部２０７及びオフセット値補完部２０４の処理の流れを示すフローチャートである。
まず、エラー判定部２０７は、フレーム数１４４で示されるフレームの数が、実際にＧＯＰ内に含まれるフレームの数より少ないか否かを判定することにより、フレーム数１４４が適切であるか否かを判定する（Ｓ２６１）。
フレーム数１４４で示されるフレームの数が、実際にＧＯＰ内に含まれるフレームの数より少ない場合（Ｓ２６１でＹｅｓ）、つまり、フレーム数１４４が不適正である場合、オフセット値補完部２０４は、対応するオフセット値１４５が存在しないフレームのオフセット値１４５を補完する。具体的には、図２５に示すように、オフセット値補完部２０４は、対応するオフセット値１４５が存在しないフレーム「１４」及び「１５」のオフセット値１４５の値を、オフセット値１４５が存在する最後のフレーム「１３」のオフセット値１４５の値「２０」にする（Ｓ２６２）。
なお、オフセット値補完部２０４は、前後のフレームのオフセット値１４５を用いて、補完するオフセット値１４５を算出してもよい。
図２６は、この場合のエラー判定部２０７及びオフセット値補完部２０４の処理の流れを示すフローチャートである。
まず、エラー判定部２０７は、フレーム数１４４で示されるフレームの数が、実際にＧＯＰ内に含まれるフレームの数より少ないか否かを判定することにより、フレーム数１４４が適切であるか否かを判定する（Ｓ２７１）。
フレーム数１４４で示されるフレームの数が、実際にＧＯＰ内に含まれるフレームの数より少ない場合（Ｓ２７１でＹｅｓ）、つまり、フレーム数１４４が不適正である場合、オフセット値補完部２０４は、対応するオフセット値１４５が存在しないフレームのオフセット値１４５を補完する。具体的には、図２７に示すように、オフセット値補完部２０４は、対応するオフセット値１４５が存在しないフレーム「１４」及び「１５」のオフセット値１４５の値を、オフセット値１４５が存在する最後のフレーム「１３」のオフセット値１４５の値と、次のＧＯＰの最初のフレームのオフセット値１４５とを用いて補完する（Ｓ２７２）。
なお、具体的な補完方法は、上述したオフセット値１４５にエラーが発生した場合と同様である。つまり、オフセット値補完部２０４は、抽出部１０１により抽出されたオフセット値１４５を用いて、エラーが発生したＧＯＰに含まれるピクチャのうち、フレーム数１４４で示される数番目より後に位置する全てのフレームのオフセット値１４５を、当該ＧＯＰに含まれる当該フレーム数１４４で示される数番目のフレームのオフセット値１４５と、直後の正常なＧＯＰの最初のフレームのオフセット値１４５とのうち小さい方である第１オフセット値以上、かつ、大きい方である第２オフセット値以下に補完すればよい。
なお、オフセット値補完部２０４は、オフセット値１４５が存在しないフレームのオフセット値１４５を、予め定められた値（例えば０）に補完してもよい。
また、フレーム数１４４は、本発明の数情報に相当する。
以上により、本発明の実施の形態２に係る三次元映像処理装置２００は、オフセット情報１１２に含まれるフレーム数１４４及びオフセット値の数１４３にエラーが発生した場合でも、好適な三次元映像をユーザに提供できる。
（実施の形態３）
本発明の実施の形態３では、オフセット値１４５をユーザの操作に応じて変更する三次元映像処理装置３００について説明する。
なお、本発明の実施の形態３に係る三次元映像処理装置３００は、上記実施の形態１と同様に、図１に示す三次元映像表示システム１０に適用できる。
図２８は、本発明の実施の形態３に係る三次元映像処理装置３００の構成を示すブロック図である。
図２８に示す三次元映像処理装置３００は、入力映像信号１１１に含まれる主映像上に字幕又はメニュー画面を重ねて表示した三次元映像を示す出力映像信号３１７を生成する。この三次元映像処理装置３００は、抽出部１０１と、オフセット値補完部３０４と、オフセット制御部１０５と、合成部１０６と、ユーザ操作取得部３０８とを備える。
抽出部１０１は、入力映像信号１１１に含まれるオフセット情報１１２を抽出する。
ユーザ操作取得部３０８は、ユーザ操作信号３１９を取得し、オフセット値補完部３０４へ出力する。ユーザ操作信号３１９は、ユーザの操作に基づき、三次元映像の深さ方向の表示位置を、現在の表示位置からずらす方向及びずらす量を示す信号である。例えば、ユーザの操作とは、ユーザによるリモコン等の操作である。
なお、以降において、説明の簡略化のため、オフセット情報１１２に含まれるオフセット値１４５は、主映像及び字幕のずらし量（深さ方向の表示位置）を示す情報であるとする。
オフセット値補完部３０４は、ユーザ操作取得部３０８により出力されるユーザ操作信号３１９に応じて、抽出部１０１により抽出されたオフセット値１４５（入力映像信号１１１に含まれるオフセット値）を補完する。また、オフセット値補完部３０４は、本発明のオフセット値生成部に相当する。
図２９は、オフセット値補完部３０４の処理を示す図である。
例えば、図２９に示すように、オフセット値補完部３０４は、主映像及び字幕の深さ方向の表示範囲をずらすように、オフセット値１４５を変更することにより、補完映像信号３１５を生成する。
図３０は、三次元映像処理装置３００による処理の流れを示すフローチャートである。三次元映像処理装置３００は、図３０に示す処理を、例えば、ＧＯＰ単位で行う。
まず、ユーザ操作取得部３０８は、ユーザ操作信号３１９を取得する（Ｓ３０１）。
次に、オフセット値補完部３０４は、ユーザ操作信号３１９に応じて、抽出部１０１により抽出されたオフセット値１４５を補完する。
具体的には、ユーザが三次元映像の飛び出し量が大きすぎると感じ、当該飛び出し量を減少させる操作を行った場合、ユーザ操作信号３１９により、三次元映像の深さ方向の表示位置を、現在の表示位置から奥方向にずらすことが示される（Ｓ３０２でＹｅｓ）。この場合、オフセット値補完部３０４は、抽出部１０１により抽出されたオフセット値１４５を減少させることにより、補完映像信号３１５を生成する（Ｓ３０３）。
一方、ユーザが三次元映像の飛び出し量が小さいと感じ、当該飛び出し量を増加させる操作を行った場合、ユーザ操作信号３１９により、三次元映像の深さ方向の表示位置を、現在の表示位置から手前方向にずらすことが示される（Ｓ３０２でＮｏ）。この場合、オフセット値補完部３０４は、抽出部１０１により抽出されたオフセット値１４５を増加させることにより、補完映像信号３１５を生成する（Ｓ３０４）。
次に、オフセット制御部１０５は、ステップＳ３０３又はＳ３０４でオフセット値補完部３０４により生成されたオフセット値１４５で示される値分、主映像及び字幕をずらすことにより、調整映像信号３１６を生成する（Ｓ３０５）。
次に、合成部１０６は、調整映像信号３１６に含まれる主映像及び字幕を重ねて表示した出力映像信号２１７を生成する（Ｓ３０６）。
なお、三次元映像処理装置３００は、先に合成（Ｓ３０６）を行った後、オフセット制御（Ｓ３０５）を行ってもよい。
以上により、本発明の実施の形態３に係る三次元映像処理装置３００は、ユーザの操作に応じて、三次元映像の飛び出し量を変更することができる。これにより、本発明の実施の形態３に係る三次元映像処理装置３００は、ユーザにとって、より良好な三次元映像を生成できる。
なお、図２９に示す例では、補完前及び補完後の表示範囲の幅が略等しいが、補完前と補完後の表示範囲の幅は異なってもよい。また、図３１に示すように、オフセット値補完部３０４は、表示範囲の手前側のみがずれるように、オフセット値１４５を補完してもよい。
また、表示範囲の幅を変更（増加又は減少）する方法としては、手前に表示される映像（字幕等）の表示位置のずらし量と、奥に表示される映像（主映像等）の表示位置のずらし量とを異なる値にすることにより、表示範囲の幅を変更することができる。例えば、図３２に示すように、手前に表示される字幕等の表示位置のずらし量を、奥に表示される主映像の表示位置のずらし量より大きくすることで、主映像及び字幕を含む全体の表示範囲の幅を小さくできる。
また、三次元映像信号に、当該三次元映像信号に含まれるオブジェクトごとに当該オブジェクトの深さ方向の位置を示す情報が含まれている場合には、三次元映像処理装置３００は、当該情報を用いて、オブジェクトごとにずらし量を決定することにより、表示範囲の幅を変更することができる。
また、三次元映像処理装置３００は、三次元映像の左眼用映像及び右眼用映像から、各オブジェクトの視差（深さ方向の位置）を算出したうえで、当該視差を用いて、オブジェクトごとにずらし量を決定することにより、表示範囲の幅を変更することもできる。
なお、三次元映像の表示範囲は、表示パネル２６の大きさ及びユーザの視聴位置に応じて変化するものであり、映像信号のみから一意に決定されるものではない。つまり、図２９、図３１、及び図３２に示す表示範囲は、三次元映像に含まれる左眼用映像と右眼用映像とのずれ量（視差）を模式的に示すものである。また、表示範囲の奥側の境界は、無限遠と定義することもできる。
また、上記説明では、三次元映像処理装置３００が、入力映像信号１１１に含まれるオフセット値１４５を補完する例を述べたが、入力映像信号１１１にオフセット情報１１２が含まれていなくてもよい。この場合、オフセット値補完部３０４は、新たにオフセット情報１１２を生成すればよい。
以上、本発明の実施の形態１〜３に係る三次元映像処理装置１００、２００及び３００について説明したが、本発明は、この実施の形態に限定されるものではない。
例えば、上記説明では、専用メガネ（シャッタメガネ４３）を用いる場合を例に述べたが、専用メガネを用いない方式にも本発明を適用できる。
また、上記説明では、三次元映像に、互いに視差を有する２つの映像（左眼用映像及び右眼用映像）が含まれる例を述べたが、三次元映像に互いに視差を有する３以上の映像が含まれてもよい。
また、上記説明では、本発明に係る三次元映像処理装置１００、２００及び３００をデジタルテレビ及びデジタルビデオレコーダに適用した例を述べたが、本発明に係る三次元映像処理装置１００、２００及び３００は、デジタルテレビ以外の三次元映像を表示する三次元映像表示装置（例えば、携帯電話機器、パーソナルコンピュータ等）に適用できる。また、本発明に係る三次元映像処理装置１００、２００及び３００は、デジタルビデオレコーダ以外の三次元映像を出力する三次元映像出力装置（例えば、ＢＤプレーヤ等）に適用できる。
また、上記実施の形態１〜３に係る三次元映像処理装置１００、２００及び３００は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。
また、本発明の実施の形態１〜３に係る三次元映像処理装置１００、２００及び３００の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、本発明は、三次元映像処理装置に含まれる特徴的な手段をステップとする三次元映像処理方法として実現してもよい。また、本発明は、上述した三次元映像処理装置を備えるデジタルテレビ等の三次元映像表示装置として実現したり、このような三次元映像表示装置を含む三次元映像表示システムとして実現したりできる。
また、上記実施の形態１〜３に係る三次元映像処理装置１００、２００及び３００、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
また、上記で用いた数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
また、上記三次元映像処理装置１００、２００及び３００の構成は、本発明を具体的に説明するために例示するためのものであり、本発明に係る三次元映像処理装置は、上記構成の全てを必ずしも備える必要はない。言い換えると、本発明に係る三次元映像処理装置は、本発明の効果を実現できる最小限の構成のみを備えればよい。
同様に、上記の三次元映像処理装置による三次元映像処理方法は、本発明を具体的に説明するために例示するためのものであり、本発明に係る三次元映像処理装置による三次元映像処理方法は、上記ステップの全てを必ずしも含む必要はない。言い換えると、本発明に係る三次元映像処理方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
本発明は、三次元映像処理装置に適用でき、特に、デジタルテレビ及びデジタルビデオレコーダ等に適用できる。
１０ 三次元映像表示システム
２０ デジタルテレビ
２１、３１ 入力部
２２、３２ デコーダ
２３、３３ ＨＤＭＩ通信部
２６ 表示パネル
２７ トランスミッタ
３０ デジタルビデオレコーダ
４０ ＨＤＭＩケーブル
４１ 光ディスク
４２ 放送波
４３ シャッタメガネ
５１、５５ 符号化三次元映像信号
５６、５７、１１１ 入力映像信号
５８、１１７、２１７、３１７ 出力映像信号
１００、１００Ｂ、２００、３００ 三次元映像処理装置
１０１ 抽出部
１０３ 変換部
１０４、２０４、３０４ オフセット値補完部
１０５ オフセット制御部
１０６ 合成部
１１２ オフセット情報
１１４ 変換映像信号
１１５、２１５、３１５ 補完映像信号
１１６、２１６、３１６ 調整映像信号
１２０Ａ、１２０Ｂ、１２０Ｃ、１２１Ａ、１２１Ｂ、１２１Ｃ、１２２Ａ、１２２Ｂ、１２３Ｂ ピクチャ
１３０ ＧＯＰデータ
１３１ ＧＯＰヘッダ部
１３２ ＧＯＰデータ部
１３５ ピクチャデータ
１３６ ピクチャヘッダ部
１３７ ピクチャデータ部
１４１ フレームレート
１４２ 先頭のＰＴＳ
１４３ オフセット値の数
１４４ フレーム数
１４５ オフセット値
１４６ オフセット方向
１４７ オフセット値の絶対値
１７０ｌ 左眼用画像
１７０ｒ 右眼用画像
１７５ｌ 左眼用ライン
１７５ｒ 右眼用ライン
２０７ エラー判定部
２１８ エラー判定信号
３０８ ユーザ操作取得部
３１９ ユーザ操作信号

Claims (7)

  1. 三次元映像を示す映像データと、当該映像データの制御情報とを含む映像信号を処理する三次元映像処理装置であって、
    前記制御情報から、前記映像データに含まれるピクチャに対応付けられ、当該ピクチャの少なくとも一部の深さ方向の表示位置を調整するために当該一部をずらす量であるオフセット値を抽出する抽出部と、
    前記抽出部により抽出されたオフセット値を用いて、第１ピクチャに対応するオフセット値を、当該第１ピクチャより時間的に前に位置する第２ピクチャに対応付けられたオフセット値と、当該第１ピクチャより時間的に後に位置する第３ピクチャに対応付けられたオフセット値とのうち小さい方である第１オフセット値以上、かつ、大きい方である第２オフセット値以下に補完するオフセット値補完部と、
    前記オフセット値補完部により補完されたオフセット値分、前記第１ピクチャの少なくとも一部をずらすことにより、当該一部の深さ方向の表示位置を調整するオフセット制御部と、
    前記映像データに含まれる各ピクチャに対応付けられた前記オフセット値が適切であるか否かを判定するエラー判定部とを備え、
    前記第１ピクチャは、前記エラー判定部により適切でないと判定されたピクチャであり、
    前記第２ピクチャは、前記エラー判定部により適切であると判定されたピクチャのうち、前記第１ピクチャの直前に位置するピクチャであり、
    前記第３ピクチャは、前記エラー判定部により適切であると判定されたピクチャのうち、前記第１ピクチャの直後に位置するピクチャであり、
    前記エラー判定部は、処理対象のピクチャのオフセット値と当該処理対象のピクチャの直前のピクチャのオフセット値との差分、及び当該処理対象のピクチャのオフセット値と当該処理対象のピクチャの直後のピクチャのオフセット値との差分のうち少なくとも一方が所定の閾値以上の場合に、当該処理対象のピクチャのオフセット値が適切でないと判定する
    三次元映像処理装置。
  2. 三次元映像を示す映像データと、当該映像データの制御情報とを含む映像信号を処理する三次元映像処理装置であって、
    前記制御情報から、前記映像データに含まれるピクチャに対応付けられ、当該ピクチャの少なくとも一部の深さ方向の表示位置を調整するために当該一部をずらす量であるオフセット値を抽出する抽出部と、
    前記抽出部により抽出されたオフセット値を用いて、第１ピクチャに対応するオフセット値を、当該第１ピクチャより時間的に前に位置する第２ピクチャに対応付けられたオフセット値と、当該第１ピクチャより時間的に後に位置する第３ピクチャに対応付けられたオフセット値とのうち小さい方である第１オフセット値以上、かつ、大きい方である第２オフセット値以下に補完するオフセット値補完部と、
    前記オフセット値補完部により補完されたオフセット値分、前記第１ピクチャの少なくとも一部をずらすことにより、当該一部の深さ方向の表示位置を調整するオフセット制御部と、
    前記映像データに含まれる各ピクチャに対応付けられた前記オフセット値が適切であるか否かを判定するエラー判定部とを備え、
    前記第１ピクチャは、前記エラー判定部により適切でないと判定されたピクチャであり、
    前記第２ピクチャは、前記エラー判定部により適切であると判定されたピクチャのうち、前記第１ピクチャの直前に位置するピクチャであり、
    前記第３ピクチャは、前記エラー判定部により適切であると判定されたピクチャのうち、前記第１ピクチャの直後に位置するピクチャであり、
    前記制御情報は、各ピクチャの第１表示時刻を示す第１タイムスタンプ情報と、複数ピクチャ単位毎に対応付けられたオフセット情報とを含み、
    前記オフセット情報は、対応する複数ピクチャにそれぞれ対応付けられた複数の前記オフセット値と、当該各オフセット値が対応する第２表示時刻を示す第２タイムスタンプ情報とを含み、
    前記オフセット制御部は、前記各ピクチャの第１表示時刻と同一の第２表示時刻に対応する前記オフセット値分、当該ピクチャの少なくとも一部をずらすことにより、当該一部の深さ方向の表示位置を調整し、
    前記エラー判定部は、さらに、各複数ピクチャ単位に含まれる複数のピクチャの前記第１表示時刻と同一の第２表示時刻に対応する前記オフセット値が前記オフセット情報に含まれない場合に、当該複数ピクチャ単位の第２タイムスタンプ情報が不適切であると判定し、
    前記オフセット制御部は、前記エラー判定部により、第２タイムスタンプ情報が不適切であると判定された複数ピクチャ単位に含まれるピクチャのうち、前記第１タイムスタンプで示される表示時刻が小さい方から順に、前記第２タイムスタンプで示される表示時刻が小さいオフセット値を順時対応付け、前記各ピクチャの少なくとも一部を、対応付けた前記オフセット値分、ずらすことにより、当該ピクチャの深さ方向の表示位置を調整する
    三次元映像処理装置。
  3. 三次元映像を示す映像データと、当該映像データの制御情報とを含む映像信号を処理する三次元映像処理装置であって、
    前記制御情報から、前記映像データに含まれるピクチャに対応付けられ、当該ピクチャの少なくとも一部の深さ方向の表示位置を調整するために当該一部をずらす量であるオフセット値を抽出する抽出部と、
    前記抽出部により抽出されたオフセット値を用いて、第１ピクチャに対応するオフセット値を、当該第１ピクチャより時間的に前に位置する第２ピクチャに対応付けられたオフセット値と、当該第１ピクチャより時間的に後に位置する第３ピクチャに対応付けられたオフセット値とのうち小さい方である第１オフセット値以上、かつ、大きい方である第２オフセット値以下に補完するオフセット値補完部と、
    前記オフセット値補完部により補完されたオフセット値分、前記第１ピクチャの少なくとも一部をずらすことにより、当該一部の深さ方向の表示位置を調整するオフセット制御部と、
    前記映像データに含まれる各ピクチャに対応付けられた前記オフセット値が適切であるか否かを判定するエラー判定部とを備え、
    前記第１ピクチャは、前記エラー判定部により適切でないと判定されたピクチャであり、
    前記第２ピクチャは、前記エラー判定部により適切であると判定されたピクチャのうち、前記第１ピクチャの直前に位置するピクチャであり、
    前記第３ピクチャは、前記エラー判定部により適切であると判定されたピクチャのうち、前記第１ピクチャの直後に位置するピクチャであり、
    前記制御情報は、各ピクチャの表示時刻を示す第１タイムスタンプ情報と、複数ピクチャ単位毎に対応付けられたオフセット情報とを含み、
    前記オフセット情報は、対応する複数ピクチャの前記オフセット値と、当該オフセット値が対応する前記表示時刻を示す第２タイムスタンプ情報とを含み、
    前記オフセット制御部は、前記各ピクチャの第１タイムスタンプ情報で示される表示時刻を示す第２タイムスタンプが対応付けられた前記オフセット値分、当該ピクチャの少なくとも一部をずらすことにより、当該一部の深さ方向の表示位置を調整し、
    前記エラー判定部は、さらに、各複数ピクチャ単位に含まれる複数のピクチャの前記第１表示時刻と同一の第２表示時刻に対応する前記オフセット値が前記オフセット情報に含まれない場合に、当該複数ピクチャ単位の第２タイムスタンプ情報が不適切であると判定し、
    前記オフセット値補完部は、前記エラー判定部により、第２タイムスタンプ情報が不適切であると判定された複数ピクチャ単位のオフセット情報に含まれる前記オフセット値を予め定められた値に補完する
    三次元映像処理装置。
  4. 三次元映像を示す映像データと、当該映像データの制御情報とを含む映像信号を処理する三次元映像処理装置であって、
    前記制御情報から、前記映像データに含まれるピクチャに対応付けられ、当該ピクチャの少なくとも一部の深さ方向の表示位置を調整するために当該一部をずらす量であるオフセット値を抽出する抽出部と、
    前記抽出部により抽出されたオフセット値を用いて、第１ピクチャに対応するオフセット値を、当該第１ピクチャより時間的に前に位置する第２ピクチャに対応付けられたオフセット値と、当該第１ピクチャより時間的に後に位置する第３ピクチャに対応付けられたオフセット値とのうち小さい方である第１オフセット値以上、かつ、大きい方である第２オフセット値以下に補完するオフセット値補完部と、
    前記オフセット値補完部により補完されたオフセット値分、前記第１ピクチャの少なくとも一部をずらすことにより、当該一部の深さ方向の表示位置を調整するオフセット制御部とを備え、
    前記制御情報は、各ピクチャの表示時刻を示す第１タイムスタンプ情報と、複数ピクチャ単位の映像データ毎に対応付けられたオフセット情報とを含み、
    前記オフセット情報は、対応する複数ピクチャの前記オフセット値と、当該オフセット値が対応する前記表示時刻を示す第２タイムスタンプ情報とを含み、
    前記オフセット制御部は、前記各ピクチャの第１タイムスタンプ情報で示される表示時刻を示す第２タイムスタンプが対応付けられた前記オフセット値分、当該ピクチャの少なくとも一部をずらすことにより、当該一部の深さ方向の表示位置を調整し、
    前記三次元映像処理装置は、さらに、
    各複数ピクチャ単位に含まれる複数のピクチャの前記第１表示時刻と同一の第２表示時刻に対応する前記オフセット値が前記オフセット情報に含まれない場合に、当該複数ピクチャ単位の前記第２タイムスタンプ情報が不適切であると判定するエラー判定部を備え、
    前記第１ピクチャは、前記エラー判定部により第２タイムスタンプ情報が不適切であると判定された複数ピクチャ単位に含まれる全てのピクチャであり、
    前記第２ピクチャは、前記エラー判定部により第２タイムスタンプ情報が不適切であると判定された複数ピクチャ単位の直前に位置する複数ピクチャ単位に含まれる最後のピクチャであり、
    前記第３ピクチャは、前記エラー判定部により第２タイムスタンプ情報が不適切であると判定された複数ピクチャ単位の直後に位置する複数ピクチャ単位に含まれる最初のピクチャである
    三次元映像処理装置。
  5. 三次元映像を示す映像データと、当該映像データの制御情報とを含む映像信号を処理する三次元映像処理装置であって、
    前記制御情報から、前記映像データに含まれるピクチャに対応付けられ、当該ピクチャの少なくとも一部の深さ方向の表示位置を調整するために当該一部をずらす量であるオフセット値を抽出する抽出部と、
    前記抽出部により抽出されたオフセット値を用いて、第１ピクチャに対応するオフセット値を、当該第１ピクチャより時間的に前に位置する第２ピクチャに対応付けられたオフセット値と、当該第１ピクチャより時間的に後に位置する第３ピクチャに対応付けられたオフセット値とのうち小さい方である第１オフセット値以上、かつ、大きい方である第２オフセット値以下に補完するオフセット値補完部と、
    前記オフセット値補完部により補完されたオフセット値分、前記第１ピクチャの少なくとも一部をずらすことにより、当該一部の深さ方向の表示位置を調整するオフセット制御部とを備え、
    前記制御情報は、複数ピクチャ単位の映像データ毎に対応付けられたオフセット情報を含み、
    前記オフセット情報は、対応する複数ピクチャの前記オフセット値と、当該オフセット情報に含まれる前記オフセット値の数を示す数情報とを含み、
    前記三次元映像処理装置は、さらに、
    前記数情報で示される前記オフセット値の数が、対応する複数ピクチャ単位に含まれるピクチャの数より少ない場合に、当該数情報が不適切であると判定するエラー判定部を備え、
    前記第１ピクチャは、前記エラー判定部により数情報が不適切であると判定された複数ピクチャ単位に含まれるピクチャのうち、当該数情報で示される数番目より後に位置する全てのピクチャであり、
    前記第２ピクチャは、前記エラー判定部により数情報が不適切であると判定された複数ピクチャ単位に含まれるピクチャのうち、当該数情報で示される数番目のピクチャであり、
    前記第３ピクチャは、前記エラー判定部により数情報が不適切であると判定された複数ピクチャ単位の直後に位置する複数ピクチャ単位に含まれる最初のピクチャである
    三次元映像処理装置。
  6. 三次元映像を示す映像データと、当該映像データの制御情報とを含む映像信号を処理する三次元映像処理装置であって、
    前記制御情報から、前記映像データに含まれるピクチャに対応付けられ、当該ピクチャの少なくとも一部の深さ方向の表示位置を調整するために当該一部をずらす量であるオフセット値を抽出する抽出部と、
    前記抽出部により抽出されたオフセット値を用いて、第１ピクチャに対応するオフセット値を、当該第１ピクチャより時間的に前に位置する第２ピクチャに対応付けられたオフセット値と、当該第１ピクチャより時間的に後に位置する第３ピクチャに対応付けられたオフセット値とのうち小さい方である第１オフセット値以上、かつ、大きい方である第２オフセット値以下に補完するオフセット値補完部と、
    前記オフセット値補完部により補完されたオフセット値分、前記第１ピクチャの少なくとも一部をずらすことにより、当該一部の深さ方向の表示位置を調整するオフセット制御部とを備え、
    前記映像データは、第１三次元映像を示す第１映像データと、第２三次元映像を第２映像データとを含み、
    前記オフセット制御部は、前記オフセット値補完部により補完されたオフセット値分、前記第１ピクチャに含まれる前記第２三次元映像の画像をずらすことにより、当該第２三次元映像の画像の深さ方向の表示位置を調整し、調整した調整第２映像データを生成し、
    前記三次元映像処理装置は、さらに、
    前記第１映像データと、前記調整第２映像データとを合成する合成部を備える
    三次元映像処理装置。
  7. 前記第２三次元映像は、字幕又はメニュー表示画面である
    請求項６記載の三次元映像処理装置。
JP2009231003A 2009-10-02 2009-10-02 三次元映像処理装置 Expired - Fee Related JP5415217B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2009231003A JP5415217B2 (ja) 2009-10-02 2009-10-02 三次元映像処理装置
PCT/JP2010/004998 WO2011039927A1 (ja) 2009-10-02 2010-08-09 三次元映像処理装置及び三次元映像処理方法
CN201410482507.5A CN104243957B (zh) 2009-10-02 2010-08-09 三维影像处理装置及三维影像处理方法
CN201080009975.0A CN102342121B (zh) 2009-10-02 2010-08-09 三维影像处理装置及三维影像处理方法
US13/192,946 US8941718B2 (en) 2009-10-02 2011-07-28 3D video processing apparatus and 3D video processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009231003A JP5415217B2 (ja) 2009-10-02 2009-10-02 三次元映像処理装置

Publications (2)

Publication Number Publication Date
JP2011082631A JP2011082631A (ja) 2011-04-21
JP5415217B2 true JP5415217B2 (ja) 2014-02-12

Family

ID=43825782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009231003A Expired - Fee Related JP5415217B2 (ja) 2009-10-02 2009-10-02 三次元映像処理装置

Country Status (4)

Country Link
US (1) US8941718B2 (ja)
JP (1) JP5415217B2 (ja)
CN (2) CN102342121B (ja)
WO (1) WO2011039927A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013520925A (ja) * 2010-02-25 2013-06-06 トムソン ライセンシング 視差推定を用いる、視差の時間的変動を制限する２眼式立体字幕付け
KR20130024504A (ko) * 2011-08-31 2013-03-08 삼성전기주식회사 삼차원 카메라 시스템 및 주시각 조정 방법
KR101917764B1 (ko) 2011-09-08 2018-11-14 삼성디스플레이 주식회사 입체 영상 표시 장치 및 입체 영상 표시 방법
AU2013210580A1 (en) * 2012-01-18 2013-11-28 Panasonic Corporation Transmission device, video display device, transmission method, video processing method, video processing program, and integrated circuit
US10609328B2 (en) * 2013-05-13 2020-03-31 Grass Valley Limited Video processing using a one-dimensional control function to control processing time and error
WO2015096019A1 (en) * 2013-12-24 2015-07-02 Intel Corporation Techniques for stereo three dimensional video processing
JP2018137505A (ja) * 2017-02-20 2018-08-30 セイコーエプソン株式会社 表示装置およびその制御方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751927A (en) * 1991-03-26 1998-05-12 Wason; Thomas D. Method and apparatus for producing three dimensional displays on a two dimensional surface
US6111596A (en) * 1995-12-29 2000-08-29 Lucent Technologies Inc. Gain and offset correction for efficient stereoscopic coding and improved display
JP4698831B2 (ja) * 1997-12-05 2011-06-08 ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド 画像変換および符号化技術
US6924799B2 (en) * 2002-02-28 2005-08-02 Hewlett-Packard Development Company, L.P. Method, node, and network for compositing a three-dimensional stereo image from a non-stereo application
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP2003284093A (ja) * 2002-03-27 2003-10-03 Sanyo Electric Co Ltd 立体画像処理方法および装置
EP2357840A3 (en) * 2002-03-27 2012-02-29 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP2005267655A (ja) * 2002-08-29 2005-09-29 Sharp Corp コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生プログラム、コンテンツ再生プログラムを記録した記録媒体、および携帯通信端末
JP2004145832A (ja) * 2002-08-29 2004-05-20 Sharp Corp コンテンツ作成装置、コンテンツ編集装置、コンテンツ再生装置、コンテンツ作成方法、コンテンツ編集方法、コンテンツ再生方法、コンテンツ作成プログラム、コンテンツ編集プログラム、および携帯通信端末
JP2004104742A (ja) * 2002-09-11 2004-04-02 Remedia:Kk 立体映像データの発生方法と装置
WO2004049734A1 (ja) * 2002-11-28 2004-06-10 Seijiro Tomita 立体映像信号生成回路及び立体映像表示装置
US20090073170A1 (en) * 2004-10-26 2009-03-19 Koninklijke Philips Electronics, N.V. Disparity map
US8217991B2 (en) * 2005-07-05 2012-07-10 Sanyo Electric Co., Ltd. Method, device and program for processing stereoscopic images and recording medium storing the program
JP4730183B2 (ja) * 2006-04-17 2011-07-20 株式会社日立製作所 映像表示装置
KR200423761Y1 (ko) * 2006-05-22 2006-08-10 주식회사 노비타 인체감지거리 자동조절기능을 갖는 비데
CN101682793B (zh) 2006-10-11 2012-09-26 皇家飞利浦电子股份有限公司 创建三维图形数据
JP4457316B2 (ja) * 2006-12-01 2010-04-28 富士フイルム株式会社 画像再生装置及び方法
JP5113426B2 (ja) 2007-05-29 2013-01-09 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
US8358332B2 (en) * 2007-07-23 2013-01-22 Disney Enterprises, Inc. Generation of three-dimensional movies with improved depth control
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置

Also Published As

Publication number Publication date
CN102342121B (zh) 2014-10-29
CN104243957B (zh) 2016-04-13
CN104243957A (zh) 2014-12-24
US20110279647A1 (en) 2011-11-17
WO2011039927A1 (ja) 2011-04-07
CN102342121A (zh) 2012-02-01
JP2011082631A (ja) 2011-04-21
US8941718B2 (en) 2015-01-27

Similar Documents

Publication Publication Date Title
US9094657B2 (en) Electronic apparatus and method
US8422801B2 (en) Image encoding method for stereoscopic rendering
RU2566968C2 (ru) Генерирование трехмерного видеосигнала
JP6095067B2 (ja) 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
JP4823349B2 (ja) 三次元映像復号装置及び三次元映像復号方法
JP5415217B2 (ja) 三次元映像処理装置
JP4740364B2 (ja) 三次元画像処理装置及びその制御方法
US8836758B2 (en) Three-dimensional image processing apparatus and method of controlling the same
RU2552137C2 (ru) Точки входа для ускоренного 3d-воспроизведения
JP4763571B2 (ja) 立体画像生成装置及び立体画像復号装置
US8830301B2 (en) Stereoscopic image reproduction method in case of pause mode and stereoscopic image reproduction apparatus using same
US9235749B2 (en) Image processing device and image processing method
US20110249091A1 (en) Video signal processing apparatus and video signal processing method
KR20090084259A (ko) 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
US20120050476A1 (en) Video processing device
US20110310099A1 (en) Three-dimensional image processing apparatus and method of controlling the same
US20150130897A1 (en) Method for generating, transporting and reconstructing a stereoscopic video stream
US20110285819A1 (en) Video signal processing apparatus and video signal processing method
WO2013108307A1 (ja) 映像処理装置および映像処理方法
JP5296140B2 (ja) 三次元画像処理装置及びその制御方法
JP2011071662A (ja) 三次元画像処理装置及び三次元画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130723

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130829

TRDD Decision of grant or rejection written
A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131113

R150 Certificate of patent or registration of utility model

Ref document number: 5415217

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees