JP5299384B2 - 立体画像データ生成装置及び立体画像データ生成方法 - Google Patents

Description

本発明は、立体画像を表示するための立体画像データを生成する立体画像データ生成装置及び立体画像データ生成方法に関する。

一般的に、動画像信号（ビデオ信号）に基づいて画像を表示する画像表示装置では、表示する画像サイズは時間的に不変であり、同じサイズの画像を時間順番に表示している。

例えば、特許文献１には、多数のハイビジョン画像を格納するハイビジョン画像データ格納部と、格納部からの画像を生成するハイビジョン画像再生部と、操作情報等を含むコンピュータ画像信号と各部の制御情報を出力するコンピュータシステムと、コンピュータ画像信号とハイビジョン画像信号を入力してその一方または両方を合成したハイビジョン画像を出力する画像信号合成部と、その出力を表示するハイビジョンモニタとを備え、ハイビジョン画像の関連情報、操作情報をコンピュータ画像信号として出力し、要求されたハイビジョン画像信号とコンピュータ画像信号の何れか一方または両方の合成画像を表示するハイビジョンデータベースシステムが提案されている。

また、特許文献２には、液晶ディスプレイ等の表示装置と、この表示装置の前面に配置され、二次元配列されたピンホールあるいはマイクロレンズのアレイ板からなる光学系で三次元像を再生する立体像表示装置が提案されている。

特開平６-１３１４２５号公報 特開２００３−１５０８０号公報

しかしながら、特許文献１に記載のハイビジョンデータベースシステムでは、動画像信号（ビデオ信号）の画像サイズが大きいので、画像圧縮方式を用いたとしても、データ量が多くなるという課題があった。

また、特許文献２に記載の立体像表示装置においても、特許文献１に記載の技術と同様に、データ量が多くなるという課題があった。

本発明は、上記課題に鑑みてなされたものであり、その目的は、データ量を低減させつつ、見かけ上鮮明な立体画像を表示させるための立体画像データを生成する立体画像データ生成装置及び立体画像データ生成方法を提供することにある。

上記目的を達成するため、本発明に係る立体画像データ生成装置の第１の特徴は、
右目用画像データと左目用画像データとを含み高解像度画像データとして生成された立体画像データの画素数を検出する画素数検出手段と、前記立体画像データに基づいて、前記右目用画像データ及び前記左目用画像データの表示順を決定する表示順決定手段と、前記画素数検出手段により検出された画素数に基づいて、前記立体画像データである高解像度画像データの画素数を低減させて低解像度画像データを生成するサブサンプル手段と、前記決定された表示順に基づいて、前記右目用画像データ及び前記左目用画像データのうち少なくともいずれか一方の画像データにおいて前記高解像度画像データと前記低解像度画像データとが交互に出力されるように、前記サブサンプル手段に前記低解像度画像データを生成させるサブサンプル制御手段と、を備えたことにある。

上記目的を達成するため、本発明に係る立体画像データ生成装置の第２の特徴は、前記サブサンプル制御手段は、前記右目用画像データ及び前記左目用画像データそれぞれにおいて、前記高解像度画像データと前記低解像度画像データとが交互に出力されるように、前記サブサンプル手段に前記低解像度画像データを生成させることにある。

上記目的を達成するため、本発明に係る立体画像データ生成装置の第３の特徴は、前記サブサンプル制御手段は、前記右目用画像データ又は前記左目用画像データのうちいずれか一方を前記高解像度画像データとし、他方を前記低解像度画像データとして、前記右目用画像データ及び前記左目用画像データを同時出力するように、前記サブサンプル手段に前記低解像度画像データを生成させることにある。

上記目的を達成するため、本発明に係る立体画像データ生成方法の第１の特徴は、
右目用画像データと左目用画像データとを含み高解像度画像データとして生成された立体画像データの画素数を検出する画素数検出ステップと、前記立体画像データに基づいて、前記右目用画像データ及び前記左目用画像データの表示順を決定する表示順決定ステップと、前記画素数検出ステップにより検出された画素数に基づいて、前記立体画像データである高解像度画像データの画素数を低減させて低解像度画像データを生成するサブサンプルステップと、前記決定された表示順に基づいて、前記右目用画像データ及び前記左目用画像データのうち少なくともいずれか一方の画像データにおいて前記高解像度画像データと前記低解像度画像データとが交互に出力されるように、前記サブサンプルステップに前記低解像度画像データを生成させるサブサンプル制御ステップと、を有することにある。

上記目的を達成するため、本発明に係る立体画像データ生成方法の第２の特徴は、前記サブサンプル制御ステップは、前記右目用画像データ及び前記左目用画像データそれぞれにおいて、前記高解像度画像データと前記低解像度画像データとが交互に出力されるように、前記サブサンプルステップに前記低解像度画像データを生成させることにある。

上記目的を達成するため、本発明に係る立体画像データ生成方法の第３の特徴は、前記サブサンプル制御ステップは、前記右目用画像データ又は前記左目用画像データのうちいずれか一方を前記高解像度画像データとし、他方を前記低解像度画像データとして、前記右目用画像データ及び前記左目用画像データを同時出力するように、前記サブサンプルステップに前記低解像度画像データを生成させることにある。

本発明に係る立体画像データ生成装置及び立体画像データ生成方法によれば、データ量を低減させつつ、見かけ上鮮明な立体画像を表示させるための立体画像データを生成することができる。

本発明の概念を説明した図である。 本発明の実施例１である立体画像データ生成装置の構成を示した構成図である。 本発明の実施例１である立体画像データ生成装置の処理フローを示したフローチャートである。 本発明の実施例１である立体画像データ生成装置において、プログレッシブ対応の立体画像を表示するために生成された立体画像データの出力順の一例を示した図である。 本発明の実施例１である立体画像データ生成装置において、インタレース対応の立体画像を表示するために生成された立体画像データの出力順の一例を示した図である。 本発明の実施例１である立体画像データ出力装置の構成を示した構成図である。 本発明の実施例１である立体画像データ出力装置の処理フローを示したフローチャートである。 本発明の実施例２である立体画像データ生成装置において、プログレッシブ対応の立体画像を表示するために生成された立体画像データの出力順の一例を示した図である。 本発明の実施例２である立体画像データ生成装置において、インタレース対応の立体画像を表示するために生成された立体画像データの表示順の一例を示した図である。

まず、本発明の概念について説明する。

図１は、本発明の概念を説明した図である。図１では、Ｙ軸を時間、Ｘ軸を解像度として、時間軸上で表示する画像データの解像度を示している。

図１に示すように、時間軸上で比較的解像度の低い低解像度画像データ（例えば、９６０×５４０画素）と、比較的解像度の高い高解像度画像データ（例えば、１９２０×１０８０画素）とを交互に表示した場合、利用者は高解像度の画像として認識する。

これは、高解像度の画像ほど人間の目に残像として残りやすいためではないかと考えられている。そこで、本発明は、この視覚の原理を用いて、データ量を低減させつつ、見かけ上鮮明な画像を表示させる立体画像データ出力装置、及びデータ量を低減させつつ、見かけ上鮮明な画像を表示させるための立体画像データを生成する立体画像データ生成装置を提供することを目的としている。

本発明の実施例１である立体画像データ生成装置について説明する。

＜立体画像データ生成装置の構成＞
近年は、動画に対するデータ圧縮方式がＭＰＥＧ（Moving Picture Image Coding Expert Group）方式として国際標準化されるに至っている。このＭＰＥＧ方式は、映像データを可変圧縮する方式として知られており、ＭＰＥＧ１（ＭＰＥＧフェーズ１）やＭＰＥＧ２（ＭＰＥＧフェーズ２）と呼ばれる圧縮方式が規定されている。

具体的には、ＭＰＥＧは、幾つかの技術を組み合わせて作成されており、先ず、入力画像信号から動き補償器で復号化した画像信号を差し引くことで時間冗長部分の削減を行う。

予測の方法には、基本的なモードとして、過去の画像からの予測を行うモードと、未来の画像からの予測を行うモードと、過去と未来の両方の画像からの予測を行うモードとの３モードが存在する。またこれらのモードは、１６画素×１６画素のマクロブロック（ＭＢ：Macroblock）毎に切り替えて使用できる。予測方法は、入力画像に与えられたピクチャタイプ（Picture＿Type）によって決定される。ピクチャタイプには、片方向ピクチャ間予測符号化画像（Ｐピクチャ：P-picture）と、双方向ピクチャ間予測符号化画像（Ｂピクチャ：B-Picture）と、ピクチャ内独立符号化画像（Ｉピクチャ：I-picture）がある。過去の画像から予測を行って符号化するモードと予測をしないでそのマクロブロックを独立に符号化するモードとの２つのモードが存在するのが、Ｐピクチャ（片方向ピクチャ間予測符号化画像）である。また、未来の画像からの予測を行うモードと、過去の画像からの予測を行うモードと、過去と未来の両方の画像からの予測を行うモードと、予測をしないで独立に符号化するモードの４つのモードが存在するのが、Ｂピクチャ（双方向ピクチャ間予測符号化画像）である。そして、全てのマクロブロックを独立に符号化するのが、Ｉピクチャ（ピクチャ内独立符号化画像）である。なお、Ｉピクチャはイントラピクチャと呼ばれ、このため、片方向ピクチャ間予測符号化画像と双方向ピクチャ間予測符号化画像は非イントラピクチャということができる。

動き補償では、動き領域をマクロブロック毎にパターンマッチングすることによってハーフペル精度で動きベクトルを検出し、その検出した動きベクトルの動き分だけマクロブロックをシフトしてから予測する。動きベクトルは、水平方向と垂直方向の動きベクトルが存在し、何処からの予測かを示すＭＣ（Motion Compensation）モードとともにマクロブロックの付加情報として伝送される。

Ｉピクチャから次のＩピクチャの前のピクチャまではＧＯＰ（Group Of Picture）と呼ばれ、蓄積メディアなどで使用される場合には、一般に約１５ピクチャ程度が１ＧＯＰとして使用される。

本発明の実施例１では、このＭＰＥＧに準拠した立体画像データ生成装置を例に挙げて、以下に図面を参照して説明する。

図２は、本発明の実施例１である立体画像データ生成装置の構成を示した構成図である。

図２に示すように、立体画像データ生成装置１は、ヘッダ決定器１０１と、画素数検出器１０２と、サブサンプル制御器１０３と、サブサンプル器１０４と、演算器１０５と、ＤＣＴ器１０６と、量子化器１０７と、ＶＬＣ器１０８と、逆量子化器１０９と、逆ＤＣＴ器１１０と、演算器１１１と、画像メモリ１１２と、動き補償予測器１１３と、バッファ１１４と、符号量制御器１１５とを備えている。なお、演算器１０５と、ＤＣＴ器１０６と、量子化器１０７と、ＶＬＣ器１０８と、逆量子化器１０９と、逆ＤＣＴ器１１０と、演算器１１１と、画像メモリ１１２と、動き補償予測器１１３と、バッファ１１４と、符号量制御器１１５とを、符号化部１２０という。

ヘッダ決定器１０１は、右目用画像データと左目用画像データとを含む立体画像データが供給され、この立体画像データに関する情報であるピクチャーヘッダに含まれる項目の値を決定する。

表１は、ヘッダ決定器１０１により決定されたピクチャーヘッダの各項目を示している。

Picture_start_codeは、ＭＰＥＧで使用されているようにピクチャーの先頭を示すものである。Temporal_referenceは、画像の表示順（入力順）であり、プログレッシブの場合にはＬ（左目用画像データ）とＲ（右目用画像データ）とは同じ番号を、インターレースの場合には時間入力される時間の順番で番号が記載される。例えば、１０ビットで記載する場合、０から１０２３までいったらまた０へもどるというような記載方法で良い。ここにはプログレッシブの場合には同じ時間タイミングであるので同じ番号がＬＲともに示され、インターレースの場合には、その時間のずれている分、早いほうが少ない数字が記載されるようにする。

Picture_coding_typeｇは、上述したＩかＰかＢのピクチャータイプを示している。

Horizontal_size_valueは、水平方向のサンプリング画素数を示しており、Vertical_size_valueは、垂直方向のサンプリング画素数を示している。

Aspect_ratio_codeは４：３や１６：９などの画像のアスペクト比を示している。Frame_rate_codeは、６０Ｈｚとか１８０Ｈｚとかのピクチャー周波数（ここではフィールド周波数）を示している。ＬＲ_indicatorは、２眼の立体画像データのＬ又はＲを示しており、値が“１”の場合はＲ、“０”の場合はＬを示している。

画素数検出器１０２は、右目用画像データと左目用画像データとを含む立体画像データの画素数を検出する。

サブサンプル制御器１０３は、ヘッダ決定器１０１により決定されたピクチャーヘッダに含まれるTemporal_referenceの値に基づいて、右目用画像データ及び左目用画像データのうち少なくともいずれか一方の画像データにおいて高解像度画像データと低解像度画像データとが交互に出力されるように、サブサンプル器１０４に低解像度画像データを生成させる。

サブサンプル器１０４は、画素数検出器１０２により検出された画素数に応じて、サブサンプル制御器１０３からの制御信号に基づいて、高解像度画像データの画素数を低減させて低解像度画像データを生成する。

演算器１０５では、動き補償予測器１１３にて復号化した画像データと画像データとの差分が求められ、その差分画像データがＤＣＴ器１０６に送られる。

ＤＣＴ器１０６では、供給された差分画像データを直交変換する。ここでＤＣＴ（Discrete Cosine Transform）とは、余弦関数を積分核とした積分変換を有限空間への離散変換とする直交変換である。ＭＰＥＧではマクロブロックを４分割した８×８のＤＣＴブロックに対して、２次元ＤＣＴを行う。なお、一般に、ビデオ信号は低域成分が多く、高域成分が少ないため、ＤＣＴを行うと係数が低域に集中する。このＤＣＴ器１０６でのＤＣＴによって得られたデータ（ＤＣＴ係数）は、量子化器１０７に送られる。

量子化器１０７では、ＤＣＴ器１０６からのＤＣＴ係数を量子化する。この量子化器１０７における量子化では、量子化マトリックスという８×８の２次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値とを量子化値として、ＤＣＴ係数をその量子化値で除算する。なお、符号化部１２０にて符号化された後の符号化データを、後にデコーダ等のビデオ復号装置で復号して逆量子化するときは、その符号化部１２０にて使用した量子化値で乗算を行うことにより、元のＤＣＴ係数に近似している値を得ることができる。量子化器１０７にて量子化されたデータは、ＶＬＣ器（可変長符号化器）１０８に送られる。

ＶＬＣ器１０８は、量子化器１０７からの量子化データを可変長符号化する。このＶＬＣ器１０８では、量子化された値のうち、直流（ＤＣ）成分に対しては、予測符号化の一つであるＤＰＣＭ（differential pulse code modulation）を使用して符号化する。一方、交流（ＡＣ）成分に対しては、低域から高域に向けていわゆるジグザグスキャン（zigzag scan）を行い、ゼロのラン長及び有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていく、いわゆるハフマン符号化を行う。また、このＶＬＣ器１０８には、動き補償予測器１１３から動きベクトルと予測モードの情報も供給され、当該ＶＬＣ器１０８は、可変長符号化データと共に、これら動きベクトルと予測モードの情報をマクロブロックの付加情報として出力する。ＶＬＣ器１０８にて可変長符号化されたデータは、バッファメモリ１１４に送られる。

バッファメモリ１１４では、ＶＬＣ器１０８からの可変長符号化データを一時蓄える。その後、このバッファメモリ１１４から所定の転送レートで読み出された符号化データ（符号化ビットストリーム）が出力されることになる。

また、その出力される符号化データにおけるマクロブロック毎の発生符号量情報は、後述する符号量制御器１１５に送信される。この符号量制御器１１５は、マクロブロック毎の発生符号量と目標符号量との差分である誤差符号量を求め、当該誤差符号量に応じた符号量制御信号を生成して量子化器１０７にフィードバックすることにより、発生符号量制御を行う。当該符号量制御のために量子化器１０７にフィードバックされる符号量制御信号は、量子化器１０７における量子化スケールを制御するための信号である。

一方、量子化器１０７にて量子化された画像データは、逆量子化器１０９にも送られる。

この逆量子化器１０９では、量子化器１０７からの量子化された画像データを逆量子化する。この逆量子化により得られたＤＣＴ係数データは、逆ＤＣＴ器１１０に送られる。

逆ＤＣＴ器１１０は、逆量子化器１０９からのＤＣＴ係数データを逆ＤＣＴした後、演算器１１１に送る。

演算器１１１では、逆ＤＣＴ器１１０の出力信号に動き補償予測器１１３からの予測差分画像データを加算する。これにより、画像データが復元される。

この復元された画像データは、画像メモリ１１２に一時蓄えられた後、読み出されて動き補償予測器１１３に送られる。

画像メモリ１１２から動き補償予測器１１３に送られた画像データは、演算器１０５にて差分画像を計算するためのリファレンスの復号化画像を生成するために使用される。

動き補償予測器１１３では、画像データから動きベクトルを検出し、その検出した動きベクトルの動き分だけ画像をシフトしてから予測を行う。この予測によりえられた予測差分画像信号が、演算器１０５及び１１１に送られることになる。また、動き補償予測器１１３にて検出された動きベクトルは、予測モード（ＭＣモード）の情報と共に、ＶＬＣ器１０８に送られる。

＜立体画像データ生成装置の作用＞
本発明の実施例１である立体画像データ生成装置１の作用について説明する。

図３は、本発明の実施例１である立体画像データ生成装置１の処理フローを示したフローチャートである。

図３に示すように、まず、ヘッダ決定器１０１は、立体画像データが供給されると（ステップＳ１０１）、時系列の表示順を決定する（ステップＳ１０３）。具体的には、ヘッダ決定器１０１は、temporal_referenceの値や、その他、表１に示したピクチャヘッダに含まれる項目の値を決定する。

次に、画素数検出器１０２は、立体画像データの画素数を検出する（ステップＳ１０５）。画素数は即ちサンプリング数であり、画素数検出器１０２は、デジタルデータとして入力される場合、フォーマットにより定められた画素数を検出する。アナログデータとして入力される場合には、図示しないＩ／Ｆから例えば１９２０×１０８０画素でサンプリングする、あるいは交互に９６０×５４０画素でサンプリングするなどの規則に従ってサンプリングされた画素数を検出する。

そして、サブサンプル制御器１０３は、ヘッダ決定器１０１により決定された表示順に基づいて、低解像度画像データの順位か否かを判定する（ステップＳ１０７）。プログレッシブの場合、Ｌ（左目用画像データ）とＲ（右目用画像データ）は同じ番号となるように表示順が定められている。そのため、サブサンプル制御器１０３は、Ｌ（左目用画像データ）及びＲ（右目用画像データ）それぞれにおいて、高解像度画像データと低解像度画像データとを交互に出力するように、かつ、右目用画像データ又は左目用画像データのうちいずれか一方を高解像度画像データとし、他方を低解像度画像データとして、右目用画像データ及び左目用画像データを同時出力するように低解像度画像データを配置する必要がる。そこで、サブサンプル制御器１０３は、例えば、ＬＲ_indicator の値が“Ｌ”であれば、temporal_referenceの値が偶数であれば高解像度画像データの順位であり、奇数であれば低解像度画像データの順位であると判定し、ＬＲ_indicator の値が“Ｒ”であれば、temporal_referenceの値が奇数であれば高解像度画像データの順位であり、偶数であれば低解像度画像データの順位であると判定する。

また、インタレースの場合、Ｌ（左目用画像データ）とＲ（右目用画像データ）とを時系列に交互となるように表示順が決められている。そのため、サブサンプル制御器１０３は、Ｌ（左目用画像データ）及びＲ（右目用画像データ）それぞれにおいて、高解像度画像データと低解像度画像データとを交互に出力するように低解像度画像データを配置する必要がある。そこで、サブサンプル制御器１０３は、例えば、ＬＲ_indicator の値毎に、temporal_referenceの値が偶数であれば高解像度画像データの順位であり、奇数であれば低解像度画像データの順位であると判定する。

ステップＳ１０７において、低解像度画像データの順位であると判定された場合（ＹＥＳの場合）、サブサンプル器１０４は、入力画像として供給された立体画像データである高解像度画像データに対してサブサンプルを行うことにより低解像度画像データを生成する（ステップＳ１０９）。例えば、サブサンプル器１０４は、高解像度画像データが１９２０×１０８０画素のハイビジョン画像データであるとすると、垂直水平走査方向共に半分づつの９６０×５４０画素となるようにサブサンプルを行う。

次に、符号化部１２０は、高解像度画像データ又は生成された低解像度画像データの符号化を行うことにより符号化データを生成する（ステップＳ１１１）。

そして、符号化部１２０は、ヘッダ決定器１０１に供給された立体画像データの全ての符号化を終了したと判定した場合、処理を終了する（ステップＳ１１３）。

図４は、本発明の実施例１である立体画像データ生成装置１において、プログレッシブ対応の立体画像を表示するために生成された立体画像データ（符号化データ）の出力順の一例を示した図である。なお、図４では、Ｙ軸を時間、Ｘ軸を解像度として、時間軸上で出力される立体画像データの解像度を示している。

図４に示すように、プログレッシブ対応の場合、Ｌ（左目用画像データ）とＲ（右目用画像データ）とを同時に出力させるようにtemporal_referenceの値が同じ値として決められている。また、右目用画像データ及び左目用画像データそれぞれにおいて、高解像度画像データと低解像度画像データとが交互に出力されるように、また、同時に出力される右目用画像データ又は左目用画像データのうち一方を高解像度画像データとした場合、他方を低解像度画像データとなるように配置されている。

図５は、本発明の実施例１である立体画像データ生成装置１において、インタレース対応の立体画像を表示するために生成された立体画像データ（符号化データ）の出力順の一例を示した図である。なお、図５においても、図４と同様に、Ｙ軸を時間、Ｘ軸を解像度として、時間軸上で出力される画像データの解像度を示している。

図５に示すように、インタレース対応の場合、Ｌ（左目用画像データ）とＲ（右目用画像データ）とを時系列に交互となるようにtemporal_referenceの値が決められている。また、右目用画像データ及び左目用画像データそれぞれにおいて、高解像度画像データと低解像度画像データとが交互に出力されるように、配置されている。

以上のように、本発明の実施例１である立体画像データ生成装置１によれば、右目用画像データ及び左目用画像データそれぞれにおいて、高解像度画像データと低解像度画像データとが交互に出力されるように、サブサンプル器１０４に低解像度画像データを生成させるので、出力するデータ量を低減させることができる。例えば、水平垂直走査方向それぞれ画素数が半分となるように低解像度画像データを生成させた場合、低解像度画像データのデータ量は高解像度画像データのデータ量の５／８となる。また、高解像度画像データと低解像度画像データとが交互に出力されるので、見かけ上鮮明な立体画像を表示させるための立体画像データ（符号化データ）を生成することができる。

＜立体画像データ出力装置の構成＞
本発明の実施例１では、上述した立体画像データ生成装置１により符号化された符号化データを復号して立体画像を表示部に表示する立体画像データ出力装置を例に挙げて、以下に図面を参照して説明する。

図６は、本発明の実施例１である立体画像データ出力装置の構成を示した構成図である。

図６に示すように、立体画像データ出力装置２は、バッファ２０１と、ヘッダ検出器２０２と、画素数読取り器２０３と、ＶＬＤ器２０４と、逆量子化器２０５と、逆ＤＣＴ器２０６と、演算器２０７と、オーバーサンプル器２０８と、オーバーサンプル制御器２０９と、画像メモリ２１０と、動き補償予測器２１１と、表示制御器２１２と、表示部２１３とを備えている。

立体画像データ生成装置１により符号化された符号化データは、バッファ２０１に供給され、この符号化データは、ヘッダ検出器２０２に送られる。

ヘッダ検出器２０２は、ピクチャヘッダに含まれる各項目の値を検出する。

画素数読取り器２０３は、高解像度画像データ及び低解像度画像データを含む立体画像データの画素数を検出する。具体的には、画素数読取り器２０３は、ピクチャヘッダに含まれるHorizontal_size_value、及びVertical_size_valueの値を抽出する。

ＶＬＤ器２０４は、図２に示したＶＬＣ器１０８における可変長符号化の逆処理である可変長復号化を行う。当該可変長復号により得られるデータは、図２のＶＬＣ器１０８への入力である量子化データに、動きベクトル及び予測モードの情報が付加されたものに相当する。ＶＬＤ器２０４での可変長復号化により得られた量子化データは、逆量子化器２０５に送られる。また、動きベクトル及び予測モードの情報は、当該ＶＬＤ器２０４から動き補償予測器２１１に送られる。

逆量子化器２０５では、ＶＬＤ器２０４からの量子化データを逆量子化する。当該逆量子化されたデータは、図２の量子化器１０７への入力であるＤＣＴ係数データに相当する。この逆量子化器２０５での逆量子化により得られたＤＣＴ係数データは、逆ＤＣＴ器２０６に送られる。

逆ＤＣＴ器２０６では、逆量子化器２０５からのＤＣＴ係数を逆ＤＣＴする。

当該逆ＤＣＴ器２０６にて逆ＤＣＴされたデータは、図２に示したＤＣＴ器１０６への入力である差分画像データに相当する。この逆ＤＣＴ器２０６にて逆ＤＣＴされた差分画像データは、演算器２０７に送られる。

演算器２０７では、逆ＤＣＴ器２０６からの差分画像データに、動き補償予測器２１１からの予測差分画像データを加算する。これにより、復号化データが生成される。

オーバーサンプル器２０８は、画素数読取り器２０３により検出された画素数に応じて、低解像度画像データを高解像度画像データと同じ画素数になるようにオーバーサンプルすることにより、拡張低解像度画像データを生成する。

オーバーサンプル制御器２０９は、画素数読取り器２０３により検出された画素数に基づいて立体画像データが低解像度画像データであると判定された場合に、オーバーサンプル器２０８に拡張低解像度画像データを生成させる。

画像メモリ２１０は、オーバーサンプル器２０８から供給された立体画像データ（復号化データ）を一時的に記憶する。

動き補償予測器２１１は、オーバーサンプル器２０８により生成された拡張低解像度画像データと、この拡張低解像度画像データより表示順が１つ前の高解像度画像データとに基づいて、画像上の動きがあるか否かを判定する。具体的には、動き補償予測器２１１は、拡張低解像度画像データとこの拡張低解像度画像データより表示順が１つ前の高解像度画像データとから、動きベクトル及び予測モードを算出し、この算出された動きベクトル及び予測モードに基づいて、画像メモリ２１０から供給された画像データから予測差分画像データを生成し、この予測差分画像データを演算器２０７に送る。

表示制御器２１２は、高解像度画像データと拡張低解像度画像データとに基づいて表示部２１３に立体画像を表示させる。

表示部２１３は、有機ＥＬ（electroluminescence）ディスプレイや、液晶ディスプレイ等の画像出力装置を備え、表示制御器２１２から供給された出力信号に基づいて、立体画像を表示する。

＜立体画像データ出力装置２の作用＞
本発明の実施例１である立体画像データ出力装置２の作用について説明する。

図７は、本発明の実施例１である立体画像データ出力装置２の処理フローを示したフローチャートである。

図７に示すように、画素数読取り器２０３は、ヘッダ検出器２０２から供給された立体画像データから画素数を検出し、検出した画素数をオーバーサンプル制御器２０９へ供給する（ステップＳ２０１）。具体的には、画素数読取り器２０３は、ピクチャヘッダに含まれるHorizontal_size_value、及びVertical_size_valueの値を検出する。

オーバーサンプル制御器２０９は、低解像度画像データか否かを判定する（ステップＳ２０３）。例えば、オーバーサンプル制御器２０９は、１９２０×１０８０画素であれば、高解像度画像データであり、９６０×５４０画素であれば、低解像度画像データであると判定する。

ステップＳ２０３において、低解像度画像データであると判定された場合（ＹＥＳの場合）、オーバーサンプル器２０８は、低解像度画像データを高解像度画像データと同じ画素数になるようにオーバーサンプルを行う（ステップＳ２０５）。具体的には、オーバーサンプル器２０８は、画素のサンプル値をある特性を持った補間フィルターによって埋めて増やしていくことでオーバーサンプルすることにより、拡張低解像度画像データを生成する。例えば、最も簡単な例として、両側の画素を加算して２で割る計算（１，０，１）の３タップのフィルタ計算を行って、作成する。あるいは、両側の２画素づつを用いて、（−１、０、５、０、５、０、−１）の重み付けを行って乗算をして８で割ることで真ん中のサンプリングデータを計算する。比較的タップ数が大きいほうが良い特性でオーバーサンプルすることができる。また、適宜、その後にエンハンスフィルター（強調）など行うことによって、高解像度画像データの解像度に特性を合わせておくことも効果的である。

次に、動き補償予測器２１１は、拡張低解像度画像データの画像上に動きがあったか否かを判定する（ステップＳ２０７）。具体的には、動き補償予測器２１１が、オーバーサンプル器２０８により生成された拡張低解像度画像データと、この拡張低解像度画像データより表示順が１つ前の高解像度画像データとに基づいて、画像上の動きがあるか否かを判定する。

ステップＳ２０７において、拡張低解像度画像データの画像上に動きがあったと判定された場合（ＹＥＳの場合）、表示制御器２１２は、画像メモリ２１０に記憶された拡張低解像度画像データを、表示順が１つ前の高解像度画像データに置き換える（ステップＳ２０９）。

次に、表示制御器２１２は、次に表示させる画像データを決定する（ステップＳ２１１）。具体的には、表示制御器２１２は、ヘッダ検出器２０２により検出されたtemporal_referenceの値に基づいて、次に表示部２１３に表示させる立体画像データ（高解像度画像データ又は拡張低解像度画像データ）を決定する。

次に、表示制御器２１２は、次に表示させる立体画像データが右目用画像データか否かを判定する（ステップＳ２１３）。具体的には、表示制御器２１２は、ピクチャヘッダに含まれるＬＲ_indicatorの値が、が“１”の場合はＲ（右目用画像データ）であり、“０”の場合はＬ（左目用画像データ）であると判定する。

ステップＳ２１３において、次に表示させる立体画像データが右目用画像データであると判定された場合（ＹＥＳの場合）、表示制御器２１２は、画像メモリ２１０に記憶された右目用画像データを表示部２１３に供給する（ステップＳ２１５）。

一方、ステップＳ２１３において、次に表示させる立体画像データが左目用画像データであると判定された場合（ＮＯの場合）、表示制御器２１２は、画像メモリ２１０に記憶された左目用画像データを表示部２１３に供給する（ステップＳ２１７）。

そして、表示部２１３は、表示制御器２１２から供給された右目用画像データ又は左目用画像データに基づいて、立体画像を表示する（ステップＳ２１９）。

次に、表示制御器２１２は、バッファ２０１に供給された符号化データの全ての表示を終了したと判定した場合、処理を終了する（ステップＳ１１３）。

以上のように、本発明の実施例１である立体画像データ出力装置２によれば、検出された画素数に基づいて立体画像データが低解像度画像データであると判定された場合に、オーバーサンプル器２０８に拡張低解像度画像データを生成させるので、出力するデータ量を低減させつつ、見かけ上鮮明な立体画像を表示させることができる。

また、本発明の実施例１である立体画像データ出力装置２によれば、動きがないと判定された拡張低解像度画像データを、表示順が１つ前の高解像度画像データに置き換えて表示部２１３に立体画像を表示させるので、動きがない画像については、出力するデータ量を低減させつつ、フリッカーを低減したより鮮明な立体画像を表示させることができる。

本発明の実施例１では、右目用画像データ及び左目用画像データそれぞれにおいて、高解像度画像データと低解像度画像データとが交互に出力されるように、低解像度画像データを生成する立体画像データ生成装置を例に挙げて説明したがこれに限らない。

本発明の実施例２では、右目用画像データ及び左目用画像データのいずれか一方において、高解像度画像データと低解像度画像データとが交互に出力されるように、低解像度画像データを生成する立体画像データ生成装置を例に挙げて説明する。

図８は、本発明の実施例２である立体画像データ生成装置１において、プログレッシブ対応の立体画像を表示するために生成された画像データの出力順の一例を示した図である。なお、図８では、Ｙ軸を時間、Ｘ軸を解像度として、時間軸上で出力される立体画像データの解像度を示している。

図８に示すように、プログレッシブ対応の場合、Ｌ（左目用画像データ）とＲ（右目用画像データ）とを同時に出力させるようにtemporal_referenceの値が同じ値として決められている。また、左目用画像データにおいては、高解像度画像データを出力するように配置されているが、右目用画像データにおいては、高解像度画像データと低解像度画像データとが交互に出力されるように配置されている。

図９は、本発明の実施例２である立体画像データ生成装置１において、インタレース対応の立体画像を表示するために生成された画像データの表示順の一例を示した図である。なお、図９においても、図８と同様に、Ｙ軸を時間、Ｘ軸を解像度として、時間軸上で出力される立体画像データの解像度を示している。

図９に示すように、インタレース対応の場合、Ｌ（左目用画像データ）とＲ（右目用画像データ）とを時系列に交互となるようにtemporal_referenceの値が決められている。また、左目用画像データにおいては、高解像度画像データを出力するように配置されているが、右目用画像データにおいては、高解像度画像データと低解像度画像データとが交互に出力されるように配置されている。

以上のように、本発明の実施例２である立体画像データ生成装置１によれば、左目用画像データにおいて、高解像度画像データを出力させ、右目用画像データにおいて、高解像度画像データと低解像度画像データとが交互に出力されるように、サブサンプル器１０４に低解像度画像データを生成させるので、出力するデータ量を低減させることができる。さらに、利用者の効き目が左目である場合、より鮮明が画像として認識することができような見かけ上鮮明な画像を表示させるための立体画像データを生成することができる。

１…立体画像データ生成装置
２…立体画像データ出力装置
１０１…ヘッダ決定器（表示順決定手段）
１０２…画素数検出器（画素数検出手段）
１０３…サブサンプル制御器
１０４…サブサンプル器
１０５，１１１…演算器
１０６…ＤＣＴ器
１０７…量子化器
１０８…ＶＬＣ器
１０９…逆量子化器
１１０…逆ＤＣＴ器
１１２…画像メモリ
１１３…動き補償予測器
１１４…バッファメモリ
１１５…符号量制御器
１２０…符号化部
２０１…バッファメモリ
２０２…ヘッダ検出器
２０３…画素数読取り器（画素数検出手段）
２０４…ＶＬＤ器
２０５…逆量子化器
２０６…逆ＤＣＴ器
２０７…演算器
２０８…オーバーサンプル器
２０９…オーバーサンプル制御器
２１０…画像メモリ
２１１…動き補償予測器（動き判定手段）
２１２…表示制御器（出力制御手段）
２１３…表示部

Claims (6)

1. 右目用画像データと左目用画像データとを含み高解像度画像データとして生成された立体画像データの画素数を検出する画素数検出手段と、
   前記立体画像データに基づいて、前記右目用画像データ及び前記左目用画像データの表示順を決定する表示順決定手段と、
   前記画素数検出手段により検出された画素数に基づいて、前記立体画像データである高解像度画像データの画素数を低減させて低解像度画像データを生成するサブサンプル手段と、
   前記決定された表示順に基づいて、前記右目用画像データ及び前記左目用画像データのうち少なくともいずれか一方の画像データにおいて前記高解像度画像データと前記低解像度画像データとが交互に出力されるように、前記サブサンプル手段に前記低解像度画像データを生成させるサブサンプル制御手段と、
   を備えたことを特徴とする立体画像データ生成装置。
2. 前記サブサンプル制御手段は、
   前記右目用画像データ及び前記左目用画像データそれぞれにおいて、前記高解像度画像データと前記低解像度画像データとが交互に出力されるように、前記サブサンプル手段に前記低解像度画像データを生成させる
   ことを特徴とする請求項１記載の立体画像データ生成装置。
3. 前記サブサンプル制御手段は、
   前記右目用画像データ又は前記左目用画像データのうちいずれか一方を前記高解像度画像データとし、他方を前記低解像度画像データとして、前記右目用画像データ及び前記左目用画像データを同時出力するように、前記サブサンプル手段に前記低解像度画像データを生成させる
   ことを特徴とする請求項２記載の立体画像データ生成装置。
4. 右目用画像データと左目用画像データとを含み高解像度画像データとして生成された立体画像データの画素数を検出する画素数検出ステップと、
   前記立体画像データに基づいて、前記右目用画像データ及び前記左目用画像データの表示順を決定する表示順決定ステップと、
   前記画素数検出ステップにより検出された画素数に基づいて、前記立体画像データである高解像度画像データの画素数を低減させて低解像度画像データを生成するサブサンプルステップと、
   前記決定された表示順に基づいて、前記右目用画像データ及び前記左目用画像データのうち少なくともいずれか一方の画像データにおいて前記高解像度画像データと前記低解像度画像データとが交互に出力されるように、前記サブサンプルステップに前記低解像度画像データを生成させるサブサンプル制御ステップと、
   を有することを特徴とする立体画像データ生成方法。
5. 前記サブサンプル制御ステップは、
   前記右目用画像データ及び前記左目用画像データそれぞれにおいて、前記高解像度画像データと前記低解像度画像データとが交互に出力されるように、前記サブサンプルステップに前記低解像度画像データを生成させる
   ことを特徴とする請求項４記載の立体画像データ生成方法。
6. 前記サブサンプル制御ステップは、
   前記右目用画像データ又は前記左目用画像データのうちいずれか一方を前記高解像度画像データとし、他方を前記低解像度画像データとして、前記右目用画像データ及び前記左目用画像データを同時出力するように、前記サブサンプルステップに前記低解像度画像データを生成させる
   ことを特徴とする請求項５記載の立体画像データ生成方法。

Images