JP2003319417A - 立体画像作成装置、立体画像表示装置およびそれらの方法 - Google Patents

Abstract

(57)【要約】 【課題】 精度の高い立体画像用データを作成すること
が可能な立体画像作成装置および立体画像用データを表
示する立体画像表示装置を提供すること。 【解決手段】 左眼用画像作成部１０２および右眼用画
像作成部１０３は、カメラ１０１ａおよび１０１ｂによ
って撮影された画像を水平方向に間引きながら画素をサ
ンプリングし、サンプリングされた画素の位置に応じて
色情報の計算方法を変更し、当該画素の色情報を計算し
て所定フォーマットの画像を作成する。したがって、精
度の高い立体画像用データを作成することが可能とな
る。また、多重化部１０５は、復号化された左眼用画像
および右眼用画像と、色情報の計算方法に関する情報と
を多重化するので、立体画像用データ表示部１１２に立
体画像を表示させることによって、ユーザはどの計算方
法で色情報が作成された立体画像が立体に見えやすいか
等を容易に判断することが可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、立体画像用の左眼
用画像および右眼用画像を作成して表示する技術に関
し、特に、左眼用画像および右眼用画像のフォーマット
変換を行なって符号化を行なう立体画像作成装置、符号
化データを復号してフォーマット変換を行った後に立体
画像を表示する立体画像表示装置およびそれらの方法に
関する。

【０００２】

【従来の技術】近年、立体画像を表示する技術が盛んに
研究されている。その１つとして、ユーザの左眼と右眼
との視差を利用して立体画像を作成し、表示する立体画
像装置を挙げることができる。

【０００３】図６は、従来の立体画像装置における画像
データの作成方法を説明するための図である。この立体
画像装置は、立体画像を作成する立体画像作成装置と、
立体画像作成装置によって作成された立体画像を表示す
る立体画像表示装置とに分けられる。

【０００４】立体画像作成装置は、画像データ作成時に
２台のカメラで左眼用と右眼用との画像を各々撮影す
る。そして、図６（ａ）に示すように、１画素毎に画素
を間引いて、左眼用画像および右眼用画像の水平方向の
サイズを各々１／２にする。次に、水平方向に半分のサ
イズになった左眼用画像と右眼用画像とを各々符号化
し、これらの符号化データを多重化し、多重化データを
伝送、または記録媒体に記録する。

【０００５】立体画像表示装置は、立体画像作成装置に
よって作成された多重化データを受信または記録媒体か
ら読出し、左眼用画像と右眼用画像とを各々再生する。
そして、図６（ｂ）に示すように、左眼用画像（Ｌ）と
右眼用画像（Ｒ）とを１画素ずつ水平方向に交互に並べ
たり、図６（ｃ）に示すように、１ライン毎に垂直方向
に交互に並べたりして、立体表示用の画像を作成する。
立体画像表示装置は、レンチキュラ方式、パララクスバ
リア方式、シャッタ（時分割）方式等を用いて、ユーザ
の左眼には左眼用の画像だけが見え、ユーザの右眼には
右眼用の画像だけが見えるようにすることで、ユーザに
画像を立体として見せることができる。

【０００６】このような立体画像装置の一例としては、
特開平１１−１８１１１号公報に開示された立体映像伝
送装置を挙げることができる。この特開平１１−１８１
１１号公報に開示された立体映像伝送装置においては、
圧縮回路が左眼用画像および右眼用画像をそれぞれ１画
素毎に間引き処理を行なって、画像を水平走査線方向に
圧縮する。

【０００７】たとえば、図６（ｄ）に示すように、撮影
した画像の左から偶数番目のＲＧＢ画素値のみを抽出し
て、左眼用画像と右眼用画像とを作成する。また、図６
（ｅ）に示すように、左眼用画像と右眼用画像とのＲＧ
Ｂのうち、画素のＧ値をＲＢ値に対して１画素分ずらし
て間引くことによって、左眼用画像と右眼用画像とを作
成している。ここで、図６（ｄ）および図６（ｅ）に示
すＲ、Ｇ、Ｂの後に付加されている数字は、１ライン上
でのＲ、Ｇ、Ｂの各座標を示している。

【０００８】

【発明が解決しようとする課題】しかし、画像、特に動
画像を伝送、または記録媒体に記録する場合には、画像
のデータ量が非常に大きいため符号化処理を施すのが一
般的である。一般的な符号化アルゴリズムであるＭＰＥ
Ｇ（Moving Picture Experts Group）−１、ＭＰＥＧ−
２、ＭＰＥＧ−４、およびデジタルビデオカメラで使わ
れるＤＶ方式の圧縮は、全て入力画像データとしてＹＵ
Ｖデータが用いられる。

【０００９】また、カメラで撮影された画像もＲＧＢデ
ータであるとは限らず、ＹＵＶデータであることが多
い。さらには、ＹＵＶデータのフォーマットは、４：
４：４、４：２：２、４：２：０、４：１：１等のよう
に１種類ではないため、入力画像がＹＵＶデータであっ
てもフォーマットが異なり、従来の立体画像表示装置が
正しく立体画像を表示するためには適切なフォーマット
変換が必要な場合があるといった問題点があった。

【００１０】本発明は、上記問題点を解決するためにな
されたものであり、第１の目的は、精度の高い立体画像
用データを作成することが可能な立体画像作成装置およ
びその方法を提供することである。

【００１１】第２の目的は、色情報が最適となるように
立体画像用データを補間して表示することが可能な立体
画像表示装置およびその方法を提供することである。

【００１２】

【課題を解決するための手段】本発明のある局面に従え
ば、輝度情報と色情報とが分離された入力画像から立体
画像用データを作成する立体画像作成装置であって、左
眼用画像を作成するための左眼用画像作成手段と、右眼
用画像を作成するための右眼用画像作成手段と、左眼用
画像作成手段によって作成された左眼用画像および右眼
用画像作成手段によって作成された右眼用画像を符号化
するための符号化手段と、符号化手段によって符号化さ
れた左眼用画像および右眼用画像を多重化するための多
重化手段とを含み、左眼用画像作成手段および右眼用画
像作成手段は、入力画像を水平方向に間引きながら画素
をサンプリングし、サンプリングされた画素の位置に応
じて色情報の計算方法を変更し、当該画素の色情報を計
算して所定フォーマットの画像を作成する。

【００１３】サンプリングされた画素の位置に応じて色
情報の計算方法を変更し、画素の色情報が計算されるの
で、精度の高い立体画像用データを作成することが可能
となる。

【００１４】好ましくは、多重化手段は、符号化手段に
よって符号化された左眼用画像および右眼用画像と、所
定フォーマットに関する情報とを多重化する。

【００１５】したがって、立体画像表示装置に立体画像
を表示させることによって、ユーザはどのフォーマット
で作成された立体画像が立体に見えやすいか等を容易に
判断することが可能となる。

【００１６】好ましくは、多重化手段は、符号化手段に
よって符号化された左眼用画像および右眼用画像と、色
情報の計算方法に関する情報とを多重化する。

【００１７】したがって、立体画像表示装置に立体画像
を表示させることによって、ユーザはどの計算方法で色
情報が作成された立体画像が立体に見えやすいか等を容
易に判断することが可能となる。

【００１８】好ましくは、多重化手段は、符号化手段に
よって符号化された左眼用画像および右眼用画像と、左
眼用画像および右眼用画像の色情報の補間方法に関する
情報とを多重化する。

【００１９】したがって、立体画像表示装置が色情報の
補間方法に関する情報を抽出することによって、色情報
が最適となるように立体画像用データを補間して、より
立体として見えやすい画像を表示することが可能とな
る。

【００２０】好ましくは、多重化手段は、符号化手段に
よって符号化された左眼用画像および右眼用画像と、サ
ンプリングした画素の位置に関する情報とを多重化す
る。

【００２１】したがって、立体画像表示装置がサンプリ
ングした画素に関する情報を抽出することによって、色
情報が最適となるように立体画像用データを補間して表
示することや、どの左眼用画像と右眼用画像との組合せ
が立体に見えやすいか等をユーザが決定する際の利便性
を向上させることが可能となる。

【００２２】本発明の別の局面に従えば、輝度情報と色
情報とが分離された左眼用画像および右眼用画像を合成
して表示する立体画像表示装置であって、多重化された
データを逆多重化して、符号化された左眼用画像と、符
号化された右眼用画像と、左眼用画像および右眼用画像
の色情報の補間方法とを抽出するための逆多重化手段
と、逆多重化手段によって抽出された符号化された左眼
用画像および符号化された右眼用画像を復号するための
復号手段と、逆多重化手段によって抽出された左眼用画
像および右眼用画像の色情報の補間方法を参照して、復
号手段によって復号された左眼用画像および右眼用画像
の色情報を補間して所定フォーマットの画像に変換する
ためのフォーマット変換手段と、フォーマット変換手段
によって変換された左眼用画像および右眼用画像を合成
するための合成手段と、合成手段によって合成された画
像に応じて立体画像を表示するための表示手段とを含
む。

【００２３】フォーマット変換手段は、色情報の補間方
法を参照して、左眼用画像および右眼用画像の色情報を
補間して所定フォーマットの画像に変換するので、色情
報が最適となるように立体画像用データを補間して表示
することが可能となる。

【００２４】本発明のさらに別の局面に従えば、立体画
像表示装置は、輝度情報と色情報とが分離された左眼用
画像および右眼用画像を合成して表示する立体画像表示
装置であって、多重化されたデータを逆多重化して、符
号化された左眼用画像と、符号化された右眼用画像と、
左眼用画像および右眼用画像のサンプリングした画素の
位置に関する情報とを抽出するための逆多重化手段と、
逆多重化手段によって抽出された符号化された左眼用画
像および符号化された右眼用画像を復号するための復号
手段と、逆多重化手段によって抽出された左眼用画像お
よび右眼用画像のサンプリングした画素の位置に関する
情報を参照して、復号手段によって復号された左眼用画
像および右眼用画像を水平方向に拡大して所定フォーマ
ットの画像に変換するためのフォーマット変換手段と、
フォーマット変換手段によって変換された左眼用画像お
よび右眼用画像を合成するための合成手段と、合成手段
によって合成された画像に応じて立体画像を表示するた
めの表示手段とを含む。

【００２５】フォーマット変換手段は、サンプリングし
た画素の位置に関する情報を参照して、左眼用画像およ
び右眼用画像を水平方向に拡大して所定フォーマットの
画像に変換し画素データを配置するため、立体画像作成
装置と立体画像表示装置とで生じる位相のずれを防ぐこ
とが可能となる。

【００２６】本発明のさらに別の局面に従えば、輝度情
報と色情報とが分離された入力画像から立体画像用デー
タを作成する立体画像作成方法であって、左眼用画像を
作成するステップと、右眼用画像を作成するステップ
と、作成された左眼用画像および右眼用画像を符号化す
るステップと、符号化された左眼用画像および右眼用画
像を多重化するステップとを含み、左眼用画像を作成す
るステップおよび右眼用画像を作成するステップは、入
力画像を水平方向に間引きながら画素をサンプリング
し、サンプリングされた画素の位置に応じて色情報の計
算方法を変更し、当該画素の色情報を計算して所定フォ
ーマットの画像を作成するステップを含む。

【００２７】サンプリングされた画素の位置に応じて色
情報の計算方法を変更し、画素の色情報が計算されるの
で、精度の高い立体画像用データを作成することが可能
となる。

【００２８】本発明のさらに別の局面に従えば、輝度情
報と色情報とが分離された左眼用画像および右眼用画像
を合成して表示する立体画像表示方法であって、多重化
されたデータを逆多重化して、符号化された左眼用画像
と、符号化された右眼用画像と、左眼用画像および右眼
用画像の色情報の補間方法とを抽出するステップと、抽
出された符号化された左眼用画像および符号化された右
眼用画像を復号するステップと、抽出された左眼用画像
および右眼用画像の色情報の補間方法を参照して、復号
された左眼用画像および右眼用画像の色情報を補間して
所定フォーマットの画像に変換するステップと、所定フ
ォーマットに変換された左眼用画像および右眼用画像を
合成するステップと、合成された画像に応じて立体画像
を表示するステップとを含む。

【００２９】色情報の補間方法を参照して、左眼用画像
および右眼用画像の色情報を補間して所定フォーマット
の画像に変換するので、色情報が最適となるように立体
画像用データを補間して表示することが可能となる。

【００３０】本発明のさらに別の局面に従えば、輝度情
報と色情報とが分離された左眼用画像および右眼用画像
を合成して表示する立体画像表示方法であって、多重化
されたデータを逆多重化して、符号化された左眼用画像
と、符号化された右眼用画像と、左眼用画像および右眼
用画像のサンプリングした画素の位置に関する情報とを
抽出するステップと、抽出された符号化された左眼用画
像および符号化された右眼用画像を復号するステップ
と、抽出された左眼用画像および右眼用画像のサンプリ
ングした画素の位置に関する情報を参照して、復号され
た左眼用画像および右眼用画像を水平方向に拡大して所
定フォーマットの画像に変換するステップと、所定フォ
ーマットに変換された左眼用画像および右眼用画像を合
成するステップと、合成された画像に応じて立体画像を
表示するステップとを含む。

【００３１】サンプリングした画素の位置に関する情報
を参照して、左眼用画像および右眼用画像を水平方向に
拡大して所定フォーマットの画像に変換し画素データを
配置するため、立体画像作成装置と立体画像表示装置と
で生じる位相のずれを防ぐことが可能となる。

【００３２】

【発明の実施の形態】（第１の実施の形態）図１は、本
発明の第１の実施の形態における立体画像装置の概略構
成を示すブロック図である。この立体画像装置は、立体
画像作成装置（以下、立体画像用データ作成部と呼
ぶ。）１１１と、立体画像表示装置（以下、立体画像用
データ表示部と呼ぶ。）１１２とを含む。

【００３３】立体画像用データ作成部１１１は、カメラ
１０１ａおよび１０１ｂと、左眼用画像作成部１０２
と、右眼用画像作成部１０３と、エンコーダ１０４ａお
よび１０４ｂと、多重化部１０５とを含む。カメラ１０
１ａは、左眼用の画像を撮影する。また、カメラ１０１
ｂは、右眼用の画像を撮影する。

【００３４】左眼用画像作成部１０２は、カメラ１０１
ａによって撮影された左眼用の画像データを、エンコー
ダ１０４ａがエンコード可能なフォーマットに変換す
る。同様にして、右眼用画像作成部１０３は、カメラ１
０１ｂによって撮影された右眼用の画像データを、エン
コーダ１０４ｂがエンコード可能なフォーマットに変換
する。

【００３５】エンコーダ１０４ａは、ＭＰＥＧ−１、Ｍ
ＰＥＧ−２、ＭＰＥＧ−４、ＤＶ圧縮方式等のアルゴリ
ズムを利用して、カメラ１０１ａによって撮影された画
像をエンコードする。エンコーダ１０４ｂは、エンコー
ダ１０４ａと同様のアルゴリズムを利用して、カメラ１
０１ｂによって撮影された画像をエンコードする。

【００３６】多重化部１０５は、エンコーダ１０４ａに
よってエンコードされた左眼用画像の符号化データ、エ
ンコーダ１０４ｂによってエンコードされた右眼用画像
の符号化データ、および各種制御情報を多重化する。多
重化部１０５によって多重化されたデータは、立体画像
用データ表示部１１２に送信されたり、記録メディアに
記録されたりする。

【００３７】また、立体画像用データ表示部１１２は、
逆多重化部１０６と、デコーダ１０７ａおよび１０７ｂ
と、フォーマット変換部１０８ａおよび１０８ｂと、合
成部１０９と、表示部１１０とを含む。

【００３８】逆多重化部１０６は、立体画像用データ作
成部１１１から受信した多重化データや、記録メディア
から読出した多重化データを逆多重化し、左眼用画像の
符号化データ、右眼用画像の符号化データおよび各種制
御情報を抽出する。抽出された左眼用画像の符号化デー
タはデコーダ１０７ａに転送され、右眼用画像の符号化
データはデコーダ１０７ｂに転送され、制御情報はフォ
ーマット変換部１０８ａおよび１０８ｂに転送される。

【００３９】デコーダ１０７ａは、エンコーダ１０４ａ
に対応しており、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥ
Ｇ−４、ＤＶ圧縮方式等のアルゴリズムを利用して、逆
多重化部１０６から受けた左眼用画像の符号化データを
復号する。デコーダ１０７ｂは、エンコーダ１０４ｂに
対応しており、デコーダ１０７ａと同様のアルゴリズム
を利用して、逆多重化部１０６から受けた右眼用画像の
符号化データを復号する。

【００４０】フォーマット変換部１０８ａは、逆多重化
部１０６から受けた制御情報を参照して、デコーダ１０
７ａによって復号された左眼用画像を、表示部１１０が
表示可能なフォーマットに変換する。同様に、フォーマ
ット変換部１０８ｂは、逆多重化部１０６から受けた制
御情報を参照して、デコーダ１０７ｂによって復号され
た右眼用画像を、表示部１１０が表示可能なフォーマッ
トに変換する。

【００４１】合成部１０９は、フォーマット変換部１０
８ａによってフォーマット変換された左眼用画像と、フ
ォーマット変換部１０８ｂによってフォーマット変換さ
れた右眼用画像とを合成し、立体画像用データを作成す
る。

【００４２】表示部１１０は、ＬＣＤ（Liquid Crystal
Display）モジュールなどによって構成され、レンチキ
ュラ方式、パララクスバリア方式、シャッタ（時分割）
方式などを用いて、立体画像を表示する。

【００４３】図２および図３は、各種画像フォーマット
の一例を示す図である。各画素の上の数値はその画素の
左端からの座標を表しており、本明細書では画素の位置
を画像の左端からの座標で表すことにする。また、特に
断らない限り、Ｕ成分とＶ成分とをまとめてＣ（クロマ
成分）と表すことにする。なお、図２においては、Ｙと
Ｃとの関係が全てのラインで同じなので、１ラインのみ
を記載している。

【００４４】図２（ａ）は、ＹＵＶ４：２：２フォーマ
ットを示す図であり、Ｙに対してＣを水平方向に１／２
に削減したものである。図２（ｄ）は、ＹＵＶ４：１：
１フォーマットを示す図であり、Ｙに対してＣを水平方
向に１／４に削減したものである。図３（ａ）はＹＵＶ
４：２：０（ＭＰＥＧ−２用）フォーマットを示す図で
あり、Ｙに対してＣを水平方向に１／２、垂直方向に１
／２に削減したものである。

【００４５】図２（ａ）および図２（ｄ）に示すよう
に、ＹＵＶ４：２：２フォーマットやＹＵＶ４：１：１
フォーマットにおいては、各ライン上でＹとＣとが同じ
位置でサンプリングされている。しかし、図３（ａ）に
示すように、ＹＵＶ４：２：０（ＭＰＥＧ−２用）フォ
ーマットにおいては、Ｃを垂直方向にも間引くために、
ＹとＣとの垂直方向のサンプリング位置は異なってい
る。ここで、図３（ａ）の左端の数値は、その画素の画
像の上端からの座標を示す数値である。

【００４６】図２（ａ）と図３（ａ）とを比較すればわ
かるように、水平方向のＹとＣとの関係では、ＹＵＶ
４：２：２フォーマットとＹＵＶ４：２：０（ＭＰＥＧ
−２用）フォーマットとが同じである。本発明において
は水平方向の処理しか関係しないため、以下の説明では
ＹＵＶ４：２：２フォーマットの中にＹＵＶ４：２：０
（ＭＰＥＧ−２用）フォーマットを含めることにする。

【００４７】本実施の形態においては、カメラ１０１ａ
および１０１ｂが、ＹＵＶ４：２：２フォーマットのデ
ータを出力する場合のものである。左眼用画像作成部１
０２および右眼用画像作成部１０３は、図２（ａ）に示
す画像データが入力されると、この画像データに対して
水平方向に１／２の間引きを行なう。間引きを行なった
後の画像データもＹＵＶ４：２：２フォーマットである
場合には、図２（ｂ）または図２（ｃ）に示すものとな
る。また、間引きを行なった後の画像データがＹＵＶ
４：１：１フォーマットである場合には、図２（ｅ）ま
たは図２（ｆ）に示すものとなる。

【００４８】ここで、間引き処理をする前の座標ｉの画
素のＹをＹ（ｉ）、座標ｉの画素のＣをＣ（ｉ）と表す
ことにする。図２（ｂ）においては、Ｙ（０）、Ｙ
（２）、Ｙ（４）、Ｙ（６）、Ｙ（８）…が存在すると
共に、Ｃ（０）、Ｃ（４）、Ｃ（８）…が存在する。ま
た、図２（ｃ）においては、Ｙ（１）、Ｙ（３）、Ｙ
（５）、Ｙ（７）、Ｙ（９）…が存在すると共に、Ｃ
（１）、Ｃ（５）、Ｃ（９）…が存在する。

【００４９】図２（ｂ）と図２（ｃ）との違いは、偶数
番目の画素をサンプリングするか、奇数番目の画素をサ
ンプリングするかの違いである。左眼用画像と右眼用画
像との組合わせにおいて、左眼用画像として図２（ｂ）
に示す画像を使い、右眼用画像として図２（ｃ）に示す
画像を使うようにしてもよい。また、左眼用画像として
図２（ｃ）に示す画像を使い、右眼用画像として図２
（ｂ）に示す画像を使うようにしてもよい。

【００５０】また、左眼用画像および右眼用画像の双方
とも図２（ｂ）に示す画像を使ってもよいし、双方とも
図２（ｃ）に示す画像を使ってもよい。左眼用画像と右
眼用画像との組み合わせの選択は自由である。本発明の
実施の形態２以降についても同様である。

【００５１】また、間引いた後の画像として、図２
（ｂ）に示す画像を使う場合には、ＹおよびＣともサン
プリング前の同じ位置のデータをそのまま使えばよい。
間引いた後の画像として、図２（ｃ）に示す画像を使う
場合にも、Ｙはサンプリング前の同じ位置のデータをそ
のまま使えばよい。しかし、間引いた後の画像として、
図２（ｃ）に示す画像を使う場合には、Ｃに関してはサ
ンプリング前後で位置が異なり、サンプリング前の同じ
位置のデータが存在しない。したがって、図２（ｃ）に
示す画像のＣは、サンプリング前のＣ（０）、Ｃ
（２）、Ｃ（４）、Ｃ（６）、Ｃ（８）…からＣ
（１）、Ｃ（５）、Ｃ（９）…を計算する必要がある。

【００５２】たとえば、図２（ａ）に示す画像のＣをＣ
ａと表し、図２（ｃ）に示す画像のＣをＣｃと表すと、
ＣａとＣｃとの関係は次に示す式（１）〜（３）のいず
れかとなる。

【００５３】 Ｃｃ（ｉ＊４＋１）＝Ｃａ（ｉ＊４） …（１） Ｃｃ（ｉ＊４＋１）＝Ｃａ（ｉ＊４＋２） …（２） Ｃｃ（ｉ＊４＋１）＝（Ｃａ（ｉ＊４）＋Ｃａ（ｉ＊４＋２））／２ …（３） ここで、Ｃａ（ｉ）は図２（ａ）に示す画像の座標ｉの
画素のＣ、Ｃｃ（ｉ）は図２（ｃ）に示す画像の座標ｉ
の画素のＣを表している。式（１）、式（２）または式
（３）のように、図２（ｃ）に示す画像のＣの位置に対
応する画素の、サンプリング前の近傍の画素値を使って
計算することになる。すなわち、式（１）は左隣のＣの
画素値を用いる場合、式（２）は右隣のＣの画素値を用
いる場合、式（３）は両隣のＣの平均画素値を用いる場
合を示している。

【００５４】同様に、左眼用画像作成部１０２および右
眼用画像作成部１０３がＹＵＶ４：１：１フォーマット
で画像を作成する場合も、左眼用画像と右眼用画像との
組み合わせの選択は自由である。間引いた後の画像とし
て、図２（ｅ）に示す画像を使う場合には、ＹおよびＣ
ともサンプリング前の同じ位置のデータをそのまま使え
ばよい。間引いた後の画像として、図２（ｆ）に示す画
像を使う場合にも、Ｙはサンプリング前の同じ位置のデ
ータをそのまま使えばよい。しかし、間引いた後の画像
として、図２（ｆ）に示す画像を使う場合には、画素の
Ｃに関してはサンプリング前後で位置が異なるため、サ
ンプリング前の同じ位置のデータが存在しない。従っ
て、図２（ｆ）に示す画像のＣについては、サンプリン
グ前のＣ（０）、Ｃ（２）、Ｃ（４）、Ｃ（６）、Ｃ
（８）…から、Ｃ（１）、Ｃ（９）…を計算する必要が
ある。

【００５５】たとえば、図２（ａ）に示す画像のＣをＣ
ａと表し、図２（ｆ）に示す画像のＣをＣｆと表すと、
ＣａとＣｆとの関係は次に示す式（４）〜（６）のいず
れかとなる。

【００５６】 Ｃｆ（ｉ＊８＋１）＝Ｃａ（ｉ＊８） …（４） Ｃｆ（ｉ＊８＋１）＝Ｃａ（ｉ＊８＋２） …（５） Ｃｆ（ｉ＊８＋１）＝（Ｃａ（ｉ＊８）＋Ｃａ（ｉ＊８＋２））／２ …（６） ここで、Ｃａ（ｉ）は図２（ａ）に示す画像の座標ｉの
画素のＣ、Ｃｆ（ｉ）は図２（ｆ）に示す画像の座標ｉ
の画素のＣを表している。式（４）、式（５）または式
（６）に示すように、図２（ｆ）のＣの位置に対応する
画素の、サンプリング前の近傍の画素値を使って計算す
ることになる。すなわち、式（４）は左隣のＣの画素値
を用いる場合、式（５）は右隣のＣの画素値を用いる場
合、式（６）は両隣のＣの平均画素値を用いる場合を示
している。

【００５７】２台のカメラ１０１ａおよび１０１ｂで撮
影した画像を、各々左眼用画像と右眼用画像とに変換す
るために、図２（ｂ）および図２（ｃ）に示す画像（Ｙ
ＵＶ４：１：１フォーマットの場合には、図２（ｅ）お
よび図２（ｆ）に示す画像）のいずれを選択するかにつ
いては、ユーザが状況に応じて選択する。そして、いず
れを選択したかを示すフラグが多重化部１０５に出力さ
れる。多重化部１０５は、このフラグを制御情報として
左眼用画像の符号化データおよび右眼用画像の符号化デ
ータに多重化する。

【００５８】光軸を並行にして撮影する場合には、左眼
用画像として図２（ｂ）に示す画像（ＹＵＶ４：１：１
フォーマットの場合には、図２（ｅ）に示す画像）、右
眼用画像として図２（ｃ）に示す画像（ＹＵＶフォーマ
ット４：１：１の場合には、図２（ｆ）に示す画像）を
選択すると、高い精度の画像が得られる。

【００５９】また、左眼用画像および右眼用画像とも、
図２（ｂ）に示す画像（ＹＵＶ４：１：１フォーマット
の場合には、図２（ｅ）に示す画像）を選択すると、処
理が簡単である。このように、ユーザがその都度、状況
にあった画像を選択するようにすればよい。

【００６０】以上説明したように、本実施の形態におけ
る立体画像装置においては、カメラ１０１ａおよび１０
１ｂが撮影した画像がＹＵＶ４：２：２フォーマットの
場合に、左眼用画像作成部１０２および右眼用画像作成
部１０３が左眼用画像および右眼用画像を作成するとき
に、間引き処理を行なって作成される画像の色情報の位
置に合わせて色情報を計算するようにしたので、精度の
高い立体画像を作成することが可能となった。

【００６１】また、画像がどのＹＵＶフォーマットに相
当するかを示す情報およびどの位置の画素を符号化した
かを示す情報を含んだ制御情報を、左眼用画像の符号化
データおよび右眼用画像の符号化データに多重化するよ
うにしたので、立体画像用データ表示部１１２が立体画
像を表示するときに、どの組合わせの画像が立体に見え
やすいか等をユーザが決定する際の利便性を向上させる
ことが可能となった。また、どの組合せが立体に見えや
すいかの情報を立体画像用データ作成部１１１にフィー
ドバックすることによって、左眼用画像作成部１０２お
よび右眼用画像作成部１０３における左眼用画像および
右眼用画像の選択を容易に行なうことが可能となる。

【００６２】（第２の実施の形態）本発明の第２の実施
の形態における立体画像装置の概略構成は、図１に示す
第１の実施の形態における立体画像装置の概略構成と同
様である。したがって、重複する構成および機能の詳細
な説明は繰返さない。

【００６３】本実施の形態においては、カメラ１０１ａ
および１０１ｂが、ＹＵＶ４：１：１フォーマットの画
像データを出力する場合のものである。左眼用画像作成
部１０２および右眼用画像作成部１０３は、図２（ｄ）
に示す画像データが入力されると、この画像データに対
して水平方向に１／２の間引きを行なう。間引きを行な
った後の画像データもＹＵＶ４：１：１フォーマットで
ある場合には、図２（ｅ）または図２（ｆ）に示すもの
となる。

【００６４】間引いた後の画像として、図２（ｅ）に示
す画像を使う場合には、ＹおよびＣともサンプリング前
の同じ位置のデータをそのまま使えばよい。間引いた後
の画像として、図２（ｆ）に示す画像を使う場合にも、
Ｙはサンプリング前の同じ位置のデータをそのまま使え
ばよい。しかし、間引いた後の画像として、図２（ｆ）
に示す画像を使う場合には、Ｃに関してはサンプリング
前後で位置が異なり、サンプリング前の同じ位置のデー
タが存在しない。したがって、図２（ｆ）に示す画像の
Ｃは、サンプリング前のＣ（０）、Ｃ（４）、Ｃ（８）
…からＣ（１）、Ｃ（９）…を計算する必要がある。

【００６５】たとえば、図２（ｄ）に示す画像のＣをＣ
ｄと表し、図２（ｆ）に示す画像のＣをＣｆと表すと、
ＣｄとＣｆとの関係は次に示す式（７）〜式（９）のい
ずれかとなる。

【００６６】 Ｃｆ（ｉ＊８＋１）＝Ｃｄ（ｉ＊８） …（７） Ｃｆ（ｉ＊８＋１）＝Ｃｄ（ｉ＊８＋４） …（８） Ｃｆ（ｉ＊８＋１）＝Ｃｄ（ｉ＊８）＊Ｗ１＋Ｃｄ（ｉ＊８＋４）＊Ｗ２ …（９） ここで、Ｃｄ（ｉ）は図２（ｄ）に示す画像の座標ｉの
画素のＣ、Ｃｆ（ｉ）は図２（ｆ）に示す画像の座標ｉ
の画素のＣを表している。また、Ｗ１およびＷ２は重み
係数であり、Ｗ１＋Ｗ２＝１である。式（７）、式
（８）または式（９）のように、図２（ｆ）に示す画像
のＣの位置に対応する画素の、サンプリング前の近傍の
画素値を使って計算することになる。すなわち、式
（７）は左隣のＣの画素値を用いる場合、式（８）は右
隣のＣの画素値を用いる場合、式（９）は両隣のＣの平
均画素値を用いる場合である。

【００６７】ＹＵＶ４：１：１フォーマットの場合はも
ともとＣの情報が少なく、水平方向に１／２に間引くと
情報量がさらに少なくなるので、間引いた後の画像が図
２（ｅ）に示す画像の場合でも、Ｃに関してはサンプリ
ング前の近傍画素の重み付和等を計算した方が画質はよ
くなる。

【００６８】２台のカメラ１０１ａおよび１０１ｂで撮
影した画像を、各々左眼用画像と右眼用画像とに変換す
るために、図２（ｅ）および図２（ｆ）に示す画像のい
ずれを選択するかについては、ユーザが状況に応じて選
択する。そして、いずれを選択したかを示すフラグが多
重化部１０５に出力される。多重化部１０５は、このフ
ラグを制御情報として左眼用画像の符号化データおよび
右眼用画像の符号化データに多重化する。

【００６９】光軸を並行にして撮影する場合には、左眼
用画像として図２（ｅ）に示す画像、右眼用画像として
図２（ｆ）に示す画像を選択すると、高い精度の画像が
得られる。また、左眼用画像および右眼用画像とも、図
２（ｅ）に示す画像を選択すると、処理が簡単である。
このように、ユーザがその都度、状況にあった画像を選
択するようにすればよい。

【００７０】以上説明したように、本実施の形態におけ
る立体画像装置においては、カメラ１０１ａおよび１０
１ｂが撮影した画像がＹＵＶ４：１：１フォーマットの
場合に、左眼用画像作成部１０２および右眼用画像作成
部１０３が左眼用画像および右眼用画像を作成するとき
に、間引き処理を行なって作成される画像の色情報の位
置に合わせて色情報を計算するようにしたので、精度の
高い立体画像を作成することが可能となった。

【００７１】また、画像がどのＹＵＶフォーマットに相
当するかを示す情報およびどの位置の画素を符号化した
かを示す情報を含んだ制御情報を、左眼用画像の符号化
データおよび右眼用画像の符号化データに多重化するよ
うにしたので、立体画像用データ表示部１１２が立体画
像を表示するときに、どの組合わせの画像が立体に見え
やすいか等をユーザが決定する際の利便性を向上させる
ことが可能となった。また、どの組合せが立体に見えや
すいかの情報を立体画像用データ作成部１１１にフィー
ドバックすることによって、左眼用画像作成部１０２お
よび右眼用画像作成部１０３における左眼用画像および
右眼用画像の選択を容易に行なうことが可能となる等、
第１の実施の形態において説明した効果と同様の効果を
得ることが可能となった。

【００７２】（第３の実施の形態）本発明の第３の実施
の形態における立体画像装置の概略構成は、図１に示す
第１の実施の形態における立体画像装置の概略構成と同
様である。したがって、重複する構成および機能の詳細
な説明は繰返さない。

【００７３】本実施の形態において、カメラ１０１ａお
よび１０１ｂが、ＹＵＶ４：２：０（ＭＰＥＧ−１用）
フォーマットのデータを出力する場合のものである。左
眼用画像作成部１０２および右眼用画像作成部１０３
は、図３（ｂ）に示す画像データが入力されると、この
画像データに対して水平方向に１／２の間引きを行な
う。間引きを行なった後の画像データもＹＵＶ４：２：
０フォーマットである場合には、図３（ｃ）または図３
（ｄ）に示すものとなる。

【００７４】また、間引いた後の画像として、図３
（ｃ）および図３（ｄ）のいずれに示す画像を使う場合
にも、Ｙはサンプリング前の同じ位置のデータをそのま
ま使えばよい。しかし、Ｃに関してはサンプリング前後
で位置が異なり、サンプリング前の同じ位置のデータが
存在しない。

【００７５】したがって、図３（ｃ）に示す画像のＣ
は、サンプリング前のＣ（０＿１）、Ｃ（２＿３）、Ｃ
（４＿５）、Ｃ（６＿７）、Ｃ（８＿９）…からＣ
（１）、Ｃ（５）、Ｃ（９）…を計算する必要がある。
ここで、Ｃ（ｉ＿（ｉ＋１））は座標ｉと座標（ｉ＋
１）の中間位置を意味する。

【００７６】たとえば、図３（ｂ）に示す画像のＣをＣ
ｂと表し、図３（ｃ）に示す画像のＣをＣｃと表すと、
ＣｂとＣｃとの関係は次に示す式（１０）〜（１２）の
いずれかとなる。

【００７７】 Ｃｃ（ｉ＊４＋１）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１））…（１０） Ｃｃ（ｉ＊４＋１）＝Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））…（１１） Ｃｃ（ｉ＊４＋１）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１））＊Ｗ１＋Ｃｂ（ （ｉ＊４＋２）＿（ｉ＊４＋３））＊Ｗ２ …（１２） ここで、Ｃｃ（ｉ）は図３（ｃ）の座標ｉのＣを表して
いる。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋
Ｗ２＝１である。

【００７８】また、図３（ｄ）に示す画像のＣは、サン
プリング前のＣ（０＿１）、Ｃ（２＿３）、Ｃ（４＿
５）、Ｃ（６＿７）、Ｃ（８＿９）…からＣ（２）、Ｃ
（６）、Ｃ（１０）…を計算する必要がある。

【００７９】たとえば、図３（ｂ）に示す画像のＣをＣ
ｂと表し、図３（ｄ）に示す画像のＣをＣｄと表すと、
ＣｂとＣｄとの関係は次に示す式（１３）〜（１５）の
いずれかとなる。

【００８０】 Ｃｄ（ｉ＊４＋２）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１）） …（１３） Ｃｄ（ｉ＊４＋２）＝Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））…（１４） Ｃｄ（ｉ＊４＋２）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１））＊Ｗ１＋Ｃｂ（ （ｉ＊４＋２）＿（ｉ＊４＋３））＊Ｗ２ …（１５） ここで、Ｃｄ（ｉ）は図３（ｄ）の座標ｉのＣを表して
いる。Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝
１である。

【００８１】式（１０）〜（１５）に示すように、図３
（ｂ）のＣの位置に対応する画素の、サンプリング前の
近傍の画素値を使って計算することになる。すなわち、
式（１０）および式（１３）は左隣のＣの画素値を用い
る場合、式（１１）および式（１４）は右隣のＣの画素
値を用いる場合、式（１２）および式（１５）は両隣の
Ｃの平均画素値を用いる場合である。

【００８２】２台のカメラ１０１ａおよび１０１ｂで撮
影した画像を、各々左眼用画像と右眼用画像とに変換す
るために、図３（ｃ）および図３（ｄ）に示す画像のい
ずれを選択するかについては、ユーザが状況に応じて選
択する。そして、いずれを選択したかを示すフラグが多
重化部１０５に出力される。多重化部１０５は、このフ
ラグを制御情報として左眼用画像の符号化データおよび
右眼用画像の符号化データに多重化する。

【００８３】光軸を並行にして撮影する場合には、左眼
用画像として図３（ｃ）に示す画像、右眼用画像として
図３（ｄ）に示す画像を選択すると、高い精度の画像が
得られる。また、左眼用画像および右眼用画像とも、図
３（ｃ）を選択すると、処理が簡単である。このよう
に、ユーザがその都度、状況にあった画像を選択するよ
うにすればよい。

【００８４】以上説明したように、本実施の形態におけ
る立体画像装置においては、カメラ１０１ａおよび１０
１ｂが撮影した画像がＹＵＶ４：２：０（ＭＰＥＧ−１
用）フォーマットの場合に、左眼用画像作成部１０２お
よび右眼用画像作成部１０３が左眼用画像および右眼用
画像を作成するときに、間引き処理を行なって作成され
る画像の色情報の位置に合わせて色情報を計算するよう
にしたので、精度の高い立体画像を作成することが可能
となった。

【００８５】また、画像がどのＹＵＶフォーマットに相
当するかを示す情報およびどの位置の画素を符号化した
かを示す情報を含んだ制御情報を、左眼用画像の符号化
データおよび右眼用画像の符号化データに多重化するよ
うにしたので、立体画像用データ表示部１１２が立体画
像を表示するときに、どの組合わせの画像が立体に見え
やすいか等をユーザが決定する際の利便性を向上させる
ことが可能となった。また、どの組合せが立体に見えや
すいかの情報を立体画像用データ作成部１１１にフィー
ドバックすることによって、左眼用画像作成部１０２お
よび右眼用画像作成部１０３における左眼用画像および
右眼用画像の選択を容易に行なうことが可能となる等、
第１の実施の形態において説明した効果と同様の効果を
得ることが可能となった。

【００８６】なお、本発明の第１の実施の形態から第３
の実施の形態を通じて、立体画像用データ作成部１１１
と立体画像用データ表示部１１２とで通信をする場合
は、左眼用画像と右眼用画像との組合せを立体画像用デ
ータ作成部１１１で変更して、立体画像用データ表示部
１１２で最も立体に見えやすい組合せがわかった時点
で、その組合わせを立体画像用データ表示部１１２から
フィードバックしてもらい、いずれを選択したかを示す
フラグを多重化部１０５で多重化してもよい。

【００８７】（第４の実施の形態）本発明の第４の実施
の形態における立体画像装置の概略構成は、図１に示す
第１の実施の形態における立体画像装置の概略構成と同
様である。したがって、重複する構成および機能の詳細
な説明は繰返さない。

【００８８】本実施の形態においては、表示部１１０が
レンチキュラ方式やパララクスバリア方式に対応してい
る場合のものである。デコーダ１０７ａおよび１０７ｂ
から図２（ｂ）に示すＹＵＶ４：２：２フォーマットの
画像データが出力され、フォーマット変換部１０８ａお
よび１０８ｂがその画像データを、ＹＵＶ４：４：４フ
ォーマットの画像データに拡張する。

【００８９】図４は、第４の実施の形態におけるフォー
マット変換部１０８ａおよび１０８ｂの補間処理を説明
するための図である。図４（ａ）に示すように、デコー
ダ１０７ａおよび１０７ｂからの出力データは、座標
２、座標６…における画素のＣを含まない。図４（ｃ）
は、この画素のＣを補間した一例を示している。

【００９０】たとえば、図４（ｃ）に示す画像のＣをＣ
ｃと表し、図４（ａ）に示す画像のＣをＣａと表すと、
ＣｃとＣａとの関係は次に示す式（１６）〜（１８）の
いずれかとなる。なお、式（１６）および式（１７）は
近傍の画素値をそのままコピーする場合を示しており、
式（１８）は複数の画素値の重み付和を計算する場合を
示している。

【００９１】 Ｃｃ（４＊ｉ＋２）＝Ｃａ（４＊ｉ） …（１６） Ｃｃ（４＊ｉ＋２）＝Ｃａ（４＊ｉ＋４） …（１７） Ｃｃ（４＊ｉ＋２）＝Ｗ１＊Ｃａ（４＊ｉ）＋Ｗ２＊Ｃａ（４＊ｉ＋４） …（１８） ここで、Ｃｃ（ｉ）は図４（ｃ）に示す画像の座標ｉの
画素のＣ、Ｃａ（ｉ）は図４（ａ）に示す画像の座標ｉ
の画素のＣを表している。また、Ｗ１およびＷ２は重み
係数であり、Ｗ１＋Ｗ２＝１である。

【００９２】また、デコーダ１０７ａおよび１０７ｂか
ら図２（ｃ）に示すＹＵＶ４：２：２フォーマットの画
像データが出力される場合、式（１６）〜式（１８）は
以下のようになる。

【００９３】 Ｃｄ（４＊ｉ＋３）＝Ｃｃ（４＊ｉ＋１） …（１９） Ｃｄ（４＊ｉ＋３）＝Ｃｃ（４＊ｉ＋５） …（２０） Ｃｄ（４＊ｉ＋３）＝Ｗ１＊Ｃｃ（４＊ｉ＋１）＋Ｗ２＊Ｃｃ（４＊ｉ＋５） …（２１） ここで、Ｃｄ（ｉ）は図４（ｄ）に示す画像の座標ｉの
画素のＣ、Ｃｃ（ｉ）は図２（ｃ）に示す画像の座標ｉ
の画素のＣを表している。また、Ｗ１およびＷ２は重み
係数であり、Ｗ１＋Ｗ２＝１である。式（１６）および
式（１９）は左隣のＣの画素値を用いる場合、式（１
７）および式（２０）は右隣のＣの画素値を用いる場
合、式（１８）および式（２１）は両隣のＣの平均画素
値を用いる場合を示している。

【００９４】次に、デコーダ１０７ａおよび１０７ｂか
ら図２（ｅ）に示すＹＵＶ４：１：１フォーマットの画
像データが出力され、フォーマット変換部１０８ａおよ
び１０８ｂがＹＵＶ４：４：４フォーマットの画像デー
タに拡張する場合について説明する。

【００９５】図４（ｂ）に示すように、デコーダ１０７
ａおよび１０７ｂの出力データは座標２、座標４、座標
６…における画素のＣを含まない。図４（ｃ）は、この
画素のＣを補間した一例を示している。

【００９６】たとえば、図４（ｃ）に示す画像のＣをＣ
ｃと表し、図４（ｂ）に示す画像のＣをＣｂと表すと、
ＣｃとＣｂとの関係は次に示す式（２２）〜式（２４）
のいずれかとなる。なお、式（２２）および式（２３）
は近傍の画素値をそのままコピーする場合を示してお
り、式（２４）は複数の画素値の重み付和を計算する場
合を示している。

【００９７】 Ｃｃ（８＊ｉ＋２＊ｋ）＝Ｃｂ（８＊ｉ） …（２２） Ｃｃ（８＊ｉ＋２＊ｋ）＝Ｃｂ（８＊ｉ＋８） …（２３） Ｃｃ（８＊ｉ＋２＊ｋ）＝Ｗ１＊Ｃｂ（８＊ｉ）＋Ｗ２＊Ｃｂ（８＊ｉ＋８） …（２４） ここで、Ｃｃ（ｉ）は図４（ｃ）に示す画像の座標ｉの
画素のＣ、Ｃｂ（ｉ）は図４（ｂ）に示す画像の座標ｉ
の画素のＣを表している。また、Ｗ１およびＷ２は重み
係数であり、Ｗ１＋Ｗ２＝１、ｋ＝１、２、３である。

【００９８】また、デコーダ１０７ａおよび１０７ｂか
ら図２（ｆ）に示すＹＵＶ４：１：１フォーマットの画
像データが出力される場合、式（２２）〜式（２４）は
以下のようになる。

【００９９】 Ｃｄ（８＊ｉ＋２＊ｋ＋１）＝Ｃｆ（８＊ｉ＋１） …（２５） Ｃｄ（８＊ｉ＋２＊ｋ＋１）＝Ｃｆ（８＊ｉ＋９） …（２６） Ｃｄ（８＊ｉ＋２＊ｋ＋１）＝Ｗ１＊Ｃｆ（８＊ｉ＋１）＋Ｗ２＊Ｃｆ（ ８＊ｉ＋９） …（２７） ここで、Ｃｄ（ｉ）は図４（ｄ）に示す画像の座標ｉの
画素のＣ、Ｃｆ（ｉ）は図２（ｆ）に示す画像の座標ｉ
の画素のＣを表している。また、Ｗ１およびＷ２は重み
係数であり、Ｗ１＋Ｗ２＝１、ｋ＝１、２、３である。

【０１００】補間画素の計算方法の選び方は、どの計算
方法を選択した時に立体として見えやすいかが判断基準
となる。図１の表示部１１０の特性に大きく依存する場
合には、立体画像用データ表示部１１２で一意に決まっ
ていればよい。また、ユーザの個人差に大きく依存する
場合は、立体画像用データ表示部１１２内でユーザが補
間方法を選択するようにしてもよい。

【０１０１】また、最適な補間方法が、立体画像用デー
タ作成部１１１が作成するデータに依存する場合には、
最適な補間方法を示す情報を多重化部１０５であらかじ
め多重化しておく。そして、立体画像用データ表示部１
１２内の逆多重化部１０６でこの情報を取り出し、これ
に従ってフォーマット変換部１０８ａおよび１０８ｂが
補間方法を選択するようにしてもよい。

【０１０２】合成部１０９は、ＹＵＶ４：４：４フォー
マットに変換した画像データを、図４（ｅ）に示すよう
に、左眼用画像と右眼用画像とを１画素列ずつ水平方向
に交互に並べて、表示用の画像を作成する。この表示用
画像を表示部１１０に表示することで、ユーザは立体画
像を見ることができる。

【０１０３】以上説明したように、本実施の形態におけ
る立体画像装置においては、フォーマット変換部１０８
ａおよび１０８ｂがＹＵＶ４：２：２フォーマットの画
像データまたはＹＵＶ４：１：１フォーマットの画像デ
ータを補間して、ＹＵＶ４：４：４フォーマットの画像
データを生成するようにしたので、表示部１１０がレン
チキュラ方式やパララクスバリア方式に対応している場
合に、精度の高い立体画像を表示することが可能となっ
た。

【０１０４】また、どのように色情報を補間するかを示
す制御情報を、左眼用画像の符号化データおよび右眼用
画像の符号化データに多重化するようにしたので、立体
画像用データ表示部１１２が立体画像を表示するとき
に、色情報が最適となるように画像を補間することが可
能となった。

【０１０５】（第５の実施の形態）本発明の第５の実施
の形態における立体画像装置の概略構成は、図１に示す
第１の実施の形態における立体画像装置の概略構成と同
様である。したがって、重複する構成および機能の詳細
な説明は繰返さない。

【０１０６】本実施の形態においては、表示部１１０が
シャッタ（時分割）方式に対応している場合のものであ
る。

【０１０７】図５は、第５の実施の形態におけるフォー
マット変換部１０８ａおよび１０８ｂの補間処理を説明
するための図である。図５（ｄ）に示すように、垂直方
向に１ラインずつ左眼用画像と右眼用画像とを交互に並
べるため、デコーダ１０７ａおよび１０７ｂの出力デー
タを垂直方向に１／２に間引き、水平方向には２倍に拡
大する（左眼用画像および右眼用画像を作成する前のサ
イズに戻す）ことが必要である。

【０１０８】したがって、フォーマット変換部１０８ａ
および１０８ｂは、第４の実施の形態において説明した
のと同様の方法で、ＹＵＶ４：４：４フォーマットの画
像データとなるようにＣを補間する以外に、ＹＵＶとも
に垂直方向に１／２に間引き、さらに水平方向に２倍に
拡大する処理が新たに必要である。

【０１０９】図５（ａ）は、図２（ｂ）または図２
（ｅ）に示す画像データを第４の実施の形態と同様の方
法でＹＵＶ４：４：４フォーマットの画像データに変換
した場合を示しており、図４（ｃ）に対応している。ま
た、図５（ｂ）は、図２（ｃ）または図２（ｆ）に示す
画像データを第４の実施の形態と同様の方法でＹＵＶ
４：４：４フォーマットの画像データに変換した場合を
示しており、図４（ｄ）に対応している。

【０１１０】ここで、図２（ｂ）および図２（ｅ）は、
左眼用画像作成部１０２および右眼用画像作成部１０３
が、偶数番目の画素をサンプリングして作成されたもの
である。また、図２（ｃ）および図２（ｆ）は、左眼用
画像作成部１０２および右眼用画像作成部１０３が奇数
番目の画素をサンプリングして作成されたものである。
このいずれのサンプリング方法を選択したかを示すフラ
グが、多重化部１０５で符号化データの中に多重化され
る。

【０１１１】そのため、第４の実施の形態においてＣが
補間された画素を、フォーマット変換部１０８ａおよび
１０８ｂがこのフラグにしたがって配置する。すなわ
ち、図４（ｃ）の場合には図５（ａ）に示すように各画
素を配置し、図４（ｄ）の場合には図５（ｂ）に示すよ
うに各画素を配置することによって、ＹおよびＣともに
水平方向に補間する画素を計算する。これによって、立
体画像データ作成部１１１と立体画像データ表示部１１
２とで位相がずれるのを防ぐことができる。

【０１１２】以上は、ＹＵＶ４：２：２フォーマットま
たはＹＵＶ４：１：１フォーマットについての説明であ
ったが、図３（ｃ）および図３（ｄ）に示すようなＹＵ
Ｖ４：２：０（ＭＰＥＧ−１用）フォーマットの場合も
同様である。

【０１１３】なお、以上の説明において、まず画像デー
タをＹＵＶ４：４：４フォーマットに変換した後、垂直
方向に間引き、水平方向に拡大して左眼用画像および右
眼用画像を作成したが、処理の順番はこれに限らず、例
えば、水平方向に拡大した後、垂直方向の間引きをする
ような順序であってもよい。

【０１１４】合成部１１０は、このようにして作成され
た画像を図５（ｄ）に示すように、左眼用画像（Ｌ）と
右眼用画像（Ｒ）とを垂直方向に１ラインずつ交互に配
置して、立体表示用画像を作成する。

【０１１５】以上説明したように、本実施の形態におけ
る立体画像装置においては、フォーマット変換部１０８
ａおよび１０８ｂがＹＵＶ４：４：４フォーマットの画
像データとなるように補間した後、ＹＵＶを垂直方向に
１／２に間引き、さらに水平方向に２倍に拡大するよう
にしたので、表示部１１０がシャッタ（時分割）方式に
対応している場合に、精度の高い立体画像を表示するこ
とが可能となった。

【０１１６】また、サンプリングした画素の位置を示す
制御情報を、左眼用画像の符号化データおよび右眼用画
像の符号化データに多重化するようにしたので、立体画
像用データ表示部１１２が立体画像を表示するときに、
色情報が最適となるように画像を補間することができる
とともに、立体画像データ作成部１１１と立体画像デー
タ表示部１１２とで位相がずれるのを防止することが可
能となった。

【０１１７】なお、以上の実施の形態においては、２眼
視の場合について説明したが、これに限らずＮ眼視（Ｎ
≧２）の場合にも同様である。

【０１１８】今回開示された実施の形態は、すべての点
で例示であって制限的なものではないと考えられるべき
である。本発明の範囲は上記した説明ではなくて特許請
求の範囲によって示され、特許請求の範囲と均等の意味
および範囲内でのすべての変更が含まれることが意図さ
れる。

【０１１９】

【発明の効果】本発明のある局面によれば、サンプリン
グされた画素の位置に応じて色情報の計算方法を変更
し、画素の色情報が計算されるので、精度の高い立体画
像用データを作成することが可能となった。

【０１２０】また、符号化された左眼用画像および右眼
用画像と、所定フォーマットに関する情報とが多重化さ
れるので、立体画像表示装置に立体画像を表示させるこ
とによって、ユーザはどのフォーマットで作成された立
体画像が立体に見えやすいか等を容易に判断することが
可能となった。

【０１２１】また、符号化された左眼用画像および右眼
用画像と、色情報の計算方法に関する情報とが多重化さ
れるので、立体画像表示装置に立体画像を表示させるこ
とによって、ユーザはどの計算方法で色情報が作成され
た立体画像が立体に見えやすいか等を容易に判断するこ
とが可能となった。

【０１２２】また、符号化された左眼用画像および右眼
用画像と、左眼用画像および右眼用画像の色情報の補間
方法に関する情報とが多重化されるので、立体画像表示
装置が色情報の補間方法に関する情報を抽出することに
よって、色情報が最適となるように立体画像用データを
補間してより立体に見えやすい画像を表示することが可
能となった。

【０１２３】また、符号化された左眼用画像および右眼
用画像と、サンプリングした画素の位置に関する情報と
が多重化されるので、立体画像表示装置が画素のサンプ
リングした位置を示す情報に従って画素を配置でき、立
体画像作成装置と立体画像表示装置とで位相のずれを防
ぐことが可能となった。

【０１２４】本発明の別の局面によれば、フォーマット
変換手段が、色情報の補間方法を参照して、左眼用画像
および右眼用画像の色情報を補間して所定フォーマット
の画像に変換するので、色情報が最適となるように立体
画像用データを補間してより立体に見えやすい画像を表
示することが可能となった。

【０１２５】本発明のさらに別の局面によれば、フォー
マット変換手段が、サンプリングした画素の位置に関す
る情報を参照して、左眼用画像および右眼用画像を水平
方向に拡大して所定フォーマットの画像に変換するの
で、立体画像作成装置と立体画像表示装置とで位相のず
れを防ぐことが可能となった。

【図面の簡単な説明】

【図１】 本発明の第１の実施の形態における立体画像
装置の概略構成を示すブロック図である。

【図２】 ＹＵＶ４：２：２フォーマットおよびＹＵＶ
４：１：１フォーマットの一例を示す図である。

【図３】 ＹＵＶ４：２：０フォーマットの一例を示す
図である。

【図４】 第４の実施の形態におけるフォーマット変換
部１０８ａおよび１０８ｂの補間処理を説明するための
図である。

【図５】 第５の実施の形態におけるフォーマット変換
部１０８ａおよび１０８ｂの補間処理を説明するための
図である。

【図６】 従来の立体画像装置における画像データの作
成方法を説明するための図である。

【符号の説明】

１０１ａ，１０１ｂ カメラ、１０２ 左眼用画像作成
部、１０３ 右眼用画像作成部、１０４ａ，１０４ｂ
エンコーダ、１０５ 多重化部、１０６ 逆多重化部、
１０７ａ，１０７ｂ デコーダ、１０８ａ，１０８ｂ
フォーマット変換部、１０９ 合成部、１１０ 表示
部、１１１ 立体画像用データ作成部、１１２ 立体画
像用データ表示部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 堅田 裕之 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 Ｆターム(参考） 2H059 AA07 AA18 AA35 AA38 5C061 AB04 AB08 AB12 AB17

Claims (10)

【特許請求の範囲】
1. 【請求項１】 輝度情報と色情報とが分離された入力画
   像から立体画像用データを作成する立体画像作成装置で
   あって、 左眼用画像を作成するための左眼用画像作成手段と、 右眼用画像を作成するための右眼用画像作成手段と、 前記左眼用画像作成手段によって作成された左眼用画像
   および前記右眼用画像作成手段によって作成された右眼
   用画像を符号化するための符号化手段と、 前記符号化手段によって符号化された左眼用画像および
   右眼用画像を多重化するための多重化手段とを含み、 前記左眼用画像作成手段および前記右眼用画像作成手段
   は、入力画像を水平方向に間引きながら画素をサンプリ
   ングし、該サンプリングされた画素の位置に応じて色情
   報の計算方法を変更し、当該画素の色情報を計算して所
   定フォーマットの画像を作成する、立体画像作成装置。
2. 【請求項２】 前記多重化手段は、前記符号化手段によ
   って符号化された左眼用画像および右眼用画像と、前記
   所定フォーマットに関する情報とを多重化する、請求項
   １記載の立体画像作成装置。
3. 【請求項３】 前記多重化手段は、前記符号化手段によ
   って符号化された左眼用画像および右眼用画像と、前記
   色情報の計算方法に関する情報とを多重化する、請求項
   １または２記載の立体画像作成装置。
4. 【請求項４】 前記多重化手段は、前記符号化手段によ
   って符号化された左眼用画像および右眼用画像と、前記
   左眼用画像および前記右眼用画像の色情報の補間方法に
   関する情報とを多重化する、請求項１記載の立体画像作
   成装置。
5. 【請求項５】 前記多重化手段は、前記符号化手段によ
   って符号化された左眼用画像および右眼用画像と、前記
   サンプリングした画素の位置に関する情報とを多重化す
   る、請求項１記載の立体画像作成装置。
6. 【請求項６】 輝度情報と色情報とが分離された左眼用
   画像および右眼用画像を合成して表示する立体画像表示
   装置であって、 多重化されたデータを逆多重化して、符号化された左眼
   用画像と、符号化された右眼用画像と、左眼用画像およ
   び右眼用画像の色情報の補間方法とを抽出するための逆
   多重化手段と、 前記逆多重化手段によって抽出された符号化された左眼
   用画像および符号化された右眼用画像を復号するための
   復号手段と、 前記逆多重化手段によって抽出された前記左眼用画像お
   よび前記右眼用画像の色情報の補間方法を参照して、前
   記復号手段によって復号された左眼用画像および右眼用
   画像の色情報を補間して所定フォーマットの画像に変換
   するためのフォーマット変換手段と、 前記フォーマット変換手段によって変換された左眼用画
   像および右眼用画像を合成するための合成手段と、 前記合成手段によって合成された画像に応じて立体画像
   を表示するための表示手段とを含む、立体画像表示装
   置。
7. 【請求項７】 輝度情報と色情報とが分離された左眼用
   画像および右眼用画像を合成して表示する立体画像表示
   装置であって、 多重化されたデータを逆多重化して、符号化された左眼
   用画像と、符号化された右眼用画像と、左眼用画像およ
   び右眼用画像のサンプリングした画素の位置に関する情
   報とを抽出するための逆多重化手段と、 前記逆多重化手段によって抽出された符号化された左眼
   用画像および符号化された右眼用画像を復号するための
   復号手段と、 前記逆多重化手段によって抽出された前記左眼用画像お
   よび前記右眼用画像のサンプリングした画素の位置に関
   する情報を参照して、前記復号手段によって復号された
   左眼用画像および右眼用画像を水平方向に拡大して所定
   フォーマットの画像に変換するためのフォーマット変換
   手段と、 前記フォーマット変換手段によって変換された左眼用画
   像および右眼用画像を合成するための合成手段と、 前記合成手段によって合成された画像に応じて立体画像
   を表示するための表示手段とを含む、立体画像表示装
   置。
8. 【請求項８】 輝度情報と色情報とが分離された入力画
   像から立体画像用データを作成する立体画像作成方法で
   あって、 左眼用画像を作成するステップと、 右眼用画像を作成するステップと、 前記作成された左眼用画像および右眼用画像を符号化す
   るステップと、 前記符号化された左眼用画像および右眼用画像を多重化
   するステップとを含み、 前記左眼用画像を作成するステップおよび前記右眼用画
   像を作成するステップは、入力画像を水平方向に間引き
   ながら画素をサンプリングし、該サンプリングされた画
   素の位置に応じて色情報の計算方法を変更し、当該画素
   の色情報を計算して所定フォーマットの画像を作成する
   ステップを含む、立体画像作成方法。
9. 【請求項９】 輝度情報と色情報とが分離された左眼用
   画像および右眼用画像を合成して表示する立体画像表示
   方法であって、 多重化されたデータを逆多重化して、符号化された左眼
   用画像と、符号化された右眼用画像と、前記左眼用画像
   および前記右眼用画像の色情報の補間方法とを抽出する
   ステップと、 前記抽出された符号化された左眼用画像および符号化さ
   れた右眼用画像を復号するステップと、 前記抽出された左眼用画像および右眼用画像の色情報の
   補間方法を参照して、前記復号された左眼用画像および
   右眼用画像の色情報を補間して所定フォーマットの画像
   に変換するステップと、 前記所定フォーマットに変換された左眼用画像および右
   眼用画像を合成するステップと、 前記合成された画像に応じて立体画像を表示するステッ
   プとを含む、立体画像表示方法。
10. 【請求項１０】 輝度情報と色情報とが分離された左眼
    用画像および右眼用画像を合成して表示する立体画像表
    示方法であって、 多重化されたデータを逆多重化して、符号化された左眼
    用画像と、符号化された右眼用画像と、左眼用画像およ
    び右眼用画像のサンプリングした画素の位置に関する情
    報とを抽出するステップと、 前記抽出された符号化された左眼用画像および符号化さ
    れた右眼用画像を復号するステップと、 前記抽出された左眼用画像および右眼用画像のサンプリ
    ングした画素の位置に関する情報を参照して、前記復号
    された左眼用画像および右眼用画像を水平方向に拡大し
    て所定フォーマットの画像に変換するステップと、 前記所定フォーマットに変換された左眼用画像および右
    眼用画像を合成するステップと、 前記合成された画像に応じて立体画像を表示するステッ
    プとを含む、立体画像表示方法。