JPH10243419A

JPH10243419A - 立体視画像符号化・復号化方法及び装置

Info

Publication number: JPH10243419A
Application number: JP4267597A
Authority: JP
Inventors: Kenji Tomizawa; 研二冨澤; Koichi Kurihara; 弘一栗原
Original assignee: Toshiba Corp; Toshiba AVE Co Ltd
Current assignee: Toshiba Corp; Toshiba AVE Co Ltd
Priority date: 1997-02-26
Filing date: 1997-02-26
Publication date: 1998-09-11

Abstract

(57)【要約】【課題】複数の方向からの画像データを符号化・復号
化する際に、１系統の符号化経路及び復号化経路を用
い、簡単な回路構成で行うことができる立体視画像符号
化・復号化方法及び装置を提供すること。【解決手段】被写体を複数の方向から撮影して得られ
る複数チャンネルの画像信号Ｓi1，Ｓi2，…Ｓinを、順
次化手段301 及びマルチプレクサ302 にて１フレーム又
は１フィールド毎に順次に配列して１つの画像信号と
し、符号化手段303で符号化して伝送路に出力する。符
号化されて伝送されてきた画像データは、復号化手段30
5 で復号化され、１つの画像信号で復号された後、デマ
ルチプレクサ306 で１フレーム又は１フィールド毎に各
チャンネルの画像信号を順次抜き取り、抜き取られた各
チャンネル画像信号を同時化手段307 にて同時化して、
撮影時と同様な複数チャンネルの画像信号Ｓo1，Ｓo2，
…Ｓonとして出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の方向から撮
影することによって得られた各々の画像データを符号化
・復号化する立体視画像符号化・復号化方法及び装置に
関する。

【０００２】

【従来の技術】近年、ディジタル放送を含めた高画質画
像システムとして、立体画像システムに大きな期待が寄
せられている。これにより、立体的な映像認識が可能と
なる。

【０００３】図１５(a) に示すように人間が３本の円柱
Ａ，Ｂ，Ｃを見る場合、図１５(b)に示すように左目と
右目の網膜上に像の位置のずれつまり「視差」が生じ、
これによって人間が奥行きを知覚できることが知られて
いる。立体画像システムでは、この視差に相当する像の
ずれが生じるような画像を、左右それぞれの目に独立に
映し出すことで立体感を生み出させる。

【０００４】即ち、立体視させたい像（或いは物）を複
数の方向から観測（撮影）し、この観測点から得られる
複数の画像を用いて視差を生じさせる。

【０００５】なお、従来例および実施の形態では、説明
及び理解の容易さから左と右の２方向から観測した２種
類の画像（左画像信号と右画像信号）を用いる場合で主
に説明するが、３種類以上の画像を用いる場合にも容易
に拡張可能である。

【０００６】ここで、放送や蓄積メディアに立体画像シ
ステムを応用する場合を考える。この場合、通常は左目
用の左画像信号と右目用の右画像信号の２信号を伝送或
いは記録する。

【０００７】ところで、立体画像では左・右用の平面画
像が２枚必要であり、情報量が膨大であるため、これを
ディジタル伝送あるいは蓄積する際は、情報量の圧縮が
不可欠になる。

【０００８】従来は、圧縮方法としては、国際標準化さ
れたＭＰＥＧ（Moving Picture Expert Group ）方式を
基本にしている。なお、ＭＰＥＧの画像符号化方式につ
いては、刊行本である『最新ＭＰＥＧ教科書』（アスキ
ー出版局）に記載されいる。

【０００９】ＭＰＥＧの画像符号化方式においては、ハ
イブリッド方式が採用されている。この方式では、フレ
ーム内の画像をＤＣＴ処理するフレーム内圧縮の外に、
フレーム間の相関を利用して時間軸方向の冗長度を削減
するフレーム間圧縮（予測符号化）も採用する。フレー
ム間圧縮は、一般の動画像が前後のフレームでよく似て
いるという性質を利用して、前後のフレームの差分を求
め差分値（予測誤差）を符号化することによって、ビッ
トレートを一層低減させるものである。特に、画像の動
きを予測してフレーム間差を求めることにより予測誤差
を低減する動き補償フレーム間予測符号化が有効であ
る。

【００１０】このように、ハイブリッド方式では、所定
フレームの画像データをそのままＤＣＴ処理して符号化
するフレーム内符号化の外に、所定フレームの画像デー
タとこのフレーム前後のフレームの参照画像データとの
差分データのみをＤＣＴ処理して符号化する予測符号化
とを採用する。予測符号化方法としては、時間的に前方
向の参照画像データを動き補償して予測誤差を求める前
方予測符号化と、時間的に後方向の参照画像データを動
き補償して予測誤差を求める後方予測符号化と、符号化
効率を考慮して、前方若しくは後方のいずれか一方又は
両方向の平均を用いた両方向予測符号化とがある。

【００１１】フレーム間圧縮モードで符号化されたフレ
ームを復号化するためには参照画像が必要である。即
ち、フレーム間圧縮フレームのみでは元の画像を復元す
ることはできない。一方、フレーム内符号化によって符
号化されたフレーム（以下、Ｉピクチャという）はフレ
ーム内情報のみによって符号化されているので、単独の
符号化データのみによって復号可能である。従って、Ｍ
ＰＥＧ規格においては、エラー伝播防止等のために、Ｉ
ピクチャを固定周期（例えば１２フレーム）に１枚挿入
するようになっている。ＭＰＥＧ規格では、このＩピク
チャを用いた前方予測符号化によってフレーム間符号化
フレーム（以下、Ｐピクチャという）を得る。なお、Ｐ
ピクチャは前方のＰピクチャを前方予測符号化すること
によっても得られる。また、前方若しくは後方のいずれ
か一方又は両方向のＩ，Ｐピクチャを用いた両方向予測
符号化によって両方向予測適応切換フレーム（以下、Ｂ
ピクチャという）を得る。

【００１２】また、立体画像圧縮に関しては、冊子『VI
EW VOL.15 NO.5(1996)』（ＮＨＫエンジニアリングサー
ビス編）や特開平７−２５０３５０号公報『立体動画像
符号化装置』（三洋電機）等に記載されている。

【００１３】従来の立体画像システムにおいては、図１
６(a) に示すように、左・右画像信号を別々の画像列
（即ち、左画像列Ｌ1 ，Ｌ2 ，Ｌ3 ，……と、右画像列
Ｒ1 ，Ｒ2 ，Ｒ3 ，……）として各々圧縮するか、図１
６(b) のように例えば左画像列（Ｌ1 ，Ｌ2 ，Ｌ3 ，…
…）と左・右画像信号の差分信号つまり視差画像列（Ｌ
1 −Ｒ1 ，Ｌ2 −Ｒ2 ，Ｌ3 −Ｒ3 ，……）を圧縮する
かの方法がある。視差画像信号を圧縮するのは、左・右
の画像が似ている、つまり、相関があるため、差分の方
が圧縮効率が高いためである。

【００１４】従来は、図１６(a) ，(b) どちらの場合に
ついても左・右別々の圧縮経路が必要となる。

【００１５】これを放送などの伝送システムを例に説明
する。図１７は従来の伝送システムの概要を示すもので
あり、ＭＰＥＧの基本構成図を示してある。

【００１６】ＭＰＥＧエンコーダ部１０では、入力端子
１１に入力された画像データをフレーム内符号化／フレ
ーム間符号化切替えスイッチＳ1 の一方の入力端（フレ
ーム内符号化側端子）ａに供給する一方、減算器１２の
一方の入力端及び動き補償手段１９に供給している。減
算器１２の出力は、前記切替えスイッチＳ1 の他方の入
力端に供給される。

【００１７】フレーム内符号化モードが指定されている
ときは、入力画像データは、スイッチＳ1 を経てそのま
まＤＣＴ回路１３で８×８ブロックの２次元ＤＣＴ処理
によって空間座標成分から周波数成分に変換する。これ
により、空間的な相関成分を削減できる。次に、ＤＣＴ
回路１３の出力は、量子化回路１４に与えられて、所定
の量子化幅で量子化することによって、１ブロックの信
号の冗長度を低減する。量子化回路１４からの量子化デ
ータは、ハフマン符号化回路２０に入力しハフマン符号
表等に基づいて可変長符号化され、可変長符号化伝送路
に出力される。

【００１８】フレーム間符号化モードが指定されている
ときは、前記切替えスイッチＳ1 は他方の入力端ｂ（前
記減算器１２の出力側端子）に切り替えられ、切替えス
イッチＳ2 は入力端ｂに接続される。入力画像データ
は、減算器１２に与えられ、減算器１２では、後述の動
き補償手段１９から動き補償された参照画像のブロック
（参照ブロック）の画素データが与えられて、現フレー
ムのブロックとの差分を予測誤差としてＤＣＴ回路１３
に出力する。ＤＣＴ回路１３は、差分データをＤＣＴ処
理する。一方、動き補償手段１９からの参照ブロック
は、量子化出力を復号することにより得ている。即ち、
量子化回路１４の出力は、逆量子化回路１５にも与えら
れ、ここで逆量子化し、更に逆ＤＣＴ回路１６において
逆ＤＣＴ処理して元の映像データ（これは差分データで
ある）に戻す。逆ＤＣＴ回路１６の出力は、加算器１７
に与えられる。加算器１７の出力は、動き補償手段１９
を介して加算器１７に帰還されており、加算器１７は動
き補償手段１９からの参照ブロックに前記差分データを
加算して現フレームのブロックデータを再生してフレー
ム遅延回路１８に出力する。フレーム遅延回路１８は、
加算器１７からのブロックデータを画面位置に対応させ
て格納する。動き補償手段１９は、前方予測用と後方予
測用の２つの動き補償回路と、この２つの動き補償回路
の両方の出力を平均した出力を得る手段と、現フレーム
のブロックデータとフレーム遅延回路１８からの参照ブ
ロックデータとから動きベクトルを検出する動きベクト
ル検出回路と、前方予測，後方予測及び両方向予測の各
予測時に対応してそれぞれ、前記の２つの動き補償回路
のいずれか一方の出力又は両出力の平均出力を、動き補
償された参照ブロックデータとして選択する選択回路と
で構成されている。

【００１９】動き補償手段１９からの参照ブロックデー
タは減算器１２に与えられる一方、スイッチＳ2 を介し
て前記加算器１７に与えられる。

【００２０】こうして、動き補償された参照ブロックデ
ータが減算器１２に供給されることになり、減算器１２
は現フレームのブロックと参照ブロックデータとの差分
から予測誤差が求められる。これにより、予測誤差に対
してＤＣＴ処理が行われる。

【００２１】そして、エンコーダ部１０から可変長符号
化伝送路を介して伝送された可変長符号化データは、デ
コーダ部２１に供給される。デコーダ部２１には、エン
コーダ部１０からのフレーム内符号化及びフレーム間符
号化されたデータが順次入力され、ハフマン復号化回路
２２で逆可変長符号化された後、逆量子化回路２３で逆
量子化され、さらに逆ＤＣＴ回路２４で逆ＤＣＴ処理さ
れ、加算器２５に供給される。加算器２５では、逆ＤＣ
Ｔ回路２４からの画像データと動き補償手段２７からの
動き補償された参照画像データとが加算されて出力端子
２８に出力画像データとして出力される。また、加算器
２５の出力は、フレーム遅延回路２６に供給され、フレ
ーム遅延されて動き補償手段２７に供給され、ここから
動き補償された前記参照画像データを加算器２５に供給
している。

【００２２】ＭＰＥＧは基本的にＤＣＴ（離散コサイン
変換）を画像内の小ブロックに対して行い、高い周波数
成分ほどビットの割り当てを少なくしたうえで可変長符
号化している。そして、さらに効率を高めるために、量
子化（Quantize）による振幅方向の圧縮、フィールド間
あるいはフレーム間での動き補償による時間軸方向の圧
縮を行っている。動き補償により残った差分情報と、フ
ィールド内あるいはフレーム内の情報自体とで情報量の
少ないほうのみを切り替えて伝送している。

【００２３】図１８(a) ，(b) は、図１７に示したＭＰ
ＥＧ画像圧縮方式を用いて、立体画像の伝送システムを
構成した場合の従来例を示している。これらは、図１６
(a)，(b) にそれぞれ対応している。

【００２４】図１８(a) では、エンコーダ側に、左目，
右目の画像信号を入力し、これらをそれぞれ、左目用，
右目用に配設したＭＰＥＧエンコーダ部101 ，102 に供
給し、得られた左，右の各符号化出力をマルチプレクサ
103 に供給して１つの画像信号としてデコーダ側へ伝送
する。デコーダ側では、伝送されてきた画像信号を、デ
マルチプレクサ203 で左，右別に抜き取った後、それぞ
れを左目用，右目用のＭＰＥＧデコーダ部201 ，202 で
復号化し、左目，右目の画像信号として出力する。

【００２５】図１８(b) では、エンコーダ側に、左目，
右目の画像信号を入力し、これらをそれぞれ、左目用画
像信号はそのまま左用に配設したＭＰＥＧエンコーダ部
101に供給し、また左目用画像信号と右目用画像信号を
減算器104 に入力し、両者の差分として視差画像信号を
得、これを視差用に配設したＭＰＥＧエンコーダ部105
に供給し、左，視差の各符号化出力をマルチプレクサ10
3 に供給して１つの画像信号としてデコーダ側へ伝送す
る。デコーダ側では、伝送されてきた画像信号を、デマ
ルチプレクサ203 で左，視差別に抜き取った後、それぞ
れを左目用，視差用のＭＰＥＧデコーダ部201 ，202 で
復号化し、左目用のＭＰＥＧデコーダ部201 からは左目
の画像信号を出力する一方、この左目の画像信号と視差
用のＭＰＥＧデコーダ部204 からの視差画像信号とを減
算器205 に供給して両者の差分を取ることにより、減算
器205 から右目の画像信号として出力する。

【００２６】しかしながら、図１８(a) ，(b) のような
従来の伝送システムでは、ＭＰＥＧにおけるエンコーダ
部とデコーダ部を左・右（または視差）画像信号用に２
系統持たなけれぱならない問題があった。

【００２７】また、図１８(a) ，(b) のように別系統で
左右別々に符号化すると復号する際にタイムベース信号
を作り、遅延用メモリを各系統ごとに配置するなどし
て、左・右画像信号の同期を取るための処理が難しくな
る問題があった。

【００２８】さらに、前述の特開平７−２５０３５０号
公報には、１つの圧縮経路を左・右の画像信号で兼用し
ている実施例が記述されているが、同公報第７頁第１２
段第１４行目〜第２０行目には、「複数の方向から撮影
することによって得られた各々の画像データを、符号化
手段403 で各々画像データ毎に符号化し、その画像の符
号化データのそれぞれに各撮影方向を識別する符号を付
加することにより、その復号装置においては、各撮影方
向を識別符号を参照することにより容易にその撮影方向
を決定することができる。」と記載されている。従っ
て、片方の画像信号の符号化圧縮が終了するまで、もう
片方の画像信号の符号化圧縮を時間的に待たせる必要が
あるため、放送などのリアルタイムが重要視されるシス
テムには不向きであり、待たせる時間分画像を保持しな
ければならず、時間合わせのために追加される遅延用メ
モリ等の保持回路の規模が大きくなると共に、エンコー
ダ側では、各撮影方向の画像データに対して識別符号の
生成及び付加を行い、デコーダ側では、識別符号を参照
して画像データの各撮影方向を識別する必要があり、回
路構成が複雑になる欠点がある。

【００２９】

【発明が解決しようとする課題】上記の如く、従来の立
体画像システムでは、左・右画像信号に相関があるにも
関わらず、別々に符号化しているため、圧縮効率が悪く
なる。左・右別々に符号化すると復号する際にタイムベ
ース信号を作るなどして左・右画像信号の同期を取るた
めに処理が難しくなる。さらに、左・右画像信号を別々
に符号化するため、回路規模が１系統の画像信号を符号
化する場合の約２倍になる。

【００３０】左・右画像信号を符号化する際、１系統の
符号化経路を兼用したとしても、各撮影方向の画像デー
タに対して識別符号の生成及び付加を行う必要があった
り、符号化圧縮を行うのに、待ち時間が生じ、リアルタ
イム性に欠けると共に時間合わせのために追加される保
持回路の規模が大きくなるなどの問題があった。

【００３１】そこで、本発明は上記の問題に鑑み、１系
統の符号化経路及び復号化経路を用い、簡単な回路構成
で、複数の方向からの画像データを符号化・復号化する
ことができる立体視画像符号化・復号化方法及び装置を
提供することを目的とするものである。

【００３２】

【課題を解決するための手段】第１の発明による立体視
画像符号化方法は、複数の方向から撮影して得られる複
数チャンネルの画像信号を、１フレーム又は１フィール
ド毎に順次に配列し、１つの画像信号として符号化す
る。

【００３３】第２の発明による立体視画像符号化方法
は、左右の方向から撮影して得られる２チャンネルの画
像信号を、１フレーム又は１フィールド毎に交互に挿入
し、１つの画像信号としてＩ，Ｂ，Ｐピクチャによる符
号化を行う際に、Ｎ枚のピクチャからなるＧＯＰに分割
して符号化し、１ＧＯＰのピクチャ枚数Ｎを奇数にし
た。

【００３４】第３の発明による立体視画像符号化方法
は、左右の方向から撮影して得られる２チャンネルの画
像信号を、１フレーム又は１フィールド毎に交互に挿入
し、１つの画像信号としてＩ，Ｂ又はＰピクチャによる
符号化を行う際に、このピクチャ列でＩ又はＰピクチャ
の現われる周期Ｍを奇数とした。

【００３５】第４の発明による立体視画像符号化方法
は、複数の方向から撮影して得られるＮチャンネルの画
像信号を、１フレーム又は１フィールド毎に順次に配列
し、１つの画像信号としてＩ，Ｂ，Ｐピクチャによる符
号化を行う際に、Ｎチャンネル分の画像信号を同数持つ
グループに分割し、まず第１グループ内のＩ（又は
Ｐ），Ｐの各ピクチャについてはＩ（又はＰ）ピクチャ
を第１チャンネルの画像信号から生成し該ピクチャから
Ｐピクチャとして同時刻の他チャンネルの画像信号を予
測し、第２グループ内では同様にＩ（又はＰ），Ｐにつ
いて第２チャンネルの画像信号から同時刻の他チャンネ
ルの画像信号を予測し、……第Ｎグループ内では同様に
Ｉ（又はＰ），Ｐについて第Ｎチャンネルの画像信号か
ら同時刻の他チャンネルの画像信号を予測するとすると
いったように、各グループ内では各グループごとにそれ
ぞれ異なったチャンネルの画像信号から同時刻の他チャ
ンネルの画像信号を予測する。

【００３６】第５の発明による立体視画像符号化方法
は、複数の方向から撮影して得られるＮチャンネルの画
像信号を、１フレーム又は１フィールド毎に順次に配列
し、１つの画像信号としてＩ，Ｂ，Ｐピクチャによる符
号化を行う際に、Ｎチャンネル分の画像信号を同数持つ
グループに分割し、時間軸方向に並んだ各グループ毎に
どのグループ内でも常に同時刻の所定の２チャンネルの
画像信号でＩ（又はＰ），Ｐピクチャを構成し、同一グ
ループ内の残りの各チャンネルの画像信号をＢピクチャ
で符号化する。

【００３７】第６の発明による立体視画像復号化方法
は、第１〜第５の発明のいずれか１つに記載の立体視画
像符号化方法により符号化された符号化画像信号を入力
し、該符号化画像信号を復号し、復号された画像信号か
ら各フレーム又はフィールドを交互に抜き取り、複数チ
ャンネルの画像信号を得る。

【００３８】第１の発明では、複数チャンネルの画像信
号を、画像処理単位である１フレーム又は１フィールド
毎に順次に配列して、１つの画像信号として符号化する
ことができる。複数チャンネル信号を順次化するに当た
り、１フレーム又は１フィールド毎に順次に配列するだ
けであるので、その制御方法も比較的簡単である。

【００３９】第２の発明では、Ｎ枚のピクチャからなる
ＧＯＰに分割して符号化するＭＰＥＧの場合、１ＧＯＰ
のピクチャ枚数Ｎを奇数にすれば、１ＧＯＰごとに現れ
る先頭ピクチャ（即ち、Ｉピクチャ）は、左目用画像信
号と右目用画像信号が交互に現れ、一方のチャンネルに
エラーが生じた場合、その片方のチャンネルのエラーの
影響を次のＧＯＰに伝搬させることがなく、エラー伝搬
をＧＯＰ単位で抑制することが可能となる。

【００４０】第３の発明では、左目用，右目用の２チャ
ンネルの画像信号を１本化して符号化した場合、Ｉ又は
Ｐピクチャの現われる周期Ｍを奇数とすることにより、
Ｉ又はＰピクチャについては、最初のＩピクチャが左目
用画像信号であれば、次のＰピクチャは右目用画像信号
となり、同様にして次のＰピクチャは左目用画像信号、
その次のＰピクチャは右目用画像信号、……というよう
に、前方予測されるＰピクチャが左目用画像信号と右目
用画像信号の２つのチャンネルにつき交互に現れ、これ
らＩ又はＰピクチャ間に配置されるＢピクチャは、左目
用，右目用の両画像信号即ち必ず同じチャンネルを含ん
だ画像信号から予測されることになり、Ｍ＝偶数の場合
のように常に他方のチャンネルの画像信号からＢピクチ
ャを予測する場合に比べて、一方のチャンネルにエラー
が生じた場合、他方のチャンネルにエラーが伝搬する度
合いを軽減することができる。

【００４１】第４の発明では、Ｎチャンネル分の画像信
号を同数持つグループに分割し、各グループ内ではＩ
（又はＰ），Ｐについて各グループごとにそれぞれ異な
ったチャンネルの画像信号から同時刻の他チャンネルの
画像信号を予測するので、予測が当たり易く、かつエラ
ー伝搬を抑制する効果がある。

【００４２】第５の発明では、Ｎチャンネル分の画像信
号を同数持つグループに分割し、各グループ内では各グ
ループ毎に時間軸方向同時刻の２チャンネルでＩ（又は
Ｐ），Ｐピクチャを構成するので、予測が当たり易い効
果がある。

【００４３】第６の発明では、復号化する際に、１つの
画像信号として復号した後、最初に伝送されてくるチャ
ンネルがどのチャンネルかが分かっているので、伝送信
号を検出した時点から１フレーム又は１フィールド毎に
画像信号を抜き取ることによって、複数チャンネルの画
像信号を容易に復号することができる。各チャンネルを
識別する符号を付加したり解読したりすることなく、比
較的簡単な制御方法で実現できる。

【００４４】

【発明の実施の形態】発明の実施の形態について図面を
参照して説明する。本発明の実施の形態では、説明及び
理解の容易さから左と右の２方向から観測した２種類の
画像（左画像信号と右画像信号）を用いる場合について
主に説明するが、複数方向から観測した３種類以上の画
像を用いる場合にも容易に拡張することが可能である。

【００４５】図１は本発明の立体視画像符号化・復号化
方法及び装置に係る伝送システムのブロック図を示して
いる。

【００４６】図１において、符号化装置では、入力端子
３１，３２にはそれぞれ左目，右目の各画像信号が入力
し、左目画像信号はそのままマルチプレクサ３４の入力
端ａに入力する。右目画像信号は、１フレーム遅延又は
１フィールド遅延の遅延メモリ３３を経て前記マルチプ
レクサ３４の入力端ｂに入力する。遅延メモリ３３は、
左右画像信号がフレーム画像であれば、フレーム時間入
カされる信号を遅延させ、フィールド画像であれぱ、フ
ィールド時間遅延させる。マルチプレクサ３４は、交互
に並べる時間単位（フレームあるいはフィールド時間
毎）にａ側とｂ側を交互に切り替え、この切替えによっ
て２つの画像信号を１つの画像信号に変換して出力す
る。マルチプレクサ３４は、制御手段３６からのフレー
ム周期又はフィールド周期のスイッチング信号にてａ側
とｂ側とが交互に導通される。マルチプレクサ３４から
１つの画像信号として出力された信号は、ＭＰＥＧエン
コーダ部３５で可変長符号化されて図示しない伝送路に
出力される。

【００４７】復号化装置では、伝送されてくる可変長符
号化信号をＭＰＥＧデゴーダ部３７で復号化した後、そ
の復号化画像信号をデマルチプレクサ３８の入力端に供
給する。デマルチプレクサ３８は、交互に並べられた時
間単位（１フレーム又は１フィールド時間）で２つの出
力端ｃ，ｄを交互に切り替える。制御手段４２は、ＭＰ
ＥＧデコーダ部３７からの復号化信号を検出した時点よ
りフレーム周期又はフィールド周期のスイッチング信号
を出力して、デマルチプレクサ３８をｃ側とｄ側に切り
替える。予めエンコーダ側で順次化するときの最初の画
像が左右のどちらのチャンネルかが分かっているので、
制御手段４２は復号化信号を検出した時点でｃ側，ｄ側
の順で交互に切替えを行う。デマルチプレクサ３８の出
力端ｃからの左画像出力は、１フレーム遅延又は１フィ
ールド遅延の遅延メモリ３９を経て出力端子４０に出力
し、デマルチプレクサ３８の出力端ｄからの右画像出力
はそのまま出力端子４１に出力する。遅延メモリ３９
も、遅延メモリ３３と同様に左右画像信号がフレーム画
像であればフレーム時間、入カされる信号を遅延させ、
フィールド画像であれぱフィールド時間、入力される信
号を遅延させる。

【００４８】このような構成では、符号化時には、左の
方向から撮影して得られるＬチャンネルの画像信号と、
右の方向から撮影して得られるＲチャンネルの画像信号
を遅延メモリ３３で１フレーム又は１フィールド遅延し
た信号とを、マルチプレクサ３４で１フレーム又は１フ
ィールド毎に交互に挿入して１つの画像信号とした後、
これをＭＰＥＧエンコーダ部３５で符号化して、伝送路
に出力する。

【００４９】復号化時には、前述のようにして符号化さ
れた符号化画像信号を入力し、ＭＰＥＧデコーダ部３７
で復号し、復号された画像信号から、デマルチプレクサ
３８で各フレーム又はフィールドを交互に抜き取り、Ｌ
チャンネルの画像信号については遅延メモリ３９にて１
フレーム又は１フィールド遅延して出力し、Ｒチャンネ
ルの画像信号についてはそのまま出力することにより、
左右チャンネルの画像信号を撮影時と同様に同時化して
出力する。

【００５０】図１によれば、両チャンネルを１つの左右
画像信号として符号化するため、ＭＰＥＧエンコーダ部
３５とデコーダ部３７が１つずつで済み、従来例図１８
に比べ回路規模を約２分の１に縮小できることは勿論で
ある。

【００５１】復号化時（再生時）においては、交互にＬ
とＲチャンネルの画像が配置された左右画像信号の最初
の画像がどちらのチャンネルかが分かれば、制御手段３
８とデマルチプレクサ３８と遅延メモリ３９により、容
易に左画像信号と右画像信号の同期をとることが可能と
なり、従来例のように同期データの付加や解読といった
複雑な処理が必要なく、比較的簡単な制御で行える。

【００５２】なお、図１の装置における遅延メモリ３３
と遅延メモリ３９は、左右画像信号の先頭チャンネルが
Ｌの場合の装置例であり、先頭チャンネルがＲの場合
は、遅延メモリ３３は左画像入力信号側に、遅延メモリ
３９は右画像出力側に配置されることは、容易に推測で
き、本発明はこの構成を含むものである。

【００５３】また、図１では、左，右の２つの方向から
撮影して得られる２チャンネルの画像信号を符号化・復
号化する場合について説明したが、本発明では、２つ以
上の複数の方向から撮影して得られる複数チャンネルの
画像信号について同様の伝送システムを構成することが
できる。

【００５４】図２は図１の２チャンネルの伝送システム
を複数チャンネルの場合に拡張したブロック図を示すも
のである。

【００５５】図２における符号化装置では、符号301
は、複数の方向から撮影して得られる複数チャンネルの
画像信号Ｓi1，Ｓi2，…Ｓinを、各チャンネル毎に順次
１フレーム又は１フィールドずつ遅延させる順次化手段
であり、ここで１フレーム又は１フィールドずつ遅延さ
れた各チャンネルの画像信号は、マルチプレクサ302 で
１フレーム又は１フィールドごとに順次に挿入されて１
つの画像信号として出力される。制御手段304 は、フレ
ーム周期又はフィールド周期のスイッチ信号を出力し
て、順次化手段301 から複数チャンネルの信号を順次に
取り出すよう、マルチプレクサ302 を制御する。マルチ
プレクサ302 からの１つの画像信号は、符号化手段303
で符号化して図示しない伝送路に出力される。

【００５６】復号化装置では、復号化手段305 で前述の
符号化された符号化画像信号を入力し復号する。その
後、復号された画像信号からデマルチプレクサ306 で各
フレーム又はフィールドを順次に抜き取り、順次抜き取
られた各チャンネルの画像信号を、同時化手段307 にて
１フレーム又は１フィールドずつ順次遅延して同時化
し、撮影時と同様な複数チャンネルの画像信号Ｓo1，Ｓ
o2 ，…Ｓonとして出力する。

【００５７】図２の構成により、２チャンネルを越える
複数チャンネルの画像信号を１つのエンコーダ部と１つ
のデコーダ部で容易に符号化・復号化することができ、
簡単な回路構成で済むと共に、復号化時（再生時）にお
いては、順次に配置された複数チャンネルの画像信号の
最初の画像がどのチャンネルかが分かれば、制御手段30
8 とデマルチプレクサ306 と同時化手段307 により、容
易に左画像信号と右画像信号の同期をとることが可能と
なり、従来例のように同期データの付加や解読といった
複雑な処理が必要なく、比較的簡単な制御で行える。

【００５８】図３(a) ，(b) は本発明の立体視画像符号
化方法の第１の実施の形態を示す図である。図３(a) は
フレーム又はフィールド毎に左右画像信号を符号化した
時のピクチャ割り当てを、図３(b) は図３(a) のように
符号化する場合の予測方向を示している。ここでは、
Ｉ，Ｂ，Ｐピクチャによる符号化を行う場合について説
明する。Ｉピクチャはフレーム内符号化フレームであ
り、Ｐピクチャは既に符号化された時間的に前のＩピク
チャから予測したフレーム間符号化フレームである。Ｐ
ピクチャは後方のＰピクチャを前方予測符号化すること
によっても得られる。また、Ｂピクチャは前方若しくは
後方のいずれか一方又は両方向のＩ，Ｐピクチャから両
方向予測符号化した両方向予測適応切替フレームであ
る。

【００５９】図３(a) は、図１における符号化装置で、
左画像信号Ｌと右画像信号Ｒを交互に並べ、Ｉ又はＰピ
クチャが現れる周期Ｍを、Ｍ＝２として１つの画像信号
で符号化を行う例を示している。Ｌ，Ｒの下の数字は、
この数字の順番が時間順を示し、同じ数字であると同じ
時刻であることを示している。ＬとＲのことを以下チャ
ンネルと呼ぷことにする。つまり、Ｌチャンネルは交互
に並べる前の左画像信号ことであり、Ｒチャンネルは交
互に並べる前の右画像信号のことである。例えばＬ1 と
Ｒ1 とは、同時刻のＬ，Ｒチャンネルの最初の画像信号
であることを表している。

【００６０】また、図３(b) に示すように、Ｍ＝２で符
号化するため、各チャンネルの画像信号が冗長度（相
関）の高い同時刻の他チャンネルの画像信号から予測可
能である。例えば、Ｒ1 （Ｂピクチャ）は同時刻のＬ1
（Ｉピクチャ）の画像信号からも予測可能であり、同様
にＲ2 （Ｂピクチャ）は同時刻のＬ2 （Ｐピクチャ）か
らも予測可能である。このため、視差画像信号を符号化
していることと等価となり、従来例（図１６(b) 及び図
１８(b) ）と同等またはそれ以上の圧縮効率を得ること
ができる。

【００６１】図４(a) ，(b) は本発明の立体視画像符号
化方法の第２の実施の形態を示す図である。図４(a) は
フレーム又はフィールド毎に左右画像信号を符号化した
時のピクチャ割り当てを、図４(b) は図４(a) のように
符号化する場合の予測方向を示している。図４(b) にあ
るように、左画像信号Ｌと右画像信号Ｒを交互に並べ、
Ｉ又はＰピクチャの周期Ｍを、Ｍ＝３として１つの画像
信号で符号化を行う。図３の実施の形態のようにＭ＝偶
数とした場合、左右画像信号の先頭チャンネル（図３
(b) に示すようにＬ）でないチャンネル（図３ではＲ）
の画像信号が必ず先頭チャンネル（Ｌ）の画像信号から
予測されることになる。もし、ある時刻に先頭チャンネ
ルＬにエラーが含まれた場合、もう一方のチャンネルＲ
にもそのエラーが伝搬し、左画像信号がエラー修復され
ない限り、右画像信号はエラーを取り除くことができな
い。これは、図３では、Ｌ，Ｒの各チャンネルの画像信
号を符号化する際に、Ｉ，Ｂ，Ｐピクチャを割り当てて
いるが、仮にＰピクチャの代わりにＩピクチャを割り当
て、Ｉ，Ｂピクチャで構成した場合でも同様である。

【００６２】このようなエラー伝搬を抑制する方法の１
つが、図４の第２の実施の形態に示すＭ＝奇数とするこ
とである。ここで、図４では、Ｌ，Ｒの各チャンネルの
画像信号を符号化する際に、Ｉ，Ｂ，Ｐピクチャを割り
当てておりＩピクチャであるＬ1 からフレーム間符号化
画像（Ｐピクチャ）であるＲ2 が前方予測されるためＬ
チャンネルにエラーがあるとＲチャンネルにエラー伝搬
する虞れがある。しかし、仮にＰピクチャの代わりにフ
レーム内符号化画像（Ｉピクチャ）を割り当て、Ｉ，Ｂ
ピクチャのみで構成したとすると、Ｌ1 からＲ2 にエラ
ー伝搬することがなく、図４(b) から分かるようにＢピ
クチャであるＲ1 ，Ｌ2 は、ＩピクチャであるＬ1 ，Ｒ
2 のいずれか一方又は両方から予測可能となり、Ｌ，Ｒ
の両チャンネルとも同じチャンネルから予測することが
可能となり、他チャンネルからのエラー伝搬を抑制する
ことができる。即ち、Ｍ＝奇数とすることによってエラ
ー伝搬を抑止する効果を生ずる。

【００６３】図５(a) ，(b) は本発明の立体視画像符号
化方法の第３の実施の形態を示す図である。第３の実施
の形態は、エラー伝搬を抑制するもう１つの方法を示し
ている。

【００６４】ＭＰＥＧでは、ピクチャのインサートなど
の符号化データの編集機能に対応するため、ＧＯＰ（Gr
oup of Picture）という下位層構造を持つ。通常、この
ＧＯＰを構成するピクチャの枚数をＮで表す。ＭＰＥＧ
規則では、ＧＯＰの先頭ピクチャ（最初に符号化するピ
クチャであり、時間軸方向で最初のピクチャでないこと
に注意）はＩピクチャでなければならない。

【００６５】図５(a) にＮ＝偶数の例を示し、図５(b)
にＮ＝奇数の例を示している。図５(a) の場合、Ｌ，Ｒ
の２チャンネルの場合は、あるＧＯＰの先頭ピクチャが
Ｌチャンネルの画像信号ならば、次のＧＯＰの先頭ピク
チャもＬチャンネルの画像信号である。従って、撮影時
にＬチャンネル画像信号にエラーが生じた場合は、エラ
ー伝搬をＧＯＰ内に留めることができない。

【００６６】ＭＰＥＧの場合、図５(b) に示すようにＮ
＝奇数とすることでＧＯＰの先頭ピクチャのチャンネル
をＧＯＰ毎にＬ，Ｒを交互に配置することができ、ある
ＧＯＰがＬチャンネルから符号化が開始されたなら、次
のＧＯＰはＲチャンネルから符号化が開始されることに
なる。この結果、あるＧＯＰで先頭ピクチャのＬチャン
ネル画像信号にエラーが生じた場合でも、次のＧＯＰで
は先頭ピクチャのＲチャンネル画像信号にはエラーの影
響が及ばないことになる。つまり、片チャンネルのエラ
ーの影響をＧＯＰ単位で抑制することが可能となる。

【００６７】従って、左画像信号と右画像信号とを第
１，第２の実施の形態のように交互に配置した左右画像
列の場合、つまり２チャンネル配列の場合、上記Ｎを奇
数にすることで、各ＧＯＰの先頭ピクチャにＬ，Ｒを交
互に配置でき、エラー伝搬を抑制し得る。

【００６８】図５の第３の実施の形態は、Ｍ＝３、Ｎ＝
７とした場合である。なお、本発明は、各ＧＯＰの先頭
ピクチャにＬ，Ｒを交互に配置する方法をＮ＝奇数とす
ることに限定するものではない。

【００６９】図６(a) ，(b) は本発明の立体視画像符号
化方法の第４の実施の形態を示す図である。図６(a) は
フレーム又はフィールド毎に左右画像信号を符号化した
時のピクチャ割り当てを、図６(b) は図６(a) のように
符号化する場合の予測方向を示している。

【００７０】ＭＰＥＧにおいて、現在一般的に利用され
ようとしているのは第２スペックのＭＰＥＧ２であり、
ＭＰＥＧ２ではＧＯＰ構造はオプションとなっており、
必ずしもＧＯＰ構造を持つ必要がない。よって、ピクチ
ャ複数枚によるグループの構成方法をＧＯＰとせずにエ
ラー伝搬を抑制する方法が第４の実施の形態である。

【００７１】ここで、第４の実施の形態を説明するため
に、冗長距離＝ＪＤなる語を定義する。冗長距離とは、
２つのピクチャ同士の冗長度（相関性）を示す値であ
り、チャンネルが変わると１増加し、時間軸方向にピク
チャが変わると１増加する。図３〜図７，図１１の中に
は予測方向を示すために実線・点線・一点鎖線の３種類
を用いて表現しているが、これは冗長距離の値によって
変えてある。実線：ＪＤ＝１、点線：ＪＤ＝２、一点鎖
線：ＪＤ＝３を表している。

【００７２】例えば、前述の図４(b) において、Ｌ1 と
Ｒ2 ではＪＤ＝２、Ｒ2 とＬ4 ではＪＤ＝３となる。

【００７３】この冗長距離が大きいほど冗長度（相間
性）が低く、予測が当たりにくくなり、圧縮効率低下の
原因となる。

【００７４】いま、図４(a) のＭ＝３のようにＢピクチ
ャ２枚を、ＩまたはＰピクチャ２枚から予測する場合を
考える。

【００７５】図４(b) より、Ｌ3 を符号化する場合、Ｊ
Ｄ＝２のＲ2 からか、ＪＤ＝１のＬ4 からか、またはそ
の両方から予測が行われる。冗長距離から考えると、Ｌ
4 からの方が予測が当たりやすいが、Ｌ4 は、ＪＤ＝３
のＲ2 から予測されているため、Ｌ3 は同チャンネルの
Ｌ4 から予測符号化できるものの、Ｌ4 がＪＤ＝３も離
れた他チャンネルのＲ2 から予測符号化されているた
め、エラー伝搬の抑制率はそれほど高くない。つまり、
Ｂピクチャの元になる参照画像の１つであるＰピクチャ
の冗長距離が大きいために、予測効率が低くなってい
る。

【００７６】そこで、図６の第４の実施の形態では、各
チャンネルの画像フレームもしくはフィールドを同数含
むグループに分割し、点線枠にて示す各グループにおけ
る時間軸方向同時刻の最初のＬＲチャンネルの画像信号
（Ｌ1 ／Ｒ1 ，Ｌ3 ／Ｒ3 ，Ｌ5 ／Ｒ5 ，…… ）を
Ｉ，Ｐピクチャとしこれらのピクチャから残りの同グル
ープ内の各チャンネルの画像信号（Ｌ2 ／Ｒ2 ，Ｌ4 ／
Ｒ4 ，Ｌ6 ／Ｒ6 ，……）をＢピクチャとして予測する
ことで、Ｂピクチャの元になる参照画像の１つであるＰ
ピクチャの冗長距離を小さく（最小すなわちＪＤ＝１
に）し、予測効率を高め、エラー伝搬の抑制を行う。図
６では、例えばＬ1 をＩピクチャで符号化し、これより
冗長距離ＪＤ＝１のＲ1 を前方予測してＰピクチャと
し、Ｉ，ＰピクチャであるＬ1 ，Ｒ1 よりＬ2 ，Ｒ2 を
両方向予測している。これを以下に詳しく説明する。

【００７７】図６では、グループとして、（Ｌ1 ／Ｒ1
・Ｌ2 ／Ｒ2 ）、（Ｌ3 ／Ｒ3 ・Ｌ4 ／Ｒ4 ）、（Ｌ5
／Ｒ5 ・Ｌ6 ／Ｒ6 ）、……のように、同時刻の両チャ
ンネルを１組とし、これを２組で１グループとした例で
ある。各グループの参照画像となるＩ、Ｐピクチャは、
時間軸方向最初のＬＲチャンネルの画像信号であるか
ら、Ｌ1 ／Ｒ1 、Ｌ3 ／Ｒ3 、Ｌ5 ／Ｒ5 、……であ
る。

【００７８】まず、第１のグループ（Ｌ1 ／Ｒ1 ・Ｌ2
／Ｒ2 ）を考える。Ｌ1 をＩピクチャで符号化後、Ｌ1
からＲ1 を予測し、Ｒ1 をＰピクチャとして符号化す
る。このときＬ1 からのＲ1 の冗長距離がＪＤ＝１と最
小となるため、相関性が非常に高く、予測が非常に当た
りやすい。

【００７９】第１グループの残りの各チャンネルの画像
信号Ｌ2 、Ｒ2 は、Ｂピクチャとして、Ｌ1 、Ｒ1 の両
チャンネルから予測することになり、この楊合、冗長距
離がＪＤ＝１の同チャンネルから予測が可能となり、予
測が非常に当たりやすく、エラー伝搬を抑制できる。

【００８０】第２のグループ（Ｌ3 ／Ｒ3 ・Ｌ4 ／Ｒ4
）においては、Ｌ3 あるいはＲ3 のどちらかを最初に
ＩまたはＰピクチャで符号化することになる。

【００８１】Ｉピクチャの場合は、第１グループと同様
の予測が行われるが、Ｐピクチャの場合は、前の第１グ
ループのＩまたはＰピクチャから予測が行われる。図６
では、Ｒ3 を第２グループの先頭ピクチャとし、前グル
ープのＰピクチャであるＲ1から予測を行っている。こ
のときのＲ1 からＲ3 への冗長距離ＪＤ＝２である。

【００８２】図６の第４の実施の形態では、各グループ
の先頭ピクチャをＬ1 ，Ｒ3 ，Ｌ5，Ｒ7 ，……という
ように、ＬとＲで交互に配置することで、仮にこれら先
頭ピクチャを全てＩピクチャとした場合には片チャンネ
ルのエラーの影響を抑制して、エラー伝搬の抑制率を高
めることができる。

【００８３】なお、図６の第４の実施の形態では、１グ
ループをＬＲチャンネル画像信号の２組としているが、
本発明は２組に限定することなく、２組以上の場合に拡
張することができる。

【００８４】図７(a) ，(b) は本発明の立体視画像符号
化方法の第５の実施の形態を示すものである。図７(a)
はフレーム又はフィールド毎に左右画像信号を符号化し
た時のピクチャ割り当てを、図７(b) は、図７(a) のよ
うに符号化する場合の予測方向を示している。これは、
図６の第４の実施の形態を、ＬＲチャンネル画像信号の
３組に拡張した場合を示している。

【００８５】なお、図６，図７の第４，第５の各実施の
形態では、ＬＲの２チャンネルの画像信号について述べ
たが、本発明はＬＲの２チャンネルに限定されず、２チ
ャンネル以上の画像信号に対しても拡張することができ
る。

【００８６】図８は本発明の立体視画像符号化方法の第
６の実施の形態を示すものである。これは、図６の第４
の実施の形態を、Ｌ，Ｃ（センター），Ｒの３チャンネ
ルに拡張した場合を示している。図８(a) は３つのチャ
ンネルの観測点を示しており、図８(b) は３チャンネル
の画像信号（画像フレームもしくはフィールド）を２組
含むグループに分割し、Ｌ，Ｃ，Ｒを交互に符号化した
場合の画像信号の並びを示している。

【００８７】まず、第１グループ内のＩ（又はＰ），Ｐ
の各ピクチャについてはＩピクチャをＬチャンネルの画
像信号（Ｌ1 ）から生成し該ピクチャからＰピクチャと
して同時刻のＲチャンネルの画像信号（Ｒ1 ）を予測
し、第２グループ内では同様にＩ（又はＰ），Ｐについ
てＲチャンネルの画像信号（Ｒ3 ）から同時刻のＬチャ
ンネルの画像信号（Ｌ3 ）を予測し、第３グループ内で
は同様にＩ（又はＰ），ＰについてＣチャンネルの画像
信号（Ｃ5 ）から同時刻のＬチャンネルの画像信号（Ｌ
5 ）を予測するといったように、Ｉ（又はＰ），Ｐにつ
いて各グループごとに各グループ内でそれぞれ異なった
チャンネルの画像信号から同時刻の他チャンネルの画像
信号を予測することになる。

【００８８】この図８の第６の実施の形態の場合も、各
グループ内のあるチャンネルからそれと同時刻のチャン
ネルを予測するため、予測は当たりやすい。各グループ
の先頭ピクチャが交互に異なったチャンネルの画像信号
となっているため、仮に各グループの先頭ピクチャが全
てＩピクチャとされる場合には、撮影時に先頭ピクチャ
に相当するチャンネルにエラーが発生しても、エラー伝
搬はグループ内に留まり、他チャンネルへの影響を抑制
することができる。

【００８９】図９は本発明の立体視画像符号化方法の第
７の実施の形態を示すものである。これは、図６の第４
の実施の形態を、Ｌ，ＬS ，ＲS ，Ｒの４チャンネルに
拡張した場合を示している。図９(a) は４つのチャンネ
ルの観測点を示しており、図９(b) は４チャンネルの画
像信号（画像フレームもしくはフィールド）を２組含む
グループに分割し、Ｌ，ＬS ，ＲS ，ＲをＬ側とＲ側と
で交互に符号化した場合の画像信号の並びを示してい
る。

【００９０】まず、第１グループ内のＩ（又はＰ），Ｐ
の各ピクチャについてはＩピクチャをＬチャンネルの画
像信号（Ｌ1 ）から生成し該ピクチャからＰピクチャと
して同時刻のＲチャンネルの画像信号（Ｒ1 ）を予測
し、第２グループ内では同様にＩ（又はＰ），Ｐについ
てＲチャンネルの画像信号（Ｒ3 ）から同時刻のＬチャ
ンネルの画像信号（Ｌ3 ）を予測し、第３グループ内で
は同様にＩ（又はＰ），ＰについてＲS チャンネルの画
像信号（ＲS5）から同時刻のＬチャンネルの画像信号
（Ｌ5 ）を予測し、第４グループ内では同様にＩ（又は
Ｐ），ＰについてＬS チャンネルの画像信号（ＬS7）か
ら同時刻のＲチャンネルの画像信号（Ｒ7 ）を予測する
といったように、Ｉ（又はＰ），Ｐについて各グループ
内では各グループごとにそれぞれ異なったチャンネルの
画像信号から同時刻の他チャンネルの画像信号を予測す
ることになる。

【００９１】この図９の第７の実施の形態の場合も、各
グループ内のあるチャンネルからそれと同時刻のチャン
ネルを予測するため、予測は当たりやすい。各グループ
の先頭ピクチャが交互に異なったチャンネルの画像信号
となるため、仮に各グループの先頭ピクチャが全てＩピ
クチャとされる場合には、撮影時に先頭ピクチャに相当
するチャンネルにエラーが発生しても、エラー伝搬はグ
ループ内に留まり、他チャンネルへの影響を抑制するこ
とができる。

【００９２】図１０は本発明の立体視画像符号化方法の
第８の実施の形態を示すものである。これは、図６の第
４の実施の形態を、Ｌ，ＬS ，ＲS ，Ｒの４チャンネル
に拡張した場合を示している。ただし、図１０は同時刻
の４チャンネルの画像信号（画像フレームもしくはフィ
ールド）を１組ずつ含むグループに分割し、Ｌ，ＬS，
ＲS ，ＲをＬ側とＲ側とで交互に符号化した場合の画像
信号の並びを示している。

【００９３】まず、第１グループ内のＩ（又はＰ），Ｐ
の各ピクチャについてはＩピクチャをＬチャンネルの画
像信号（Ｌ1 ）から生成し該ピクチャからＰピクチャと
して同時刻のＲチャンネルの画像信号（Ｒ1 ）を予測
し、第２グループ内では同様にＩ（又はＰ），Ｐについ
てＲチャンネルの画像信号（Ｒ2 ）から同時刻のＬS チ
ャンネルの画像信号（ＬS2）を予測し、第３グループ内
では同様にＩ（又はＰ），ＰについてＲS チャンネルの
画像信号（ＲS3）から同時刻のＬチャンネルの画像信号
（Ｌ3 ）を予測し、第４グループ内では同様にＩ（又は
Ｐ），ＰについてＬS チャンネルの画像信号（ＬS4）か
ら同時刻のＲS チャンネルの画像信号（ＲS4）を予測す
るといったように、Ｉ（又はＰ），Ｐについて各グルー
プ内では各グループごとにそれぞれ異なったチャンネル
の画像信号から同時刻の他チャンネルの画像信号を予測
する。

【００９４】この図１０の第７の実施の形態の場合も、
各グループ内のあるチャンネルからそれと同時刻のチャ
ンネルを予測するため、予測は当たりやすい。各グルー
プの先頭ピクチャが交互に異なったチャンネルの画像信
号となるため、仮に各グループの先頭ピクチャが全てＩ
ピクチャとされる場合には、撮影時に先頭ピクチャに相
当するチャンネルにエラーが発生しても、エラー伝搬は
グループ内に留まり、他チャンネルへの影響を抑制する
ことができると共に、ある時刻にエラーが発生しても、
グループ内のピクチャが同時刻の画像信号だけであるの
で、エラー伝搬は同時刻のピクチャに対してだけであ
り、他のグループ内の異なった時刻の画像信号に対して
はエラー伝搬することがない。

【００９５】以上の図６〜図１０の実施の形態によれ
ば、Ｎチャンネル分の画像信号を同数持つグループに分
割し、各グループ内ではＩ（又はＰ），Ｐについて各グ
ループごとにそれぞれ異なったチャンネルの画像信号か
ら同時刻の他チャンネルの画像信号を予測するので、予
測が当たり易く、かつエラー伝搬を抑制する効果があ
る。

【００９６】なお、図６〜図１０の実施の形態では、各
グループ内ではＩ（又はＰ），Ｐについて各グループご
とにそれぞれ異なったチャンネルの画像信号から同時刻
の他チャンネルの画像信号を予測するものであったが、
各グループ内のＩ（又はＰ），ＰについてＬＲ画像信号
列の並びを統一するように構成することも可能である。

【００９７】図１１(a) ，(b) は本発明の立体視画像符
号化方法の第９の実施の形態を示すものである。図１１
(a) はフレーム又はフィールド毎に左右画像信号を符号
化した時のピクチャ割り当てを、図１１(b) は図１１
(a) のように符号化する場合の予測方向を示している。

【００９８】図１１の第９の実施の形態は、各グループ
のＬＲ画像信号列の並びを統一した例を示している。Ｌ
Ｒの２チャンネルについて、どのグループにおいても、
Ｉ（又はＰ），Ｐについて先頭ピクチャＩ（又はＰ）は
Ｌチャンネル画像信号であり、これから前方予測される
Ｐピクチャは同時刻のＲチャンネル画像信号とされてい
る。

【００９９】まず、第１グループ内のＩ（又はＰ），Ｐ
の各ピクチャについてはＩピクチャをＬチャンネルの画
像信号（Ｌ1 ）から生成し該ピクチャからＰピクチャと
して同時刻のＲチャンネルの画像信号（Ｒ1 ）を予測
し、第２グループ内では同様にＩ（又はＰ），Ｐについ
てＬチャンネルの画像信号（Ｌ3 ）から同時刻のＲチャ
ンネルの画像信号（Ｒ3 ）を予測し、第３グループ内で
は同様にＩ（又はＰ），ＰについてＬチャンネルの画像
信号（Ｌ5 ）から同時刻のＲチャンネルの画像信号（Ｒ
5 ）を予測するといったように、Ｉ（又はＰ），Ｐにつ
いて各グループごとに各グループ内で常に同じチャンネ
ル（Ｌ）の画像信号から同時刻の他チャンネル（Ｒ）の
画像信号を予測することになる。

【０１００】この場合、必ずＬチャンネルからＲチャン
ネルのように片方のチャンネルの画像信号のみが予測に
おける参照画像となってしまうため、予測は当たりやす
いが、エラー伝搬の抑制率は高くない。

【０１０１】なお、図１１の第９の実施の形態では、Ｌ
Ｒの２チャンネルの画像信号について述べたが、本発明
は２チャンネル以上の画像の場合にも拡張することがで
きる。

【０１０２】図１２は本発明の立体視画像符号化方法の
第１０の実施の形態を示すものである。これは、図１１
の実施の形態を、Ｌ，Ｃ（センター），Ｒの３チャンネ
ルに拡張した場合を示している。図１２(a) は３つのチ
ャンネルの観測点を示しており、図１２(b) は３チャン
ネルの画像信号（画像フレームもしくはフィールド）を
２組含むグループに分割し、Ｌ，Ｃ，Ｒを交互に符号化
した場合の画像信号の並びを示している。

【０１０３】まず、第１グループ内のＩ（又はＰ），Ｐ
の各ピクチャについてはＩピクチャをＬチャンネルの画
像信号（Ｌ1 ）から生成し該ピクチャからＰピクチャと
して同時刻のＲチャンネルの画像信号（Ｒ1 ）を予測
し、第２グループ内では同様にＩ（又はＰ），Ｐについ
てＬチャンネルの画像信号（Ｌ3 ）から同時刻のＲチャ
ンネルの画像信号（Ｒ3 ）を予測し、第３グループ内で
は同様にＩ（又はＰ），ＰについてＬチャンネルの画像
信号（Ｌ5 ）から同時刻のＲチャンネルの画像信号（Ｒ
5 ）を予測するといったように、Ｉ（又はＰ），Ｐにつ
いて各グループ内ではどのグループでも同じチャンネル
の画像信号から同時刻の所定の他チャンネルの画像信号
を予測することになる。同一グループ内の残りの各チャ
ンネルの画像信号については、Ｂピクチャで符号化して
いる。

【０１０４】この図１２の第１０の実施の形態の場合
も、予測は当たりやすいが、各グループの先頭ピクチャ
が常に同じチャンネルの画像信号となるため、撮影時に
先頭ピクチャに相当するチャンネルにエラーが発生した
場合に他のグループにエラー伝搬するので、エラー伝搬
の抑制率は高くない。

【０１０５】図１３(a) ，(b) は本発明の立体視画像符
号化方法の第１１の実施の形態を示すものである。これ
は、図１１の第９の実施の形態を、Ｌ，ＬS ，ＲS ，Ｒ
の４チャンネルに拡張した場合を示している。図１３
(a) は４つのチャンネルの観測点を示しており、図１３
(b) は４チャンネルの画像信号（画像フレームもしくは
フィールド）を２組含むグループに分割し、Ｌ，ＬS ，
ＲS ，ＲをＬ側とＲ側で交互に符号化した場合の画像信
号の並びを示している。

【０１０６】第１，第２，…の各グループ内のＩ（又は
Ｐ），Ｐの各ピクチャについては、図１２の第１０の実
施の形態と同様にＩ（又はＰ）ピクチャをＬチャンネル
の画像信号から生成し、該ピクチャからＰピクチャとし
て同時刻のＲチャンネルの画像信号を予測することにな
る。第１グループでは、Ｉ（又はＰ），ＰについてＬ1
からＲ1 を予測し、第２グループでは、Ｌ3 からＲ3 を
予測し、第３グループでは、Ｌ5 からＲ5 を予測すると
いったように、Ｉ（又はＰ），Ｐについて各グループ内
ではどのグループでも同じチャンネルの画像信号から同
時刻の所定の他チャンネルの画像信号を予測することに
なる。同一グループ内の残りの各チャンネルの画像信号
については、Ｂピクチャで符号化している。

【０１０７】この図１３の第１１の実施の形態の場合
も、予測は当たりやすいが、各グループの先頭ピクチャ
が常に同じチャンネルの画像信号となるため、撮影時に
先頭ピクチャに相当するチャンネルにエラーが発生した
場合に他のグループにエラー伝搬するので、エラー伝搬
の抑制率は高くない。

【０１０８】図１４は本発明の立体視画像符号化方法の
第１２の実施の形態を示すものである。これは、図１１
の第９の実施の形態を、Ｌ，ＬS ，ＲS ，Ｒの４チャン
ネルに拡張した場合を示している。ただし、図１４は同
時刻の４チャンネルの画像信号（画像フレームもしくは
フィールド）を１組ずつ含むグループに分割し、符号化
した場合の画像信号の並びを示している。

【０１０９】第１，第２，…の各グループ内のＩ（又は
Ｐ），Ｐの各ピクチャについては、図１２の実施の形態
と同様にＩ（又はＰ）ピクチャをＬチャンネルの画像信
号から生成し、該ピクチャからＰピクチャとして同時刻
のＲチャンネルの画像信号を予測することになる。第１
グループでは、Ｉ（又はＰ），ＰについてＬ1 からＲ1
を予測し、第２グループでは、Ｌ2 からＲ2 を予測し、
第３グループでは、Ｌ3 からＲ3 を予測するといったよ
うに、Ｉ（又はＰ），Ｐについて各グループ内ではどの
グループでも同じチャンネルの画像信号から同時刻の所
定の他チャンネルの画像信号を予測することになる。同
一グループ内の残りの各チャンネルの画像信号について
は、Ｂピクチャで符号化している。しかも、各グループ
は、同時刻の４チャンネルの画像信号のみで構成されて
いる。

【０１１０】この図１４の第１２の実施の形態の場合
も、予測は当たりやすいが、各グループの先頭ピクチャ
が常に同じチャンネルの画像信号となるため、撮影時に
先頭ピクチャに相当するチャンネルにエラーが発生した
場合に他のグループにエラー伝搬するので、エラー伝搬
の抑制率は高くない。しかし、仮に各グループの先頭ピ
クチャがＩピクチャとされる場合には、ある時刻にエラ
ーが発生しても、グループ内のピクチャが同時刻の画像
信号だけであるので、エラー伝搬は同時刻のピクチャに
対してだけつまり同グループ内だけであり、他のグルー
プ内即ち異なった時刻の画像信号に対してはエラー伝搬
することがない。

【０１１１】

【発明の効果】以上述べたように本発明によれば、複数
チャンネルの画像信号を、画像処理単位である１フレー
ム又は１フィールド毎に順次に配列して、１つの画像信
号として符号化することができるので、立体視画像を符
号化する際の符号化効率を向上させることが可能である
と共に、また、復号化する際にも１つの画像信号として
復号した後、１フレーム又は１フィールド毎に画像信号
を抜き取ることによって、複数チャンネルの画像信号の
同期を容易にとることができる。さらに、１系統の符号
化経路及び復号化経路を用い、かつ同期回路が簡単にな
るので、立体視画像符号化・復号化装置の回路規模を縮
小することが可能となる。

【図面の簡単な説明】

【図１】本発明の立体視画像符号化・復号化方法及び装
置に係る画像伝送システムを示すブロック図。

【図２】図１の伝送システムを複数チャンネルに適用し
たブロック図。

【図３】本発明の立体視画像符号化方法の第１の実施の
形態を示す図。

【図４】本発明の立体視画像符号化方法の第２の実施の
形態を示す図。

【図５】本発明の立体視画像符号化方法の第３の実施の
形態を示す図。

【図６】本発明の立体視画像符号化方法の第４の実施の
形態を示す図。

【図７】本発明の立体視画像符号化方法の第５の実施の
形態を示す図。

【図８】本発明の立体視画像符号化方法の第６の実施の
形態を示す図。

【図９】本発明の立体視画像符号化方法の第７の実施の
形態を示す図。

【図１０】本発明の立体視画像符号化方法の第８の実施
の形態を示す図。

【図１１】本発明の立体視画像符号化方法の第９の実施
の形態を示す図。

【図１２】本発明の立体視画像符号化方法の第１０の実
施の形態を示す図。

【図１３】本発明の立体視画像符号化方法の第１１の実
施の形態を示す図。

【図１４】本発明の立体視画像符号化方法の第１２の実
施の形態を示す図。

【図１５】人間による立体的な映像認識を説明する図。

【図１６】立体画像システムを示す図。

【図１７】ＭＰＥＧによる画像伝送システムの概要を示
す図。

【図１８】従来の立体視画像符号化・復号化方法及び装
置を説明するブロック図。

【符号の説明】

３１…左目画像信号入力端子、３２…右目画像入力端
子、３３…遅延メモリ、３４…マルチプレクサ、３５…
ＭＰＥＧエンコーダ部、３７…ＭＰＥＧデコーダ部、３
８…デマルチプレクサ、３９…遅延メモリ、４０…左目
画像信号出力端子、４１…右目画像出力端子、301 …順
次化手段、302 …マルチプレクサ、303 …符号化手段、
305 …復号化手段、306 …デマルチプレクサ、307 …同
時化手段、Ｓi1，Ｓi2，…，Ｓin…複数チャンネルの入
力画像信号、Ｓo1，Ｓo2，…，Ｓon…複数チャンネルの
出力画像信号

Claims

【特許請求の範囲】

【請求項１】複数の方向から撮影して得られる複数チ
ャンネルの画像信号を、１フレーム又は１フィールド毎
に交互に挿入し、１つの画像信号として符号化すること
を特徴とする立体視画像符号化方法。
【請求項２】左右の方向から撮影して得られる２チャ
ンネルの画像信号を、１フレーム又は１フィールド毎に
交互に挿入し、１つの画像信号としてＩ，Ｂ，Ｐピクチ
ャによる符号化を行う際に、Ｎ枚のピクチャからなるＧ
ＯＰに分割して符号化し、１ＧＯＰのピクチャ枚数Ｎを
奇数にしたことを特徴とする立体視画像符号化方法。
【請求項３】左右の方向から撮影して得られる２チャ
ンネルの画像信号を、１フレーム又は１フィールド毎に
交互に挿入し、１つの画像信号としてＩ，Ｂ又はＰピク
チャによる符号化を行う際に、このピクチャ列でＩ又は
Ｐピクチャの現われる周期Ｍを奇数としたことを特徴と
する立体視画像符号化方法。
【請求項４】複数の方向から撮影して得られるＮチャ
ンネルの画像信号を、１フレーム又は１フィールド毎に
交互に挿入し、１つの画像信号としてＩ，Ｂ，Ｐピクチ
ャによる符号化を行う際に、Ｎチャンネル分の画像信号
を同数持つグループに分割し、まず第１グループ内のＩ
（又はＰ），Ｐの各ピクチャについてはＩ（又はＰ）ピ
クチャを第１チャンネルの画像信号から生成し該ピクチ
ャからＰピクチャとして同時刻の他チャンネルの画像信
号を予測し、第２グループ内では同様にＩ（又はＰ），
Ｐについて第２チャンネルの画像信号から同時刻の他チ
ャンネルの画像信号を予測し、……第Ｎグループ内では
同様にＩ（又はＰ），Ｐについて第Ｎチャンネルの画像
信号から同時刻の他チャンネルの画像信号を予測すると
するといったように、各グループ内では各グループごと
にそれぞれ異なったチャンネルの画像信号から同時刻の
他チャンネルの画像信号を予測することを特徴とする立
体視画像符号化方法。
【請求項５】複数の方向から撮影して得られるＮチャ
ンネルの画像信号を、１フレーム又は１フィールド毎に
交互に挿入し、１つの画像信号としてＩ，Ｂ，Ｐピクチ
ャによる符号化を行う際に、Ｎチャンネル分の画像信号
を同数持つグループに分割し、時間軸方向に並んだ各グ
ループ毎にどのグループ内でも常に同時刻の所定の２チ
ャンネルの画像信号でＩ（又はＰ），Ｐピクチャを構成
し、同一グループ内の残りの各チャンネルの画像信号を
Ｂピクチャで符号化することを特徴とする立体視画像符
号化方法。
【請求項６】請求項１〜５のいずれか１つに記載の立
体視画像符号化方法により符号化された符号化画像信号
を入力し、該符号化画像信号を復号し、復号された画像
信号から各フレーム又はフィールドを交互に抜き取り、
複数チャンネルの画像信号を得ることを特徴とする立体
視画像復号化方法。
【請求項７】複数の方向から撮影して得られる複数チ
ャンネルの画像信号を、各チャンネル毎に順次１フレー
ム又は１フィールドずつ遅延させる手段と、１フレーム又は１フィールドずつ遅延された各チャンネ
ルの画像信号を交互に挿入し、１つの画像信号として出
力する手段と、この１つの画像信号として出力された信号を符号化する
手段とを具備したことを特徴とする立体視画像符号化装
置。
【請求項８】請求項７記載の立体視画像符号化装置に
より符号化された符号化画像信号を入力し、復号する手
段と、復号された画像信号から各フレーム又はフィールドを交
互に抜き取る手段と、各フレーム又はフィールドごとに順次抜き取られた各チ
ャンネルの画像信号を１フレーム又は１フィールドずつ
順次遅延して同時化し、複数チャンネルの画像信号とし
て出力する手段とを具備したことを特徴とする立体視画
像復号化装置