JP2000308089A - 立体画像符号化装置および復号化装置 - Google Patents

立体画像符号化装置および復号化装置

Info

Publication number
JP2000308089A
JP2000308089A JP11109964A JP10996499A JP2000308089A JP 2000308089 A JP2000308089 A JP 2000308089A JP 11109964 A JP11109964 A JP 11109964A JP 10996499 A JP10996499 A JP 10996499A JP 2000308089 A JP2000308089 A JP 2000308089A
Authority
JP
Japan
Prior art keywords
image
reduced
signal
processing unit
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11109964A
Other languages
English (en)
Inventor
Yuichi Iwadate
祐一 岩舘
Ken Minoke
研 蓑毛
Makoto Tadenuma
眞 蓼沼
Yasuaki Kanetsugu
保明 金次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP11109964A priority Critical patent/JP2000308089A/ja
Publication of JP2000308089A publication Critical patent/JP2000308089A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 立体画像信号のMPEG2−MVP方式での
符号化においては、符号化のビットレートが充分でない
場合、残差信号の伝送に割り当てられるビットレートの
減少により、受信側における画質の劣化が顕著になって
いた。 【解決手段】 立体画像を構成する2以上の画像のうち
1つの画像を除いて残る画像を縮小する画像縮小処理部
1、その画像縮小処理部1により縮小された画像と上記
1つの画像とを1画面内に空間的に多重する画像多重処
理部3、および上記縮小された画像と上記1つの画像を
用いて上記縮小された画像の縮小処理前の画像を表現す
るための視差量を推定する視差量推定部10を少なくと
も具えて構成した。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、立体画像信号の符
号化および復号化を行うための、それぞれ立体画像符号
化装置および復号化装置に関する。
【0002】
【従来の技術】2眼式立体画像信号のデジタル伝送にお
いては、伝送データ量圧縮のために、左右両眼用画像の
うち、どちらか一方の画像と左右両眼用画像間の視差ベ
クトルおよび残差信号を伝送し、受信側で、上記一方の
受信画像と視差ベクトルおよび残差信号に基づき他方の
画像を視差補償予測して左右両眼用の画像を生成する手
法が多用されている(例えば、泉岡ほか、「視差補償予
測を用いたステレオ動画像の符号化」、信学技報IE89-
1,pp1-7(1989)参照)。
【0003】このような左右両眼用画像間の相関の高さ
を利用した視差補償予測によるデータ量圧縮の方式は、
2眼式立体符号化方式の規格であるMPEG2マルチビ
ュープロファイル(MPEG2−MVP)においても、
予測の一方式として規定されている(ISO/IEC13818-2:1
996 /AMD3:1996(E))。
【0004】また、上記において視差ベクトルを求める
ための視差量推定の手法としては、従来のいわゆる動き
量推定と同様に、輝度信号の差分絶対値和を尺度とした
ブロックマッチング法が一般的であり、ハードウェア化
に際し、演算量や既存のデバイスなどを考慮した場合、
極めて実用的な手法である。
【0005】
【発明が解決しようとする課題】立体画像信号のMPE
G2−MVP方式での符号化においては、符号化のビッ
トレートが充分でない場合、残差信号の伝送に割り当て
られるビットレートの減少により、受信側における画質
の劣化が顕著になる。また、MPEG2−MVP方式に
準拠した符号化装置および復号化装置の開発において
は、特に、2眼式立体ハイビジョン信号を符号化する場
合、処理速度の不足を補うための処理部が、符号化装置
および復号化装置のハードウェアの規模を極めて増大さ
せる。また、既存の伝送装置を用いて伝送を行うことの
可能な多眼式立体画像信号の符号化方式ないし復号化方
式は未だ開発されていない。
【0006】本発明の目的は、MPEG2−MVP方式
で符号化した際に充分な画質を得ることのできないビッ
トレートにおいて、MPEG2−MVP方式よりも高い
画質の2眼式立体画像を得ることができ、かつMPEG
2−MVPに準拠した符号化装置及び復号化装置と比較
して、より小規模なハードウェアとなり、また、既存の
伝送装置を用いて伝送を行うことの可能な多眼式立体画
像信号の符号化および復号化を実現する立体画像符号化
装置および復号化装置を提供することにある。
【0007】
【課題を解決するための手段】上記目的を達成するため
に、本発明立体画像符号化装置は、立体画像を構成する
2以上の画像のうち1つの画像を除いて残る画像を縮小
する画像縮小処理部、該画像縮小処理部により縮小され
た画像と前記1つの画像とを1画像内に空間的に多重す
る画像多重処理部、および前記縮小された画像と前記1
つの画像を用いて前記縮小された画像の縮小処理前の画
像を表現するための視差量を推定する視差量推定部を少
なくとも具えてなることを特徴とするものである。
【0008】また、本発明立体画像符号化装置は、前記
視差量推定部が、前記1つの画像および前記残る画像の
それぞれの高域成分を対象に視差量を推定する視差量推
定部であることを特徴とするものである。
【0009】また、本発明立体画像復号化装置は、立体
画像を構成する2以上の画像のうち縮小されない1つ画
像と残る縮小された画像とが空間的に多重された立体画
像を前記縮小されない1つの画像と前記縮小された画像
とに分離する画像分離処理部、該画像分離処理部によっ
て分離された前記縮小された画像を拡大する画像拡大処
理部、および前記縮小された画像の縮小処理前の画像
を、立体画像符号化装置の視差量推定部によって推定し
た視差量に基づき、前記縮小されない1つの画像と前記
画像拡大処理部の出力画像とにより表現するための前記
縮小された画像の残差補償信号を生成する視差補償処理
部を少なくとも具えてなることを特徴とするものであ
る。
【0010】また、本発明立体画像復号化装置は、前記
視差補償処理部が、前記縮小されない1つの画像の高域
成分と前記視差量とから残差補償信号を生成する視差補
償処理部であることを特徴とするものである。
【0011】
【発明の実施の形態】以下に添付図面を参照し、発明の
実施の形態に基づいて本発明を詳細に説明する。図面を
用いて、個々の実施の形態についての説明に入る前に、
本発明立体画像符号化装置および復号化装置の構成およ
び動作について、一通り説明する。本発明装置おいて
は、以下に説明するように、符号化装置において画像縮
小多重処理および視差量推定処理が、また復号化装置に
おいて画像分離拡大処理および視差補償処理がそれぞれ
行われている。
【0012】まず、本発明立体画像符号化装置において
は、装置への入力画像信号が2眼式立体画像信号の場
合、まず、左右両眼用画像信号のうちどちらか一方の画
像を縮小する。次に、縮小した方の画像としない方の画
像とを一画面内に空間的に多重することにより、各フレ
ームの画像信号において左右両眼用画像信号が空間的に
多重され1フレームとなった画像信号を生成する。この
とき、左右両眼用画像信号を空間的に多重した画像信号
の形式の諸元を既存の伝送装置で扱うことのできる画像
信号の形式の諸元と一致させた場合には、この左右両眼
用画像信号を空間的に多重した画像信号を既存の伝送装
置を用いて伝送することができる。
【0013】また、本発明による符号化装置への入力画
像信号が3以上の立体画像信号(例えば、3眼式立体画
像信号)である場合には、1つの画像を除く他の複数の
画像を縮小し、それら3眼以上の画像の同時刻における
各1フレーム分の画像信号を空間的に多重し、各フレー
ムの画像信号において3眼以上の画像信号が空間的に多
重され1フレームとなった画像信号を生成する。
【0014】次に、本発明立体画像復号化装置において
は、装置への入力画像信号が本発明立体画像符号化装置
によって生成され2眼式立体画像信号の左右両眼用画像
が空間的に多重された画像信号である場合、まず、左右
両眼用画像信号のうち縮小されたどちらか一方の画像と
そうでない方の画像とが空間的に多重された画像を、ま
ず左眼用画像と右眼用画像とに分離する。次に縮小され
た方の画像を拡大し、符号化装置への入力画像信号(も
との入力画像信号)の形式と一致させる。なお、装置へ
の入力画像信号が3眼以上の画像信号が空間的に多重さ
れた画像信号である場合には、3眼以上の画像信号に分
離した後複数の縮小された画像をそれぞれ拡大する。
【0015】以上の信号処理により、符号化装置で縮小
され、復号化装置で拡大された画像は、原画像の高域信
号成分が欠落した画像信号として復号されることにな
る。ここで、欠落した高域信号成分は、原画像と復号さ
れた画像の両信号の差分であるので、以下では、これを
残差信号と称する。復号化装置でこの残差信号を補償で
きるようにするために、符号化装置においては視差量推
定処理、また復号化装置においては視差補償処理を行
う。
【0016】まず、符号化装置においては、画像縮小処
理の対象とする画像について、符号化装置における画像
縮小処理および復号化装置における画像拡大処理と同じ
拡大処理を施した画像とこれら縮小、拡大処理を施す前
の画像との差分を求め、これを残差信号とする。また、
符号化装置において画像縮小処理の対象としない画像に
ついても、視差量推定のために、上記残差信号の生成と
同様に、符号化装置における画像縮小処理および復号化
装置における画像拡大処理と同じ拡大処理を施した画像
と原画像との差分を求め、これを疑似残差信号とする。
そして、残差信号を疑似残差信号のブロック単位の平行
移動で表現するために、ブロックマッチング法により視
差量の推定を行う。
【0017】次に復号化装置においては、画像拡大処理
の対象としない画像に対して、符号化装置において残差
信号を求めたのと同様、符号化装置における画像縮小処
理と同じ縮小処理および画像拡大処理を施し、これらの
処理を施す前の画像との差分信号を生成する。これを視
差補償用信号とする。そして、画像拡大処理の対象とす
る画像の残差信号を、符号化装置で推定された視差量
(視差ベクトルとして復号化装置に送られる信号)を用
いて視差補償用信号のブロックの平行移動により表現
し、これを残差補償信号とする。最後に、残差補償信号
と画像拡大処理によって得られた画像とを加え合わせ、
残差信号の復元された復号画像を得る。
【0018】図1は、本発明立体画像符号化装置の第1
の実施形態をブロック図にて示し、図2は、図1に示し
た符号化装置の各ブロックの出力における画像がどのよ
うであるかを示している。なお、本実施形態は、符号化
装置への入力画像信号を2眼式立体画像信号とし、符号
化装置における画像縮小処理、および復号化装置におけ
る画像拡大処理の対象を、右眼用画像信号とした場合で
ある。
【0019】図1において、一方の入力画像信号として
の左眼用画像信号は、画像縮小多重処理部中の画像多重
処理部3と疑似残差信号生成部中の画像縮小処理部7と
減算器9とに入力される。もう一方の入力画像信号であ
る右眼用画像信号は画像縮小多重処理部中の画像縮小処
理部1と残差信号生成部中の画像縮小処理部4と減算器
6に入力される。
【0020】画像縮小処理部1に入力された右眼用画像
信号は画素数が間引かれ、図2に同処理部1の出力
(b)として示されるように、水平方向に1/a倍、 垂
直方向に1/b倍に縮小される。
【0021】上記において、縮小率a,bの値は、既存
の伝送装置への入力画像信号の形式を、フレーム当たり
有効走査線数V(line)およびライン当たり有効画素数H
(pel) 、符号化装置への入力画像信号の形式をフレーム
当たり有効走査線数M(line)およびライン当たり有効画
素数N(pel) とした場合、次の(1)式を満たすように
a,bそれぞれの値を設定する。 (1/a)・(1/b)=(H・V−N・M)/(N・M)・・・ (1)
【0022】ここで、水平方向の縮小率aと垂直方向の
縮小率bのどちらか一方を、他方と比較して極めて高い
縮小率とした場合、復号化装置においては、これらの値
の逆数の拡大率によって拡大処理を施すことになるか
ら、拡大処理を施した画像では、高い拡大率となる方向
の高域信号成分が大きく欠落することになる。このこと
を考慮すると、水平方向の縮小率と垂直方向の縮小率と
の差異は、小さい方が望ましい。また、左眼用画像信号
と縮小した右眼用画像信号のそれぞれの画像の画素数の
総和が、伝送装置への入力画像信号の形式の画素数と一
致していれば、後述する画像切断処理および画像多重処
理によって、伝送装置への入力画像信号の形式を実現す
ることができるが、ハードウェアの負荷軽減のために
は、この画像切断処理の回数はできるだけ少ないことが
望ましい。
【0023】本実施形態においては、いま、伝送装置へ
の入力画像信号の形式が、フレーム当たり有効走査線数
1035(line)およびライン当たり有効画素数1920
(pel) の、また、符号化装置への入力画像信号の形式が
フレーム当たり有効走査線数1035(line)およびライ
ン当たり有効画素数1440(pel) の2眼式立体画像で
ある場合を想定してa=3/2,b=2としている。
【0024】この縮小率a,bを用いて縮小した右眼用
画像を画像切断・反転処理部2において画像の左部分と
右部分とが均等な画素数となるように左右に切断して分
割する。分割された画像を(c)として図2に示す。そ
して、画像多重処理部3において、図2(c)に示す画
像が画像右側に配置されるように1画面内に空間的に多
重する。
【0025】図2に示された例においては、(b)に示
す縮小された右眼用画像を切断して分割する際に、切断
された右半分が空間的に左右反転している。これは、図
2中(d)に示すように空間的に多重された画像信号を
帯域圧縮を伴う方式を用いて伝送することを考慮する
と、帯域圧縮による画質の劣化が、右眼用画像の切断面
である画像中央部において顕著となることを防止するた
めに、右眼用画像の中央部と左眼用画像の右端部とが隣
接することを回避するためである。
【0026】図2について説明した例とは反対に、左眼
用画像が画面右側に、また縮小分割された右眼用画像が
画面左側に配置されるように1画面内に空間的に多重す
ることも可能である。この場合には、切断された右眼用
画像の中央部と左眼用画像の左端部が隣接することを回
避するために、右眼用画像の左半分に左右反転処理を施
すことになる。なお、本実施形態(以上説明した例)で
は、縮小された右眼用画像を左部分と右部分とに2分割
しているが画像の切断処理の仕方はこれに限られるもの
ではない。
【0027】本発明による符号化装置においては、以上
説明した構成に加えて、本発明による復号化装置での右
眼用画像への残差補償のために、図1の残差信号生成部
と疑似残差信号生成部とブロックマッチング視差量推定
部10とからなる回路部分において左右両眼用画像信号
の高域成分である残差信号を対象に視差量の推定を行っ
ている。図1に示す実施形態の場合には、右眼用画像の
輝度信号にのみ残差補償処理を施している。
【0028】視差量推定のために、まず、復号化装置に
おける右眼用画像の画像拡大処理(符号化装置において
右眼用画像を縮小しているので、拡大処理が必要)によ
って得られる右眼用画像を生成するために、入力右眼用
画像信号(ただし、輝度信号のみとする)に対して画像
縮小処理部4において縮小処理を、そして画像拡大処理
部5において復号化装置における画像拡大処理と同じ拡
大処理をそれぞれ行う。なお、残差信号生成部中の画像
縮小処理部4と画像縮小多重処理部中の画像縮小処理部
1とは、同一機能を有するものであり、従って、兼用す
ることが可能である。
【0029】画像拡大処理部5において拡大処理が行わ
れた右眼用画像信号(輝度信号)と入力右眼用画像信号
(輝度信号)との差分信号(減算器6の出力信号)が右
眼用画像の輝度信号の残差信号である。この残差信号
は、本発明立体画像復号化装置において、伝送されてき
た視差量と左眼用画像とから生成される必要がある。
【0030】そこで、左眼用画像信号(輝度信号)に関
しても、同信号に対して画像縮小処理部7において縮小
処理を、そして画像拡大処理部8において拡大処理をそ
れぞれ行う。この拡大処理が行われた左眼用画像信号
(輝度信号)と入力左眼用画像信号(輝度信号)との差
分信号(減算器9の出力信号)を左眼用画像信号の輝度
信号の疑似残差信号とする。
【0031】図1に示す実施形態では、右眼用画像の残
差信号を左眼用画像の疑似残差信号のブロックの平行移
動で表現するための視差量を、ブロックマッチング視差
量推定部10において輝度信号の差分絶対値和を尺度と
したブロックマッチング法により推定する。この推定さ
れた視差量は、ベクトル用同期信号付加部11でヘッダ
部に同期信号が付加された視差ベクトルデータとして映
像信号と同期がとれるようにしたうえで、MPEGトラ
ンスポートストリームに含めて伝送する。また、画像信
号(d)には、視差ベクトルデータとの同期をとるため
に画像用同期信号付加部12で最終ラインに同期信号を
付加し、画像データとして伝送する。
【0032】図3は、以上説明した本発明の第1の実施
形態によって符号化され、伝送された立体画像信号を復
号化するための本発明立体画像復号化装置の第1の実施
形態をブロック図にて示し、図4は、図3に示した復号
化装置の各ブロックの出力における画像がどのようであ
るかを示している。図3において、伝送されてきた画像
信号は、まず、画像分離拡大処理部中の画像分離処理部
13で左眼用画像信号(e)と左部分および右部分から
なる右眼用画像信号(f)とに分離される。
【0033】次に画像反転・接合処理部14において、
右眼用画像の右部分と左部分を接合する(g)。なお、
上述したように、符号化装置において右眼用画像の右部
分は左右反転されているから、その復元も併せ行う(図
3(f),(g)参照)。画像拡大処理部15において
は、接合された右眼用画像の画素数を水平方向にa倍、
垂直方向にb倍拡大し、送信側における符号化装置への
右眼用入力画像信号の画素数に一致させる。
【0034】また、本発明による復号化装置において
は、復号した左眼用画像の輝度信号と視差量を用いて、
右眼用画像の輝度信号の残差信号成分を補償する。視差
量は、同期処理部16において画像信号との同期がとら
れた視差ベクトルデータから再生する。復号した左眼用
画像の輝度信号(e)に対して、符号化装置における残
差信号の生成の場合と同様に視差補償用信号生成部中の
画像縮小処理部17で符号化装置における画像縮小処理
と同じ縮小処理を、そして画像拡大処理部18で拡大処
理をそれぞれ行い、得られた画像信号(輝度信号)と復
号した左眼用画像の輝度信号との差分(減算器19の出
力)として視差補償用信号を生成する。視差補償処理部
20においては、視差補償用信号生成部にて生成された
左眼用画像信号の高域成分である視差補償用信号を、ブ
ロックごとの視差量(伝送されて来る視差ベクトル)に
応じて平行移動させ、右眼用画像の残差補償信号を生成
する。画像分離拡大処理部中の画像拡大処理部15で拡
大処理を施した右眼用画像とこの残差補償信号とを加算
器21で加え合わせ、残差信号が復元された右眼用画像
(h)を得る。
【0035】以上により、送信側の符号化装置に入力さ
れた左眼用画像信号と右眼用画像信号とによって表示で
きる立体画像とほぼ同画質の立体画像を表示することの
できる左右両眼用それぞれの画像信号を得ることができ
る。
【0036】以上説明した本発明立体画像符号化装置お
よび復号化装置は、左右両眼用立体画像、すなわち、2
眼式立体画像の符号化、復号化を対象とするものである
が、本発明による符号化装置、復号化装置は、上記に限
られるものでなく3眼以上の多眼式立体画像の符号化、
復号化を行う装置をも含むものである。以下、3眼式の
例につき説明する。
【0037】図5は、本発明立体画像符号化装置を、3
眼式に構成した第2の実施形態についてブロック図にて
示し、図6は、図5に示した符号化装置の各ブロックの
出力における画像がどのようであるかを示している。図
5において、図1におけると同一の回路部分には同一の
符号を付して示し、また、ダッシュ付きで示した符号
は、新たに画像3が符号化の対象として加わったため、
それ用の回路部分を示している。なお、図5において
は、図1中のベクトル用同期信号付加部11と画像用同
期信号付加部12は、それらの記載を省略して示されて
いない。
【0038】図5に示される実施形態においては、入力
画像信号としての画像1信号と画像2信号に関する信号
処理は、それぞれ図1の左眼用信号と右眼用信号に関す
る信号処理と全く同じである。また、図5において、残
差信号生成部と疑似残差信号生成部の回路構成が示され
ていないが、これらも図1におけるのと同じである。図
5における画像縮小処理部1,1′および画像切断・反
転処理部2,2′の動作は図6においてそれぞれの処理
部の出力が(b),(b′)および(c),(c′)で
示されていることから、これら各処理部の動作は、図1
の場合と全く同じであることが理解されよう。ただし、
本実施形態において特徴的なことは、画像縮小処理部
1,1′で縮小された画像(b),(b′)を縮小され
ない画像(a)の補正により表現するために、ブロック
マッチング視差量推定部10,10′がそれぞれ画像2
信号および画像3信号に対応して設けられ、それぞれ視
差ベクトル1および視差ベクトル2を出力するというこ
とである。
【0039】図7は、本発明立体画像復号化装置を、3
眼式に構成した第2の実施形態ついて示し、図8は、図
7に示した復号化装置の各ブロックの出力における画像
がどのようであるかを示している。図7においても、図
3におけるのと同一の回路部分には同一の符号を付して
示し、また、ダッシュ付きで示した符号は、新たに画像
3が復号化の対象として加わったため、それ用の回路部
分を示している。なお、図7においては、図3中の同期
処理部16はその記載を省略して示されていない。
【0040】図7に示される実施形態においては、視差
補償用信号生成部の回路構成が示されていないが、これ
は図3におけるそれと全く同じである。ただし、本実施
形態の場合、符号化装置において縮小されて空間的に多
重されてきた画像2および3(図8参照)の縮小処理前
の画像を、符号化装置のブロックマッチング視差量推定
部10,10′(図5参照)によって推定した視差量
(それぞれ視差ベクトル1および2)に基づき縮小され
ない画像1(図8参照)と画像拡大処理部15,15′
の出力画像によって表現するために、画像2および3に
対応してそれぞれ視差補償処理部20および20′を設
けている。なお、図7において、画像反転・接合処理部
14,14′および画像拡大処理部15,15′の動作
は、図8を参照することで十分に理解されよう。
【0041】なお、立体ハイビジョン画像(フレーム当
たり有効走査線数1035(line)およびライン当たり有効画
素1920(pel) )を本発明による符号化装置を用いて伝送
する場合には、立体画像を構成する各画像をそれぞれ縮
小し、各画像の形式をフレーム当り有効走査線数1035(l
ine)およびライン当り有効画素数1440(pel) として本発
明による符号化装置に入力する必要がある。このように
本発明による符号化装置へのすべての入力画像を縮小す
る必要がある場合には本発明による符号化装置(例え
ば、図1および図5の)の入力側に画像縮小前処理部を
設けるものとする。
【0042】また、立体ハイビジョン画像を伝送するた
めに、送信側において符号化に先立ってすべての入力画
像の縮小を行った場合、受信側において、本発明による
復号化装置で復号化を行った後、復号化装置からのすべ
ての出力画像を拡大し、立体ハイビジョン画像(フレー
ム当たり有効走査線数1035(line)およびライン当たり有
効画素数1920(pel) )を得るようにする。この場合、本
発明による復号化装置(例えば、図3および図7の)の
出力側に画像拡大後処理部を設けるものとする。
【0043】最後に、上述した本発明の第2の実施形態
(符号化装置、復号化装置それぞれについての)を参照
すれば、本発明装置を、任意数の多眼式立体画像の符号
化および復号化に適した構成にすることはきわめて容易
である。
【0044】
【発明の効果】本発明においては、例えば、常に縮小し
た右眼用画像を伝送するようにしているため、復号化装
置においては、安定した右眼用画像の低域信号成分を得
ることができる。また、伝送ビットレートのうち、視差
ベクトルの伝送に要する符号量を除いたビットレート
を、全て画像(左眼用画像と右眼用画像の両方の画像)
の伝送に割り当てることができる。そのため、本発明に
よればMPEG2−MVP方式で符号化した際に充分な
画質を得ることのできなかったビットレートにおいて
も、より高い画質の2眼式立体画像信号を伝送すること
ができる。
【0045】また本発明符号化装置への入力画像を、フ
レーム当たり有効走査線数1035(line)およびライン当り
有効画素数1440(pel) である2眼式立体画像とし、縮小
率a,bをそれぞれa=3/2、b=2とした場合、縮
小した右眼用画像を左右に切断分離した各部分の画像形
式が、フレーム当たり有効走査線数1035/2(line)およ
びライン当たり有効画素数480 (pel) となることから、
図2に示したように、左右両眼用画像を1画面内に空間
的に多重した画像の形式が、フレーム当たり有効走査線
数1035(line)およびライン当たり有効画素数1920(pel)
となり、既存のMPEG2−MP
【外1】 HL符号化装置によって2眼式立体画像を伝送すること
が可能となる。このことは、本発明によって2眼式立体
画像のために新規に開発を要するハードウェアは比較的
小規模になることを意味している。
【図面の簡単な説明】
【図1】 本発明立体画像符号化装置の第1の実施形態
を示している。
【図2】 図1に示した符号化装置の各ブロックの出力
における画像がどのようであるかを示している。
【図3】 本発明立体画像復号化装置の第1の実施形態
を示している。
【図4】 図3に示した復号化装置の各ブロックの出力
における画像がどのようであるかを示している。
【図5】 本発明立体画像符号化装置の第2の実施形態
を示している。
【図6】 図5に示した符号化装置の各ブロックの出力
における画像がどのようであるかを示している。
【図7】 本発明立体画像復号化装置の第2の実施形態
を示している。
【図8】 図7に示した復号化装置の各ブロックの出力
における画像がどのようであるかを示している。
【符号の説明】
1,1′ 画像縮小処理部 2,2′ 画像切断・反転処理部 3 画像多重処理部 4,7 画像縮小処理部 5,8 画像拡大処理部 6,9 減算器 10,10 ′ ブロックマッチング視差量推定部 11 ベクトル用同期信号付加部 12 画像用同期信号付加部 13 画像分離処理部 14,14 ′ 画像反転・接合処理部 15,15 ′ 画像拡大処理部 16 同期処理部 17 画像縮小処理部 18 画像拡大処理部 19 減算器 20,20 ′ 視差補償処理部 21,21 ′ 加算器
───────────────────────────────────────────────────── フロントページの続き (72)発明者 蓼沼 眞 東京都世田谷区砧1丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 金次 保明 東京都世田谷区砧1丁目10番11号 日本放 送協会 放送技術研究所内 Fターム(参考) 5C061 AA06 AB08 AB24

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 立体画像を構成する2以上の画像のうち
    1つの画像を除いて残る画像を縮小する画像縮小処理
    部、 該画像縮小処理部により縮小された画像と前記1つの画
    像とを1画像内に空間的に多重する画像多重処理部、お
    よび前記縮小された画像と前記1つの画像を用いて前記
    縮小された画像の縮小処理前の画像を表現するための視
    差量を推定する視差量推定部を少なくとも具えてなるこ
    とを特徴とする立体画像符号化装置。
  2. 【請求項2】 請求項1記載の立体画像符号化装置にお
    いて、前記視差量推定部は、前記1つの画像および前記
    残る画像のそれぞれの高域成分を対象に視差量を推定す
    る視差量推定部であることを特徴とする立体画像符号化
    装置。
  3. 【請求項3】 立体画像を構成する2以上の画像のうち
    縮小されない1つ画像と残る縮小された画像とが空間的
    に多重された立体画像を前記縮小されない1つの画像と
    前記縮小された画像とに分離する画像分離処理部、該画
    像分離処理部によって分離された前記縮小された画像を
    拡大する画像拡大処理部、および前記縮小された画像の
    縮小処理前の画像を、立体画像符号化装置の視差量推定
    部によって推定した視差量に基づき、前記縮小されない
    1つの画像と前記画像拡大処理部の出力画像とにより表
    現するための前記縮小された画像の残差補償信号を生成
    する視差補償処理部を少なくとも具えてなることを特徴
    とする立体画像復号化装置。
  4. 【請求項4】 請求項3記載の立体画像復号化装置にお
    いて、前記視差補償処理部は、前記縮小されない1つの
    画像の高域成分と前記視差量とから残差補償信号を生成
    する視差補償処理部であることを特徴とする立体画像復
    号化装置。
JP11109964A 1999-04-16 1999-04-16 立体画像符号化装置および復号化装置 Pending JP2000308089A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11109964A JP2000308089A (ja) 1999-04-16 1999-04-16 立体画像符号化装置および復号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11109964A JP2000308089A (ja) 1999-04-16 1999-04-16 立体画像符号化装置および復号化装置

Publications (1)

Publication Number Publication Date
JP2000308089A true JP2000308089A (ja) 2000-11-02

Family

ID=14523624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11109964A Pending JP2000308089A (ja) 1999-04-16 1999-04-16 立体画像符号化装置および復号化装置

Country Status (1)

Country Link
JP (1) JP2000308089A (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2004099965A1 (ja) * 2003-05-07 2006-07-13 富田 誠次郎 画像表示方法及び装置
JP2007536825A (ja) * 2004-05-07 2007-12-13 コバルト・エンターテインメント、エルエルシー 立体テレビジョン信号処理方法、送信システムおよびビユーア拡張装置
JP2010503310A (ja) * 2006-09-04 2010-01-28 エンハンスト チップ テクノロジー インコーポレイテッド 符号化されたステレオスコピック映像データのファイルフォーマット
JP2010529804A (ja) * 2007-06-12 2010-08-26 サムスン エレクトロニクス カンパニー リミテッド 2d映像メディア標準に基づいて3d映像ファイルを生成及び再生するためのシステム及び方法
WO2011062195A1 (ja) * 2009-11-17 2011-05-26 ソニー株式会社 画像受信装置
WO2012029884A1 (ja) * 2010-09-03 2012-03-08 ソニー株式会社 符号化装置および符号化方法、並びに復号装置および復号方法
WO2012029886A1 (ja) * 2010-09-03 2012-03-08 ソニー株式会社 符号化装置および符号化方法、並びに復号装置および復号方法
WO2012029883A1 (ja) * 2010-09-03 2012-03-08 ソニー株式会社 符号化装置および符号化方法、並びに復号装置および復号方法
WO2012111757A1 (ja) * 2011-02-18 2012-08-23 ソニー株式会社 画像処理装置および画像処理方法
WO2012157443A1 (ja) * 2011-05-16 2012-11-22 ソニー株式会社 画像処理装置、及び、画像処理方法
JP2013515389A (ja) * 2009-12-21 2013-05-02 シズベル テクノロジー エス.アール.エル. 立体画像を生成、送信、および受信する方法、並びに関連装置
JP2014523721A (ja) * 2011-07-22 2014-09-11 サムスン エレクトロニクス カンパニー リミテッド 送信装置、受信装置およびその送受信方法
WO2019004073A1 (ja) * 2017-06-28 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム
JP2019201436A (ja) * 2007-04-12 2019-11-21 ドルビー・インターナショナル・アーベー ビデオ符号化及び復号化におけるタイリング

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2004099965A1 (ja) * 2003-05-07 2006-07-13 富田 誠次郎 画像表示方法及び装置
JP2007536825A (ja) * 2004-05-07 2007-12-13 コバルト・エンターテインメント、エルエルシー 立体テレビジョン信号処理方法、送信システムおよびビユーア拡張装置
JP2010503310A (ja) * 2006-09-04 2010-01-28 エンハンスト チップ テクノロジー インコーポレイテッド 符号化されたステレオスコピック映像データのファイルフォーマット
US10764596B2 (en) 2007-04-12 2020-09-01 Dolby Laboratories Licensing Corporation Tiling in video encoding and decoding
JP2019201436A (ja) * 2007-04-12 2019-11-21 ドルビー・インターナショナル・アーベー ビデオ符号化及び復号化におけるタイリング
JP2010529804A (ja) * 2007-06-12 2010-08-26 サムスン エレクトロニクス カンパニー リミテッド 2d映像メディア標準に基づいて3d映像ファイルを生成及び再生するためのシステム及び方法
WO2011062195A1 (ja) * 2009-11-17 2011-05-26 ソニー株式会社 画像受信装置
CN102273212A (zh) * 2009-11-17 2011-12-07 索尼公司 图像接收器
JP2013515389A (ja) * 2009-12-21 2013-05-02 シズベル テクノロジー エス.アール.エル. 立体画像を生成、送信、および受信する方法、並びに関連装置
WO2012029886A1 (ja) * 2010-09-03 2012-03-08 ソニー株式会社 符号化装置および符号化方法、並びに復号装置および復号方法
WO2012029883A1 (ja) * 2010-09-03 2012-03-08 ソニー株式会社 符号化装置および符号化方法、並びに復号装置および復号方法
WO2012029884A1 (ja) * 2010-09-03 2012-03-08 ソニー株式会社 符号化装置および符号化方法、並びに復号装置および復号方法
US9338430B2 (en) 2010-09-03 2016-05-10 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
JPWO2012029884A1 (ja) * 2010-09-03 2013-10-31 ソニー株式会社 符号化装置および符号化方法、並びに復号装置および復号方法
US9762884B2 (en) 2010-09-03 2017-09-12 Sony Corporation Encoding device, encoding method, decoding device, and decoding method for encoding multiple viewpoints for compatibility with existing mode allowing fewer viewpoints
US9667941B2 (en) 2010-09-03 2017-05-30 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
JP2016015767A (ja) * 2010-09-03 2016-01-28 ソニー株式会社 復号装置、復号方法、プログラム、および記録媒体
CN103354997A (zh) * 2011-02-18 2013-10-16 索尼公司 图像处理设备和图像处理方法
US9661301B2 (en) 2011-02-18 2017-05-23 Sony Corporation Image processing device and image processing method
US10055814B2 (en) 2011-02-18 2018-08-21 Sony Corporation Image processing device and image processing method
WO2012111757A1 (ja) * 2011-02-18 2012-08-23 ソニー株式会社 画像処理装置および画像処理方法
CN103563387A (zh) * 2011-05-16 2014-02-05 索尼公司 图像处理设备和图像处理方法
WO2012157443A1 (ja) * 2011-05-16 2012-11-22 ソニー株式会社 画像処理装置、及び、画像処理方法
JP2014523721A (ja) * 2011-07-22 2014-09-11 サムスン エレクトロニクス カンパニー リミテッド 送信装置、受信装置およびその送受信方法
WO2019004073A1 (ja) * 2017-06-28 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム
JPWO2019004073A1 (ja) * 2017-06-28 2019-12-12 株式会社ソニー・インタラクティブエンタテインメント 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム
US11297378B2 (en) 2017-06-28 2022-04-05 Sony Interactive Entertainment Inc. Image arrangement determination apparatus, display controlling apparatus, image arrangement determination method, display controlling method, and program

Similar Documents

Publication Publication Date Title
KR100636785B1 (ko) 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
EP2604036B1 (en) Multi-view signal codec
KR100375708B1 (ko) 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
US8963995B2 (en) Stereo image data transmitting apparatus, stereo image data transmitting method, stereo image data receiving apparatus, and stereo image data receiving method
US20090190662A1 (en) Method and apparatus for encoding and decoding multiview video
EP2923491B1 (en) Method and apparatus for bi-prediction of illumination compensation
TWI539790B (zh) 用於產生及重建一視訊串流之裝置、方法與軟體產品
JP2000308089A (ja) 立体画像符号化装置および復号化装置
CN101873489A (zh) 信号处理方法及***
JP2011087195A (ja) 画像処理装置および画像処理方法
US20120007951A1 (en) System and format for encoding data and three-dimensional rendering
Chung et al. Frame loss concealment for stereoscopic video based on inter-view similarity of motion and intensity difference
US9693033B2 (en) Transmitting apparatus, transmitting method, receiving apparatus and receiving method for transmission and reception of image data for stereoscopic display using multiview configuration and container with predetermined format
JPH03117093A (ja) 立体テレビジョン画像信号の処理・伝送方法
KR100566100B1 (ko) 3차원 다시점 멀티미디어 처리용 적응형 다중화/역다중화장치 및 그 방법
KR101856104B1 (ko) 영상 제공 장치 및 방법, 그리고 영상 재생 장치 및 방법
JP2001069530A (ja) 立体映像高能率符号化装置
JP2012134760A (ja) 立体映像伝送システム
JP2011244025A (ja) 画像処理装置および画像処理方法
KR20120026013A (ko) 통신 시스템에서 데이터 송수신 장치 및 방법
JP2013021683A (ja) 映像信号処理装置及び映像信号処理方法、映像表示装置及び映像表示方法、並びに映像処理システム
JP3129784B2 (ja) 立体映像高能率符号化装置
JP2008034893A (ja) 多視点画像復号装置
KR102131295B1 (ko) 3d 영상 재생 장치 및 방법
WO2013022315A2 (ko) 영상 제공 장치 및 방법, 그리고 영상 재생 장치 및 방법