JPH02126788A - Plural stereo moving-image encoding transmission system - Google Patents
Plural stereo moving-image encoding transmission systemInfo
- Publication number
- JPH02126788A JPH02126788A JP63281700A JP28170088A JPH02126788A JP H02126788 A JPH02126788 A JP H02126788A JP 63281700 A JP63281700 A JP 63281700A JP 28170088 A JP28170088 A JP 28170088A JP H02126788 A JPH02126788 A JP H02126788A
- Authority
- JP
- Japan
- Prior art keywords
- information
- transmission
- hierarchy
- encoding
- stereo video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 58
- 239000013598 vector Substances 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【発明の詳細な説明】
「産業上の利用分野」
この発明は複数のステレオ動画像をディジタル信号処理
して同時に符号化伝送する方式に関するものである。DETAILED DESCRIPTION OF THE INVENTION "Field of Industrial Application" The present invention relates to a system for digitally processing a plurality of stereo moving images and simultaneously encoding and transmitting the signals.
「従来の技術」
従来のステレオ動画像符号化方式では、複数のステレオ
動画像の同時符号化伝送を非同期伝送モード（＾５ｙｎ
ｃｈｒｏｎｏｕｓ Ｔｒａｎｓｆｅｒ Ｍｏｄｅ ：略
称ＡＴＭ）で実現する手法はＶ％案されていなかった。"Conventional technology" In conventional stereo video encoding systems, simultaneous encoding and transmission of multiple stereo video images is performed using an asynchronous transmission mode (^5yn
A method to implement the chronous transfer mode (abbreviated as ATM) has not been proposed in V%.
従来のステレオ動画像符号化方式では、複数のステレオ
動画像の同時符号化伝送方式は提案されていなかった０
例えばテレビ会議のステレオ動画像伝送は、会議全体の
画像をステレオ動画として伝送する手法であった（ Ｍ
、Ｅ、 Ｌｕｋａｓ ：“Ｐｒｅｄｉｃ−ｔｉｖｅ Ｃ
ｏｄｉｎｇｏｆ ＭｕｌＬｉ−νｉｃｗｐｏｉｎｔ Ｉ
ｍａｇｅ ５ｅｔｓｌＢＥｌｉ ＩＣＡＳＳＩ’８６
、 ＴＯｌｉＹＯ（Ｍａｒ、 １９８６））。In the conventional stereo video encoding method, a method for simultaneously encoding and transmitting multiple stereo video images has not been proposed.
For example, stereo video transmission for video conferences was a method of transmitting images of the entire meeting as stereo video (M
, E. Lukas: “Predic-tive C.
odingof MulLi-νicwpoint I
mage 5etslBEli ICASSI'86
, TOliYO (Mar, 1986)).
テレビ会議において、会議参加者毎にひとつのステレオ
動画像符号化器を動作させれば、個々の参加者は立体動
画として再現されることになる。In a video conference, if one stereo video encoder is operated for each conference participant, each participant will be reproduced as a stereoscopic video.
この場合の全体の伝送ビットレートは、単一のステレオ
動画像符号化器の動作レートをｒとすれば、テレビ会議
参加者が０人のときｎ「のレートが必嬰となる。このと
き、各符号化器では発生情報量がｒに満たない場合でも
伝送チャネル容量としてはｒだけ必要であった。In this case, if the operating rate of a single stereo video encoder is r, the overall transmission bit rate must be n' when there are 0 participants in the video conference.In this case, In each encoder, even if the amount of generated information is less than r, the transmission channel capacity is only r.
この発明の目的は、複数のステレオ動画像の符号化伝送
において、個々のステレオ動画像の符号化出力画像に対
しては一定以上の画品質を保証し、かつ全体の伝送チャ
ネル利用の効率化を計った符号化伝送方式を実現するこ
とにある。An object of the present invention is to ensure a certain level of image quality or higher for the encoded output image of each stereo video image in encoded transmission of a plurality of stereo video images, and to improve the efficiency of overall transmission channel usage. The objective is to realize a coding transmission system that is designed to meet the needs of the public.
「課題を解決するための手段」
この発明は、複数のステレオ動画像の同時符号化伝送を
非同期伝送モートで行う点、および各々のステレオ動画
像符号化器の特性が↑ｎ情報生量あるいは視差ベクトル
あるいは動きベクトルによって段階的に制御できる構造
となっている点に特徴があり、そのため複数の符号化器
全体でｎｒのレートが達成されていれば個々の符号化器
の符号化レートをｒに拘束する必要がなく伝送チャネル
を有効利用できる符号化法である。``Means for Solving the Problems'' The present invention is characterized in that simultaneous encoding and transmission of a plurality of stereo video images is performed using an asynchronous transmission mode, and that the characteristics of each stereo video encoder are ↑n information yield or disparity. The feature is that it has a structure that can be controlled step by step using vectors or motion vectors. Therefore, if a rate of nr is achieved for all multiple encoders, the encoding rate of each individual encoder can be changed to r. This is an encoding method that allows effective use of transmission channels without the need for constraints.
「実施例」
第１図にこの発明の実施例を示す、Ｎ個のステレオ動画
像（例えば、Ｎ人の人物像）を同時に符号化伝送するス
テレオテレビ会Ｊｊｉシステムを実施例として考える。Embodiment FIG. 1 shows an embodiment of the present invention, and a stereo television conference Jji system that simultaneously encodes and transmits N stereo video images (for example, images of N people) will be considered as an embodiment.
被写体ｌ（図示せず）に対する２台のカメラ（右眼、左
眼に対応）から出力された画像は、被写体ｌ右人力画像
０１および被写体１左人力画像０２としてステレオビデ
オ符号化器０５に入力される。被写体２，３．・・・、
Ｎに対しても同様にそれぞれ左右の画像が符号化器に入
力される。第１図では１番目とＮ番目の被写体に関する
信号処理系をブロック図として記述することにより、図
の簡略化を計っている。被写体Ｎに対して、被写体Ｎ右
人力画像０３および被写体Ｎ左入力画像０４はステレオ
ビデオ符号化２３０６に入力される。Images output from two cameras (corresponding to the right eye and left eye) for the subject 1 (not shown) are input to the stereo video encoder 05 as the subject 1 right human image 01 and the subject 1 left human image 02. be done. Subject 2, 3. ...,
For N, the left and right images are similarly input to the encoder. In FIG. 1, the signal processing systems for the first and Nth objects are described as a block diagram to simplify the diagram. For subject N, subject N right human input image 03 and subject N left input image 04 are input to stereo video encoding 2306 .
それぞれのステレオビデオ符号化器では左右の画像間の
視差変位量を利用した符号化を行うことができる。すな
わち、左右の画像間の視差ベクトルを検出し、片方の画
像からもう一方の視差補償予測画像を生成し、その予測
誤差信号を符号化することで、ステレオ画像の持つ冗長
性を削減することができる。さらに符号化対象である場
合には、動き補償フレーム間予測を用いることにより、
時間域の冗長性を削減することができる。動き補償フレ
ーム間予測では、連続する符号化フレーム間の動きベク
トルが検出される。この実施例では、ステレオ動画像の
高能率符号化を目的とし、各符号化器では視差補償予測
と動き補償フレーム間予測を併用されるものとする。Each stereo video encoder can perform encoding using the amount of parallax displacement between left and right images. In other words, the redundancy of stereo images can be reduced by detecting the disparity vector between the left and right images, generating a disparity-compensated predicted image from one image, and encoding the prediction error signal. can. Furthermore, if the target is to be encoded, by using motion compensated interframe prediction,
Time domain redundancy can be reduced. In motion compensated interframe prediction, motion vectors between consecutive encoded frames are detected. In this embodiment, each encoder uses both disparity-compensated prediction and motion-compensated interframe prediction for the purpose of highly efficient encoding of stereo video images.
また、予測誤差信号の符号化には階層符号化法を使用す
る。情報源の階層符号化は、通常、解像度の低い画像、
すなわち低周波数成分が先に符号化され、高周波数成分
が順次符号化されることにより解像度が向上する０階層
符号化の代゛表的なものにブロック単位の離散コサイン
変換符号化（Ｄｉｓｃｒｅｔｅ Ｃｏ５１ｎｅ Ｔｒａ
ｎｓｆｏｒｍ Ｃｏｄｉｎｇ、ＤＣＴ Ｃｏｄｉｎｇ）
がある０例えば、ＤＣＴ係数を低次の係数から量子化伝
送すれば、解像度の低い画像から高い画像までを階層的
に符号化伝送することができる。第２図にブロックサイ
ズを８×８画素としたときのＤＣＴ係数の階層化例を示
す、係数Ｃ１ｊ（ｉ＝１゜２、・・・８．ｊ＝１．２．
・・・、８）に対して、階層にの符号化情報を係数Ｃ１
ｊ（ｉ＋ｊ−１＝ｋ）の符号化情報として定義する。第
２図では１５階層構造となっている。この発明では、情
報源符号化器は階層符号化が可能であればどんな手法で
も問題はなく、画素を間引きながら順次符号化を行なう
階層的なサブサンプリング法を用いることもできる。Furthermore, a layered encoding method is used to encode the prediction error signal. Hierarchical encoding of information sources typically uses low-resolution images,
In other words, block-based discrete cosine transform coding (Discrete Cosine Transform Coding) is a typical example of 0-layer coding in which low frequency components are coded first and high frequency components are coded sequentially to improve resolution.
nsform Coding, DCT Coding)
For example, if DCT coefficients are quantized and transmitted starting from low-order coefficients, images from low resolution to high resolution can be encoded and transmitted hierarchically. FIG. 2 shows an example of hierarchization of DCT coefficients when the block size is 8 x 8 pixels. Coefficient C1j (i=1°2, . . . 8.j=1.2.
. . , 8), the encoding information in the layer is expressed as the coefficient C1
It is defined as encoded information of j (i+j-1=k). In FIG. 2, it has a 15-layer structure. In the present invention, the information source encoder may use any method as long as hierarchical encoding is possible, and a hierarchical subsampling method that sequentially performs encoding while thinning out pixels may also be used.
第１図において、ステレオビデ第１符号化器０５からは
、被写体ｌの視差ベクトルおよび動きベクトル０７と被
写体１の階層符号化情報０８が出力される。同様に、ス
テレオビデオＮ符号化器０６からは、被写体Ｎの視差ベ
クトルおよび動きベクトル０９と被写体Ｎの階層符号化
情報１０が出力される。被写体１からＮまでの視差ベク
トルおよび動きベクトル０７．０９は階層制御最適化回
路２３に入力され、階層符号化情報０８．ｔｏは階層符
号化情報量カウンタ１１．１２に人力される。In FIG. 1, a stereo video first encoder 05 outputs a disparity vector and a motion vector 07 of a subject 1, and hierarchically encoded information 08 of a subject 1. Similarly, the stereo video N encoder 06 outputs the subject N's disparity vector and motion vector 09 and the subject N's hierarchically encoded information 10. The disparity vectors and motion vectors 07.09 of subjects 1 to N are input to the hierarchical control optimization circuit 23, and the hierarchical encoding information 08.09 is input to the hierarchical control optimization circuit 23. to is input manually to the layered encoded information amount counters 11 and 12.
階層符号化情報量カウンタ１１．１２では、階層符号化
情報１１３．１４が計算される０階層符号化情報星１３
．１４は各階層毎の情報量であり、階層制御最適化回路
２３に人力される。それと同時に、階層符号化情報０８
．１０は階層伝送制御回路１７．１８に入力される。The layer encoded information amount counter 11.12 calculates the 0 layer encoded information star 13 for which the layer encoded information 113.14 is calculated.
．． 14 is the amount of information for each layer, which is manually input to the layer control optimization circuit 23. At the same time, layered encoding information 08
．． 10 is input to hierarchical transmission control circuits 17 and 18.
階層伝送制御回路１７．１８には階層制御最適化回路２
３より出力された被写体１からＮまでの階層伝送制御■
パラメータ１５．ｌ（ｉが人力され、これにより階層符
号化情報０８，１０の伝送制御が行われる。まず、階層
符号化情報を低周波数成分から成り立つ重要な部分（例
えば第２図の階層１から階層８）と高周波数成分から成
り立つあまり重要でない部分（例えば第２図の階層９か
ら階層１５）に分割する。このうち、低周波数成分は常
に伝送するものとし、高周波成分は伝送する最大階層数
を階層伝送制御パラメータが決定する。The hierarchical transmission control circuits 17 and 18 include the hierarchical control optimization circuit 2.
Hierarchical transmission control for objects 1 to N output from 3■
Parameter 15. l(i) is input manually, and the transmission control of layered encoded information 08 and 10 is performed. First, the layered encoded information is divided into important parts consisting of low frequency components (for example, layers 1 to 8 in Fig. 2). and high-frequency components (for example, from layer 9 to layer 15 in Figure 2).Of these, the low-frequency components are always transmitted, and the maximum number of layers to be transmitted for the high-frequency components is determined by hierarchical transmission. Control parameters are determined.
一般に、低周波数成分は被写体の基本的な形状や輝度を
表すところから、視覚上重要な情報を含んでいると考え
られる。それに対し、高域周波数の情報は解像度に寄与
するところが大きい、したがって、符号化画像の解像度
を増したい場合には、階層伝送側１１１１パラメータを
大きな値に設定すればよく、逆に、伝送情報量を抑制し
たい場合には階層伝送制御パラメータを小さく設定すれ
ばよい。In general, low frequency components are considered to contain visually important information because they represent the basic shape and brightness of the subject. On the other hand, high frequency information greatly contributes to the resolution. Therefore, if you want to increase the resolution of the encoded image, you can set the layer transmission side 1111 parameter to a large value. If you want to suppress this, you can set the hierarchical transmission control parameter to a small value.
ただし、この階層数設定は高周波成分のみについて実行
される。However, this layer number setting is performed only for high frequency components.
ところで、非同期伝送モード（ＡＴＭ）を用いる符号化
では、異なる情報源の多重化により、個々の情報源の符
号化レートが変動しても全体の符号化情報量は安定化さ
れる特性を有している。そのため、個々の情報源符号化
回路では、通常の伝送方式に比べて情報量の変動を許容
した符号化を行なうことができる。複数のステレオ動画
像の符号化情報の伝送にＡ ＴＭを用いれば、個々のス
テレオビデオ符号化器において符号化情報量の変動を許
容することにより、符号化品質を安定化さセることかで
きる。それに対して従来方式では発生情報量を一定値に
近づけるために符号化品質が変動する０例えば、被写体
の動きが大きい場合には、発生情報量を抑制するために
粗い量子化が行なわれ符号化品質が低下する。ＡＴＶに
は上記のような利点があるが全体の伝送容置には上限が
あり、これを上回る発生情報量が発生する場合には、個
々の符号化器の符号化情報量を制限する必要が生しる。By the way, encoding using the asynchronous transmission mode (ATM) has the characteristic that by multiplexing different information sources, the overall amount of encoded information is stabilized even if the encoding rate of each information source fluctuates. ing. Therefore, each information source encoding circuit can perform encoding that allows for fluctuations in the amount of information compared to normal transmission systems. If ATM is used to transmit the encoded information of multiple stereo video images, it is possible to stabilize the encoding quality by allowing variations in the amount of encoded information in each stereo video encoder. . On the other hand, in conventional methods, the encoding quality fluctuates in order to bring the amount of generated information close to a constant value. For example, when the subject moves a lot, coarse quantization is performed to suppress the amount of generated information. Quality deteriorates. Although ATV has the above advantages, there is an upper limit to the overall transmission capacity, and if the amount of generated information exceeds this limit, it is necessary to limit the amount of encoded information of each encoder. Live.
ところで、フレーム間予測符号化や動き補償をステレオ
ビデオ符号化に用いるとすれば、予測画像（フレーム間
予測、動き補償予測、動き補償フレーム間予測）は、符
号化器と複合化器の両者において一致していなければな
らない、したがって、予測画像は必ず伝送されることが
約束された階層から作成する必要がある。By the way, if inter-frame predictive coding and motion compensation are used for stereo video coding, the predicted images (inter-frame prediction, motion-compensated prediction, motion-compensated inter-frame prediction) are Therefore, the predicted image must be created from the layer that is guaranteed to be transmitted.
この実施例では、階層符号化情報のうち階層１から階層
８までの低周波成分を、伝送することが約束された部分
（必須符号化情報）とする。また、階層９から階層１５
までの高周波成分を付加符号化情報と呼ぶことにする。In this embodiment, the low frequency components of layers 1 to 8 of the layered encoded information are the portions promised to be transmitted (essential encoded information). Also, from layer 9 to layer 15
The high frequency components up to this point will be referred to as additional encoded information.
付加符号化情報は伝送が中止される可能性のある部分で
ある０個々の符号化器に対する伝送情報量の制御ｆｆ１
ｌは付加符号化情報の最大伝送階層を決定することによ
って実行される。この処理は、階層制御最適化回路２３
で行われる。Additional encoded information is a part whose transmission may be stopped.0 Control of the amount of transmitted information for each encoderff1
l is performed by determining the maximum transmission layer of additional encoded information. This process is performed by the hierarchical control optimization circuit 23
It will be held in
複数のステレオビデオ入力のうち、視差ベクトルが変化
している場合や動きベクトルの大きな情報源はステレオ
動画像として重要な情報をもっていると考えられ、この
ような情報源の画像符号化品質は高い方が望ましい、し
たがって、この場合にはできるだけ伝送する階層数を低
下させないように階層伝送制御パラメータを大きな値に
設定する。逆に、動きベクトルがほとんど０であるよう
な情報源に対しては、符号化器全体での発生情報量がＡ
ＴＶの許容レートを越える場合には、階層伝送制御パラ
メータを小さくして付加符号化情報の伝送を抑制する。Among multiple stereo video inputs, information sources with changing disparity vectors or large motion vectors are considered to have important information as stereo video images, and the image encoding quality of such information sources is higher. Therefore, in this case, the layer transmission control parameter is set to a large value so as not to reduce the number of layers to be transmitted as much as possible. Conversely, for an information source where the motion vector is almost 0, the amount of information generated by the entire encoder is A.
If the permissible rate of the TV is exceeded, the hierarchical transmission control parameter is reduced to suppress transmission of additional encoded information.
このように階層制御最適化回路２３で決定された階層伝
送制御パラメータは階層伝送制御回路に入力される。階
層伝送制御回路１７．１８において、階層符号化情報０
８，１０はそれぞれ必須符号化情報と付加符号化情報に
分離されると共に、階層制御パラメータ１５．１６によ
り付加符号化情報中の伝送すべき階層の最大値が与えら
れる０階層制御パラメータは各階層に含まれる係数番号
や階層数そのものなど、特定の階層を特定できるもので
あれば何でもよいが、ここでは直接、階層数を指すもの
とする。たとえば階層制御パラメータの値が１２であれ
ば、必須符号化情報と階Ｎ９から階層１２までの付加符
号化情報が伝送される。階層伝送情報１９．２０は階層
制御パラメータ１５．１６と共に多重化回路２１に入力
される。多重化回路２１でまとめられた情報は非同期伝
送モード伝送路２２を用いて受信側の復号化器へ伝送さ
れる。The hierarchical transmission control parameters thus determined by the hierarchical control optimization circuit 23 are input to the hierarchical transmission control circuit. In layer transmission control circuits 17 and 18, layer encoding information 0
8 and 10 are each separated into essential encoded information and additional encoded information, and layer control parameter 15.16 gives the maximum value of the layer to be transmitted in the additional encoded information.The 0 layer control parameter is for each layer. Although anything can be used as long as it can identify a specific layer, such as the coefficient number included in the layer or the number of layers itself, in this case, it refers directly to the number of layers. For example, if the value of the layer control parameter is 12, essential encoded information and additional encoded information from floor N9 to layer 12 are transmitted. The hierarchical transmission information 19.20 is input to the multiplexing circuit 21 together with the hierarchical control parameters 15.16. The information compiled by the multiplexing circuit 21 is transmitted to the receiving side decoder using the asynchronous transmission mode transmission line 22.
次に、階層制御最適化回路２３の動作について説明する
０階層制御最適化回路２３に人力される情報は個々のス
テレオビデオ符号化器０５，０６より出力される被写体
毎の視差ベクトルおよび動きベクトル０７．０９と階層
符号化情報量１３１４である。これらの情報の関数とし
て階層制御パラメータ１５．１６が決定される。すなわ
ち、被写体ｉ （ｉ＝１． ２．・・・、Ｎ）に対する
階層伝送制御回路１７．１８に与えられる階層制御パラ
メータ（階層数）をＰｉとすれば、
Ｐｉ＝ ｆ （Ｄｉ、 Ｍｉ 、Ｉｉ ０５１
） （１）Ｄｉ：被写体ｉの視差ベ
クトル
ｈｉ：被写体ｉの動きベクトル
！ｉ：θ５１＝被写体ｉ、階被写体止での符号化情報量
なる任意の関数ｆにより求められる。被写体ｉの階層Ｐ
１までの符号化情報１１ｉ（Ｐｉ）は階層符号化情報ｂ
ｉ（ｊ） （ｊ＝１． ２．・・・、 Ｐｉ）の和で与
えられる。Next, the operation of the hierarchical control optimization circuit 23 will be explained.The information inputted to the zero-level control optimization circuit 23 is the disparity vector and motion vector 07 for each subject output from the individual stereo video encoders 05 and 06. .09 and the amount of layered encoded information is 1314. Hierarchy control parameters 15.16 are determined as a function of these information. That is, if Pi is the hierarchy control parameter (number of hierarchies) given to the hierarchy transmission control circuit 17.18 for object i (i=1, 2..., N), then Pi= f (Di, Mi, Ii 051
) (1) Di: Parallax vector of subject i hi: Motion vector of subject i! It is determined by an arbitrary function f: i: θ51=subject i, encoded information amount at floor subject stop. Hierarchy P of subject i
The encoded information 11i (Pi) up to 1 is layered encoded information b
It is given by the sum of i(j) (j=1. 2..., Pi).
Ｐｉ
１ｉ （Ｐｉ） ＝ Σ ｂｉ（ｊ） （ｉ＝
１．２． ・・・、Ｎ） （２）ｊ＝１
各符号化器に対する最大階層ＰＩ、 Ｐ２．・・・、Ｐ
Ｎが与えられたとき、全体の情報量１゛は
′ｒ＝ Σ Ｉｉ （Ｐｉ） （
３）ｉ＝１
であるから、ＴがＡＴＭ伝送容量を越えるときには伝送
情報量を削減すめためにＰｉの値を小さくする。何番目
の被写体の伝送情ｔ［！ｌを削減するかは、例えばＤｉ
、 Ｍｉの大きさによって決定することができる。いま
、動きベクトル情報Ｍｉの最小値を与える被写体をｋと
する。Pi 1i (Pi) = Σ bi(j) (i=
1.2. ..., N) (2) j=1 Maximum layer PI for each encoder, P2. ..., P
When N is given, the total amount of information 1゛ is ′r= Σ Ii (Pi) (
3) Since i=1, when T exceeds the ATM transmission capacity, the value of Pi is reduced in order to reduce the amount of transmitted information. Transmission information t[! For example, Di
, can be determined by the size of Mi. Now, let k be the subject that gives the minimum value of the motion vector information Mi.
ｋ ＝ ａｒｇ（ｓｉｎ（Ｍｉ））
（４）蚤
被写体にの伝送情報量を削減するためには、被写体にの
階層Ｐｋを−１してＰｋとする。つまりＰｋ −Ｐｋ
−１（５）
として、式（２）、 （３１を再度求めＴが許容値以下
に低下するまでこの操作を繰り返せばよい、ただし、−
度Ｐｋを削減したに番目の符号化情報については、すべ
て被写体の符号化情報について階層単位の削減が一巡す
るまで、繰り返し操作から除外する０以上、簡単のため
に旧により判定する例を示したが、Ｄｉを用いることも
できる０例えば、連続する符号化フレームでＤｉの変化
が激しければ被写体の動きが活発であることを意味する
から、Ｄｉの変化の少ない被写体に対しては情報量を削
減することができる。また、Ｄｉ、 Ｍｉは画面単位の
情報であっても、一画面かい（つかに分割された小ブロ
ツク単位の情報であっても問題はない０式（１）でのＰ
ｉの決定法は全く任意である。k = arg(sin(Mi))
(4) Flea In order to reduce the amount of information transmitted to the subject, the hierarchy Pk of the subject is set to Pk by -1. That is, Pk −Pk
-1(5), calculate equation (2), (31 again) and repeat this operation until T falls below the allowable value. However, -
Regarding the encoded information whose degree Pk has been reduced, an example is shown in which it is determined based on the old method for simplicity's sake. However, it is also possible to use Di. can be reduced. In addition, Di and Mi may be information for each screen, or for one screen (or even for small blocks divided into small blocks).
The method for determining i is completely arbitrary.
「発明の効果」
この発明によれば、複数のステレオ動画像の符号化出力
情報をバーストの形でバケント化して伝送することによ
り、個々の符号化器の出力画像の再生品質をあるレベル
以上に確保しながら、複数の符号化器全体の符号化情報
量を効率よく伝送することができる。また、極端に情報
発生量が増加し、ＡＴＶでの伝送許容レートを越える場
合には、個々の符号化器において階層的符号化法を用い
ることにより段階的な画品質制御ｎと情報発生量制御が
可能であり、その結果全体の発生符号量を１７Ｍ許容レ
ート以下に抑えることができる。"Effects of the Invention" According to the present invention, by converting the encoded output information of a plurality of stereo video images into bursts and transmitting them, the reproduction quality of the output images of each encoder can be increased to a certain level or higher. It is possible to efficiently transmit the amount of encoded information of the entire plurality of encoders while ensuring the amount of encoded information. In addition, when the amount of information generated increases extremely and exceeds the transmission rate allowed by ATV, a hierarchical encoding method is used in each encoder to perform stepwise image quality control and information generation amount control. As a result, the total generated code amount can be suppressed to below the 17M permissible rate.
第１図はこの発明の実施例を示すブロック図、第２図は
ＤＣＴ係数の階層化例を示す図である。
Ｏｌ：被写体１右入力画像、０２：被写体１左入力画像
、０３：被写体Ｎ右人力画像、０４：被写体Ｎ左入力画
像、０５ニステレオビデ第１符号化器、０６：ステレオ
ビデオＮ符号化器、０７：被写体１の視差ベクトルおよ
び動きヘタ１−ル、０８；被写体ｌの階層符号化情報、
０９；被写体Ｎの視差ベクトルおよび動きベクトル、ｌ
Ｏ：被写体Ｎの階層符号化情報、１１：被写体ｌの階層
符号化情報量カウンタ、１２：被写体Ｎの階層符号化情
報量カウンタ、１３：被写体ｌの階層情報量、１４：被
写体Ｎの階層情報量、１５：被写体１に対する階層伝送
制御パラメータ、１６；被写体Ｎに対する階層伝送制御
パラメータ、＋７：階層伝送制御回路１．１８二階層伝
送制御回路Ｎ、１９：被写体１階層伝送情報、２０：被
写体Ｎ階層伝送情報、２１：多重化回路、２２：非同＋
１ＪＩ伝送モード伝送路、２３：階層制御最適化回路。
特許出願人；日本電信電話株式会社FIG. 1 is a block diagram showing an embodiment of the present invention, and FIG. 2 is a diagram showing an example of hierarchization of DCT coefficients. Ol: Subject 1 right input image, 02: Subject 1 left input image, 03: Subject N right human image, 04: Subject N left input image, 05 Nstereo video first encoder, 06: Stereo video N encoder, 07 : Disparity vector and motion data of subject 1, 08; Hierarchical encoding information of subject 1,
09; Parallax vector and motion vector of subject N, l
O: Hierarchical coding information of subject N, 11: Hierarchical coding information amount counter of subject l, 12: Hierarchical coding information amount counter of subject N, 13: Hierarchical information amount of subject l, 14: Hierarchical information of subject N amount, 15: Hierarchical transmission control parameter for object 1, 16: Hierarchical transmission control parameter for object N, +7: Hierarchical transmission control circuit 1.18 2nd layer transmission control circuit N, 19: Object 1st layer transmission information, 20: Subject N Hierarchical transmission information, 21: Multiplexing circuit, 22: Non-same +
1JI transmission mode transmission line, 23: Hierarchical control optimization circuit. Patent applicant: Nippon Telegraph and Telephone Corporation
Claims (1)
数ステレオ動画像符号化伝送方式において、左右２系統
の入力画像に対して視差ベクトルあるいは視差ベクトル
と動きベクトルを検出し、これらのベクトルを利用して
符号化を行なうステレオ動画像符号化器を並列に複数個
並べ、それぞれの符号化器では情報源符号化に段階的な
画像伝送が可能な階層符号化方式を用い、視差ベクトル
、動きベクトルおよび各階層の符号化情報量により全体
の符号化情報量の制御を行うとともに、複数の符号化情
報の多重化にはバースト（パケット）の形で伝送する非
同期伝送モードを用いる複数ステレオ動画像符号化伝送
方式。(1) In a multiple stereo video encoding and transmission method that encodes and transmits multiple stereo video images simultaneously, detect a disparity vector or a disparity vector and a motion vector for the left and right input images, and use these vectors. A plurality of stereo video encoders are arranged in parallel, and each encoder uses a layered encoding method that enables stepwise image transmission for information source encoding. The overall amount of encoded information is controlled by the amount of encoded information in each layer, and multiple stereo video encoding uses an asynchronous transmission mode in which multiple pieces of encoded information are transmitted in the form of bursts (packets). transmission method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63281700A JPH02126788A (en) | 1988-11-07 | 1988-11-07 | Plural stereo moving-image encoding transmission system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63281700A JPH02126788A (en) | 1988-11-07 | 1988-11-07 | Plural stereo moving-image encoding transmission system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH02126788A true JPH02126788A (en) | 1990-05-15 |
Family
ID=17642763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63281700A Pending JPH02126788A (en) | 1988-11-07 | 1988-11-07 | Plural stereo moving-image encoding transmission system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH02126788A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06189289A (en) * | 1992-06-18 | 1994-07-08 | General Instr Corp | Adaptive type coding level control for video compression equipment |
| WO2012020555A1 (en) * | 2010-08-09 | 2012-02-16 | パナソニック株式会社 | Image encoding method, image decoding method, image encoding device, and image decoding device |
| JP2013542648A (en) * | 2010-09-24 | 2013-11-21 | クゥアルコム・インコーポレイテッド | Stereo video data encoding |
-
1988
- 1988-11-07 JP JP63281700A patent/JPH02126788A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06189289A (en) * | 1992-06-18 | 1994-07-08 | General Instr Corp | Adaptive type coding level control for video compression equipment |
| WO2012020555A1 (en) * | 2010-08-09 | 2012-02-16 | パナソニック株式会社 | Image encoding method, image decoding method, image encoding device, and image decoding device |
| JP5340425B2 (en) * | 2010-08-09 | 2013-11-13 | パナソニック株式会社 | Image encoding method, image decoding method, image encoding device, and image decoding device |
| US9621871B2 (en) | 2010-08-09 | 2017-04-11 | Panasonic Corporation | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| JP2013542648A (en) * | 2010-09-24 | 2013-11-21 | クゥアルコム・インコーポレイテッド | Stereo video data encoding |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3358620B2 (en) | Image encoding method and image encoding device | |
| US7817181B2 (en) | Method, medium, and apparatus for 3-dimensional encoding and/or decoding of video | |
| WO1994024822A1 (en) | Method and apparatus for coding image, and image recording medium | |
| JP2009505607A (en) | Method and apparatus for encoding multi-view video | |
| US20150092862A1 (en) | Modified hevc transform tree syntax | |
| JP2000078579A (en) | Adaptive video signal encoding device | |
| KR19990067723A (en) | Dynamically determining group of picture size during encoding of video sequence | |
| CN105103556A (en) | Method and apparatus for bi-prediction of illumination compensation | |
| US20220078442A1 (en) | Method and apparatus for prediction refinement with optical flow for an affine coded block | |
| US20220007051A1 (en) | Optical flow based video inter prediction | |
| CN113660497A (en) | Encoder, decoder and corresponding method using IBC merge lists | |
| WO2014156648A1 (en) | Method for encoding a plurality of input images and storage medium and device for storing program | |
| JP3426668B2 (en) | Video coding method | |
| JP2902284B2 (en) | Video encoding device | |
| Maugey et al. | Side information estimation and new symmetric schemes for multi-view distributed video coding | |
| CN114830665A (en) | Affine motion model restriction | |
| JPH06225279A (en) | Coding/decoding methods and coding/decoding devices | |
| WO2011074189A1 (en) | Image encoding method and image encoding device | |
| JPH02126788A (en) | Plural stereo moving-image encoding transmission system | |
| JP3950211B2 (en) | Motion vector encoding device | |
| JPH0662393A (en) | Multiplexed dynamic image encoding method and device | |
| JPH07240944A (en) | Stereoscopic image encoder | |
| JP3614448B2 (en) | Image signal encoding and multiplexing method and apparatus | |
| US6061401A (en) | Method and apparatus for selectively encoding/decoding a video signal | |
| JPS6326951B2 (en) |