JP6879401B2 - Image coding device, image coding method and image coding program, and image decoding device, image decoding method and image decoding program. - Google Patents
Image coding device, image coding method and image coding program, and image decoding device, image decoding method and image decoding program. Download PDFInfo
- Publication number
- JP6879401B2 JP6879401B2 JP2020031700A JP2020031700A JP6879401B2 JP 6879401 B2 JP6879401 B2 JP 6879401B2 JP 2020031700 A JP2020031700 A JP 2020031700A JP 2020031700 A JP2020031700 A JP 2020031700A JP 6879401 B2 JP6879401 B2 JP 6879401B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- signal
- prediction
- image
- secondary signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 55
- 238000012545 processing Methods 0.000 description 38
- 230000002093 peripheral effect Effects 0.000 description 36
- 238000013139 quantization Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000872 buffer Substances 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、画像をブロックに分割し、分割されたブロック単位で符号化及び復号化を行
う技術に関する。
The present invention relates to a technique of dividing an image into blocks and encoding and decoding the divided block units.
画像符号化及び復号化では、画像を所定数の画素の集合であるブロックに分割し、ブロ
ック単位で符号化及び復号化を行う。適切なブロックの分割を行うことで画面内予測(イ
ントラ予測)及び画面間予測(インター予測)の符号化効率が向上する。また、イントラ
予測において、プライマリ信号の復号画像からセカンダリ信号を予測することで符号化効
率が向上する。
In image coding and decoding, an image is divided into blocks which are a set of a predetermined number of pixels, and coding and decoding are performed in block units. By appropriately dividing blocks, the coding efficiency of in-screen prediction (intra-prediction) and inter-screen prediction (inter-prediction) is improved. Further, in the intra prediction, the coding efficiency is improved by predicting the secondary signal from the decoded image of the primary signal.
しかし、プライマリ信号の復号画像からセカンダリ信号を予測すると、処理量が増大す
るとともにプライマリ信号に対する処理とセカンダリ信号に対する処理の依存関係が発生
し並列処理が難しくなる。
However, when the secondary signal is predicted from the decoded image of the primary signal, the amount of processing increases and the dependency between the processing for the primary signal and the processing for the secondary signal occurs, which makes parallel processing difficult.
本発明はこうした状況に鑑みてなされたものであり、その目的は、画像符号化及び復号
化に適したブロック分割を行うことにより、符号化効率を向上させる技術を提供すること
にある。
The present invention has been made in view of such a situation, and an object of the present invention is to provide a technique for improving coding efficiency by performing block division suitable for image coding and decoding.
上記課題を解決するために、本発明のある態様の画像符号化装置は、画像をブロックに
分割し、分割されたブロック単位で符号化を行う画像符号化装置であって、前記画像のプ
ライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマ
リ信号ブロック分割部と、前記画像のセカンダリ信号を所定サイズの矩形に分割してセカ
ンダリ信号ブロックを生成するセカンダリ信号ブロック分割部と、プライマリ信号を予測
するプライマリ信号予測部と、セカンダリ信号を予測するセカンダリ信号予測部とを含み
、前記プライマリ信号ブロックと前記セカンダリ信号ブロックは、それぞれ独立して分割
され、前記プライマリ信号は輝度信号、前記セカンダリ信号は色差信号であり、前記セカ
ンダリ信号予測部は、符号化されたプライマリ信号からセカンダリ信号を予測するコンポ
ーネント間予測が可能であり、前記プライマリ信号ブロックのサイズが所定サイズ以上の
場合、前記コンポーネント間予測の使用を禁止する。
In order to solve the above problems, the image coding device according to an embodiment of the present invention is an image coding device that divides an image into blocks and encodes the divided block units, and is a primary signal of the image. A primary signal block division unit that divides the image into a rectangle of a predetermined size to generate a primary signal block, a secondary signal block division unit that divides the secondary signal of the image into a rectangle of a predetermined size to generate a secondary signal block, and a primary unit. A primary signal prediction unit that predicts a signal and a secondary signal prediction unit that predicts a secondary signal are included, and the primary signal block and the secondary signal block are each independently divided, and the primary signal is a brightness signal and the secondary. The signal is a color difference signal, and the secondary signal prediction unit can perform inter-component prediction that predicts the secondary signal from the encoded primary signal, and when the size of the primary signal block is a predetermined size or more, the inter-components. Prohibit the use of forecasts.
本発明の別の態様は、画像符号化方法である。この方法は、画像をブロックに分割し、
分割されたブロック単位で符号化を行う画像符号化方法であって、前記画像のプライマリ
信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブ
ロック分割ステップと、前記画像のセカンダリ信号を所定サイズの矩形に分割してセカン
ダリ信号ブロックを生成するセカンダリ信号ブロック分割ステップと、プライマリ信号を
予測するプライマリ信号予測ステップと、セカンダリ信号を予測するセカンダリ信号予測
ステップとを含み、前記プライマリ信号ブロックと前記セカンダリ信号ブロックは、それ
ぞれ独立して分割され、前記プライマリ信号は輝度信号、前記セカンダリ信号は色差信号
であり、前記セカンダリ信号予測ステップは、符号化されたプライマリ信号からセカンダ
リ信号を予測するコンポーネント間予測が可能であり、前記プライマリ信号ブロックのサ
イズが所定サイズ以上の場合、前記コンポーネント間予測の使用を禁止する。
Another aspect of the present invention is an image coding method. This method divides the image into blocks and
An image coding method that encodes in units of divided blocks, which is a primary signal block division step of dividing the primary signal of the image into rectangles of a predetermined size to generate a primary signal block, and a secondary signal of the image. The primary signal block includes a secondary signal block dividing step for generating a secondary signal block, a primary signal prediction step for predicting a primary signal, and a secondary signal prediction step for predicting a secondary signal. And the secondary signal block are independently divided, the primary signal is a brightness signal, the secondary signal is a color difference signal, and the secondary signal prediction step is a component that predicts a secondary signal from a coded primary signal. When the inter-component prediction is possible and the size of the primary signal block is a predetermined size or more, the use of the inter-component prediction is prohibited.
本発明のさらに別の態様は、画像復号化装置である。この装置は、画像を分割したブロ
ック単位で復号化を行う画像復号化装置であって、前記画像のプライマリ信号を所定サイ
ズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割部と
、前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生
成するセカンダリ信号ブロック分割部と、プライマリ信号を予測するプライマリ信号予測
部と、セカンダリ信号を予測するセカンダリ信号予測部とを含み、前記プライマリ信号ブ
ロックと前記セカンダリ信号ブロックは、それぞれ独立して分割され、前記プライマリ信
号は輝度信号、前記セカンダリ信号は色差信号であり、前記セカンダリ信号予測部は、復
号化されたプライマリ信号からセカンダリ信号を予測するコンポーネント間予測が可能で
あり、前記プライマリ信号ブロックのサイズが所定サイズ以上の場合、前記コンポーネン
ト間予測の使用を禁止する。
Yet another aspect of the present invention is an image decoding device. This device is an image decoding device that decodes an image in block units, and divides the primary signal of the image into rectangles of a predetermined size to generate a primary signal block, and a primary signal block dividing unit. Includes a secondary signal block division unit that divides the secondary signal of the image into rectangles of a predetermined size to generate a secondary signal block, a primary signal prediction unit that predicts the primary signal, and a secondary signal prediction unit that predicts the secondary signal. The primary signal block and the secondary signal block are independently divided, the primary signal is a brightness signal, the secondary signal is a color difference signal, and the secondary signal prediction unit is secondary from the decoded primary signal. Inter-component prediction for predicting a signal is possible, and when the size of the primary signal block is a predetermined size or more, the use of the inter-component prediction is prohibited.
本発明のさらに別の態様は、画像復号化方法である。この方法は、画像を分割したブロ
ック単位で復号化を行う画像復号化方法であって、前記画像のプライマリ信号を所定サイ
ズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割ステ
ップと、前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロッ
クを生成するセカンダリ信号ブロック分割ステップと、プライマリ信号を予測するプライ
マリ信号予測ステップと、セカンダリ信号を予測するセカンダリ信号予測ステップとを含
み、前記プライマリ信号ブロックと前記セカンダリ信号ブロックは、それぞれ独立して分
割され、前記プライマリ信号は輝度信号、前記セカンダリ信号は色差信号であり、前記セ
カンダリ信号予測ステップは、復号化されたプライマリ信号からセカンダリ信号を予測す
るコンポーネント間予測が可能であり、前記プライマリ信号ブロックのサイズが所定サイ
ズ以上の場合、前記コンポーネント間予測の使用を禁止する。
Yet another aspect of the present invention is an image decoding method. This method is an image decoding method that decodes an image in units of divided blocks, and includes a primary signal block division step of dividing the primary signal of the image into rectangles of a predetermined size to generate a primary signal block. A secondary signal block division step of dividing the secondary signal of the image into a rectangle of a predetermined size to generate a secondary signal block, a primary signal prediction step of predicting the primary signal, and a secondary signal prediction step of predicting the secondary signal are included. The primary signal block and the secondary signal block are independently divided, the primary signal is a brightness signal, the secondary signal is a color difference signal, and the secondary signal prediction step is secondary from the decoded primary signal. Inter-component prediction for predicting a signal is possible, and when the size of the primary signal block is a predetermined size or more, the use of the inter-component prediction is prohibited.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒
体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効で
ある。
It should be noted that any combination of the above components and the conversion of the expression of the present invention between methods, devices, systems, recording media, computer programs and the like are also effective as aspects of the present invention.
本発明によれば、画像符号化及び復号化に適したブロック分割が可能になり、符号化効
率を向上させ、処理量の少ない画像符号化及び復号化を提供することができる。
According to the present invention, block division suitable for image coding and decoding becomes possible, coding efficiency can be improved, and image coding and decoding with a small amount of processing can be provided.
本発明の実施の形態は、画像を矩形ブロックに分割し、分割されたブロックを符号化・
復号化する画像符号化技術を提供する。
In the embodiment of the present invention, the image is divided into rectangular blocks, and the divided blocks are encoded.
Provided is an image coding technique for decoding.
(第1の実施の形態)
本発明の実施の形態1に係る画像符号化装置100及び画像復号化装置200について
説明する。
(First Embodiment)
The
図1は第1の実施の形態に係る画像符号化装置100の構成図である。ここで、図1で
は画像信号に関するデータの流れのみを表しており、動きベクトルや予測モードなど画像
信号以外の付加情報については各構成要素が符号化ビット列生成部105に供給して対応
する符号化データを生成するが、付加情報に関するデータの流れは図示していない。
FIG. 1 is a configuration diagram of an
ブロック分割部101は、画像を符号化の処理単位となる符号化対象ブロックに分割し
、符号化対象ブロック内の画像信号を残差信号生成部103に供給する。また、ブロック
分割部101は、予測画像の一致度を評価するために符号化対象ブロックの画像信号を予
測画像生成部102に供給する。
The
ブロック分割部101は、画像を所定サイズの矩形に再帰的に分割して符号化対象ブロ
ックを生成する。ブロック分割部101は、再帰的分割における対象ブロックを水平方向
かつ垂直方向に4分割して4つのブロックを生成する4分割部と、再帰的分割における対
象ブロックを水平方向又は垂直方向に2分割して2つのブロックを生成する2分割部とを
含む。ブロック分割部101の詳細の動作については後述する。
The
予測画像生成部102は、復号画像メモリ108から供給される復号画像信号から、予
測モードを基にピクチャ内予測(イントラ予測)或いはピクチャ間予測(インター予測)
を行い、予測画像信号を生成する。ブロック分割部101から供給される符号化対象ブロ
ック内の画像信号はイントラ予測及びインター予測の評価に用いられる。イントラ予測で
は、ブロック分割部101から供給される符号化対象ブロックの画像信号と、復号画像メ
モリ108から供給される符号化対象のブロックと同じピクチャ内に存在する符号化対象
のブロックに近接する周囲の符号化済みブロックの画像信号を用いて予測画像信号を生成
する。インター予測では、ブロック分割部101から供給され符号化対象ブロックの画像
信号を、符号化対象ブロックを含むピクチャ(符号化ピクチャ)の時系列で前または後ろ
にある復号画像メモリ108に格納されている符号化済みピクチャを参照ピクチャとし、
符号化ピクチャと参照ピクチャとの間でブロックマッチング等のブロック一致度評価を行
い、動き量を示す動きベクトルを求め、この動き量を基に参照ピクチャから動き補償を行
い、予測画像信号を生成する。予測画像生成部102は、こうして生成された予測画像信
号を残差信号生成部103に供給する。
The prediction
To generate a predicted image signal. The image signal in the coded block supplied from the
A block matching degree evaluation such as block matching is performed between the coded picture and the reference picture, a motion vector indicating the amount of motion is obtained, motion compensation is performed from the reference picture based on this amount of motion, and a predicted image signal is generated. .. The prediction
残差信号生成部103は、符号化する画像信号と予測画像生成部102にて生成された
予測信号との減算を行い残差信号を生成し、直交変換・量子化部104に供給する。
The residual
直交変換・量子化部104は、残差信号生成部103から供給される残差信号を直交変
換・量子化し、直交変換・量子化された残差信号を符号化ビット列生成部105及び逆量
子化・逆直交変換部106に供給する。
The orthogonal transformation /
符号化ビット列生成部105は直交変換・量子化部104から供給される直交変換・量
子化された残差信号に対する符号化ビット列を生成する。また、符号化ビット列生成部1
05は動きベクトルや予測モード、ブロック分割情報などの付加情報について、対応する
符号化ビット列を生成する。
The coded bit
05 generates a corresponding coded bit string for additional information such as a motion vector, a prediction mode, and block division information.
逆量子化・逆直交変換部106は、直交変換・量子化部104から供給される直交変換
・量子化された残差信号を逆量子化・逆直交変換し、逆量子化・逆直交変換された残差信
号を復号画像信号重畳部107に供給する。
The inverse quantization / inverse
復号画像信号重畳部107は、予測画像生成部102により生成された予測画像信号と
逆量子化・逆直交変換部106で逆量子化及び逆直交変換された残差信号を重畳して復号
画像を生成し、復号画像メモリ108に格納する。尚、復号画像に対して符号化によるブ
ロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ108に格納する
こともある。
The decoded image
図2は実施の形態1に係る画像復号化装置200の構成図である。ここで、図2では画
像信号に関するデータの流れのみを表しており、動きベクトルや予測モードなど画像信号
以外の付加情報についてはビット列復号部201が各構成要素に供給して対応する処理に
用いるが、付加情報に関するデータの流れは図示していない。
FIG. 2 is a configuration diagram of the
ビット列復号部201は、供給された符号化ビット列を復号化して、直交変換・量子化
された残差信号をブロック分割部202に供給する。
The bit
ブロック分割部202は、復号化したブロック分割情報に基づいて復号化対象ブロック
の形状を決定し、決定された復号化対象ブロックの直交変換・量子化された残差信号を逆
量子化・逆直交変換部203に供給する。
The
ブロック分割部202は、画像を復号化されたブロック分割情報に基づいて所定サイズ
の矩形に再帰的に分割して復号化対象ブロックを生成する。ブロック分割部202は、再
帰的分割における対象ブロックを水平方向かつ垂直方向に4分割して4つのブロックを生
成する4分割部と、再帰的分割における対象ブロックを水平方向又は垂直方向に2分割し
て2つのブロックを生成する2分割部とを含む。ブロック分割部202の詳細の動作につ
いては後述する。
The
逆量子化・逆直交変換部203は、供給された直交変換・量子化された残差信号に対し
て、逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。
The inverse-orthogonal / inverse-
予測画像生成部204は、復号画像メモリ206から供給される復号画像信号から予測
画像信号を生成し、復号画像信号重畳部205に供給する。
The predicted
復号画像信号重畳部205は、予測画像生成部204で生成された予測画像信号と、逆
量子化・逆直交変換部203により逆直交変換・逆量子化された残差信号とを重畳するこ
とにより、復号画像信号を生成し、出力するとともに復号画像メモリ206に格納する。
尚、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施し
て、復号画像メモリ206に格納することもある。
The decoded image
The decoded image may be stored in the decoded
画像符号化装置100のブロック分割部101の動作について詳細に説明する。図3は
ツリーブロックへの分割及びツリーブロック内部の分割を説明するフローチャートである
。
The operation of the
まず、入力された画像を所定サイズのツリーブロックに分割する(S1000)。例え
ば、ツリーブロックを128画素x128画素とする。ただし、ツリーブロックは128
画素x128画素に限定されず、矩形であればどのような大きさ及び形状を用いてもよい
。また、ツリーブロックの大きさ及び形状は、符号化装置と復号化装置の間で固定の値を
定めておいてもよいが、符号化装置が決定して符号化ビットストリーム内に記録し復号化
装置が記録されたブロックサイズを用いる構成にしてもよい。入力された画像をツリーブ
ロックに分割する様子を図4に示す。ツリーブロックは、ラスタスキャン順、すなわち左
から右、上から下に符号化及び復号化される。
First, the input image is divided into tree blocks of a predetermined size (S1000). For example, the tree block is 128 pixels x 128 pixels. However, the tree block is 128
The size and shape are not limited to 128 pixels, and any size and shape may be used as long as it is rectangular. Further, the size and shape of the tree block may be fixed values between the coding device and the decoding device, but the coding device determines the size and the shape and records the tree block in the coded bit stream for decoding. The device may be configured to use the recorded block size. FIG. 4 shows how the input image is divided into tree blocks. The tree blocks are encoded and decoded in raster scan order, left-to-right, top-to-bottom.
ツリーブロックの内部をさらに矩形のブロックに分割していく。ツリーブロック内部は
z−スキャン順に符号化・復号化していく。図5にz−スキャンの順序を示す。z−スキ
ャンでは、左上、右上、左下、右下、の順序で符号化及び復号化する。ツリーブロック内
部の分割は4分割と2分割が可能であり、4分割は水平方向かつ垂直方向に分割する。2
分割は水平方向又は垂直方向に分割する。図6はツリーブロックを水平かつ垂直方向に4
分割した図である。図7はツリーブロックを水平方向に2分割した図である。図8はツリ
ーブロックを垂直方向に2分割した図である。
The inside of the tree block is further divided into rectangular blocks. The inside of the tree block is encoded / decoded in the order of z-scan. FIG. 5 shows the order of z-scans. In the z-scan, encoding and decoding are performed in the order of upper left, upper right, lower left, and lower right. The division inside the tree block can be divided into four and two, and the four division is divided in the horizontal direction and the vertical direction. 2
The division is horizontal or vertical. FIG. 6 shows the tree block horizontally and vertically 4
It is a divided figure. FIG. 7 is a diagram in which the tree block is divided into two in the horizontal direction. FIG. 8 is a diagram in which the tree block is vertically divided into two.
再び図3を参照する。ツリーブロック内部を水平及び垂直方向に4分割するかどうかを
判断する(S1001)。
See FIG. 3 again. It is determined whether or not the inside of the tree block is divided into four in the horizontal and vertical directions (S1001).
ツリーブロック内部を4分割すると判断した場合(S1001:Yes)、ツリーブロ
ック内部を4分割し(S1002)、水平かつ垂直方向に4分割したブロックの各処理を
行う(S1003)。4分割されたブロックの再分割処理については後述する(図9)。
When it is determined that the inside of the tree block is divided into four (S1001: Yes), the inside of the tree block is divided into four (S1002), and each process of the blocks divided into four in the horizontal and vertical directions is performed (S1003). The subdivision process of the four-divided block will be described later (FIG. 9).
ツリーブロック内部を4分割しないと判断した場合(S1001:No)、ツリーブロ
ック内部を2分割するかどうかを判断する(S1004)。
When it is determined that the inside of the tree block is not divided into four (S1001: No), it is determined whether or not the inside of the tree block is divided into two (S1004).
ツリーブロック内部を2分割すると判断した場合(S1004:Yes)、2分割する
方向を水平方向とするかどうかを判断する(S1005)。
When it is determined that the inside of the tree block is divided into two (S1004: Yes), it is determined whether or not the direction of dividing into two is the horizontal direction (S1005).
2分割する方向を水平方向と判断した場合(S1005:Yes)、ツリーブロック内
部を水平方向に2分割し(S1006)、水平方向に2分割したブロックの各処理を行う
(S1007)。水平方向に2分割されたブロックの再分割処理については後述する(図
10)。
When it is determined that the direction of dividing into two is the horizontal direction (S1005: Yes), the inside of the tree block is divided into two in the horizontal direction (S1006), and each process of the block divided into two in the horizontal direction is performed (S1007). The subdivision process of the block divided into two in the horizontal direction will be described later (FIG. 10).
2分割する方向を水平方向ではなく垂直方向と判断した場合(S1005:No)、ツ
リーブロック内部を垂直方向に2分割し(S1008)、垂直方向に2分割したブロック
の各処理を行う(S1009)。水平方向に2分割されたブロックの再分割処理について
は後述する(図11)。
When it is determined that the direction of dividing into two is not the horizontal direction but the vertical direction (S1005: No), the inside of the tree block is divided into two in the vertical direction (S1008), and each process of the block divided into two in the vertical direction is performed (S1009). .. The subdivision process of the block divided into two in the horizontal direction will be described later (FIG. 11).
ツリーブロック内部を2分割しないと判断した場合(S1004:No)、ツリーブロ
ックの内部をブロック分割せずにブロック分割処理を終了する(S1010)。
When it is determined that the inside of the tree block is not divided into two (S1004: No), the block division process is terminated without dividing the inside of the tree block into blocks (S1010).
続いて、ツリーブロックを水平方向かつ垂直方向に4分割した場合の分割された各ブロ
ックの処理について図9のフローチャートを用いて説明する。
Subsequently, the processing of each of the divided blocks when the tree block is divided into four in the horizontal direction and the vertical direction will be described with reference to the flowchart of FIG.
ブロック内部を水平かつ垂直方向に再び4分割するかどうかを判断する(S1101)
。
It is determined whether or not the inside of the block is divided into four again in the horizontal and vertical directions (S1101).
..
ブロック内部を再び4分割すると判断した場合(S1101:Yes)、ブロック内部
を再び4分割し(S1102)、水平かつ垂直方向に4分割したブロックの各処理を行う
(S1103)。
When it is determined that the inside of the block is divided into four again (S1101: Yes), the inside of the block is divided into four again (S1102), and each process of the block divided into four in the horizontal and vertical directions is performed (S1103).
ブロック内部を再び4分割しないと判断した場合(S1101:No)、ブロック内部
を2分割するかどうかを判断する(S1104)。
When it is determined that the inside of the block is not divided into four again (S1101: No), it is determined whether or not the inside of the block is divided into two (S1104).
ブロック内部を2分割すると判断した場合(S1104:Yes)、2分割する方向を
水平方向とするかどうかを判断する(S1105)。
When it is determined that the inside of the block is divided into two (S1104: Yes), it is determined whether or not the direction of dividing into two is the horizontal direction (S1105).
2分割する方向を水平方向と判断した場合(S1105:Yes)、ブロック内部を水
平方向に2分割し(S1106)、水平方向に2分割したブロックの各処理を行う(S1
107)。
When it is determined that the direction of dividing into two is the horizontal direction (S1105: Yes), the inside of the block is divided into two in the horizontal direction (S1106), and each process of the block divided into two in the horizontal direction is performed (S1).
107).
2分割する方向を水平方向ではなく垂直方向と判断した場合(S1105:No)、ブ
ロック内部を垂直方向に2分割し(S1108)、垂直方向に2分割したブロックの各処
理を行う(S1109)。
When it is determined that the direction of dividing into two is not the horizontal direction but the vertical direction (S1105: No), the inside of the block is divided into two in the vertical direction (S1108), and each process of the block divided into two in the vertical direction is performed (S1109).
ブロック内部を2分割しないと判断した場合(S1104:No)、ブロックの内部を
ブロック分割せずにブロック分割処理を終了する(S1110)。
When it is determined that the inside of the block is not divided into two (S1104: No), the block division process is terminated without dividing the inside of the block into blocks (S1110).
図9のフローチャートに示す処理が4分割された各ブロックについて実行される。4分
割されたブロックの内部もz−スキャン順に符号化及び復号化していく。
The process shown in the flowchart of FIG. 9 is executed for each block divided into four. The inside of the block divided into four is also encoded and decoded in the order of z-scan.
続いて、ツリーブロックを水平方向に2分割した場合の分割された各ブロックの処理に
ついて図10のフローチャートを用いて説明する。
Subsequently, the processing of each of the divided blocks when the tree block is divided into two in the horizontal direction will be described with reference to the flowchart of FIG.
ツリーブロックを水平方向に2分割した場合、2分割された各ブロックは、まず、ブロ
ック内部を水平及び垂直方向に4分割するかどうかを判断する(S1201)。
When the tree block is divided into two in the horizontal direction, each of the divided blocks first determines whether or not the inside of the block is divided into four in the horizontal and vertical directions (S1201).
ブロック内部を4分割すると判断した場合(S1201:Yes)、ブロック内部を4
分割し(S1202)、水平かつ垂直方向に4分割したブロックの各処理を行う(S12
03)。
When it is determined that the inside of the block is divided into four (S1201: Yes), the inside of the block is divided into four.
It is divided (S1202), and each process of the block divided into four in the horizontal and vertical directions is performed (S12).
03).
ブロック内部を4分割しないと判断した場合(S1201:No)、ブロック内部を再
び2分割するかどうかを判断する(S1204)。
When it is determined that the inside of the block is not divided into four (S1201: No), it is determined whether or not the inside of the block is divided into two again (S1204).
再び2分割すると判断した場合(S1204:Yes)、ブロック内部を垂直方向に分
割し(S1205)、垂直方向に2分割したブロックの各処理を行う(S1206)。
When it is determined that the block is divided into two again (S1204: Yes), the inside of the block is divided in the vertical direction (S1205), and each process of the block divided into two in the vertical direction is performed (S1206).
再び2分割しないと判断した場合(S1204:No)、ブロックの内部を再分割せず
ブロック分割処理を終了する(S1207)。
When it is determined that the block is not divided into two again (S1204: No), the block division process is terminated without subdividing the inside of the block (S1207).
図11にツリーブロックの分割が水平方向に2分割された場合の分割されたブロックの
再分割の様子を示す。ここで、親ブロックであるツリーブロックが水平方向に2分割され
た場合、分割されたブロックの再2分割では、垂直方向のみの2分割を許容し、自動的に
垂直方向に2分割する。また、親ブロックであるツリーブロックが2分割された場合、子
ブロックでは4分割も完全に禁止することも可能である。これにより、親ブロックと同一
方向にブロックが分割されることを禁止できるため、より横方向に細長い長方形となるブ
ロック分割を防止でき、符号化・復号化の処理がしやすくなる。
FIG. 11 shows a state of subdivision of the divided blocks when the division of the tree block is divided into two in the horizontal direction. Here, when the tree block, which is the parent block, is divided into two in the horizontal direction, the divided block is re-divided into two, allowing only the vertical division into two, and automatically dividing the divided block into two in the vertical direction. Further, when the tree block which is the parent block is divided into two, it is possible to completely prohibit the division into four in the child block. As a result, it is possible to prohibit the block from being divided in the same direction as the parent block, so that it is possible to prevent the block from being divided into a rectangular shape that is elongated in the horizontal direction, and it becomes easier to perform coding / decoding processing.
図10のフローチャートに示す処理が水平方向に2分割された各ブロックについて実行
される。2分割されたブロックの内部も上、下の順に符号化及び復号化していく。
The process shown in the flowchart of FIG. 10 is executed for each block divided into two in the horizontal direction. The inside of the block divided into two is also encoded and decoded in the order of top and bottom.
続いて、ツリーブロックを垂直方向に2分割した場合の分割された各ブロックの処理に
ついて図12のフローチャートを用いて説明する。
Subsequently, the processing of each of the divided blocks when the tree block is divided into two in the vertical direction will be described with reference to the flowchart of FIG.
ツリーブロックを垂直方向に2分割した場合、2分割された各ブロックは、まず、ブロ
ック内部を水平及び垂直方向に4分割するかどうかを判断する(S1301)。
When the tree block is divided into two in the vertical direction, each of the divided blocks first determines whether or not the inside of the block is divided into four in the horizontal and vertical directions (S1301).
ブロック内部を4分割すると判断した場合(S1301:Yes)、ブロック内部を4
分割し(S1302)、水平かつ垂直方向に4分割したブロックの各処理を行う(S13
03)。
When it is determined that the inside of the block is divided into four (S1301: Yes), the inside of the block is divided into four.
It is divided (S1302), and each process of the block divided into four in the horizontal and vertical directions is performed (S13).
03).
ブロック内部を4分割しないと判断した場合(S1301:No)、ブロック内部を再
び2分割するかどうかを判断する(S1304)。
When it is determined that the inside of the block is not divided into four (S1301: No), it is determined whether or not the inside of the block is divided into two again (S1304).
再び2分割すると判断した場合(S1304:Yes)、ブロック内部を水平方向に分
割し(S1305)、水平方向に2分割したブロックの各処理を行う(S1306)。
When it is determined that the block is divided into two again (S1304: Yes), the inside of the block is divided in the horizontal direction (S1305), and each process of the block divided into two in the horizontal direction is performed (S1306).
再び2分割しないと判断した場合(S1304:No)、ブロックの内部を再分割せず
ブロック分割処理を終了する(S1307)。
When it is determined that the block is not divided into two again (S1304: No), the block division process is terminated without subdividing the inside of the block (S1307).
図13にツリーブロックの分割が垂直方向に2分割された場合の分割されたブロックの
再分割の様子を示す。ここで、親ブロックであるツリーブロックが垂直方向に2分割され
た場合、分割されたブロックの再2分割では、水平方向のみの2分割を許容し、自動的に
水平方向に2分割する。また、親ブロックであるツリーブロックが2分割された場合、子
ブロックでは4分割も完全に禁止することも可能である。これにより、親ブロックと同一
方向にブロックが分割されることを禁止できるため、より縦方向に細長い長方形となるブ
ロック分割を防止でき、符号化・復号化の処理がしやすくなる。
FIG. 13 shows a state of subdivision of the divided blocks when the division of the tree block is divided into two in the vertical direction. Here, when the tree block, which is the parent block, is divided into two in the vertical direction, the divided block is re-divided into two, allowing only the horizontal division into two, and automatically dividing the divided block into two in the horizontal direction. Further, when the tree block which is the parent block is divided into two, it is possible to completely prohibit the division into four in the child block. As a result, it is possible to prohibit the block from being divided in the same direction as the parent block, so that it is possible to prevent the block from being divided into a rectangular shape that is elongated in the vertical direction, and it becomes easier to perform coding / decoding processing.
図12のフローチャートに示す処理が垂直方向に2分割された各ブロックについて実行
される。2分割されたブロックの内部も左、右の順に符号化及び復号化していく。
The process shown in the flowchart of FIG. 12 is executed for each block vertically divided into two. The inside of the block divided into two is also encoded and decoded in the order of left and right.
なお、ツリーブロックが分割された時の分割されたブロックの再分割について説明した
が、親ブロックがツリーブロックでなくてもよい。例えば、ツリーブロック(128x1
28)を4分割し、4分割されたブロック(64x64)をさらに4分割又は2分割した
場合に、再分割されたブロックの分割にも上記処理を適用していく。
Although the subdivision of the divided block when the tree block is divided has been described, the parent block does not have to be the tree block. For example, a tree block (128x1)
When 28) is divided into four and the four-divided block (64x64) is further divided into four or two, the above processing is also applied to the subdivision of the subdivided block.
次に、画像復号化装置200のブロック分割部202の動作について説明する。画像符
号化装置100のブロック分割部101と同じ処理手順でブロックを分割するが、画像符
号化装置100のブロック分割部101では、ブロック分割のパターンを選択し、選択し
たブロック分割情報を出力するのに対して、画像復号化装置のブロック分割部202は、
符号化ビットストリームから復号化されたブロック分割情報を用いてブロックを分割する
こと、また、符号化ビットストリームからブロック分割情報を復号化する際に、同一方向
への再分割が禁止される状況では、選択肢のない情報はビットストリーム内で伝送しない
シンタックス構造となっていることが異なる。
Next, the operation of the
When dividing a block using the block division information decoded from the coded bit stream, or when decoding the block division information from the coded bit stream, subdivision in the same direction is prohibited. The difference is that information without options has a syntax structure that is not transmitted within the bitstream.
第1の実施の形態のブロック分割に関するシンタックス(符号化ビットストリームの構
文規則)の例を図14に示す。ツリーブロックの内部の分割は、まず4分割をするかどう
かのフラグ(4_division_flag)を送受信する。4分割する場合(4_division_flagが1)
は、ツリーブロック内を4分割して処理を終了する。その後4分割されたブロックについ
て再度図14に示すシンタックスで内部を再分割する。4分割しない場合(4_division_f
lagが0)は、2分割するかどうかのフラグ(2_division_flag)を送受信する。2分割す
る場合(2_division_flagが1)は、さらに、2分割する方向を示すフラグ(2_division_d
irection)を送受信する。2_division_directionが1の場合は垂直方向への分割を示し、2
_division_directionが0の場合は水平方向への分割を示す。その後2分割されたブロック
について再度図14に示すシンタックスでブロック内部を再分割する。2分割しない場合
(2_division_flagが0)は、ツリーブロックを分割せずに処理を終了する。
FIG. 14 shows an example of the syntax (coded bitstream syntax rule) relating to the block division of the first embodiment. The internal division of the tree block first sends and receives a flag (4_division_flag) as to whether or not to divide into four. When dividing into 4 (4_division_flag is 1)
Divides the inside of the tree block into four and ends the process. After that, the inside of the block divided into four is subdivided again by the syntax shown in FIG. When not dividing into 4 (4_division_f
When lag is 0), a flag (2_division_flag) for whether or not to divide into two is transmitted and received. When dividing into two (2_division_flag is 1), a flag indicating the direction of dividing into two (2_division_d)
irection) is sent and received. 2 When _division_direction is 1, it indicates a vertical division, and 2
When _division_direction is 0, it indicates horizontal division. After that, the inside of the block divided into two is subdivided again by the syntax shown in FIG. If it is not divided into two (2_division_flag is 0), the process ends without dividing the tree block.
ここで、4分割又は2分割されたブロックの内部を再分割する処理について説明する。
ブロック内部を再分割する処理も図14に示すシンタックスを用いるが、ツリーブロック
を分割する場合と比較して、2分割する場合の分割方向に制限があることが異なる。つま
り、ツリーブロックを2分割している場合、2分割されたブロックの内部を再分割する場
合には、ツリーブロックを2分割した分割方向と同一の方向で分割することを禁止する。
これにより、分割されたブロックがより細長い長方形になることを防止し、イントラ予測
やインター予測で必要となるメモリ帯域の増加を防止することができる。メモリ帯域の増
加の防止についての詳細は後述する。
Here, the process of subdividing the inside of the block divided into four or two will be described.
The syntax shown in FIG. 14 is also used for the process of subdividing the inside of the block, but it differs from the case where the tree block is divided in that there is a limitation in the division direction when the tree block is divided into two. That is, when the tree block is divided into two, and when the inside of the divided block is subdivided, it is prohibited to divide the tree block in the same direction as the dividing direction.
As a result, it is possible to prevent the divided blocks from becoming a more elongated rectangle, and to prevent an increase in the memory bandwidth required for intra-prediction and inter-prediction. Details on preventing the increase in memory bandwidth will be described later.
また、同一方向に2分割した数をカウントして所定回数を超えた場合に同一方向に分割
することを制限してももちろんよい。例えば、2回まで同一方向への2分割を許可するが
、3回目からは同一方向への2分割を禁止する。
Further, it is of course possible to count the number of two divisions in the same direction and limit the division in the same direction when the predetermined number of times is exceeded. For example, two divisions in the same direction are permitted up to two times, but two divisions in the same direction are prohibited from the third time.
図14では、4分割を優先して選択し、4分割するかどうかの情報を2分割するかどう
かの情報よりも先に送受信するシンタックスとした。一方、2分割を優先して選択する場
合、2分割するかどうかの情報を4分割するかどうかの情報よりも先に送受信するシンタ
ックスとすることも可能である。確率的により発生しやすい事象を先に送受信する方がビ
ットストリームとして伝送する符号量が少なくなるためである。つまり、予め4分割と2
分割のどちらが発生しやすいか推定し、より発生しやすい分割情報を先にする送受信する
シンタックスとしてもよい。例えば、画像のヘッダ情報で4分割を優先するか、2分割を
優先するかを送受信することで、符号化装置が適応的に符号化効率の高い優先分割数を決
定して、復号化装置では選択された優先分割数に基づいたシンタックスでツリーブロック
内部を分割することもできる。
In FIG. 14, the four divisions are preferentially selected, and the information on whether or not to divide into four is used as the syntax for transmitting and receiving before the information on whether or not to divide into two. On the other hand, when the information on whether or not to divide into two is preferentially selected, the syntax may be such that the information on whether or not to divide into two is transmitted and received before the information on whether or not to divide into four. This is because the amount of code transmitted as a bit stream is smaller when an event that is more probabilistically likely to occur is transmitted and received first. That is, 4 divisions and 2 in advance
It may be a syntax for estimating which of the divisions is more likely to occur and sending and receiving the division information that is more likely to occur first. For example, by transmitting and receiving whether to prioritize 4-division or 2-division in the header information of the image, the encoding device adaptively determines the number of priority divisions having high coding efficiency, and the decoding device determines the number of priority divisions. It is also possible to divide the inside of the tree block by a syntax based on the selected priority division number.
画像符号化装置100及び画像復号化装置200において、分割されたブロックを用い
てイントラ予測やインター予測が行われる。イントラ予測、インター予測ともにメモリか
らの画素のコピーを伴う。
In the
図15(a)〜図15(d)にイントラ予測の一例を示す。図15(a)及び図15(
b)はイントラ予測の予測方向とモード番号を示す。イントラ予測は、図15(c)及び
図15(d)に示すように、符号化・復号化対象ブロックに近接する符号化・復号化済の
画素から画素をコピーすることで符号化・復号化対象ブロックの予測画像を生成する。イ
ントラ予測では、ブロック単位で予測画像生成から符号化・復号化画素生成を繰り返すた
め、処理順序がブロック単位でシーケンシャルとなり、ブロック内部を小さく分割するほ
ど全体の処理の負荷が大きくなる。また、ブロックの形状が細長い長方形になるほどメモ
リからの画素コピーの処理が大きくなる。また、符号化・復号化には残差信号の直交変換
を行うため、長方形のサイズの種類が多くなればなるほど必要な直交変換の種類が多くな
り、その結果回路規模の増大につながる。そのため、ブロック内部を2分割する場合に、
親ブロックの分割方法と同一方向に2分割することを制限することで、イントラ予測で必
要となるメモリ帯域の増加を防止することができる。
15 (a) to 15 (d) show an example of intra-prediction. 15 (a) and 15 (Fig. 15 (a))
b) indicates the prediction direction and mode number of the intra prediction. As shown in FIGS. 15 (c) and 15 (d), the intra prediction is encoded / decoded by copying a pixel from an encoded / decoded pixel close to the coded / decoded target block. Generate a predicted image of the target block. In intra-prediction, since the prediction image generation and the encoding / decoding pixel generation are repeated in block units, the processing order is sequential in block units, and the smaller the block is divided, the heavier the overall processing load. Further, the longer the block shape is, the larger the pixel copy processing from the memory becomes. Further, since the orthogonal transformation of the residual signal is performed for coding / decoding, the more types of rectangular sizes are required, the more types of orthogonal transformation are required, and as a result, the circuit scale is increased. Therefore, when dividing the inside of the block into two,
By limiting the division into two in the same direction as the division method of the parent block, it is possible to prevent an increase in the memory bandwidth required for intra-prediction.
図16にインター予測の一例を示す。インター予測は、符号化・復号化済の画像に含ま
れる画素からブロック単位で画素をコピーすることで符号化・復号化対象ブロックの予測
画像を生成する。インター予測では、参照画像からブロック単位で画素をコピーする際に
、必要な画素が含まれるメモリの管理単位での取得が必要な装置の構成となることが多い
。そのため、ブロックを小さく分割するほど、また、ブロックの形状が細長い長方形にな
るほど、全体の処理の負荷が大きくなる。また、参照画像に対して補間フィルタを用いた
小数精度の動き補償を行う場合には、ブロック内に含まれる画素に数画素を加えた画素の
コピーが必要となり、ブロックの大きさが小さいほど、追加する数画素の相対的な比率が
大きくなり、全体の処理の負荷が大きくなる。そのため、ブロック内部を2分割する場合
に、親のブロックの分割方向と同一方向に2分割することを制限することで、インター予
測で必要となるメモリ帯域の増加を防止することができる。
FIG. 16 shows an example of inter-prediction. Inter-prediction generates a predicted image of a block to be encoded / decoded by copying pixels in block units from pixels included in the encoded / decoded image. In inter-prediction, when copying pixels from a reference image in block units, it is often the case that the device needs to be acquired in the management unit of the memory including the necessary pixels. Therefore, the smaller the block is divided and the longer the block is formed into an elongated rectangle, the greater the overall processing load becomes. Further, when performing decimal-precision motion compensation using an interpolation filter on a reference image, it is necessary to copy pixels in which several pixels are added to the pixels included in the block, and the smaller the block size, the more. The relative ratio of several pixels to be added becomes large, and the load of the whole processing becomes large. Therefore, when the inside of the block is divided into two, it is possible to prevent an increase in the memory bandwidth required for inter-prediction by limiting the division into two in the same direction as the division direction of the parent block.
続いて、イントラ予測での輝度信号と色差信号の関係について説明する。輝度信号と色
差信号間のフォーマットとして、4:2:0、4:2:2、4:4:4などが従来から知
られている。図17(a)に示す4:2:0フォーマットは、輝度信号を水平/垂直方向
ともに2画素をサンプリングするのに対して、色差信号を水平/垂直方向ともに1画素を
サンプリングする。人間の目は色差信号よりも輝度信号をより敏感に知覚できるため、輝
度信号よりも色差信号の情報量を減らしている。図17(b)に示す4:2:2フォーマ
ットは、輝度信号を水平方向に2画素をサンプリングするのに対して、色差信号を水平方
向に1画素サンプリングする。垂直方向については、輝度信号を垂直方向に2画素をサン
プリングするのに対して、色差信号を垂直方向に2画素サンプリングする。図17(c)
に示す4:4:4フォーマットは、輝度信号を水平/垂直方向に2画素をサンプリングす
るのに対して、色差信号を水平/垂直方向ともに2画素をサンプリングする。
Next, the relationship between the luminance signal and the color difference signal in the intra prediction will be described. As a format between the luminance signal and the color difference signal, 4: 2: 0, 4: 2: 2, 4: 4: 4, and the like have been conventionally known. In the 4: 2: 0 format shown in FIG. 17 (a), the brightness signal samples two pixels in the horizontal / vertical direction, whereas the color difference signal samples one pixel in the horizontal / vertical direction. Since the human eye can perceive the luminance signal more sensitively than the luminance signal, the amount of information of the luminance signal is reduced compared to the luminance signal. In the 4: 2: 2 format shown in FIG. 17B, the luminance signal is sampled in two pixels in the horizontal direction, whereas the color difference signal is sampled in one pixel in the horizontal direction. In the vertical direction, the luminance signal is sampled in two pixels in the vertical direction, whereas the color difference signal is sampled in two pixels in the vertical direction. FIG. 17 (c)
The 4: 4: 4 format shown in (1) samples two pixels in the horizontal / vertical direction for the brightness signal, whereas it samples two pixels in the horizontal / vertical direction for the color difference signal.
画像符号化で最も広く使用されている4:2:0フォーマットを例として本実施の形態
を説明する。ブロック分割部101、202は、画像の輝度信号を分割して輝度ブロック
を生成する輝度ブロック分割部と、画像の色差信号を分割して色差ブロックを生成する色
差ブロック分割部とを含み、イントラ予測において、輝度信号と色差信号をそれぞれ独立
してブロック分割する。つまり、イントラ予測では輝度ブロックの大きさと色差ブロック
の大きさは独立して決定される。イントラ予測では、輝度信号と色差信号のそれぞれが周
辺画素から画素値をコピーするため、輝度信号と色差信号を独立してブロック分割すると
予測効率が高まる。それに対して、インター予測については輝度信号と色差信号を一緒に
扱ってブロック分割する。つまり、インター予測では輝度ブロックの大きさと色差ブロッ
クの大きさは同一である。インター予測では動き補償において輝度と色差を区別する必要
がないためである。
The present embodiment will be described by taking the most widely used 4: 2: 0 format in image coding as an example. The
予測画像生成部102、204は、輝度信号を予測する輝度信号予測部と、色差信号を
予測する色差信号予測部とを含み、色差信号予測部は、イントラ予測における色差信号の
予測効率を高めるため、輝度信号の符号化・復号化済画素から色差信号を予測する輝度色
差イントラ予測を行う。輝度色差イントラ予測では、プライマリ信号をセカンダリ信号よ
りも先に符号化・復号化し、符号化・復号化済のプライマリ信号を用いてセカンダリ信号
を予測する。ここで、4:2:0フォーマットや4:2:2フォーマットでは色差信号よ
りも輝度信号の情報量が多いため、輝度信号をプライマリ信号とし、色差信号をセカンダ
リ信号とする。4:4:4フォーマットでは、輝度信号と色差信号の情報量は同じである
が、他のフォーマットに合わせて、輝度信号をプライマリ信号とし、色差信号をセカンダ
リ信号とするのが普通である。
The prediction
図18は、輝度色差イントラ予測を説明する図であり、図19は、輝度色差イントラ予
測を説明するフローチャートである。
FIG. 18 is a diagram for explaining the luminance color difference intra prediction, and FIG. 19 is a flowchart for explaining the luminance color difference intra prediction.
図18に示すように、輝度色差イントラ予測は、輝度ブロック10の符号化・復号化済
の周辺画素12a、12bと、色差ブロック14の符号化・復号化済の周辺画素16a、
16bとの間の相関度合いに基づいて行われる。輝度色差イントラ予測は、色差信号を予
測するものであるから、相関度合いを算出する対象となる周辺画素は、符号化・復号化対
象の色差ブロックの周辺画素を基準にして規定される。すなわち、色差ブロックに対して
決まる周辺画素と同一位置にある輝度ブロックの周辺画素が相関度合いの算出の対象とな
る。
As shown in FIG. 18, the luminance color difference intra-prediction includes the encoded / decoded
It is performed based on the degree of correlation with 16b. Since the luminance color difference intra prediction predicts a color difference signal, the peripheral pixels for which the degree of correlation is calculated are defined with reference to the peripheral pixels of the color difference block to be encoded / decoded. That is, the peripheral pixels of the luminance block located at the same position as the peripheral pixels determined for the color difference block are the targets of the calculation of the degree of correlation.
まず、符号化・復号化済の輝度信号の周辺画素と色差信号の周辺画素間の相関度合いを
算出する(S1901)。続いて、符号化・復号化対象ブロックの符号化・復号化済輝度
信号をダウンサンプルする(S1902)。ここで、ダウンサンプルするフィルタタイプ
を複数準備してフィルタタイプを選択できるようにしてもよい。例えば、強度の異なるフ
ィルタを準備して複数のフィルタタイプを選択する、又は、フィルタのタップ数が異なる
フィルタを準備して複数のフィルタタイプを選択するようにしてもよい。フィルタタイプ
は周辺画素間の相関度合いを用いて自動選択してもよく、フィルタタイプをビットストリ
ーム内に符号化・復号化して伝送してもよい。また、周辺画素間の相関度合いを用いて符
号化・復号化対象ブロックの輝度信号のダウンサンプルフィルタを決定するのでなければ
、ステップS1901とステップS1902の処理は順不同であり、ステップS1901
とステップS1902は並列処理可能である。
First, the degree of correlation between the peripheral pixels of the encoded / decoded luminance signal and the peripheral pixels of the color difference signal is calculated (S1901). Subsequently, the coded / decoded luminance signal of the coded / decoded target block is downsampled (S1902). Here, a plurality of filter types to be downsampled may be prepared so that the filter type can be selected. For example, filters having different intensities may be prepared and a plurality of filter types may be selected, or filters having different tap counts may be prepared and a plurality of filter types may be selected. The filter type may be automatically selected by using the degree of correlation between peripheral pixels, or the filter type may be encoded / decoded in a bit stream and transmitted. Further, unless the downsample filter of the luminance signal of the block to be encoded / decoded is determined by using the degree of correlation between the peripheral pixels, the processes of step S1901 and step S1902 are in no particular order, and step S1901
And step S1902 can be processed in parallel.
最後に、周辺画素間の相関度合いに基づいて、ダウンサンプルした輝度信号から色差信
号を予測する(S1903)。ダウンサンプルは、4:2:0フォーマットの場合は、水
平/垂直方向に1/2となる。4:2:2フォーマットの場合は、水平方向に1/2とな
り、垂直方向にはダウンサンプルしない。4:4:4フォーマットの場合は、水平/垂直
方向ともにダウンサンプルしない。
Finally, the color difference signal is predicted from the downsampled luminance signal based on the degree of correlation between the peripheral pixels (S1903). The downsample is halved in the horizontal / vertical direction in the case of 4: 2: 0 format. In the case of 4: 2: 2 format, it is halved in the horizontal direction and is not downsampled in the vertical direction. In the case of 4: 4: 4 format, do not downsample in both horizontal and vertical directions.
輝度色差イントラ予測では、符号化・復号化対象ブロックの輝度信号の符号化・復号化
が完了した後に、色差信号の予測処理を開始できる。そのため、色差ブロックの予測処理
を開始できるタイミングは、輝度ブロックのサイズと色差ブロックのサイズに依存する。
In the luminance color difference intra prediction, the color difference signal prediction processing can be started after the coding / decoding of the luminance signal of the block to be encoded / decoded is completed. Therefore, the timing at which the color difference block prediction process can be started depends on the size of the luminance block and the size of the color difference block.
図20(a)及び図20(b)は、色差ブロックのサイズが輝度ブロックのサイズより
も大きい場合の輝度色差イントラ予測を説明する図である。図20(a)に示す4分割さ
れた第1〜第4輝度ブロック20a、20b、20c、20dの画素数は16x16であ
り、図20(b)に示す色差ブロック20eの画素数は16x16である。
20 (a) and 20 (b) are diagrams for explaining the luminance color difference intra prediction when the size of the luminance block is larger than the size of the luminance block. The number of pixels of the first to
ここで、輝度ブロックと色差ブロックのサイズの比較は、ブロック内の画素数での比較
ではなく、色差フォーマットを考慮した面積での比較である。即ち、4:2:0フォーマ
ットにおいて、輝度ブロックが占める面積は、色差ブロックが占める面積の1/2である
から、輝度ブロックの画素数が16x16であり、色差ブロックの画素数が16x16で
ある場合、輝度ブロックのサイズの方が小さい。4:2:0フォーマットにおいて、輝度
ブロックの画素数が16x16であり、色差ブロックの画素数が8x8である場合、両者
のブロックが占める面積は同一であり、輝度ブロックと色差ブロックは同一のサイズであ
る。
Here, the comparison of the sizes of the luminance block and the color difference block is not a comparison based on the number of pixels in the block, but a comparison based on the area considering the color difference format. That is, in the 4: 2: 0 format, the area occupied by the luminance block is 1/2 of the area occupied by the luminance block, so that the number of pixels of the luminance block is 16x16 and the number of pixels of the luminance block is 16x16. , The size of the brightness block is smaller. In the 4: 2: 0 format, when the number of pixels of the luminance block is 16x16 and the number of pixels of the color difference block is 8x8, the area occupied by both blocks is the same, and the luminance block and the color difference block have the same size. is there.
輝度ブロックと色差ブロックのサイズの比較を、ブロックの面積の比較ではなく、ブロ
ック内の画素数の比較で行うには、色差フォーマットにおける輝度信号と色差信号の比率
で色差ブロックの画素数を輝度ブロックの画素数に換算すればよい。4:2:0フォーマ
ットの場合、輝度信号の画素数は色差信号の画素数の2倍であるから、色差ブロックの縦
横の画素数を2倍して輝度ブロックの縦横の画素数に換算する。たとえば、4:2:0フ
ォーマットにおいて、輝度ブロックのサイズが16x16であり、色差ブロックのサイズ
が16x16である場合、輝度ブロックの画素数に換算した色差ブロックの換算サイズは
32x32になり、色差ブロックのサイズの方が大きいことがわかる。
To compare the size of the luminance block and the color difference block by comparing the number of pixels in the block instead of comparing the area of the block, the number of pixels of the luminance block is determined by the ratio of the luminance signal to the luminance signal in the luminance format. It may be converted into the number of pixels of. In the case of the 4: 2: 0 format, the number of pixels of the luminance signal is twice the number of pixels of the color difference signal, so the number of vertical and horizontal pixels of the color difference block is doubled and converted into the number of vertical and horizontal pixels of the luminance block. For example, in the 4: 2: 0 format, when the size of the luminance block is 16x16 and the size of the luminance block is 16x16, the converted size of the luminance block converted to the number of pixels of the luminance block is 32x32, and the color difference block You can see that the size is larger.
イントラ予測はブロック単位で復号処理を完了した後に、続くブロックの予測処理が可
能になる。つまり、第1輝度ブロック20aの復号が完了した後に、第2輝度ブロック2
0bの復号が可能になり、第2輝度ブロック20bの復号が完了した後に、第3輝度ブロ
ック20cの復号が可能になり、第3輝度ブロック20cの復号が完了した後に、第4輝
度ブロック20dの復号が可能になる。
Intra-prediction enables prediction processing of subsequent blocks after completing decoding processing in block units. That is, after the decoding of the
After the decoding of 0b becomes possible and the decoding of the
色差ブロックのサイズが輝度ブロックのサイズよりも大きい場合、色差ブロック20e
の予測処理に必要な周辺画素は、輝度画素、色差画素ともに4つの輝度ブロック20a、
20b、20c、20dの復号前に存在しており、4つの輝度ブロック20a、20b、
20c、20dの復号を待たずに、図19のステップS1901の輝度信号の周辺画素と
色差信号の周辺画素間の相関度合いを算出可能である。
When the size of the color difference block is larger than the size of the luminance block, the
The peripheral pixels required for the prediction process are the four
It exists before decoding 20b, 20c, 20d, and the four
It is possible to calculate the degree of correlation between the peripheral pixels of the luminance signal and the peripheral pixels of the color difference signal in step S1901 of FIG. 19 without waiting for the decoding of 20c and 20d.
次に、第1輝度ブロック20aの復号完了後、図19のステップS1902の輝度信号
のダウンサンプルを実行する。第2輝度ブロック20bの復号完了を待たずに、第1輝度
ブロック20aの位置に対応する色差ブロック20eの画素が予測可能である。同様に、
第2輝度ブロック20bの復号完了後、輝度信号のダウンサンプルを実行し、第3輝度ブ
ロック20cの復号完了を待たずに、第2輝度ブロック20bの位置に対応する色差ブロ
ック20eの画素を予測する。さらに、第3輝度ブロック20cの復号完了後、輝度信号
のダウンサンプルを実行し、第4輝度ブロック20dの復号完了を待たずに、第3輝度ブ
ロック20cの位置に対応する色差ブロック20eの画素を予測する。最後に、第4輝度
ブロック20dの復号完了後、輝度信号のダウンサンプルを実行し、第4輝度ブロック2
0dの位置に対応する色差ブロック20eの画素を予測する。
Next, after the decoding of the
After the decoding of the
The pixel of the
図21(a)及び図21(b)は、色差ブロックのサイズが輝度ブロックのサイズより
も小さい場合の輝度色差イントラ予測を説明する図である。図21(a)に示す輝度ブロ
ック21aの画素数は16x16であり、図21(b)に示す4分割された第1〜第4色
差ブロック21b、21c、21d、21eの画素数は4x4である。
21 (a) and 21 (b) are diagrams for explaining the luminance color difference intra prediction when the size of the luminance block is smaller than the size of the luminance block. The number of pixels of the
4:2:0フォーマットにおいて、輝度ブロックが占める面積は、色差ブロックが占め
る面積の1/2であるから、輝度ブロックの画素数が16x16であり、色差ブロックの
画素数が4x4である場合、色差ブロックのサイズの方が小さい。輝度ブロックと色差ブ
ロックのサイズの比較を、ブロックの面積の比較ではなく、ブロック内の画素数の比較で
行うには、4:2:0フォーマットの場合、色差ブロックの縦横の画素数を2倍して輝度
ブロックの縦横の画素数に換算する。4:2:0フォーマットにおいて、輝度ブロックの
サイズが16x16であり、色差ブロックのサイズが4x4である場合、輝度ブロックの
画素数に換算した色差ブロックの換算サイズは8x8になり、色差ブロックのサイズの方
が小さいことがわかる。
In the 4: 2: 0 format, the area occupied by the luminance block is 1/2 of the area occupied by the color difference block. Therefore, when the number of pixels of the luminance block is 16x16 and the number of pixels of the luminance block is 4x4, the color difference The block size is smaller. To compare the size of the luminance block and the color difference block by comparing the number of pixels in the block instead of comparing the area of the block, in the case of 4: 2: 0 format, the number of vertical and horizontal pixels of the color difference block is doubled. Then, it is converted into the number of vertical and horizontal pixels of the luminance block. In the 4: 2: 0 format, when the size of the luminance block is 16x16 and the size of the color difference block is 4x4, the converted size of the luminance block converted to the number of pixels of the luminance block is 8x8, which is the size of the color difference block. You can see that it is smaller.
色差ブロックのサイズが輝度ブロックのサイズよりも小さい場合、第1色差ブロック2
1bの周辺画素は、輝度画素、色差画素ともに輝度ブロック21aの復号前から利用でき
るが、第2〜第4色差ブロック21c、21d、21eの周辺画素は、輝度ブロック21
aの復号が完了しないと利用できない。つまり、輝度ブロック21aの復号が完了し、第
1色差ブロック21bの復号が完了しないと、第2色差ブロック21cについて、図19
のステップS1901の輝度信号の周辺画素と色差信号の周辺画素間の相関度合いを算出
できない。同様に、第3色差ブロック21dについて、輝度ブロック21aの復号が完了
し、第1、第2色差ブロック21b、21cの復号が完了しないと、第3色差ブロック2
1dについて、輝度信号の周辺画素と色差信号の周辺画素間の相関度合いを算出できない
。同様に、第4色差ブロック21eについて、輝度ブロック21aの復号が完了し、第1
〜第3色差ブロック21b、21c、21dの復号が完了しないと、第4色差ブロック2
1eについて、輝度信号の周辺画素と色差信号の周辺画素間の相関度合いを算出できない
。
When the size of the color difference block is smaller than the size of the luminance block, the first
The peripheral pixels of 1b can be used before decoding the
It cannot be used until the decoding of a is completed. That is, if the decoding of the
The degree of correlation between the peripheral pixels of the luminance signal and the peripheral pixels of the color difference signal in step S1901 cannot be calculated. Similarly, for the third
For 1d, the degree of correlation between the peripheral pixels of the luminance signal and the peripheral pixels of the color difference signal cannot be calculated. Similarly, for the fourth
-If the decoding of the third color difference blocks 21b, 21c, 21d is not completed, the fourth
For 1e, the degree of correlation between the peripheral pixels of the luminance signal and the peripheral pixels of the color difference signal cannot be calculated.
このように、色差ブロックのサイズが輝度ブロックのサイズよりも小さい場合、輝度色
差イントラ予測を行うと、色差ブロックの予測処理において、輝度ブロックと色差ブロッ
ク間及び色差ブロック間で処理の依存関係があり並列処理に向かない。そこで、色差ブロ
ックのサイズが輝度ブロックのサイズよりも小さい場合、輝度色差イントラ予測を制限す
る。輝度色差イントラ予測を制限する方法としては、(1)シンタックスで制限する、(
2)イントラ色差モードを置き換える、(3)周辺画素を置き換える、などがある。
In this way, when the size of the color difference block is smaller than the size of the luminance block, when the luminance color difference intra prediction is performed, there is a processing dependency between the luminance block and the luminance block and between the luminance blocks in the color difference block prediction processing. Not suitable for parallel processing. Therefore, when the size of the color difference block is smaller than the size of the luminance block, the luminance color difference intra prediction is limited. As a method of limiting the luminance color difference intra-prediction, (1) limit by syntax, (
2) Replace the intra color difference mode, (3) Replace the peripheral pixels, and so on.
図22にイントラ色差予測モードのシンタックスの例を示す。色差予測モードの番号が
0の場合、輝度予測モードと同一のイントラ予測モードを色差予測モードに使用する。例
えば、輝度予測モードが水平予測モードの場合、色差予測モードも水平予測モードとなる
。色差予測モードの番号が1の場合、平均値モード(DCモード)を使用する。DCモー
ドは周辺画素の平均値でイントラ予測する。色差予測モードの番号が2の場合、輝度色差
イントラ予測モードを使用する。
FIG. 22 shows an example of the syntax of the intra color difference prediction mode. When the number of the color difference prediction mode is 0, the same intra prediction mode as the luminance prediction mode is used for the color difference prediction mode. For example, when the luminance prediction mode is the horizontal prediction mode, the color difference prediction mode is also the horizontal prediction mode. When the number of the color difference prediction mode is 1, the average value mode (DC mode) is used. In DC mode, intra-prediction is made based on the average value of peripheral pixels. When the number of the color difference prediction mode is 2, the luminance color difference intra prediction mode is used.
輝度色差イントラ予測を制限する方法として、(1)シンタックスで制限する場合、モ
ード2は輝度色差イントラ予測を表すため使用禁止となる。つまり、モード2は伝送され
ず、イントラ色差モードはモード0とモード1から選択される。
As a method of limiting the luminance color difference intra prediction, (1) when limiting by syntax,
輝度色差イントラ予測を制限する方法として、(2)イントラ色差モードを置き換える
場合、色差予測モードの番号がモード2として指定された場合に、輝度色差イントラ予測
モードではなく、代わりに垂直予測モードを使用する。ただし、置き換える予測モードは
垂直予測モードに限らず、他の予測モードでもよい。また、モード0の輝度予測モードと
モード2で置き換えるモードが同一になり、使用するモードが重複することがないように
することがより好ましい。
As a method of limiting the luminance color difference intra prediction, (2) when replacing the intra color difference mode, when the color difference prediction mode number is specified as
輝度色差イントラ予測を制限する方法として、(3)周辺画素を置き換える場合、図1
9のステップS1901の輝度信号の周辺画素と色差信号の周辺画素間の相関度合いを算
出するための周辺画素を置き換える。図21の第2〜第4色差ブロック21c、21d、
21eにおいても輝度ブロック21aの復号を待たずに周辺画素の相関度合いを算出でき
るようにする。
As a method of limiting the luminance color difference intra-prediction, (3) when replacing peripheral pixels, FIG.
The peripheral pixels for calculating the degree of correlation between the peripheral pixels of the luminance signal and the peripheral pixels of the color difference signal in step S1901 of 9 are replaced. The second to fourth color difference blocks 21c and 21d in FIG. 21
Also in 21e, the degree of correlation of peripheral pixels can be calculated without waiting for the decoding of the
周辺画素の置き換えの例を図23に示す。第2色差ブロック21cの左辺の周辺画素と
して通常は第1色差ブロック21b内の画素を使用するが、第1色差ブロック21b内の
画素を使用するには、輝度ブロック21a及び第1色差ブロック21bの復号完了を待つ
必要がある。そこで、輝度ブロック21aの復号完了を待たずに使用可能な領域21fを
第2色差ブロック21cの周辺画素として使用する。同様に、第3色差ブロック21dに
ついても、輝度ブロック21aの復号完了を待たずに使用可能な領域21fを第3色差ブ
ロック21dの周辺画素として使用する。同様に、第4色差ブロック21eについても、
輝度ブロック21aの復号完了を待たずに使用可能な領域21fを第4色差ブロック21
eの周辺画素として使用する。
An example of replacing peripheral pixels is shown in FIG. Normally, the pixels in the first
The fourth color difference block 21 covers the
It is used as a peripheral pixel of e.
このように、第1の実施の形態では、輝度色差イントラ予測を行う際に、色差ブロック
のサイズが輝度ブロックのサイズよりも小さい場合、輝度色差イントラ予測を制限するこ
とにより、輝度ブロックと色差ブロック間で処理の依存関係を緩和することが可能になる
。これにより、輝度ブロックと色差ブロックの並列処理が可能になり、符号化・復号化の
処理量を削減できる。
As described above, in the first embodiment, when the luminance color difference intra prediction is performed, when the size of the luminance block is smaller than the size of the luminance block, the luminance block and the luminance block are limited by limiting the luminance color difference intra prediction. It becomes possible to relax the processing dependency between them. As a result, parallel processing of the luminance block and the color difference block becomes possible, and the amount of coding / decoding processing can be reduced.
(第2の実施の形態)
本発明の第2の実施の形態について説明する。第2の実施の形態では、輝度ブロックと
色差ブロックのサイズの大小関係ではなく、輝度ブロックのサイズと色差ブロックのサイ
ズのそれぞれを独立に評価して輝度色差イントラ予測を制限することが第1の実施の形態
とは異なり、それ以外の構成と動作は第1の実施の形態と同じである。
(Second Embodiment)
A second embodiment of the present invention will be described. In the second embodiment, not the magnitude relationship between the luminance block and the color difference block, but the size of the luminance block and the size of the luminance block are evaluated independently to limit the luminance color difference intra-prediction. Unlike the first embodiment, the other configurations and operations are the same as those of the first embodiment.
まず、輝度ブロックのサイズに基づく制限について説明する。図24(a)〜図24(
c)に輝度ブロックのサイズの違いによる輝度色差イントラ予測を示す。図24(a)、
図24(b)に示すように、第1輝度ブロック24aは第1色差ブロック24eの位置に
対応し、第2輝度ブロック24bは第2色差ブロック24fの位置に対応し、第3輝度ブ
ロック24cは第3色差ブロック24gの位置に対応し、第4輝度ブロック24dは第4
色差ブロック24hの位置に対応する。また、図24(c)の輝度ブロック24iは、図
24(b)の第1〜第4色差ブロック24e、24f、24g、24hの位置に対応する
。
First, the limitation based on the size of the luminance block will be described. 24 (a) to 24 (Fig. 24)
C) shows the luminance color difference intra prediction due to the difference in the size of the luminance block. FIG. 24 (a),
As shown in FIG. 24B, the
Corresponds to the position of the
輝度ブロックと色差ブロックの依存関係について説明する。図24(a)のように輝度
ブロックのサイズが小さい場合、第1輝度ブロック24aの復号が完了すると、第1色差
ブロック24eの復号が可能になる。第2輝度ブロック24bの復号が完了すると、第2
色差ブロック24fの復号が可能になる。第3輝度ブロック24cの復号が完了すると、
第3色差ブロック24gの復号が可能になる。第4輝度ブロック24dの復号が完了する
と、第4色差ブロック24hの復号が可能になる。
The dependency between the luminance block and the color difference block will be described. When the size of the luminance block is small as shown in FIG. 24A, when the decoding of the
Decoding of the
Decoding of the third
一方、図24(c)のように輝度ブロックのサイズが大きい場合、輝度ブロック24i
の復号が完了しないと、第1〜第4色差ブロック24e、24f、24g、24hの復号
はすべて可能にならない。
On the other hand, when the size of the luminance block is large as shown in FIG. 24 (c), the
If the decoding of the first to fourth
輝度ブロックの分割と色差ブロックの分割を独立して決定する場合、輝度ブロックの絶
対サイズが大きいと、色差ブロックのサイズが輝度ブロックのサイズよりも小さくなる可
能性が高まる。そこで、輝度ブロックの絶対サイズが所定サイズ以上の場合、対応する色
差ブロックの輝度色差イントラ予測を制限する。
When the division of the luminance block and the division of the luminance block are determined independently, if the absolute size of the luminance block is large, the size of the luminance block is likely to be smaller than the size of the luminance block. Therefore, when the absolute size of the luminance block is equal to or larger than a predetermined size, the luminance color difference intra prediction of the corresponding color difference block is limited.
同様に、色差ブロックの絶対サイズが小さいと、色差ブロックのサイズが輝度ブロック
のサイズよりも小さくなる可能性が高まる。そこで、色差ブロックの絶対サイズが所定サ
イズ以下の場合、色差ブロックの輝度色差イントラ予測を制限する。
Similarly, if the absolute size of the color difference block is small, it is more likely that the size of the color difference block will be smaller than the size of the luminance block. Therefore, when the absolute size of the color difference block is equal to or less than a predetermined size, the luminance color difference intra prediction of the color difference block is limited.
輝度色差イントラ予測の制限方法は、第1の実施の形態と同様である。 The method for limiting the luminance color difference intra-prediction is the same as that in the first embodiment.
このように、第2の実施の形態では、輝度ブロックの絶対サイズが閾値よりも大きい場
合、又は、色差ブロックの絶対サイズが閾値よりも小さい場合に、輝度色差イントラ予測
を制限する。これにより、色差ブロックのサイズが輝度ブロックのサイズよりも小さくな
る場合を予想して、輝度色差イントラ予測を制限し、輝度ブロックと色差ブロック間で処
理の依存関係を確率的に緩和することが可能になる。
As described above, in the second embodiment, the luminance color difference intra prediction is limited when the absolute size of the luminance block is larger than the threshold value or when the absolute size of the luminance block is smaller than the threshold value. This makes it possible to limit the luminance color difference intra-prediction and stochastically relax the processing dependency between the luminance blocks and the luminance blocks in anticipation of the case where the size of the luminance block is smaller than the size of the luminance block. become.
(第3の実施の形態)
本発明の第3の実施の形態について説明する。第3の実施の形態では、ブロック分割部
101において、色差ブロックのサイズが輝度ブロックのサイズより小さくならないよう
に、色差ブロックを分割することが第1の実施の形態とは異なり、それ以外の構成と動作
は第1の実施の形態と同じである。ブロック分割部101は、色差ブロックを分割する際
、色差ブロックのサイズが輝度ブロックのサイズ未満になるような分割を禁止する。これ
により、輝度色差イントラ予測において、色差ブロックのサイズが輝度ブロックのサイズ
より小さくなることが回避され、輝度ブロックと色差ブロックの並列処理が常に可能にな
る。
(Third Embodiment)
A third embodiment of the present invention will be described. In the third embodiment, the
以上述べた実施の形態の画像符号化装置が出力する画像の符号化ビットストリームは、
実施の形態で用いられた符号化方法に応じて復号化することができるように特定のデータ
フォーマットを有しており、画像符号化装置に対応する画像復号化装置がこの特定のデー
タフォーマットの符号化ビットストリームを復号化することができる。
The coded bit stream of the image output by the image coding apparatus of the above-described embodiment is
It has a specific data format so that it can be decoded according to the coding method used in the embodiment, and the image decoding device corresponding to the image coding device has a code of this specific data format. The converted bitstream can be decrypted.
画像符号化装置と画像復号化装置の間で符号化ビットストリームをやりとりするために
、有線または無線のネットワークが用いられる場合、符号化ビットストリームを通信路の
伝送形態に適したデータ形式に変換して伝送してもよい。その場合、画像符号化装置が出
力する符号化ビットストリームを通信路の伝送形態に適したデータ形式の符号化データに
変換してネットワークに送信する送信装置と、ネットワークから符号化データを受信して
符号化ビットストリームに復元して画像復号化装置に供給する受信装置とが設けられる。
When a wired or wireless network is used to exchange the coded bitstream between the image encoding device and the image decoding device, the coded bitstream is converted into a data format suitable for the transmission form of the communication path. May be transmitted. In that case, a transmission device that converts the coded bit stream output by the image coding device into coded data in a data format suitable for the transmission form of the communication path and transmits the coded data to the network, and a transmission device that receives the coded data from the network and receives the coded data. A receiving device that restores the coded bitstream and supplies it to the image decoding device is provided.
送信装置は、画像符号化装置が出力する符号化ビットストリームをバッファするメモリ
と、符号化ビットストリームをパケット化するパケット処理部と、パケット化された符号
化データをネットワークを介して送信する送信部とを含む。受信装置は、パケット化され
た符号化データをネットワークを介して受信する受信部と、受信された符号化データをバ
ッファするメモリと、符号化データをパケット処理して符号化ビットストリームを生成し
、画像復号化装置に提供するパケット処理部とを含む。
The transmission device includes a memory that buffers the coded bit stream output by the image coding device, a packet processing unit that packets the coded bit stream, and a transmission unit that transmits the packetized coded data via the network. And include. The receiving device generates a coded bit stream by packet processing the coded data and a receiver for receiving the packetized coded data via the network, a memory for buffering the received coded data, and a packet process for the coded data. Includes a packet processing unit provided to the image decoding device.
また、画像復号化装置で復号化された画像を表示する表示部を構成に追加することで、
表示装置とすることも可能である。その場合、表示部は、復号画像信号重畳部205によ
り生成され、復号画像メモリ206に格納された復号画像信号を読み出して画面に表示す
る。
In addition, by adding a display unit that displays the image decoded by the image decoding device to the configuration,
It can also be used as a display device. In that case, the display unit reads the decoded image signal generated by the decoded image
また、撮像部を構成に追加し、撮像した画像を画像符号化装置に入力することで、撮像
装置とすることも可能である。その場合、撮像部は、撮像した画像信号をブロック分割部
101に入力する。
It is also possible to use the image pickup device by adding the image pickup unit to the configuration and inputting the captured image into the image coding device. In that case, the imaging unit inputs the captured image signal to the
以上の符号化及び復号化に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置
として実現することができるのは勿論のこと、ROM(リード・オンリ・メモリ)やフラ
ッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによ
っても実現することができる。そのファームウェアプログラム、ソフトウェアプログラム
をコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無
線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放
送のデータ放送として提供することも可能である。
The above processing related to encoding and decoding can be realized as a transmission, storage, and receiving device using hardware, and is stored in a ROM (read-only memory), a flash memory, or the like. It can also be realized by the existing firmware or software such as a computer. The firmware program and software program may be recorded on a recording medium readable by a computer or the like and provided, or provided from a server via a wired or wireless network, or provided as terrestrial or satellite digital broadcasting data broadcasting. Is also possible.
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構
成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例
も本発明の範囲にあることは当業者に理解されるところである。
The present invention has been described above based on the embodiments. Embodiments are examples, and it will be understood by those skilled in the art that various modifications are possible for each of these components and combinations of each processing process, and that such modifications are also within the scope of the present invention. ..
100 画像符号化装置、 101 ブロック分割部、 102 予測画像生成部、
103 残差信号生成部、 104 直交変換・量子化部、 105 符号化ビット列生
成部、 106 逆量子化・逆直交変換部、 107 復号画像信号重畳部、 108
復号画像メモリ、 200 画像復号化装置、 201 ビット列復号部、 202 ブ
ロック分割部、 203 逆量子化・逆直交変換部、 204 予測画像生成部、 20
5 復号画像信号重畳部、 206 復号画像メモリ。
100 image encoding device, 101 block division unit, 102 prediction image generation unit,
103 Residual signal generation unit, 104 Orthogonal conversion / quantization unit, 105 Coding bit string generation unit, 106 Inverse quantization / inverse orthogonal conversion unit, 107 Decoded image signal superimposition unit, 108
Decoded image memory, 200 image decoding device, 201 bit string decoding unit, 202 block division unit, 203 inverse quantization / inverse orthogonal conversion unit, 204 prediction image generation unit, 20
5 Decoded image signal superimposition unit, 206 Decoded image memory.
Claims (6)
前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割部と、
前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割部と、
プライマリ信号を予測するプライマリ信号予測部と、
セカンダリ信号を予測するセカンダリ信号予測部とを含み、
前記プライマリ信号ブロックと前記セカンダリ信号ブロックは、イントラ予測の場合にはそれぞれ独立して分割され、インター予測の場合には一緒に分割され、
前記プライマリ信号は輝度信号、前記セカンダリ信号は色差信号であり、
前記セカンダリ信号予測部は、符号化されたプライマリ信号からセカンダリ信号を予測するコンポーネント間予測が可能であり、前記プライマリ信号ブロックのサイズが所定サイズ以上の場合、前記コンポーネント間予測の使用を禁止する、
ことを特徴とする画像符号化装置。 An image coding device that divides an image into blocks and encodes the divided blocks.
A primary signal block dividing unit that divides the primary signal of the image into rectangles of a predetermined size to generate a primary signal block, and
A secondary signal block dividing unit that divides the secondary signal of the image into rectangles of a predetermined size to generate a secondary signal block, and
The primary signal predictor that predicts the primary signal,
Includes a secondary signal prediction unit that predicts secondary signals
In the case of intra-prediction , the primary signal block and the secondary signal block are divided independently, and in the case of inter-prediction, they are divided together.
The primary signal is a luminance signal, the secondary signal is a color difference signal, and
The secondary signal prediction unit can perform inter-component prediction that predicts a secondary signal from a coded primary signal, and when the size of the primary signal block is a predetermined size or more, the use of the inter-component prediction is prohibited.
An image encoding device characterized in that.
前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割ステップと、
前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割ステップと、
プライマリ信号を予測するプライマリ信号予測ステップと、
セカンダリ信号を予測するセカンダリ信号予測ステップとを含み、
前記プライマリ信号ブロックと前記セカンダリ信号ブロックは、イントラ予測の場合にはそれぞれ独立して分割され、インター予測の場合には一緒に分割され、
前記プライマリ信号は輝度信号、前記セカンダリ信号は色差信号であり、
前記セカンダリ信号予測ステップは、符号化されたプライマリ信号からセカンダリ信号を予測するコンポーネント間予測が可能であり、前記プライマリ信号ブロックのサイズが所定サイズ以上の場合、前記コンポーネント間予測の使用を禁止する、
ことを特徴とする画像符号化方法。 An image coding method that divides an image into blocks and encodes the divided blocks.
A primary signal block division step of dividing the primary signal of the image into rectangles of a predetermined size to generate a primary signal block, and
A secondary signal block division step of dividing the secondary signal of the image into rectangles of a predetermined size to generate a secondary signal block, and
The primary signal prediction step for predicting the primary signal and
Includes a secondary signal prediction step that predicts the secondary signal
In the case of intra-prediction , the primary signal block and the secondary signal block are divided independently, and in the case of inter-prediction, they are divided together.
The primary signal is a luminance signal, the secondary signal is a color difference signal, and
The secondary signal prediction step enables inter-component prediction that predicts a secondary signal from a coded primary signal, and prohibits the use of the inter-component prediction when the size of the primary signal block is a predetermined size or more.
An image coding method characterized by the fact that.
前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割ステップと、
前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割ステップと、
プライマリ信号を予測するプライマリ信号予測ステップと、
セカンダリ信号を予測するセカンダリ信号予測ステップとをコンピュータに実行させ、
前記プライマリ信号ブロックと前記セカンダリ信号ブロックは、イントラ予測の場合にはそれぞれ独立して分割され、インター予測の場合には一緒に分割され、
前記プライマリ信号は輝度信号、前記セカンダリ信号は色差信号であり、
前記セカンダリ信号予測ステップは、符号化されたプライマリ信号からセカンダリ信号を予測するコンポーネント間予測が可能であり、前記プライマリ信号ブロックのサイズが所定サイズ以上の場合、前記コンポーネント間予測の使用を禁止する、
ことを特徴とする画像符号化プログラム。 An image coding program that divides an image into blocks and encodes the divided blocks.
A primary signal block division step of dividing the primary signal of the image into rectangles of a predetermined size to generate a primary signal block, and
A secondary signal block division step of dividing the secondary signal of the image into rectangles of a predetermined size to generate a secondary signal block, and
The primary signal prediction step for predicting the primary signal and
Have the computer perform a secondary signal prediction step and a secondary signal prediction step to predict the secondary signal.
In the case of intra-prediction , the primary signal block and the secondary signal block are divided independently, and in the case of inter-prediction, they are divided together.
The primary signal is a luminance signal, the secondary signal is a color difference signal, and
The secondary signal prediction step enables inter-component prediction that predicts a secondary signal from a coded primary signal, and prohibits the use of the inter-component prediction when the size of the primary signal block is a predetermined size or more.
An image coding program characterized by this.
前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割部と、
前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割部と、
プライマリ信号を予測するプライマリ信号予測部と、
セカンダリ信号を予測するセカンダリ信号予測部とを含み、
前記プライマリ信号ブロックと前記セカンダリ信号ブロックは、イントラ予測の場合にはそれぞれ独立して分割され、インター予測の場合には一緒に分割され、
前記プライマリ信号は輝度信号、前記セカンダリ信号は色差信号であり、
前記セカンダリ信号予測部は、復号化されたプライマリ信号からセカンダリ信号を予測するコンポーネント間予測が可能であり、前記プライマリ信号ブロックのサイズが所定サイズ以上の場合、前記コンポーネント間予測の使用を禁止する、
ことを特徴とする画像復号化装置。 An image decoding device that decodes an image in block units.
A primary signal block dividing unit that divides the primary signal of the image into rectangles of a predetermined size to generate a primary signal block, and
A secondary signal block dividing unit that divides the secondary signal of the image into rectangles of a predetermined size to generate a secondary signal block, and
The primary signal predictor that predicts the primary signal,
Includes a secondary signal prediction unit that predicts secondary signals
In the case of intra-prediction , the primary signal block and the secondary signal block are divided independently, and in the case of inter-prediction, they are divided together.
The primary signal is a luminance signal, the secondary signal is a color difference signal, and
The secondary signal prediction unit can perform inter-component prediction that predicts a secondary signal from the decoded primary signal, and when the size of the primary signal block is a predetermined size or more, the use of the inter-component prediction is prohibited.
An image decoding device characterized in that.
前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割ステップと、
前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割ステップと、
プライマリ信号を予測するプライマリ信号予測ステップと、
セカンダリ信号を予測するセカンダリ信号予測ステップとを含み、
前記プライマリ信号ブロックと前記セカンダリ信号ブロックは、イントラ予測の場合にはそれぞれ独立して分割され、インター予測の場合には一緒に分割され、
前記プライマリ信号は輝度信号、前記セカンダリ信号は色差信号であり、
前記セカンダリ信号予測ステップは、復号化されたプライマリ信号からセカンダリ信号を予測するコンポーネント間予測が可能であり、前記プライマリ信号ブロックのサイズが所定サイズ以上の場合、前記コンポーネント間予測の使用を禁止する、
ことを特徴とする画像復号化方法。 This is an image decoding method that decodes an image in block units.
A primary signal block division step of dividing the primary signal of the image into rectangles of a predetermined size to generate a primary signal block, and
A secondary signal block division step of dividing the secondary signal of the image into rectangles of a predetermined size to generate a secondary signal block, and
The primary signal prediction step for predicting the primary signal and
Includes a secondary signal prediction step that predicts the secondary signal
In the case of intra-prediction , the primary signal block and the secondary signal block are divided independently, and in the case of inter-prediction, they are divided together.
The primary signal is a luminance signal, the secondary signal is a color difference signal, and
The secondary signal prediction step can perform inter-component prediction that predicts a secondary signal from a decoded primary signal, and when the size of the primary signal block is a predetermined size or more, the use of the inter-component prediction is prohibited.
An image decoding method characterized by that.
前記画像のプライマリ信号を所定サイズの矩形に分割してプライマリ信号ブロックを生成するプライマリ信号ブロック分割ステップと、
前記画像のセカンダリ信号を所定サイズの矩形に分割してセカンダリ信号ブロックを生成するセカンダリ信号ブロック分割ステップと、
プライマリ信号を予測するプライマリ信号予測ステップと、
セカンダリ信号を予測するセカンダリ信号予測ステップとをコンピュータに実行させ、
前記プライマリ信号ブロックと前記セカンダリ信号ブロックは、イントラ予測の場合にはそれぞれ独立して分割され、インター予測の場合には一緒に分割され、
前記プライマリ信号は輝度信号、前記セカンダリ信号は色差信号であり、
前記セカンダリ信号予測ステップは、復号化されたプライマリ信号からセカンダリ信号を予測するコンポーネント間予測が可能であり、前記プライマリ信号ブロックのサイズが所定サイズ以上の場合、前記コンポーネント間予測の使用を禁止する、
ことを特徴とする画像復号化プログラム。
An image decoding program that decodes an image in block units.
A primary signal block division step of dividing the primary signal of the image into rectangles of a predetermined size to generate a primary signal block, and
A secondary signal block division step of dividing the secondary signal of the image into rectangles of a predetermined size to generate a secondary signal block, and
The primary signal prediction step for predicting the primary signal and
Have the computer perform a secondary signal prediction step and a secondary signal prediction step to predict the secondary signal.
In the case of intra-prediction , the primary signal block and the secondary signal block are divided independently, and in the case of inter-prediction, they are divided together.
The primary signal is a luminance signal, the secondary signal is a color difference signal, and
The secondary signal prediction step can perform inter-component prediction that predicts a secondary signal from a decoded primary signal, and when the size of the primary signal block is a predetermined size or more, the use of the inter-component prediction is prohibited.
An image decoding program characterized by this.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020031700A JP6879401B2 (en) | 2020-02-27 | 2020-02-27 | Image coding device, image coding method and image coding program, and image decoding device, image decoding method and image decoding program. |
JP2021069711A JP7183334B2 (en) | 2020-02-27 | 2021-04-16 | Image encoding device, image encoding method and image encoding program, image decoding device, image decoding method and image decoding program |
JP2021141337A JP2022019711A (en) | 2020-02-27 | 2021-08-31 | Image encoding device, image encoding method, image encoding program, image decoding device, image decoding method and image decoding program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020031700A JP6879401B2 (en) | 2020-02-27 | 2020-02-27 | Image coding device, image coding method and image coding program, and image decoding device, image decoding method and image decoding program. |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017089252A Division JP6680260B2 (en) | 2017-04-28 | 2017-04-28 | IMAGE ENCODING DEVICE, IMAGE ENCODING METHOD, IMAGE ENCODING PROGRAM, IMAGE DECODING DEVICE, IMAGE DECODING METHOD, AND IMAGE DECODING PROGRAM |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021069711A Division JP7183334B2 (en) | 2020-02-27 | 2021-04-16 | Image encoding device, image encoding method and image encoding program, image decoding device, image decoding method and image decoding program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020092456A JP2020092456A (en) | 2020-06-11 |
JP6879401B2 true JP6879401B2 (en) | 2021-06-02 |
Family
ID=71013209
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020031700A Active JP6879401B2 (en) | 2020-02-27 | 2020-02-27 | Image coding device, image coding method and image coding program, and image decoding device, image decoding method and image decoding program. |
JP2021069711A Active JP7183334B2 (en) | 2020-02-27 | 2021-04-16 | Image encoding device, image encoding method and image encoding program, image decoding device, image decoding method and image decoding program |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021069711A Active JP7183334B2 (en) | 2020-02-27 | 2021-04-16 | Image encoding device, image encoding method and image encoding program, image decoding device, image decoding method and image decoding program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6879401B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021114780A (en) * | 2020-02-27 | 2021-08-05 | 株式会社Jvcケンウッド | Image encoding device, image encoding method and image encoding program, and image decoding device, image decoding method and image decoding program |
JP2022019711A (en) * | 2020-02-27 | 2022-01-27 | 株式会社Jvcケンウッド | Image encoding device, image encoding method, image encoding program, image decoding device, image decoding method and image decoding program |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013034163A (en) * | 2011-06-03 | 2013-02-14 | Sony Corp | Image processing device and image processing method |
JP5678814B2 (en) * | 2011-06-20 | 2015-03-04 | 株式会社Jvcケンウッド | Image encoding device, image encoding method, image encoding program, transmission device, transmission method, and transmission program |
JP5898452B2 (en) * | 2011-10-13 | 2016-04-06 | 日本放送協会 | Intra prediction apparatus, encoding apparatus, decoding apparatus, and program |
JP6005572B2 (en) * | 2013-03-28 | 2016-10-12 | Kddi株式会社 | Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, and program |
WO2015005418A1 (en) * | 2013-07-10 | 2015-01-15 | Kddi株式会社 | Video encoding device, video decoding device, video system, video encoding method, video decoding method, and program |
US9648330B2 (en) * | 2013-07-15 | 2017-05-09 | Qualcomm Incorporated | Inter-color component residual prediction |
JP6747430B2 (en) * | 2015-03-27 | 2020-08-26 | ソニー株式会社 | Image processing apparatus, image processing method and program |
JP6680260B2 (en) * | 2017-04-28 | 2020-04-15 | 株式会社Jvcケンウッド | IMAGE ENCODING DEVICE, IMAGE ENCODING METHOD, IMAGE ENCODING PROGRAM, IMAGE DECODING DEVICE, IMAGE DECODING METHOD, AND IMAGE DECODING PROGRAM |
JP6879401B2 (en) * | 2020-02-27 | 2021-06-02 | 株式会社Jvcケンウッド | Image coding device, image coding method and image coding program, and image decoding device, image decoding method and image decoding program. |
-
2020
- 2020-02-27 JP JP2020031700A patent/JP6879401B2/en active Active
-
2021
- 2021-04-16 JP JP2021069711A patent/JP7183334B2/en active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021114780A (en) * | 2020-02-27 | 2021-08-05 | 株式会社Jvcケンウッド | Image encoding device, image encoding method and image encoding program, and image decoding device, image decoding method and image decoding program |
JP2022019711A (en) * | 2020-02-27 | 2022-01-27 | 株式会社Jvcケンウッド | Image encoding device, image encoding method, image encoding program, image decoding device, image decoding method and image decoding program |
JP7183334B2 (en) | 2020-02-27 | 2022-12-05 | 合同会社IP Bridge1号 | Image encoding device, image encoding method and image encoding program, image decoding device, image decoding method and image decoding program |
Also Published As
Publication number | Publication date |
---|---|
JP7183334B2 (en) | 2022-12-05 |
JP2021114780A (en) | 2021-08-05 |
JP2020092456A (en) | 2020-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2770686C1 (en) | Image encoding device, image encoding method, image decoding device and image decoding method | |
JP6879401B2 (en) | Image coding device, image coding method and image coding program, and image decoding device, image decoding method and image decoding program. | |
KR102522615B1 (en) | Image coding device, image coding method and image coding program, and image decoding device, image decoding method and image decoding program | |
JP2022019711A (en) | Image encoding device, image encoding method, image encoding program, image decoding device, image decoding method and image decoding program | |
JP7276549B2 (en) | Image encoding device, image encoding method and image encoding program, image decoding device, image decoding method and image decoding program | |
RU2773145C9 (en) | Picture encoding device, picture encoding method, picture decoding device and picture decoding method | |
RU2754635C9 (en) | Image encoding device, image encoding method, computer readable medium with image encoding program, image decoding device, image decoding method and computer readable medium with image decoding program | |
JP2023101760A (en) | Image encoding device, image encoding method, image encoding program, image decoding device, image decoding method and image decoding program | |
RU2749503C9 (en) | Picture encoding device, picture encoding method and computer readable medium with picture encoding program, and picture decoding device, picture decoding method and computer readable medium with picture decoding program | |
RU2773145C1 (en) | Image encoding device, image encoding method, image decoding device and image decoding method | |
JP2021052426A (en) | Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method, and image decoding program | |
JP2020010342A (en) | Image encoding device, image encoding method, image encoding program, image decoding device, image decoding method, and image decoding program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20210216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210412 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6879401 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313135 |
|
SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z02 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313135 |
|
SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z02 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |