JP2019087850A - Region dividing device, divided region combining device, encoding device, decoding device, and program - Google Patents
Region dividing device, divided region combining device, encoding device, decoding device, and program Download PDFInfo
- Publication number
- JP2019087850A JP2019087850A JP2017213813A JP2017213813A JP2019087850A JP 2019087850 A JP2019087850 A JP 2019087850A JP 2017213813 A JP2017213813 A JP 2017213813A JP 2017213813 A JP2017213813 A JP 2017213813A JP 2019087850 A JP2019087850 A JP 2019087850A
- Authority
- JP
- Japan
- Prior art keywords
- area
- divided
- image
- unit
- scan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、領域分割装置、分割領域合成装置、符号化装置、復号装置、及びこれらのプログラムに関する。 The present invention relates to a region dividing device, a divided region combining device, an encoding device, a decoding device, and programs thereof.
８Ｋに代表される高解像度画像（ＵＨＤＴＶ）は情報量が多いため、これを実時間で符号化・復号する際には、領域分割を用いた並列分散処理が行われることがある（例えば、非特許文献１及び特許文献１参照）。この並列分散処理では、高解像度画像を空間／時間方向に領域分割し、複数の分割領域のそれぞれを個別の符号化器によって同時に圧縮符号化（以下、単に「符号化」という。）することで、分割領域数分の符号化データを実時間で出力する。各符号化器から出力される符号化データは、まとめて復号装置に伝送される。復号装置は、符号化装置と同様に分割領域数分の復号器で構成されており、各分割領域のそれぞれを個別の復号器によって復号する。復号装置は、復号された各分割領域の画像を合成することで高解像度画像を出力する。ここで用いた符号化器及び復号器は、高解像度画像の処理を可能とする性能を有している必要はなく、より解像度の低い画像の処理を可能とする性能を有していればよい。なお、空間方向の領域分割とは１フレームを空間的に分割することを指し、時間方向の領域分割とは複数フレームを時間的に分割する（間引く）ことを指す。 Since high-resolution images (UHDTV) represented by 8K have a large amount of information, parallel distributed processing using area division may be performed when encoding / decoding them in real time (for example, non- Patent Document 1 and Patent Document 1). In this parallel distributed processing, a high resolution image is divided into space / time directions, and each of a plurality of divided areas is simultaneously compression-coded (hereinafter simply referred to as "coding") by separate encoders. The encoded data corresponding to the number of divided areas is output in real time. The encoded data output from each encoder are collectively transmitted to the decoding device. The decoding apparatus is composed of decoders for the number of divided areas as in the coding apparatus, and each of the divided areas is decoded by an individual decoder. The decoding apparatus outputs a high resolution image by combining the decoded images of the divided areas. The encoder and decoder used here do not have to have the ability to process high-resolution images, as long as they have the ability to process lower-resolution images. . Note that the area division in the space direction refers to dividing one frame spatially, and the area division in the time direction refers to dividing (thinning) a plurality of frames in time.
画像を空間方向に領域分割して処理する場合、各分割領域をまたいだイントラ予測（画面内予測）が不可能であり、分割領域間の連続性が絶たれるため、分割領域間の境界が不連続な画像となってしまう。また、各分割領域の符号化劣化の度合いが分割領域ごとに異なることによっても、分割領域間の境界が不連続な画像となってしまう。 When an image is divided into regions in the spatial direction and processed, intra prediction (intra-frame prediction) across each divided region is impossible, and continuity between divided regions is broken, so the boundaries between divided regions are not complete. It will be a continuous image. In addition, the boundary between the divided areas becomes a discontinuous image even when the degree of coding deterioration of each divided area is different for each divided area.
この分割領域間の不連続性を回避する方法として、分割領域間の境界に平滑化フィルタ処理を行うことが考えられる。他方で、連続するフレーム間で、スライス境界を異なる位置に設定する技術が知られている（例えば、特許文献２及び特許文献３）。
As a method of avoiding the discontinuity between the divided areas, it is conceivable to perform smoothing filter processing on the boundaries between the divided areas. On the other hand, there are known techniques for setting slice boundaries at different positions between consecutive frames (for example,
しかし、分割領域間の境界に対して平滑化フィルタ処理を行う場合には、図１２に示すように、このフィルタ処理自体が画像劣化を招き、フィルタ処理を行った領域だけがぼやけて目立つことがある。また、平滑化フィルタを適用することで領域画像間の境界の不連続性が回避されたとしても、図１３に示すようにフィルタ処理を行った領域と、その両サイドに位置するフィルタ処理を行わない領域の間において、新たな不連続境界が視認されるといった課題がある。 However, when the smoothing filter process is performed on the boundary between divided areas, as shown in FIG. 12, the filtering process itself causes image deterioration, and only the area subjected to the filter process is blurred and conspicuous. is there. In addition, even if discontinuity of the boundary between the area images is avoided by applying the smoothing filter, as shown in FIG. 13, the filtering process is performed on the area subjected to the filtering process and both sides thereof. There is a problem that a new discontinuous boundary is visually recognized between the non-regions.
また、特許文献２及び特許文献３に開示された技術は、スライス境界の不連続性を目立たなくさせることが可能であるが、画面をスライスに分割し処理する場合に適用可能な技術であって、複数の符号化器・復号器を用いた処理に対応するものではない。
Further, the techniques disclosed in
かかる事情に鑑みてなされた本発明の目的は、原画像を分割して符号化・復号する場合に、分割領域の境界における不連続性を低減することが可能な領域分割装置、分割領域合成装置、符号化装置、復号装置、及びこれらのプログラムを提供することにある。 An object of the present invention made in view of such circumstances is an area dividing device capable of reducing discontinuity at the boundary of divided areas when dividing and encoding / decoding an original image, a divided area combining apparatus , An encoding device, a decoding device, and these programs.
上記課題を解決するため、本発明に係る領域分割装置は、原画像を複数行及び複数列に分割する領域分割部と、前記領域分割部により分割された分割領域ごとにラスタスキャンした画像を出力するスキャン部と、を備え、前記スキャン部は、奇数行の分割領域に対して右下又は左下からラスタスキャンし、偶数行の分割領域に対して右上又は左上からラスタスキャンすることを特徴とする。 In order to solve the above problems, an area dividing device according to the present invention outputs an image obtained by raster scanning an area dividing unit which divides an original image into a plurality of lines and a plurality of columns and divided areas divided by the area dividing unit. A scanning unit for performing raster scanning from the lower right or lower left with respect to the odd-numbered divided regions, and raster scanning from the upper right or upper left for the even-numbered divided regions. .
さらに、本発明に係る領域分割装置において、前記スキャン部は、奇数列の分割領域に対して右下又は右上からラスタスキャンし、偶数列の分割領域に対して左下又は左上からラスタスキャンすることを特徴とする。 Furthermore, in the area dividing device according to the present invention, the scanning unit performs raster scanning from the lower right or upper right with respect to the odd-numbered divided area and raster scanning from the lower left or upper left with respect to the even-numbered divided area. It features.
また、上記課題を解決するため、本発明に係る符号化装置は、上記領域分割装置と、前記スキャン部によりラスタスキャンされた画像ごとに符号化する符号化器と、を備えることを特徴とする。 Further, in order to solve the above-mentioned problems, the encoding device according to the present invention is characterized by comprising the above-mentioned area dividing device, and an encoder which encodes each image raster-scanned by the scanning unit. .
さらに、本発明に係る符号化装置において、前記符号化器は、前記分割領域が隣接する境界部の量子化パラメータを同一の値とすることを特徴とする。 Further, in the encoding apparatus according to the present invention, the encoder sets the quantization parameter of the boundary where the divided areas are adjacent to each other as the same value.
さらに、本発明に係る符号化装置において、前記符号化器は、前記分割領域が隣接する境界部においてインター予測を行わないことを特徴とする。 Furthermore, in the encoding apparatus according to the present invention, the encoder is characterized in that inter prediction is not performed at a boundary where the divided regions are adjacent.
また、上記課題を解決するため、本発明に係る分割領域合成装置は、複数の復号画像をラスタスキャンした領域画像を出力するスキャン部と、前記領域画像を複数行及び複数列に配置して合成する領域画像合成部と、を備え、前記スキャン部は、前記領域画像合成部における配置が奇数行となる分割領域に対して右下又は左下からラスタスキャンし、前記領域画像合成部における配置が偶数行となる分割領域に対して右上又は左上からラスタスキャンすることを特徴とする。 Further, in order to solve the above problems, the divided area combining apparatus according to the present invention includes a scan unit that outputs an area image obtained by raster scanning a plurality of decoded images, and arranging the area image in multiple lines and multiple columns and combining them. An area image combining unit, and the scan unit performs raster scanning from the lower right or lower left to the divided areas where the arrangement in the area image combining unit is an odd line, and the arrangement in the area image combining unit is even It is characterized in that raster scanning is performed from the upper right or the upper left with respect to a divided area which is a line.
さらに、本発明に係る分割領域合成装置において、前記スキャン部は、前記領域画像合成部における配置が奇数列となる分割領域に対して右下又は右上からラスタスキャンし、前記領域画像合成部における配置が偶数列となる分割領域に対して左下又は左上からラスタスキャンすることを特徴とする。 Furthermore, in the divided area combining apparatus according to the present invention, the scan unit performs raster scan from the lower right or upper right to the divided area where the arrangement in the area image combining unit is an odd number row, and the arrangement in the area image combining unit It is characterized in that raster scanning is performed from the lower left or the upper left with respect to the division area in which is an even column.
また、上記課題を解決するため、本発明に係る復号装置は、上記分割領域合成装置と、 複数の入力データを復号して前記複数の復号画像を生成する復号器と、を備えることを特徴とする。 Further, in order to solve the above problems, a decoding device according to the present invention is characterized by comprising: the divided area combining device; and a decoder that decodes a plurality of input data to generate the plurality of decoded images. Do.
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記領域分割装置、符号化装置、分割領域合成装置、又は復号装置として機能させることを特徴とする。 Further, in order to solve the above problems, a program according to the present invention causes a computer to function as the above-described area dividing device, encoding device, divided area combining device, or decoding device.
本発明によれば、領域画像が隣接する境界部においてイントラ予測を用いて分割領域を符号化・復号する場合に、それぞれの分割領域内の符号化済みブロックの画像に影響を受けることがなくなり、分割領域の境界における不連続性を低減することができる。 According to the present invention, when encoding and decoding a divided area using intra prediction at the boundary where the area image is adjacent, the image of the coded block in each divided area is not affected. Discontinuities at the boundaries of divided regions can be reduced.
以下、本発明の一実施形態について、図面を参照して詳細に説明する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
（領域分割装置、符号化装置）
本発明の一実施形態に係る領域分割装置及び符号化装置について、以下に説明する。図１に、本発明の一実施形態に係る領域分割装置及び符号化装置の構成例を示す。図１に示す符号化装置１は、領域分割装置１０と、複数の符号化器２０とを備える。また、領域分割装置１０は、領域分割部１１と、複数のスキャン部１２とを備える。
(Area division device, encoding device)
An area dividing apparatus and an encoding apparatus according to an embodiment of the present invention will be described below. FIG. 1 shows a configuration example of a region dividing device and an encoding device according to an embodiment of the present invention. The encoding device 1 shown in FIG. 1 includes a region dividing
領域分割部１１は、原画像を複数行及び複数列に分割する。図２は、領域分割部１１による処理例を示す図である。図２に示すように、本実施形態では、原画像を２行２列に分割し、等しいサイズの４つの分割領域を生成する。原画像が８Ｋサイズ（７６８０×４３２０画素）の画像（以下、「８Ｋ画像」という。）である場合には、各分割領域により形成される画像は４Ｋサイズ（３８４０×２１６０画素）の画像（以下、「４Ｋ画像」という。）となる。本実施形態では、領域分割部１１により原画像が４分割されるため、スキャン部１２を４つ（１２−１〜１２−４）有するとともに、符号化器２０も４つ（２０−１〜２０−４）有する。 The area dividing unit 11 divides the original image into a plurality of lines and a plurality of columns. FIG. 2 is a diagram illustrating an example of processing performed by the area division unit 11. As shown in FIG. 2, in the present embodiment, the original image is divided into two rows and two columns, and four divided areas of equal size are generated. When the original image is an image of 8K size (7680 × 4320 pixels) (hereinafter referred to as “8K image”), the image formed by each divided area is an image of 4K size (3840 × 2160 pixels) (hereinafter referred to as “image”) , "4K image." In the present embodiment, since the original image is divided into four by the area dividing unit 11, four scanning units 12 (12-1 to 12-4) are provided, and four encoders 20 (20-1 to 20- 20). -4) Have.
スキャン部１２は、領域分割部１１により分割された分割領域ごとにラスタスキャンした画像を符号化器２０に出力する。 The scan unit 12 outputs an image raster-scanned for each of the divided areas divided by the area division unit 11 to the encoder 20.
符号化器２０は、スキャン部１２によりラスタスキャンされた画像ごとに符号化し、符号化データを外部に出力する。 The encoder 20 encodes each image raster-scanned by the scan unit 12 and outputs the encoded data to the outside.
本発明のスキャン順と従来のスキャン順との違いを説明するために、図３に従来の領域分割装置における分割領域のスキャン順を示す。以下、１行１列目の分割領域を領域Ａとし、１行２列目の分割領域を領域Ｂとし、２行１列目の分割領域を領域Ｃとし、２行２列目の分割領域を領域Ｄとして説明する。従来の領域分割装置では、図３に示すように、領域Ａから領域Ｄのいずれに対しても、左上からラスタスキャンを行っている。この場合において、境界部の不連続性について検討する。 In order to explain the difference between the scan order of the present invention and the conventional scan order, FIG. 3 shows the scan order of divided areas in the conventional area dividing apparatus. Hereinafter, the divided area in the first row and the first column is the area A, the divided area in the first row and the second column is the area B, the divided area in the second row and the first column is the area C, and the divided area in the second row and the second column is Description will be made as the area D. In the conventional area dividing apparatus, as shown in FIG. 3, raster scanning is performed from the upper left on any of the area A to the area D. In this case, the discontinuity at the boundary is examined.
まず、水平方向の境界について検討する。図４に、符号化対象フレームを分割領域Ａ，Ｂ，Ｃ，Ｄの４つに分割した際の、分割領域Ｂと分割領域Ｄの境界（水平境界）に位置する符号化ブロックＢ０〜Ｂ７及びＤ０〜Ｄ３を示す。ここで、符号化ブロックとは、符号化の際の予測処理単位となる所定サイズのブロックであり、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）方式の場合にはＰＵ（Prediction Unit）と称される。 First, consider the horizontal boundaries. In FIG. 4, when the encoding target frame is divided into four divided areas A, B, C, and D, coding blocks B0 to B7 located at the boundary (horizontal boundary) between divided area B and divided area D and D0 to D3 are shown. Here, the coding block is a block of a predetermined size serving as a prediction processing unit at the time of coding. In the case of the H.265 / HEVC (High Efficiency Video Coding) system, it is referred to as PU (Prediction Unit).
領域Ｂの下端に位置する符号化ブロックＢ５を、イントラ予測を用いて符号化する場合には、符号化ブロックＢ５の上側及び左側に位置する符号化済み画素を参照することが可能である。図４の拡大表示の範囲では、符号化ブロックＢ０〜Ｂ４が参照可能である。しかしながら、領域Ｄに含まれる符号化ブロックＤ０〜Ｄ３を参照することはできない。また、領域Ｄの上端に位置する符号化ブロックＤ１を、イントラ予測を用いて符号化する場合には、符号化ブロックＤ１の左側に位置する符号化済み画素を参照することが可能である。図４の拡大表示の範囲では、符号化ブロックＤ０が参照可能である。しかしながら、領域Ｂに含まれる符号化ブロックＢ０〜Ｂ７を参照することはできない。 When coding the coding block B5 located at the lower end of the region B using intra prediction, it is possible to refer to coded pixels located on the upper side and the left side of the coding block B5. In the enlarged display range of FIG. 4, the coding blocks B0 to B4 can be referred to. However, the coding blocks D0 to D3 included in the region D can not be referred to. Moreover, when encoding the coding block D1 located in the upper end of the area | region D using intra prediction, it is possible to reference the coded pixel located in the left side of the coding block D1. In the range of the enlarged display in FIG. 4, the coding block D0 can be referred to. However, coding blocks B0 to B7 included in region B can not be referenced.
よって、符号化ブロックＢ５の符号化画像はＢ０〜Ｂ４の符号化画像が参照した符号化ブロックの符号化画像（さらに、そのそれぞれが参照した符号化ブロック、さらにそのそれぞれが参照した符号化ブロック・・・と脈々と続く）の影響を受けるが、符号化ブロックＤ１の符号化画像は領域Ｂ内の符号化画像の影響を受けることがない。このことが原因で、領域Ｂと領域Ｄの境界が不連続となってしまうことがある。 Therefore, the encoded image of the encoded block B5 is the encoded image of the encoded block to which the encoded image of B0 to B4 refers (the encoded block to which each of them refers, and the encoded block to which each of them refers to ... But the encoded image of the encoded block D1 is not affected by the encoded image in the region B. Due to this, the boundary between the area B and the area D may be discontinuous.
そこで、本発明では、スキャン部１２は、奇数行の分割領域に対して右下又は左下からラスタスキャンし、偶数行の分割領域に対して右上又は左上からラスタスキャンする。この場合の具体例を図５及び図６に示す。 Therefore, in the present invention, the scan unit 12 performs raster scan from the lower right or lower left with respect to the divided regions in the odd rows, and performs raster scan from upper right or upper left with respect to the divided regions in the even rows. The specific example in this case is shown in FIG.5 and FIG.6.
図５では、スキャン部１２は、奇数行の分割領域（領域Ａ及び領域Ｂ）に対して右下からラスタスキャンし、偶数行（領域Ｃ及び領域Ｄ）の分割領域に対しては左上からラスタスキャンする。 In FIG. 5, the scan unit 12 performs raster scan from the lower right to the divided regions (region A and region B) in the odd rows, and from the upper left to the divided regions in the even rows (region C and region D). to scan.
図６では、スキャン部１２は、奇数行の分割領域（領域Ａ及び領域Ｂ）に対して左下からラスタスキャンし、偶数行（領域Ｃ及び領域Ｄ）の分割領域に対しては左上からラスタスキャンする。 In FIG. 6, the scan unit 12 performs raster scan from the lower left to the divided regions (regions A and B) in the odd rows, and from the upper left to the divided regions in the even rows (the regions C and D). Do.
図５や図６に示した順序でラスタスキャンすることにより、領域Ａ及び領域Ｂの下端に位置する符号化対象ブロックについては、イントラ予測を用いて符号化する場合に、それぞれの領域内の符号化済みブロックの画像に影響を受けることがなくなる。そのため、領域Ａと領域Ｃの境界、及び領域Ｂと領域Ｄの境界の不連続性を低減することができる。 By performing raster scan in the order shown in FIG. 5 and FIG. 6, for encoding target blocks located at the lower end of region A and region B, when coding using intra prediction, the code in each region It will not be affected by the image of the converted block. Therefore, it is possible to reduce the discontinuity between the boundary of the region A and the region C and the boundary of the region B and the region D.
次に、垂直方向の境界について検討する。図７に、符号化対象フレームを分割領域Ａ，Ｂ，Ｃ，Ｄの４つに分割した際の、分割領域Ａと分割領域Ｂの境界（垂直境界）に位置する符号化ブロックＡ０〜Ａ７及びＢ０〜Ｂ３を示す。 Now consider the vertical boundaries. 7, coding blocks A0 to A7 located at the boundary (vertical boundary) between divided area A and divided area B when the encoding target frame is divided into four divided areas A, B, C, and D. B0 to B3 are shown.
領域Ａの右端に位置する符号化ブロックＡ５を、イントラ予測を用いて符号化する場合には、符号化ブロックＡ５の上側及び左側に位置する符号化済み画素を参照することが可能である。図７の拡大表示の範囲では、符号化ブロックＡ０，Ａ１，Ａ４が参照可能である。しかしながら、領域Ｂに含まれる符号化ブロックＢ０〜Ｂ３を参照することはできない。また、領域Ｂの左端に位置する符号化ブロックＢ１を、イントラ予測を用いて符号化する場合にはＢ１の上側に位置する符号化済み画素を参照することが可能である。図７の拡大表示の範囲では、符号化ブロックＢ０が参照可能である。しかしながら、領域Ａに含まれる符号化ブロックＡ０〜Ａ７を参照することはできない。 When coding the coding block A5 positioned at the right end of the region A using intra prediction, it is possible to refer to coded pixels positioned on the upper side and the left side of the coding block A5. In the range of the enlarged display in FIG. 7, the coding blocks A0, A1, and A4 can be referred to. However, coding blocks B0 to B3 included in region B can not be referenced. Further, in the case of encoding the coding block B1 positioned at the left end of the region B using intra prediction, it is possible to refer to the coded pixel positioned above the B1. In the range of the enlarged display in FIG. 7, the coding block B0 can be referred to. However, the coding blocks A0 to A7 included in the region A can not be referred to.
よって、符号化ブロックＡ５の符号化画像はＡ０，Ａ１，Ａ４の符号化画像が参照した符号化ブロックの符号化画像（さらに、そのそれぞれが参照した符号化ブロック、さらにそのそれぞれが参照した符号化ブロック・・・と脈々と続く）の影響を受けるが、符号化ブロックＢ１の符号化画像は領域Ａ内の符号化画像の影響を受けることがない。このことが原因で、領域Ａと領域Ｂの境界が不連続となってしまうことがある。 Therefore, the coded image of the coding block A5 is the coded image of the coding block to which the coded images of A0, A1 and A4 have referred (in addition, the coding block to which each is referenced and the encoding to which each is referred And so on), but the encoded image of encoded block B1 is not affected by the encoded image in region A. Due to this, the boundary between the region A and the region B may be discontinuous.
そこで、本発明では、スキャン部１２は、上述したように奇数行の分割領域に対して右下又は左下からラスタスキャンし、偶数行の分割領域に対して右上又は左上からラスタスキャンする、という条件に加えて、さらに、奇数列の分割領域に対して右下又は右上からラスタスキャンし、偶数列の分割領域に対して左下又は左上からラスタスキャンするようにしてもよい。この場合の具体例を図８に示す。 Therefore, in the present invention, as described above, the scanning unit 12 performs raster scanning from the lower right or lower left to the divided area in the odd row, and performs raster scanning from the upper right or upper left to the divided area in the even line. In addition to the above, the raster scan may be performed from the lower right or the upper right for the odd-numbered divided regions, and the raster scan may be performed from the lower left or the upper left for the even-numbered divided regions. A specific example in this case is shown in FIG.
図８では、スキャン部１２は、１行１列目の分割領域Ａに対して右下からラスタスキャンし、１行２列目の分割領域Ｂに対して左下からラスタスキャンし、２行１列目の分割領域Ｃに対して右上からラスタスキャンし、２行２列目の分割領域Ｄに対して左上からラスタスキャンする。 In FIG. 8, the scanning unit 12 performs raster scan from the lower right to the first row and first column divided area A, raster scans from the lower left to the first row and second column divided area B, and The raster scan is performed on the divided area C of the eye from the upper right, and the raster scan is performed on the divided area D of the second row and the second column from the upper left.
図８に示したスキャン順では、各符号化ブロックをイントラ予測で符号化する際に、原画像上で符号化対象ブロックより内側に位置する符号化済み画像を参照する。図８では、各領域の境界をまたぐ位置関係にある２つの符号化ブロック（Ｂ５とＤ１や、Ａ５とＢ１）が参照可能な符号化済みブロックが位置する方向が同一になる。例えば図４に示した符号化ブロックＢ５とＤ１を例に挙げれば、符号化ブロックＢ５は左方向に位置する符号化ブロックＢ４を参照可能であり、符号化ブロックＤ１も左方向に位置する符号化ブロックＤ０を参照可能である。また、図７に示した符号化ブロックＡ５とＢ１を例に挙げれば、符号化ブロックＡ５は下方向に位置する符号化ブロックＡ２，Ａ３，Ａ６，Ａ７を参照可能であり、符号化ブロックＢ１も下方向に位置する符号化ブロックＢ２，Ｂ３を参照可能である。このように、各分割領域に対して原画像中心を始点としたスキャン順で符号化処理を施すことにより、各領域の境界をまたぐ位置関係にある２つの符号化ブロックが、同一の方向に位置する符号化済み画像を参照するため、水平方向及び垂直方向の不連続性を低減することができる。 In the scan order shown in FIG. 8, when encoding each coding block by intra prediction, a coded image located inside the coding target block on the original image is referred to. In FIG. 8, the directions in which encoded blocks to which two encoded blocks (B5 and D1 and A5 and B1) which can be referred to are in the same positional relationship as each other across the boundaries of the regions are the same. For example, taking coding block B5 and D1 shown in FIG. 4 as an example, coding block B5 can refer to coding block B4 located in the left direction, and coding block D1 is also located in the left direction. The block D0 can be referred to. Further, taking the coding blocks A5 and B1 shown in FIG. 7 as an example, the coding block A5 can refer to the coding blocks A2, A3, A6, and A7 located in the lower direction, and the coding block B1 is also Reference can be made to the coding blocks B2 and B3 located in the lower direction. As described above, by performing encoding processing on each divided area in scan order starting from the center of the original image, two encoded blocks in a positional relationship crossing the boundary of each area are positioned in the same direction. Horizontal and vertical discontinuities can be reduced to refer to the encoded image.
次に、各分割領域の符号化劣化の度合いの違いについて検討する。各分割領域の符号化劣化の度合いが分割領域ごとに異なることにより、各領域画像の境界に不連続性が発生することがある。例えば、領域Ａにおいて高圧縮な符号化処理がなされ、領域Ｂにおいて低圧縮な符号化処理がなされた場合には、領域Ａはぼやけた画像となり、領域Ｂは精細な画像となる。このように、領域間の符号化劣化の強度に隔たりがある場合には、境界に著しい不連続性が発生する。 Next, the difference in the degree of coding deterioration of each divided area is examined. Discontinuity may occur at the boundary of each area image because the degree of coding deterioration of each divided area differs for each divided area. For example, in the case where high compression coding processing is performed in the region A and low compression coding processing is performed in the region B, the region A is a blurred image and the region B is a fine image. Thus, if there is a gap in the strength of coding degradation between regions, significant discontinuities occur at the boundaries.
そこで、本発明において、符号化器２０は、符号化劣化の度合いが変わらないようにするために、符号化処理を行う際に、分割領域が隣接する境界部の量子化パラメータ（ＱＰ）を同一の値とするのが好適である。 Therefore, in the present invention, in order to prevent the degree of coding deterioration from changing, in the present invention, when performing coding processing, the quantization parameter (QP) of the boundary portion where divided regions are adjacent is the same. It is preferable to set the value of
図９に、符号化器２０が量子化パラメータを固定とする境界部を示す。境界部のサイズは任意に設定でき、少なくとも領域Ａの一番右の１行及び一番下の１列と、領域Ｂの一番左の１行及び一番下の１列と、領域Ｃの一番右の１行及び一番上の１列と、領域Ｄの一番左の１行及び一番上の１列とを含む。領域Ａから符号化を開始する場合には、領域Ａの先頭（原画像の中心）で決定された量子化パラメータを、境界部のすべての符号化ブロックに適用する。例えば、量子化パラメータの値は１フレーム前の符号化対象フレームの量子化パラメータの平均値とする。 FIG. 9 shows the boundary where the encoder 20 fixes the quantization parameter. The size of the boundary can be set arbitrarily, and at least the rightmost row and the lowermost column of region A, the leftmost row and the lowermost column of region B, and the region C The rightmost row and the topmost column, and the leftmost row and the topmost column of the area D are included. When coding is started from the area A, the quantization parameter determined at the beginning of the area A (the center of the original image) is applied to all coding blocks at the boundary. For example, the value of the quantization parameter is an average value of the quantization parameters of the encoding target frame one frame before.
さらに符号化器２０は、図９に示した、分割領域が隣接する境界部において、インター予測（画面間予測）を行わないようにしてもよい。これにより、量子化パラメータの異なる符号化済みフレームの影響を受けることがなくなり、より一層、境界の不連続性を低減することができる。 Furthermore, the encoder 20 may not perform inter prediction (inter-screen prediction) at the boundary where the divided regions are adjacent as shown in FIG. This eliminates the influence of coded frames with different quantization parameters, and can further reduce boundary discontinuities.
以上、領域分割装置１０及び符号化装置１について説明したが、領域分割装置１０又は符号化装置１として機能させるためにコンピュータを好適に用いることが可能である。そのようなコンピュータは、領域分割装置１０又は符号化装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
Although the
また、このプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。 Also, this program may be recorded on a computer readable medium. Computer readable media are available to be installed on a computer. Here, the computer readable medium having the program recorded thereon may be a non-transitory recording medium. The non-transitory recording medium is not particularly limited, but may be, for example, a recording medium such as a CD-ROM or a DVD-ROM.
（分割領域合成装置、復号装置）
次に、本発明の一実施形態に係る分割領域合成装置及び復号装置について、以下に説明する。図１０に、本発明の一実施形態に係る分割領域合成装置及び復号装置の構成例を示す。図１０に示す復号装置２は、複数の復号器３０と、分割領域合成装置４０とを備える。また、分割領域合成装置４０は、複数のスキャン部４１と、領域画像合成部４２とを備える。
(Divided area synthesizer, decoder)
Next, a divided area synthesis apparatus and a decoding apparatus according to an embodiment of the present invention will be described below. FIG. 10 shows a configuration example of a divided area synthesis device and a decoding device according to an embodiment of the present invention. The
復号器３０は、符号化装置１から入力された複数の入力データ（符号化データ）を復号して複数の復号画像を生成する。本実施形態では、復号装置２は、復号器３０を４つ（３０−１〜３０−４）有する。各復号器３０は各符号化器２０から入力された符号化データを復号する。
The decoder 30 decodes a plurality of input data (coded data) input from the coding device 1 to generate a plurality of decoded images. In the present embodiment, the
スキャン部４１は、復号器３０から入力された複数の復号画像を、領域分割装置１０のスキャン部１２と同じ順序でラスタスキャンした領域画像を領域画像合成部４２に出力する。本実施形態では、分割領域合成装置４０は、スキャン部４１を４つ（４１−１〜４１−４）有する。各スキャン部４１は各復号器３０から入力された復号画像をラスタスキャンする。
The scan unit 41 outputs an area image obtained by raster-scanning a plurality of decoded images input from the decoder 30 in the same order as the scan unit 12 of the
領域画像合成部４２は、スキャン部４１から入力された領域画像を複数行及び複数列に配置して合成する。図１１は、領域画像合成部４２による処理例を示す図である。図１１に示すように、本実施形態では、等しいサイズの４つの領域画像を２行２列に配置して合成する。領域画像が４Ｋ画像である場合には、合成後の画像は８Ｋ画像となる。
The area
スキャン部４１は、水平境界における不連続性を低減するために、領域画像合成部４２における配置が奇数行となる領域画像に対して右下又は左下からラスタスキャンし、領域画像合成部４２における配置が偶数行となる領域画像に対して右上又は左上からラスタスキャンする。
The scanning unit 41 performs raster scanning from the lower right or lower left with respect to the area image in which the arrangement in the area
スキャン部４１は、さらに、垂直境界における不連続性を低減するために、領域画像合成部４２における配置が奇数列となる領域画像に対して右下又は右上からラスタスキャンし、領域画像合成部４２における配置が偶数列となる領域画像に対して左下又は左上からラスタスキャンしてもよい。
Further, the scanning unit 41 performs raster scan from the lower right or upper right to the area image in which the arrangement in the area
符号化器２０が、分割領域が隣接する境界部の量子化パラメータを同一の値とした場合には、復号器３０も同様に、領域画像が隣接する境界部の量子化パラメータを同一の値とする。 When the encoder 20 sets the quantization parameter of the boundary where the divided regions are adjacent to the same value, the decoder 30 similarly sets the quantization parameter of the boundary where the region image is adjacent to the same value. Do.
また、符号化器２０が、分割領域が隣接する境界部においてインター予測を行わない場合には、復号器３０も同様に、領域画像が隣接する境界部においてインター予測を行わないようにする。 Also, when the encoder 20 does not perform inter prediction at the boundary where the divided regions are adjacent, the decoder 30 similarly does not perform inter prediction at the boundary where the region images are adjacent.
以上、分割領域合成装置４０及び復号装置２について説明したが、分割領域合成装置４０又は復号装置２として機能させるためにコンピュータを好適に用いることが可能である。そのようなコンピュータは、分割領域合成装置４０又は復号装置２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
As mentioned above, although the division | segmentation area | region synthetic |
また、このプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。 Also, this program may be recorded on a computer readable medium. Computer readable media are available to be installed on a computer. Here, the computer readable medium having the program recorded thereon may be a non-transitory recording medium. The non-transitory recording medium is not particularly limited, but may be, for example, a recording medium such as a CD-ROM or a DVD-ROM.
このように、本発明によれば、分割領域（領域画像）のスキャン方向を従来から変更することにより、分割領域（領域画像）の境界における不連続性を低減することができる。また、境界部の量子化パラメータを同一の値とすること、及び境界部においてインター予測を行わないようにすることにより、さらに境界における不連続性を低減することができる。 As described above, according to the present invention, it is possible to reduce the discontinuity at the boundary of the divided area (area image) by changing the scanning direction of the divided area (area image) from the related art. Further, by setting the quantization parameter of the boundary to the same value and by not performing inter prediction in the boundary, discontinuity at the boundary can be further reduced.
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。 Although the embodiments described above have been described as representative examples, it will be obvious to those skilled in the art that many modifications and substitutions can be made within the spirit and scope of the present invention. Therefore, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and changes are possible without departing from the scope of the claims. For example, it is possible to combine a plurality of configuration blocks described in the configuration diagram of the embodiment into one, or to divide one configuration block.
１ 符号化装置
２ 復号装置
１０ 領域分割装置
１１ 領域分割部
１２ スキャン部
２０ 符号化器
３０ 復号器
４０ 分割領域合成装置
４１ スキャン部
４２ 領域画像合成部
DESCRIPTION OF SYMBOLS 1
Claims (12)
前記領域分割部により分割された分割領域ごとにラスタスキャンした画像を出力するスキャン部と、を備え、
前記スキャン部は、奇数行の分割領域に対して右下又は左下からラスタスキャンし、偶数行の分割領域に対して右上又は左上からラスタスキャンすることを特徴とする領域分割装置。 An area division unit which divides an original image into a plurality of lines and a plurality of columns;
A scan unit that outputs an image raster-scanned for each of the divided areas divided by the area division unit;
An area dividing device characterized in that the scanning section performs raster scanning from the lower right or lower left with respect to odd-numbered divided areas, and performs raster scanning from upper right or upper left with respect to even-numbered divided areas.
前記スキャン部によりラスタスキャンされた画像ごとに符号化する符号化器と、
を備えることを特徴とする符号化装置。 The area dividing device according to claim 1 or 2;
An encoder that encodes each image raster-scanned by the scan unit;
An encoding apparatus comprising:
前記領域画像を複数行及び複数列に配置して合成する領域画像合成部と、を備え、
前記スキャン部は、前記領域画像合成部における配置が奇数行となる分割領域に対して右下又は左下からラスタスキャンし、前記領域画像合成部における配置が偶数行となる分割領域に対して右上又は左上からラスタスキャンすることを特徴とする分割領域合成装置。 A scan unit that outputs an area image obtained by raster scanning a plurality of decoded images;
An area image combining unit that arranges and combines the area images in a plurality of rows and a plurality of columns;
The scan unit performs raster scan from the lower right or lower left to a division area in which the arrangement in the area image synthesis section is an odd row, and the upper right to a division area in which the arrangement in the area image synthesis unit is an even line A divided area combining apparatus characterized by raster scanning from the upper left.
複数の入力データを復号して前記複数の復号画像を生成する復号器と、
を備えることを特徴とする復号装置。 The division area synthesis apparatus according to claim 6 or 7;
A decoder that decodes a plurality of input data to generate the plurality of decoded images;
A decoding apparatus comprising:
A program for causing a computer to function as the decoding device according to claim 8.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017213813A JP2019087850A (en) | 2017-11-06 | 2017-11-06 | Region dividing device, divided region combining device, encoding device, decoding device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017213813A JP2019087850A (en) | 2017-11-06 | 2017-11-06 | Region dividing device, divided region combining device, encoding device, decoding device, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019087850A true JP2019087850A (en) | 2019-06-06 |
Family
ID=66763434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017213813A Pending JP2019087850A (en) | 2017-11-06 | 2017-11-06 | Region dividing device, divided region combining device, encoding device, decoding device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019087850A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2601504A (en) * | 2020-12-01 | 2022-06-08 | Imagination Tech Ltd | Data compression and packing |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0918878A (en) * | 1995-06-30 | 1997-01-17 | Sony Corp | Image encoding device and method |
| JP2001285876A (en) * | 2000-03-30 | 2001-10-12 | Sony Corp | Image encoding device, its method, video camera, image recording device and image transmitting device |
| JP2011217082A (en) * | 2010-03-31 | 2011-10-27 | Jvc Kenwood Corp | Image encoder, image encoding method, image encoding program, image decoder, image decoding method and image decoding program |
-
2017
- 2017-11-06 JP JP2017213813A patent/JP2019087850A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0918878A (en) * | 1995-06-30 | 1997-01-17 | Sony Corp | Image encoding device and method |
| JP2001285876A (en) * | 2000-03-30 | 2001-10-12 | Sony Corp | Image encoding device, its method, video camera, image recording device and image transmitting device |
| JP2011217082A (en) * | 2010-03-31 | 2011-10-27 | Jvc Kenwood Corp | Image encoder, image encoding method, image encoding program, image decoder, image decoding method and image decoding program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2601504A (en) * | 2020-12-01 | 2022-06-08 | Imagination Tech Ltd | Data compression and packing |
| GB2601504B (en) * | 2020-12-01 | 2023-03-29 | Imagination Tech Ltd | Data compression and packing |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102421921B1 (en) | Apparatus and method for image coding and decoding | |
| JP2021145374A (en) | Decoding method and coding method | |
| KR20220165694A (en) | A method of constructing the tiles and an apparatus having the same | |
| CN110225345B (en) | Method and apparatus for primary color index map coding | |
| US10178405B2 (en) | Enhanced coding and decoding using intra block copy mode | |
| RU2747381C1 (en) | Method and device for image decoding based on intra-predictions in the image coding system | |
| US10659785B2 (en) | Apparatus, system and method of video compression using smart coding tree unit scanning and corresponding computer program and medium | |
| KR102532391B1 (en) | Video encoding method and apparatus and video decoding method and apparatus | |
| KR101625910B1 (en) | Method and device for image processing by image division | |
| WO2016202189A1 (en) | Image coding and decoding methods, image processing device, and computer storage medium | |
| JP2019087850A (en) | Region dividing device, divided region combining device, encoding device, decoding device, and program | |
| JP2018011198A (en) | Video coding device, video coding method and video coding program | |
| JP2011181980A (en) | Picture division coder and program thereof, and picture division decoder and program thereof | |
| JP5349429B2 (en) | Code amount reduction apparatus and encoding apparatus | |
| TWI833620B (en) | Image encoding device, image encoding method, image decoding device and image decoding method | |
| JP2015171117A (en) | Image encoder | |
| JP2022017254A (en) | Encoder, decoder and program | |
| JP2013126098A (en) | Image encoder and image decoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200928 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210610 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210622 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211214 |