JP5389205B2

JP5389205B2 - Image encoding apparatus, image encoding method, program, and storage medium

Info

Publication number: JP5389205B2
Application number: JP2012043809A
Authority: JP
Inventors: 純牧野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-04-27
Filing date: 2012-02-29
Publication date: 2014-01-15
Anticipated expiration: 2027-02-22
Also published as: JP2012110054A

Description

本発明は、ビデオ信号を圧縮符号化する画像符号化装置及びその方法に関し、より具体的には、スライス分割を行ってビデオ信号を符号化する画像符号化装置及びその方法に関する。 The present invention relates to an image encoding apparatus and method for compressing and encoding a video signal, and more specifically to an image encoding apparatus and method for encoding a video signal by performing slice division.

画像情報を伝送又は蓄積するための高能率な圧縮符号化方式として、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）−２及びＭＰＥＧ−４が知られている。更に、ＭＰＥＧ−４Ｐａｒｔ−１０：ＡＶＣ（非特許文献１）が規格化されている。ＭＰＥＧ４Ｐａｒｔ−１０：ＡＶＣ（ＩＳＯ／ＩＥＣ１４４９６−１０）は、Ｈ．２６４とも呼ばれている。これらの圧縮方式は、基本的に、ＤＣＴ（離散コサイン変換）等の直交変換、動き補償、並びに、画面間や画面内の冗長性を利用して、高い圧縮率を実現する技術である。 MPEG (Moving Picture Experts Group) -2 and MPEG-4 are known as high-efficiency compression encoding methods for transmitting or storing image information. Furthermore, MPEG-4 Part-10: AVC (Non-Patent Document 1) is standardized. MPEG4 Part-10: AVC (ISO / IEC 14496-10) is an H.264 standard. It is also called H.264. These compression methods are basically techniques for realizing a high compression ratio by utilizing orthogonal transformation such as DCT (Discrete Cosine Transform), motion compensation, and redundancy between screens and within screens.

Ｈ．２６４では、符号化されるピクチャは、予測方式の違いにより、Ｉピクチャ、Ｐピクチャ及びＢピクチャに分類される。各ピクチャは、複数のマクロブロック（ＭＢ）から構成される。さらに、Ｈ．２６４では、ひとつのピクチャを複数のマクロブロックから成るスライスに分割して、スライス単位で符号化処理を行うことができる。スライス分割した場合は、各スライスがＩスライス、Ｐスライス及びＢスライスなどと呼ばれる。なお、Ｈ．２６４のベースライン・プロファイルにおいては、Ｂピクチャが使用されない。 H. In H.264, pictures to be encoded are classified into I pictures, P pictures, and B pictures depending on the prediction method. Each picture is composed of a plurality of macro blocks (MB). Further, H.C. In H.264, one picture can be divided into slices composed of a plurality of macroblocks, and encoding processing can be performed in units of slices. When the slice is divided, each slice is called an I slice, a P slice, a B slice, and the like. H. In the H.264 baseline profile, B pictures are not used.

Ｈ．２６４を用いた画像符号化装置は、ピクチャ（フレーム又はフィールド）単位で符号化を行っても良いが、フレーム又はフィールドを複数のスライスに分割し、そのスライスを基本単位として符号化を行った方が、処理をより容易にできることがある。例えば、１９２０画素×１０８８画素のような高解像度の画像に対して、画像符号化装置によって、画像を複数のスライスに分割して、並列或いは時分割に各スライスの符号化・復号化が行われることがある。スライスに分割して、符号化・復号化を分散させることによって、画像符号化装置は効率的に処理を行うことができる。 H. An image encoding apparatus using H.264 may perform encoding in units of pictures (frames or fields). However, a method in which a frame or field is divided into a plurality of slices and encoding is performed using the slices as basic units. However, processing may be easier. For example, for a high-resolution image such as 1920 pixels × 1088 pixels, the image encoding device divides the image into a plurality of slices, and encodes and decodes each slice in parallel or in time division. Sometimes. By dividing into slices and distributing encoding / decoding, the image encoding apparatus can perform processing efficiently.

スライス分割に関連する技術として、特許文献１には、伝送路のエラー又は画像の動きに応じて、スライス形状を変化させる技術が記載されている。また、特許文献２には、Ｈ．２６４／ＡＶＣの規格化過程の符号化方式（Ｈ．２６Ｌ或いはＪＶＴと呼ばれた）において、符号量を調節し、スライス分割を行う技術が記載されている。 As a technique related to slice division, Patent Document 1 describes a technique for changing a slice shape according to a transmission path error or an image motion. In addition, Patent Document 2 describes H.264. In a coding method (referred to as H.26L or JVT) in the H.264 / AVC standardization process, a technique for performing slice division by adjusting the code amount is described.

Ｈ．２６４のスライスは、符号化処理の単位となるデータブロック、すなわちマクロブロックを単位として分割される。即ち、スライスは、水平方向又は垂直方向の１又は複数のマクロブロックからなる。図１７は、スライスとマクロブロックの関係を示す図である。図１７は、１画面が水平方向に３分割されており、１画面が３つのスライス（第一スライス、第二スライス、第三スライス）からなることを示す。各スライスは、複数のマクロブロック（ＭＢ）から構成されている。マクロブロック１５２，１５４が、第一スライスに属し、かつ、第二スライスとの境界に隣接する。マクロブロック１５０が第二スライスに属し、かつ、第一スライスとの境界に隣接する。 H. H.264 slices are divided in units of data blocks, that is, macroblocks, which are units of encoding processing. That is, the slice is composed of one or a plurality of macroblocks in the horizontal direction or the vertical direction. FIG. 17 is a diagram illustrating the relationship between slices and macroblocks. FIG. 17 shows that one screen is divided into three in the horizontal direction, and one screen includes three slices (first slice, second slice, and third slice). Each slice is composed of a plurality of macroblocks (MB). Macroblocks 152 and 154 belong to the first slice and are adjacent to the boundary with the second slice. The macroblock 150 belongs to the second slice and is adjacent to the boundary with the first slice.

なお、スライスは、図１７のような矩形状又は短冊状だけでなく、ＦＭＯ（ＦｌｅｘｉｂｌｅＭａｃｒｏ−ｂｌｏｃｋＯｒｄｅｒ）又はスライス・グループと呼ばれる手法により、任意の形状をとることができる。なお、スライスの分割は、マクロブロックのラスタ順であれば、どのプロファイルでも実行できるが、スライス・グループはベースライン・プロファイル及びエクステンド・プロファイルでのみ用いられる。 Note that the slice can take an arbitrary shape by a technique called FMO (Flexible Macro-block Order) or slice group as well as a rectangular shape or a strip shape as shown in FIG. Note that slice division can be executed in any profile as long as the raster order of the macroblocks, but slice groups are used only in the baseline profile and extended profile.

特開２００５−１２４０４１号公報JP 2005-124041 A 特開２００４−２３５６８３号公報Japanese Patent Laid-Open No. 2004-235683

ＩＳＯ／ＩＥＣ１４４９６−１０“Ｐａｒｔ−１０ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ”ISO / IEC 14496-10 “Part-10 Advanced Video Coding”

ところで、Ｈ．２６４を用いた画像符号化装置が、スライス分割を利用した場合、スライスが基本符号化単位となるので、他のスライスに含まれるマクロブロックの情報を符号化に利用できない。例えば、図１７に示す例では、マクロブロック１５０の符号化に、マクロブロック１５２及び１５４の情報を利用できない。この結果、スライスの境界付近ではピクチャ内（イントラ）予測及びピクチャ間（インター）予測の予測効率が下がるため、符号化効率が低下する。 H. When an image encoding apparatus using H.264 uses slice division, since a slice is a basic encoding unit, information on macroblocks included in other slices cannot be used for encoding. For example, in the example illustrated in FIG. 17, the information of the macroblocks 152 and 154 cannot be used for encoding the macroblock 150. As a result, the prediction efficiency of intra-picture (intra) prediction and inter-picture (inter) prediction is reduced in the vicinity of the boundary between slices, so that the encoding efficiency is lowered.

また、Ｈ．２６４の特徴ともいえるエントロピー符号化方式であるＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄＡｄａｐｔｉｖｅＢｉｎａｒｙＡｒｉｔｈｍｅｔｉｃＣｏｄｉｎｇ）は、符号化を進めていくにつれて適応的に、確率テーブルを変動させることで符号化効率を向上させている。この確率テーブルが、スライスの符号化開始時に初期化されることによって、符号化対象が有する確率分布と異なった状態になりやすい。この状態は、ある程度符号化が進み、確率テーブルが符号化対象に適応するまで続くことになる。従って、確率テーブルを初期化した直後であるスライス境界付近では符号化効率がおおよそ低下する。 H. CABAC (Context-based Adaptive Binary Coding), which is an entropy coding method that can be said to be a feature of H.264, improves coding efficiency by adaptively changing the probability table as the coding proceeds. Since this probability table is initialized at the start of slice encoding, the probability table tends to be different from the probability distribution of the encoding target. This state continues until the encoding progresses to some extent and the probability table is adapted to the encoding target. Therefore, the coding efficiency is substantially reduced near the slice boundary immediately after the initialization of the probability table.

このように、スライス境界付近で符号化効率が低下した結果として、特にスライス境界付近に位置するマクロブロックでは発生符号量が増加するが、全体的な符号量制御の観点から前記発生符号量の抑圧が行われる。そのため、スライス境界付近に位置するマクロブロックで画質劣化が発生し、スライス境界が視覚的に目立ってしまう。特に、水平方向に配置されるマクロブロックが連続的に劣化した場合には、ノイズとして認識されやすいものとなる。 As described above, as a result of the decrease in coding efficiency near the slice boundary, the generated code amount increases, particularly in the macroblock located near the slice boundary, but the generated code amount is suppressed from the viewpoint of overall code amount control. Is done. Therefore, image quality degradation occurs in the macroblock located near the slice boundary, and the slice boundary becomes visually noticeable. In particular, when macroblocks arranged in the horizontal direction are continuously deteriorated, they are easily recognized as noise.

さらに、図１８及び図１９に示すように、連続する各ピクチャでスライスの分割位置を同じにしたとする。図１８は、連続するピクチャ（００，０１，０２，０３，０４，０５，・・・）をそれぞれ同じ位置でスライスに分割した例である。また、図１９は、図１８の各ピクチャを断面的に表わしたときの、スライス分割位置を示す図である。各ピクチャの番号の前に付加した”Ｉ”はＩピクチャであることを示し、”Ｂ”はＢピクチャであることを示し、”Ｐ”はＰピクチャであることを示す。例えば、Ｂ０２は、Ｂピクチャであるピクチャ番号０２を示す。図１９で、各ピクチャのスライス分割位置をつなぐ水平の破線１７０，１７２は、スライスの境界が、時間の経過に対して、画面上の一定の位置にあることを示している。このように、連続する複数ピクチャに対して、スライス境界が画面上の一定の位置にあるようにすると、スライス境界付近のノイズがひときわ認識されやすくなる。 Further, as shown in FIGS. 18 and 19, it is assumed that slices are divided at the same position in each successive picture. FIG. 18 shows an example in which consecutive pictures (00, 01, 02, 03, 04, 05,...) Are divided into slices at the same position. FIG. 19 is a diagram showing slice division positions when the pictures in FIG. 18 are represented in cross section. “I” added before the number of each picture indicates an I picture, “B” indicates a B picture, and “P” indicates a P picture. For example, B02 indicates a picture number 02 that is a B picture. In FIG. 19, horizontal broken lines 170 and 172 connecting the slice division positions of each picture indicate that the boundary of the slice is at a certain position on the screen over time. Thus, if the slice boundary is located at a certain position on the screen for a plurality of consecutive pictures, noise near the slice boundary is easily recognized.

このような、スライス境界付近の画像劣化は、特許文献２に記載の技術のように、スライス形状を不規則に変化させることにより目立たなくすることができるかもしれないが、スライス形状を不規則に変化させると符号化処理及び復号化処理が複雑になってしまう。例えば、符号化対象のマクロブロックがスライスの境界に隣接するか否かの判定など、各マクロブロックの位置関係を必ず確認しなければならない。 Such image degradation in the vicinity of the slice boundary may be made inconspicuous by irregularly changing the slice shape as in the technique described in Patent Document 2, but the slice shape may be irregular. If changed, the encoding process and the decoding process become complicated. For example, the positional relationship between the macroblocks must be confirmed, such as determining whether the macroblock to be encoded is adjacent to the boundary of the slice.

そこで、本発明は、上記のような問題点に鑑み、少ない処理負担で、スライス境界付近の画像劣化を目立たなくする画像符号化装置及びその方法を提示することを目的とする。 In view of the above-described problems, an object of the present invention is to provide an image encoding apparatus and method for making image deterioration in the vicinity of a slice boundary inconspicuous with a small processing load.

本発明に係る符号化装置は、入力された画像データを複数のスライスに分割する手段であって、一つの前記スライスが、所定数の画素からなる１以上のブロックから構成されるように、前記画像データの複数のピクチャそれぞれを複数の前記スライスに分割する分割手段と、前記分割手段によって分割されたスライスを単位として前記画像データを符号化する符号化手段と、前記ブロックの単位で前記スライスの分割位置を設定する設定手段とを有し、前記設定手段は、前記画像データの複数のピクチャにおける前記スライスの分割数を等しくして、前記スライスの分割位置を周期的に変更し、前記分割手段は、前記設定手段により設定された分割位置に従って、前記画像データを複数の前記スライスに分割することを特徴とする。 The encoding apparatus according to the present invention is means for dividing input image data into a plurality of slices, wherein one slice is composed of one or more blocks including a predetermined number of pixels. Dividing means for dividing each of a plurality of pictures of image data into a plurality of slices; encoding means for encoding the image data in units of slices divided by the dividing means; and Setting means for setting a division position, wherein the setting means equalizes the number of divisions of the slices in a plurality of pictures of the image data, and periodically changes the division position of the slices. Is characterized in that the image data is divided into a plurality of slices in accordance with the division position set by the setting means.

本発明に係る符号化方法は、入力された画像データを複数のスライスに分割する工程であって、一つの前記スライスが、所定数の画素からなる１以上のブロックから構成されるように、前記画像データの複数のピクチャそれぞれを複数の前記スライスに分割する分割工程と、前記スライスを単位として前記画像データを符号化する符号化工程と、前記ブロックの単位で前記スライスの分割位置を設定する設定工程とを有し、前記設定工程は、前記画像データの複数のピクチャにおける前記スライスの分割数を等しくして、前記スライスの分割位置を周期的に変更し、前記分割工程は、前記設定された分割位置に従って、前記画像データを複数の前記スライスに分割することを特徴とする。 The encoding method according to the present invention is a step of dividing input image data into a plurality of slices, wherein one slice is composed of one or more blocks including a predetermined number of pixels. A division step of dividing each of a plurality of pictures of image data into a plurality of slices, an encoding step of encoding the image data in units of the slices, and a setting for setting the division position of the slices in units of the blocks And the setting step periodically equalizes the number of slice divisions in the plurality of pictures of the image data and periodically changes the division position of the slices. According to the division position, the image data is divided into a plurality of slices.

本発明によれば、少ない処理負担で、スライス境界付近の画像劣化が目立たなくなる。また、スライス分割に周期性或いは規則性を持たせることで、復号時にスライス分割位置を決定しやすくなり、復号処理が簡略になる。 According to the present invention, image degradation near a slice boundary becomes inconspicuous with a small processing load. Further, by giving the slice division periodicity or regularity, it becomes easier to determine the slice division position at the time of decoding, and the decoding process is simplified.

本発明の実施例１に係る画像符号化装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image coding apparatus which concerns on Example 1 of this invention. 実施例１におけるスライス分割の例である。3 is an example of slice division in the first embodiment. 実施例１におけるスライス分割位置を示す図である。FIG. 6 is a diagram illustrating slice division positions in the first embodiment. 本発明の実施例２に係る画像符号化装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image coding apparatus which concerns on Example 2 of this invention. 実施例２におけるスライス分割の例である。It is an example of the slice division | segmentation in Example 2. FIG. 実施例２におけるスライス分割位置を示す図である。It is a figure which shows the slice division | segmentation position in Example 2. FIG. 実施例３におけるスライス分割の例である。10 is an example of slice division in the third embodiment. 実施例３におけるスライス分割位置を示す図である。It is a figure which shows the slice division | segmentation position in Example 3. FIG. 実施例３の変形例におけるスライス分割の例である。12 is an example of slice division in a modification of the third embodiment. 実施例３の変形例におけるスライス分割位置を示す図である。It is a figure which shows the slice division | segmentation position in the modification of Example 3. FIG. 実施例３の拡張例１におけるスライス分割位置を示す図である。FIG. 10 is a diagram illustrating slice division positions in the extension example 1 of the embodiment 3. 実施例３の拡張例２におけるスライス分割位置を示す図である。FIG. 10 is a diagram illustrating slice division positions in an extension example 2 of the third embodiment. 実施例４におけるスライス分割の例である。It is an example of the slice division | segmentation in Example 4. FIG. 実施例４におけるスライス分割位置を示す図である。It is a figure which shows the slice division | segmentation position in Example 4. FIG. 実施例５におけるスライス分割の例である。10 is an example of slice division in the fifth embodiment. 実施例５におけるスライス分割位置とＩスライスの位置を示す図である。It is a figure which shows the slice division | segmentation position in Example 5, and the position of I slice. スライスとマクロブロックの関係を示す図である。It is a figure which shows the relationship between a slice and a macroblock. スライス分割の例である。It is an example of slice division. スライス分割位置を示す図である。It is a figure which shows a slice division position.

以下、図面を参照しながら本発明の好適な実施形態について詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.

図１は、本発明の実施例１に係る画像符号化装置の構成を示すブロック図である。画像符号化装置１０は、ＭＰＥＧ４ｐａｒｔ−１０：ＡＶＣ（ＩＳＯ／ＩＥＣ１４４９６−１０、いわゆるＨ．２６４）方式に準拠して、ビデオ信号を符号化する。画像符号化装置１０に入力されるビデオ信号は、所定のサンプリングレートでデジタル化されたデジタルデータである。また、画像符号化装置１０はデジタルビデオカメラやデジタルビデオレコーダ等に適用できる。 FIG. 1 is a block diagram illustrating a configuration of an image encoding device according to Embodiment 1 of the present invention. The image encoding device 10 encodes a video signal in accordance with the MPEG4 part-10: AVC (ISO / IEC 14496-10, so-called H.264) system. The video signal input to the image encoding device 10 is digital data digitized at a predetermined sampling rate. The image encoding device 10 can be applied to a digital video camera, a digital video recorder, or the like.

ピクチャ属性決定部４２は、入力ビデオ信号に含まれる各ピクチャの属性を決定する。即ち、Ｉピクチャ、Ｐピクチャ及びＢピクチャの何れにするかを決定する。ピクチャ属性決定部４２は、スライス分割するときには、各スライスの属性を決定する。スライス設定部４４は、ピクチャ属性決定部４２により決定された内容に基づき、スライス分割の境界位置と各スライスの符号化タイプ（Ｉスライス、Ｂスライス、Ｐスライス、等）を決定し、スライス分割部１２に設定する。スライス分割の決定方法は、後述する。スライスは、符号化処理の単位となるデータブロック、すなわちマクロブロックを単位として、１以上のマクロブロックにより構成される。 The picture attribute determination unit 42 determines the attribute of each picture included in the input video signal. That is, it is determined whether to select an I picture, a P picture, or a B picture. The picture attribute determination unit 42 determines the attribute of each slice when dividing the slice. The slice setting unit 44 determines the boundary position of slice division and the coding type (I slice, B slice, P slice, etc.) of each slice based on the content determined by the picture attribute determination unit 42, and the slice division unit Set to 12. A method for determining slice division will be described later. A slice is composed of one or more macroblocks in units of data blocks, that is, macroblocks that are units of encoding processing.

スライス分割部１２は、入力ビデオ信号の各ピクチャ（フレーム又はフィールド）を、スライス設定部４４からの設定情報に基づき、スライスに分割する。即ち、スライス分割部１２は、入力ビデオ信号の各ピクチャ（フレーム又はフィールド）を構成する画像データをスライスごとに識別して出力する。また、スライス分割部１２は、スライス分割されたマクロブロックの位置やスライスの符号化タイプなどを示すスライス分割情報を、後述するイントラ予測部２８、動き推定部３６及びエントロピー符号化部４０に供給する。以下、符号化対象のピクチャに関して、フレームを例にして説明する。 The slice dividing unit 12 divides each picture (frame or field) of the input video signal into slices based on the setting information from the slice setting unit 44. That is, the slice dividing unit 12 identifies and outputs image data constituting each picture (frame or field) of the input video signal for each slice. Further, the slice dividing unit 12 supplies slice division information indicating the position of the macroblock obtained by the slice division, the coding type of the slice, and the like to the intra prediction unit 28, the motion estimation unit 36, and the entropy coding unit 40 described later. . Hereinafter, a picture to be encoded will be described using a frame as an example.

減算器１４は、予測符号化を利用する場合には、スライス分割部１２からの画像データと、スイッチ３８からの予測値との差分を算出し、この差データを整数精度の離散コサイン変換（ＤＣＴ）を行なう整数変換部１６に出力する。減算器１４は、予測符号化を使用しない場合には、スライス分割部１２からの画像データをそのまま整数変換部１６に出力する。 When using predictive coding, the subtractor 14 calculates a difference between the image data from the slice dividing unit 12 and the predicted value from the switch 38, and the difference data is converted to an integer precision discrete cosine transform (DCT). Is output to the integer conversion unit 16. The subtractor 14 outputs the image data from the slice division unit 12 to the integer conversion unit 16 as it is when the predictive coding is not used.

整数変換部１６は、減算器１４からの画像データを整数精度で、４×４画素ブロック単位で離散コサイン変換し、その結果であるＤＣＴ変換係数を量子化部１８に出力する。 The integer transform unit 16 performs discrete cosine transform on the image data from the subtractor 14 in units of 4 × 4 pixel blocks with integer precision, and outputs the resulting DCT transform coefficient to the quantization unit 18.

量子化部１８は、整数変換部１６からのＤＣＴ変換係数に対して量子化処理を行い、得られる量子化変換係数をエントロピー符号化部４０及び逆量子化部２０に出力する。 The quantization unit 18 performs a quantization process on the DCT transform coefficient from the integer transform unit 16 and outputs the obtained quantized transform coefficient to the entropy coding unit 40 and the inverse quantization unit 20.

エントロピー符号化部４０は、量子化部１８からの量子化変換係数をエントロピー符号化する。Ｈ．２６４では、エントロピー符号化として、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−ＢａｓｅｄＡｄａｐｔｉｖｅＶａｒｉａｂｌｅＬｅｎｇｔｈ）とＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ＢａｓｅｄＡｄａｐｔｉｖｅＢｉｎａｒｙＡｒｉｔｈｍｅｔｉｃＣｏｄｉｎｇ）が選択的に使用できる。エントロピー符号化部４０は、例えばＣＡＢＡＣによって、入力したスライス分割情報に基づいて、スライスを基本単位として符号化処理を行う。エントロピー符号化部４０はまた、動き推定部３６からの動きベクトル情報を符号化データに多重して、出力ビットストリームとして出力する。なお、出力ビットストリーム中には、スライス分割されたマクロブロックの位置やスライスの符号化タイプ等の情報も多重化される。 The entropy encoding unit 40 entropy encodes the quantized transform coefficient from the quantization unit 18. H. In H.264, CAVLC (Context-Based Adaptive Variable Length) and CABAC (Context-Based Adaptive Binary Coding) can be selectively used as entropy coding. The entropy encoding unit 40 performs an encoding process using a slice as a basic unit based on the input slice division information by CABAC, for example. The entropy encoder 40 also multiplexes the motion vector information from the motion estimator 36 with the encoded data and outputs it as an output bit stream. In the output bitstream, information such as the position of the macroblock divided into slices and the coding type of the slice are also multiplexed.

逆量子化部２０は、量子化部１８からの量子化変数係数をＤＣＴ変換係数に戻し、逆整数変換部２２に送出する。逆整数変換部２２は、逆量子化部２０からのＤＣＴ変換係数に逆整数変換処理を施し、減算器１４の出力データに相当するデータを復元する。 The inverse quantization unit 20 returns the quantization variable coefficient from the quantization unit 18 to the DCT transform coefficient and sends it to the inverse integer transform unit 22. The inverse integer transform unit 22 performs an inverse integer transform process on the DCT transform coefficient from the inverse quantization unit 20 to restore data corresponding to the output data of the subtractor 14.

加算器２４は、予測符号化を利用していない場合には、逆整数変換部２２の出力データをそのまま出力し、予測符号化を利用している場合には、逆整数変換部２２の出力データにスイッチ３８からの予測値を加算して出力する。加算器２４の出力データが、いわゆる局所復号データである。加算器２４の出力は、ピクチャ内予測（イントラ予測）のために、フレームメモリ２６に格納される。また、ピクチャ間予測（インター予測）のために、デブロッキングフィルタ３０を介して、フレームメモリ３２に格納される。デブロッキングフィルタ３０は、局部復号データにおけるブロックノイズを低減するために使用される。 The adder 24 outputs the output data of the inverse integer transform unit 22 as it is when the predictive encoding is not used, and the output data of the inverse integer transform unit 22 when the predictive encoding is used. The predicted value from the switch 38 is added to and output. The output data of the adder 24 is so-called local decoded data. The output of the adder 24 is stored in the frame memory 26 for intra-picture prediction (intra prediction). Further, it is stored in the frame memory 32 via the deblocking filter 30 for inter picture prediction (inter prediction). The deblocking filter 30 is used to reduce block noise in the locally decoded data.

動き推定部３６は、後述するインター予測に関連して、スライス分割部１２からの画像データをフレームメモリ３２に格納された局所復号データと比較して、画像内の物体の動きを推定する。フレームメモリ３２に格納された局所復号データは、現フレームの表示タイミングよりも前又は後ろに位置するフレームを構成するものであり、フレーム間予測の参照画像として利用される。動き推定部３６によって検出された動きベクトルは、インター予測部３４とエントロピー符号化部４０に供給される。特に、動き推定部３６は、入力したスライス分割情報に基づいて、スライスの境界を越えた動きベクトルの検出を禁止する。 The motion estimation unit 36 compares the image data from the slice division unit 12 with the locally decoded data stored in the frame memory 32 and estimates the motion of the object in the image in relation to inter prediction described later. The locally decoded data stored in the frame memory 32 constitutes a frame located before or after the display timing of the current frame, and is used as a reference image for inter-frame prediction. The motion vector detected by the motion estimation unit 36 is supplied to the inter prediction unit 34 and the entropy encoding unit 40. In particular, the motion estimation unit 36 prohibits detection of a motion vector that exceeds the boundary between slices based on the input slice division information.

イントラ予測部２８は、フレームメモリ２６に格納された局所復号データを参照して、予測処理を行って、フレーム内から予測値を算出して出力する。イントラ予測部２８は、スライス分割されているときは、入力したスライス分割情報に基づいて、フレーム内かつ同じスライス内の情報のみを用いて予測処理を行って、予測値を算出する。Ｈ．２６４のイントラ予測は、符号化済みの画素ブロックに含まれる隣接画素の情報を用いて、予測対象ブロックの予測値を生成するものである。 The intra prediction unit 28 refers to the locally decoded data stored in the frame memory 26, performs a prediction process, calculates a prediction value from the frame, and outputs it. When the slice prediction is performed, the intra prediction unit 28 performs prediction processing using only information in the same slice and in the frame based on the input slice division information, and calculates a prediction value. H. In the H.264 intra prediction, information on adjacent pixels included in an encoded pixel block is used to generate a prediction value of a prediction target block.

インター予測部３４は、動き推定部３６により推定された動きベクトルにしたがって、フレームメモリ３２に格納された参照画像から予測に使用する画像データを決定し、フレーム間の予測値（いわゆる、動き補償予測値）を算出して出力する。 The inter prediction unit 34 determines image data to be used for prediction from the reference image stored in the frame memory 32 according to the motion vector estimated by the motion estimation unit 36, and predicts inter-frame prediction values (so-called motion compensation prediction). Value) is calculated and output.

スイッチ３８は、符号化しようとする画像データをイントラ予測で符号化するのか、インター予測で符号化するのかに応じて、イントラ予測部２８の予測値又はインター予測部３４の予測値を選択し、予測符号化の予測値として減算器１４に供給する。なお、スライス符号化タイプがＩスライスの場合はフレーム内符号化が、Ｐスライスの場合はフレーム内符号化と参照画像を１枚用いたフレーム間符号化が、Ｂスライスの場合はフレーム内符号化と参照画像を１枚乃至２枚用いたフレーム間符号化が、夫々許容される。 The switch 38 selects the prediction value of the intra prediction unit 28 or the prediction value of the inter prediction unit 34 depending on whether the image data to be encoded is encoded by intra prediction or encoding by inter prediction, The value is supplied to the subtractor 14 as a prediction value for predictive coding. In addition, when the slice coding type is I slice, intra-frame coding is performed, when P slice is used, intra-frame coding and inter-frame coding using one reference image are performed, and when B slice is used, intra-frame coding is performed. Inter-frame coding using one or two reference images is allowed.

次に、図２及び図３を参照して、本実施例におけるスライス分割の動作を説明する。図２は、連続するピクチャ（００，０１，０２，０３，０４，０５，・・・）をピクチャの属性に応じて異なる境界位置でスライスに分割した例である。また、図３は、図２の各ピクチャを断面的に表わしたときの、スライス分割位置を示す図である。スライス分割は、マクロブロックのラスタ順に従って実行され、スライス分割の結果、図２に示した例のように横長の長方形のスライスが複数（Ｉフレームは３つ、Ｂフレームは４つ、Ｐフレームは５つ）完成する。 Next, with reference to FIG. 2 and FIG. 3, the operation of slice division in the present embodiment will be described. FIG. 2 shows an example in which consecutive pictures (00, 01, 02, 03, 04, 05,...) Are divided into slices at different boundary positions according to the picture attributes. FIG. 3 is a diagram showing slice division positions when the pictures in FIG. 2 are represented in cross section. The slice division is performed according to the raster order of the macroblocks. As a result of the slice division, a plurality of horizontally long rectangular slices (three I frames, four B frames, and P frames are obtained) as in the example shown in FIG. 5) Complete.

ピクチャ属性決定部４２が、予め指定された符号化方式に従い、入力ビデオ信号の符号化対象フレームがＩ、Ｐ及びＢのどれになるかを決定し、決定したピクチャ属性をスライス設定部４４に通知する。スライス設定部４４は、Ｉフレームに対しては、フレームを例えば均等に３分割するようにスライス分割部１２を設定する。また、Ｐフレームに対しては、フレームを例えば均等に５分割するようにスライス分割部１２を設定する。さらに、Ｂフレームに対しては、ピフレームを例えば均等に４分割するようにスライス分割部１２を設定する。 The picture attribute determining unit 42 determines which of I, P, and B the encoding target frame of the input video signal is in accordance with a predetermined encoding method, and notifies the determined picture attribute to the slice setting unit 44 To do. For the I frame, the slice setting unit 44 sets the slice dividing unit 12 so that the frame is equally divided into, for example, three. For the P frame, the slice dividing unit 12 is set so that the frame is equally divided into, for example, five. Further, for the B frame, the slice dividing unit 12 is set so that the picframe is equally divided into four, for example.

スライス分割部１２は、スライス設定部４４による設定に基づき、入力ビデオ信号の各フレームを設定された数のスライスに分割する。スライス分割以降の動作は、上述した通りである。 The slice dividing unit 12 divides each frame of the input video signal into a set number of slices based on the setting by the slice setting unit 44. The operation after the slice division is as described above.

このように、本実施例では、ピクチャ属性に応じて規則的にスライスの分割数及び分割位置を変化させるので、長時間に渡ってスライス分割位置が同じになることがなくなる。従って、スライス境界付近での画像劣化（画質劣化）が目立たなくなる。図２及び図３に示す例では、連続する２枚のＢフレーム（フレーム０１及び０２など）ではスライス分割位置が同じになるが、Ｉフレーム及びＰフレームと比べれば、Ｂフレームなのでスライス境界線での画像劣化が目立たない。 As described above, in this embodiment, the number of slices and the position of the slice are regularly changed according to the picture attribute, so that the slice division position does not become the same for a long time. Accordingly, image degradation (image quality degradation) near the slice boundary becomes inconspicuous. In the example shown in FIG. 2 and FIG. 3, the slice division position is the same in two consecutive B frames (such as frames 01 and 02), but it is a B frame compared to an I frame and a P frame, so The image degradation is not noticeable.

なお、図２に示す例では、Ｉフレーム、Ｐフレーム及びＢフレームのいずれも、フレームを等分割したが、ＩフレームとＰフレームの間に必ずＢフレームが存在する場合には、ＩフレームとＰフレームのスライス分割方法を同じにしても充分な効果は得られる。 In the example shown in FIG. 2, the I frame, the P frame, and the B frame are all equally divided. However, if the B frame always exists between the I frame and the P frame, the I frame and the P frame are divided. Even if the frame slice division method is the same, a sufficient effect can be obtained.

このように、スライス分割位置に規則性を持たせることで、復号時にスライス分割位置を決定しやすくなり、復号処理が簡略になる利点もある。 Thus, by providing regularity to the slice division position, it is easy to determine the slice division position at the time of decoding, and there is an advantage that the decoding process is simplified.

実施例１では、ピクチャ属性に応じて規則的にスライスの分割数及び分割位置を変化させたが、ピクチャ番号（すなわちフレーム番号）順にスライスの分割数と分割位置とを変化させてもよい。図４は、実施例２に係る画像符号化装置の構成を示すブロック図である。図４において、図１に示すブロック図と同じ構成要素には、同じ符号を付してあり、実施例１と重複する説明は省略する。 In the first embodiment, the slice division number and the division position are regularly changed according to the picture attribute. However, the slice division number and the division position may be changed in the order of the picture number (that is, the frame number). FIG. 4 is a block diagram illustrating the configuration of the image encoding device according to the second embodiment. In FIG. 4, the same components as those in the block diagram shown in FIG.

図４に示す画像符号化装置１０ａは、スライス設定部４６を備える。スライス設定部４６は、入力ビデオ信号のフレーム数をカウントし、そのカウント値に応じて、以下のように、スライス分割部１２にスライス分割条件を設定する。例えば、３種類のスライス分割法を使う場合、符号化対象フレームのピクチャ番号を３で割り、その余りに応じて、３分割、４分割又は５分割を割当てる。図５は、連続するピクチャ（００，０１，０２，０３，０４，０５，・・・）をピクチャ番号に応じて異なる境界位置でスライスに分割した例である。また、図６は、図５の各ピクチャを断面的に表わしたときの、スライス分割位置を示す図である。スライス分割は、マクロブロックのラスタ順に従って実行され、スライス分割の結果、図５に示した例のように横長の長方形のスライスが複数完成する。図５及び図６では、ピクチャ番号が３で割り切れるピクチャ（Ｉ００，Ｐ０３，Ｐ０６，Ｐ０９・・・）の場合には、例えば３分割を設定する。また、ピクチャ番号が３で割って余りが１のピクチャ（Ｂ０１，Ｂ０４，Ｂ０７，Ｂ１０・・・）の場合には、例えば４分割を設定する。さらに、ピクチャ番号が３で割って余りが２のピクチャ（Ｂ０２，Ｂ０５，Ｂ０８，Ｂ１１・・・）の場合には、例えば５分割を設定する。この例では、スライス分割が３ピクチャ周期で繰り返す。 The image encoding device 10 a illustrated in FIG. 4 includes a slice setting unit 46. The slice setting unit 46 counts the number of frames of the input video signal, and sets slice division conditions in the slice division unit 12 as follows according to the count value. For example, when three types of slice division methods are used, the picture number of the encoding target frame is divided by 3, and 3 divisions, 4 divisions, or 5 divisions are assigned according to the remainder. FIG. 5 shows an example in which consecutive pictures (00, 01, 02, 03, 04, 05,...) Are divided into slices at different boundary positions according to picture numbers. FIG. 6 is a diagram showing slice division positions when the pictures of FIG. 5 are represented in cross section. The slice division is executed according to the raster order of the macroblocks. As a result of the slice division, a plurality of horizontally long rectangular slices are completed as in the example shown in FIG. 5 and FIG. 6, in the case of a picture (I00, P03, P06, P09...) Whose picture number is divisible by 3, for example, three divisions are set. In the case of a picture (B01, B04, B07, B10...) Whose picture number is divided by 3 and the remainder is 1, for example, four divisions are set. Further, when the picture number is divided by 3 and the remainder is 2 (B02, B05, B08, B11...), For example, 5 divisions are set. In this example, the slice division is repeated at a period of 3 pictures.

スライス分割部１２は、スライス設定部４６による設定に基づき、入力ビデオ信号の各フレームを設定された数のスライスに分割する。スライス分割以降の動作は、上述した通りである。 The slice dividing unit 12 divides each frame of the input video signal into a set number of slices based on the setting by the slice setting unit 46. The operation after the slice division is as described above.

このように、本実施例では、ピクチャ番号に応じて規則的にスライスの分割数及び分割位置を変化させるので、隣接するピクチャ間でスライス分割位置が同じになることがなくなる。従って、スライス境界付近での画像劣化（画質劣化）が目立たなくなる。 As described above, in this embodiment, since the number of slices and the position of division are regularly changed according to the picture number, the slice division positions do not become the same between adjacent pictures. Accordingly, image degradation (image quality degradation) near the slice boundary becomes inconspicuous.

実施例３では、実施例２とは異なる方法によって、ピクチャ番号順にスライスの分割数及び分割位置を一定規則のもとで変化させてもよい。実施例３に係る画像符号化装置の構成を示すブロック図は、図４のブロック図を使用する。図７は、連続するピクチャ（００，０１，０２，０３，０４，０５，・・・）をピクチャ番号に応じて異なる境界位置でスライスに分割した例である。また、図８は、図７の各ピクチャを断面的に表わしたときの、スライス分割位置を示す図である。 In the third embodiment, the division number and the division position of the slice may be changed according to a certain rule in the order of picture numbers by a method different from that of the second embodiment. The block diagram of FIG. 4 is used as the block diagram illustrating the configuration of the image encoding device according to the third embodiment. FIG. 7 shows an example in which consecutive pictures (00, 01, 02, 03, 04, 05,...) Are divided into slices at different boundary positions according to picture numbers. FIG. 8 is a diagram showing slice division positions when the pictures in FIG. 7 are represented in cross section.

図８において、白丸、黒丸、黒三角形及び黒四角形はいずれもスライス分割位置を示す。補助線Ａは、ピクチャ番号が３で割り切れるピクチャ（Ｉ００，Ｐ０３，Ｐ０６，Ｐ０９・・・）からなるグループ（第１グループ）の黒丸で示すスライス分割位置の変化を示す。補助線Ｂは、ピクチャ番号を３で割った場合に余りが１になるピクチャ（Ｂ０１，Ｂ０４，Ｂ０７，Ｂ１０・・・）からなるグループ（第２グループ）の黒三角形で示すスライス分割位置の変化を示す。補助線Ｃは、ピクチャ番号を３で割った場合に余りが２になるピクチャ（Ｂ０２，Ｂ０５，Ｂ０８，Ｂ１１・・・）からなるグループ（第３グループ）の黒四角形で示すスライス分割位置の変化を示す。 In FIG. 8, white circles, black circles, black triangles, and black squares all indicate slice division positions. The auxiliary line A indicates a change in the slice division position indicated by a black circle of a group (first group) composed of pictures (I00, P03, P06, P09...) Whose picture number is divisible by 3. The auxiliary line B is a change in slice division position indicated by a black triangle of a group (second group) composed of pictures (B01, B04, B07, B10...) Whose remainder is 1 when the picture number is divided by 3 Indicates. The auxiliary line C is a change in slice division position indicated by a black rectangle of a group (third group) composed of pictures (B02, B05, B08, B11...) Whose remainder is 2 when the picture number is divided by 3 Indicates.

図７から容易に理解できるように、第１グループに属するピクチャでは、スライスの分割位置がピクチャごとに画面上方向に一定量だけ、例えば１マクロブロック（ＭＢ）分づつ、シフトする。また、第２グループに属するピクチャでは、スライスの分割位置がピクチャごとに画面下方向に一定量だけ、例えば１マクロブロック（ＭＢ）分づつ、シフトする。さらに、第３グループに属するピクチャでは、スライスの分割位置がピクチャごとに画面上方向に一定量だけ、例えば２マクロブロック（ＭＢ）分づつ、シフトする。 As can be easily understood from FIG. 7, in the pictures belonging to the first group, the slice division position is shifted by a certain amount, for example, one macroblock (MB) in the upward direction of the screen for each picture. In addition, in the pictures belonging to the second group, the slice division position is shifted by a certain amount, for example, by one macroblock (MB) in the downward direction for each picture. Furthermore, in the pictures belonging to the third group, the slice division position is shifted by a certain amount, for example, 2 macroblocks (MB) in the upward direction of the screen for each picture.

スライス分割位置の移動によりサイズが大きくなってしまうスライスには、例えば、図７に追加の分割位置Ａ，Ｂ，Ｃとして図示したように、新たな分割線を追加する。 For example, a new dividing line is added to the slice whose size is increased by the movement of the slice dividing position, as illustrated as additional dividing positions A, B, and C in FIG.

このように、本実施例では、ピクチャ番号に応じてスライスの分割数を変化させ、分割位置をシフトさせるので、近傍の複数ピクチャ間でスライスの分割位置が同じになる確率が低下し、より一層スライス境界付近での画像劣化（画質劣化）が目立たなくなる。例えば、サーチ再生などでは、上述の第１のグループのみを表示する場合があるが、この場合でも、本実施例の場合、スライス分割境界の画質劣化は目立ちにくい。 As described above, in this embodiment, the number of slice divisions is changed according to the picture number, and the division position is shifted. Therefore, the probability that the slice division positions are the same among a plurality of neighboring pictures is reduced, and further. Image degradation (image quality degradation) near the slice boundary becomes inconspicuous. For example, in the search reproduction or the like, only the first group described above may be displayed, but even in this case, the image quality deterioration at the slice division boundary is not noticeable in this embodiment.

なお、本実施例では、ピクチャ内を均等にスライスに分割することを前提に説明したが、隣接するピクチャ間でスライスの分割位置が異なればいいので、ピクチャ内を不均等にスライス分割しても同様の効果が得られる。 In this embodiment, the description has been made on the assumption that the picture is equally divided into slices. However, the slice division position may be different between adjacent pictures. Similar effects can be obtained.

また、本実施例では、ピクチャ番号に従いスライス分割条件を決定していたが、予測方式の違いに応じてスライス分割条件を変化させてもよい。 In this embodiment, the slice division condition is determined according to the picture number. However, the slice division condition may be changed according to the prediction method.

また、本実施例の変形例として、グループごとの分割数を維持するために、図９及び図１０に示すように、スライス境界線の追加に応じて、既存の境界線を削除しても良い。図９は、そのように変更した、実施例３の変形例となるスライス分割の例である。また、図１０は、図９の各ピクチャを断面的に表わしたときの、スライス分割位置を示す図である。図９及び図１０をそれぞれ図７及び図８と比較することによって、削除される境界線が示される。 Further, as a modification of the present embodiment, in order to maintain the number of divisions for each group, as shown in FIGS. 9 and 10, an existing boundary line may be deleted according to the addition of the slice boundary line. . FIG. 9 is an example of slice division that is a modification of the third embodiment, which is changed as described above. FIG. 10 is a diagram showing slice division positions when the pictures in FIG. 9 are represented in cross section. By comparing FIG. 9 and FIG. 10 with FIG. 7 and FIG. 8 respectively, the borderline to be deleted is shown.

上記各実施例では、基本的なスライス分割数として３，４及び５の組み合わせを例示したが、本発明は、このようなスライス分割数に限定されない。また、実施例３では、３つのグループにピクチャを分類しているが、４つ以上に分類しても良い。図１１は、図７及び図８に示す分割法を４グループに拡張した場合（拡張例１）のスライス分割位置を示す図である。 In each of the above embodiments, the combination of 3, 4 and 5 is illustrated as the basic number of slice divisions, but the present invention is not limited to such a number of slice divisions. In the third embodiment, the pictures are classified into three groups, but may be classified into four or more. FIG. 11 is a diagram showing slice division positions when the division method shown in FIGS. 7 and 8 is extended to four groups (extension example 1).

図１１において、白丸、黒丸、黒三角形、黒四角形及び黒星形はいずれもスライス分割位置を示す。補助線Ｄは、ピクチャ番号が４で割り切れるピクチャ（Ｉ００，Ｂ０４，Ｂ０８・・・）からなるグループ（第１グループ）の黒丸で示すスライス分割位置の変化を示す。補助線Ｅは、ピクチャ番号を４で割った場合に余りが１になるピクチャ（Ｂ０１，Ｂ０５，Ｐ０９・・・）からなるグループ（第２グループ）の黒三角形で示すスライス分割位置の変化を示す。補助線Ｆは、ピクチャ番号を４で割った場合に余りが２になるピクチャ（Ｂ０２，Ｐ０６，Ｂ１０・・・）からなるグループ（第３グループ）の黒四角形で示すスライス分割位置の変化を示す。補助線Ｇは、ピクチャ番号を４で割った場合に余りが３になるピクチャ（Ｐ０３，Ｂ０７，Ｂ１１・・・）からなるグループ（第４グループ）の黒星形で示すスライス分割位置の変化を示す。 In FIG. 11, white circles, black circles, black triangles, black squares, and black stars all indicate slice division positions. The auxiliary line D indicates a change in slice division position indicated by a black circle of a group (first group) made up of pictures (I00, B04, B08...) Whose picture number is divisible by 4. The auxiliary line E indicates a change in slice division position indicated by a black triangle of a group (second group) composed of pictures (B01, B05, P09,...) Whose remainder is 1 when the picture number is divided by 4 . The auxiliary line F indicates a change in slice division position indicated by a black square of a group (third group) composed of pictures (B02, P06, B10...) Whose remainder is 2 when the picture number is divided by 4 . The auxiliary line G indicates a change in slice division position indicated by a black star of a group (fourth group) composed of pictures (P03, B07, B11...) Whose remainder is 3 when the picture number is divided by 4 .

さらに、図１１において、第１グループに属するピクチャでは、スライスの分割位置がピクチャごとに画面上方向に一定量だけ、例えば１マクロブロック（ＭＢ）分づつ、シフトする。また、第２グループに属するピクチャでは、スライスの分割位置がピクチャごとに画面上方向に一定量だけ、例えば２マクロブロック（ＭＢ）分づつ、シフトする。また、第３グループに属するピクチャでは、スライスの分割位置がピクチャごとに画面下方向に一定量だけ、例えば２マクロブロック（ＭＢ）分づつ、シフトする。さらに、第４グループに属するピクチャでは、スライスの分割位置がピクチャごとに画面下方向に一定量だけ、例えば１マクロブロック（ＭＢ）分づつ、シフトする。 Further, in FIG. 11, in the pictures belonging to the first group, the slice division position is shifted by a certain amount, for example, by one macroblock (MB) in the screen upward direction for each picture. In addition, in the pictures belonging to the second group, the slice division position is shifted by a certain amount, for example, by 2 macroblocks (MB) in the upward direction for each picture. Also, in the pictures belonging to the third group, the slice division position is shifted by a certain amount, for example, by 2 macroblocks (MB), in the downward direction of the screen for each picture. Further, in the pictures belonging to the fourth group, the slice division position is shifted by a certain amount, for example, by one macroblock (MB) in the lower direction of the screen for each picture.

また、図１２は、図９及び図１０に示す分割法を４グループに拡張した場合（拡張例２）のスライス分割位置を示す図である。図１２を図１１と比較することによって、削除される境界線が示される。 FIG. 12 is a diagram showing slice division positions when the division method shown in FIGS. 9 and 10 is extended to four groups (extended example 2). By comparing FIG. 12 with FIG. 11, the borderline to be deleted is shown.

実施例１から実施例３では、スライス分割について、各ピクチャ間で異なる分割数としていたが、本発明は、隣接するピクチャ間でのスライスの分割位置（スライスの境界）が異なればよい。そこで、実施例４では、各ピクチャのスライスの分割数を等しくし、その分割位置のみを変化させた例を示す。実施例４に係る画像符号化装置の構成を示すブロック図は、図４のブロック図を使用する。図１３は、連続するピクチャ（００，０１，０２，０３，０４，０５，・・・）の各ピクチャを同じ分割数、かつ、異なる分割位置でスライスに分割した例である。また、図１４は、図１３の各ピクチャを断面的に表わしたときの、スライス分割位置を示す図である。 In the first to third embodiments, slice division is performed with a different number of divisions between pictures. However, in the present invention, it suffices if slice division positions (slice boundaries) are different between adjacent pictures. Therefore, the fourth embodiment shows an example in which the number of slices of each picture is made equal and only the division position is changed. The block diagram of FIG. 4 is used as the block diagram illustrating the configuration of the image encoding device according to the fourth embodiment. FIG. 13 shows an example in which each picture of consecutive pictures (00, 01, 02, 03, 04, 05,...) Is divided into slices at the same number of divisions and at different division positions. FIG. 14 is a diagram showing slice division positions when the pictures in FIG. 13 are represented in cross section.

図１３及び図１４の例では、全てのピクチャをそれぞれ３つのスライスに分割している。このとき、図で示した様に、各ピクチャのスライス分割位置が、隣接ピクチャ間で異なるように設定することで、スライス境界が連続して同じ位置に現れないようにすることができる。 In the example of FIGS. 13 and 14, all the pictures are divided into three slices. At this time, as shown in the figure, by setting the slice division position of each picture to be different between adjacent pictures, it is possible to prevent slice boundaries from appearing at the same position continuously.

このとき、このスライス分割の位置の変化は、完全にランダムである必要はなく、一定の周期で繰り返される規則性をもったパターンとして設定することができる。予め定められたピクチャ数ごとの周期で繰り返すように設定することで、復号時にスライス分割位置を決定しやすくなり、復号処理が簡単になる。図１３及び図１４の例では、同じ分割位置が３ピクチャ周期で繰り返されるように示してあるが、この例に限定されるものではなく、周期的なものであれば、より長いピクチャ数からなる周期を設定しておくことももちろん可能である。 At this time, the change in the slice division position need not be completely random, and can be set as a pattern having regularity that is repeated at a constant period. By setting to repeat at a predetermined cycle for each number of pictures, it becomes easy to determine the slice division position at the time of decoding, and the decoding process is simplified. In the example of FIG. 13 and FIG. 14, the same division position is shown to be repeated with a period of 3 pictures, but is not limited to this example, and if it is periodic, it has a longer number of pictures. Of course, it is possible to set the period.

Ｈ．２６４方式は、スライス単位に予測方式を設定することが可能となっている。すなわち、分割したスライスごとに、Ｉスライス、ＰスライスまたはＢスライスの設定を行うことが可能である。例えば、Ｂピクチャの一部のスライスをＩスライスとして符号化することも可能であり、その場合、Ｉスライスにしたエリアにおけるエラー耐性や高速再生時の表示再現性を向上させられることができる。 H. In the H.264 method, a prediction method can be set for each slice. That is, it is possible to set an I slice, a P slice, or a B slice for each divided slice. For example, it is possible to encode a partial slice of a B picture as an I slice, and in that case, it is possible to improve error resilience and display reproducibility at high speed playback in an area made into an I slice.

実施例５では、このように一部のスライスをＩスライスとする機能を本発明に適用した場合について説明する。実施例５に係る画像符号化装置の構成を示すブロック図は、図４のブロック図を使用する。図１５は、連続するピクチャ（００，０１，０２，０３，０４，０５，・・・）の各ピクチャをスライスに分割した例である。さらに、一部のスライスをＩスライスとして設定した様子を示している。また、図１６は、図１５の各ピクチャを断面的に表わしたときの、スライス分割位置とＩスライスの位置を示す図である。 In the fifth embodiment, a case where the function of setting some of the slices as I slices in this way is applied to the present invention will be described. The block diagram of FIG. 4 is used as the block diagram illustrating the configuration of the image encoding device according to the fifth embodiment. FIG. 15 shows an example in which each picture of consecutive pictures (00, 01, 02, 03, 04, 05,...) Is divided into slices. Furthermore, a state is shown in which some slices are set as I slices. FIG. 16 is a diagram showing slice division positions and I-slice positions when the pictures of FIG. 15 are represented in cross section.

図１５および図１６で示されるように、本実施例では、各ピクチャを、分割位置が隣接ピクチャで異なる様に設定しつつ、さらに各ピクチャの一部のスライスをＩスライスに設定して符号化している。例えば、Ｉ００ピクチャの一番目のスライス、Ｂ０１ピクチャの二番目のスライス、Ｂ０２ピクチャの三番目のスライス、Ｐ０３ピクチャの三番目のスライス、といったように、Ｉスライスが設定される。（なお、Ｉ００の場合、その他のスライスもＩスライスであるが、本実施例の説明には不要なので、図示していない。以下、単にＩスライスといった場合、Ｉ００のその他のＩスライスは含まれないものとする。）
各Ｉスライスとなるスライスは、ピクチャごとに少しずつ位置をずらしながら設定され、なおかつ、その分割位置は、隣接ピクチャのスライス分割位置と異なる位置に設定される。なお、他のスライスの分割位置も、隣接ピクチャと異なる位置に設定される。通常Ｉスライスは、使用可能な予測モードがイントラ予測しかないため、符号化効率が悪く、割り当てられる符号量によるものの、基本的にノイズが発生しやすい状態にある。特に、隣接スライスが符号化効率の良い、ＰスライスやＢスライスの場合、Ｉスライスの劣化の程度が目立ちやすく、スライス境界が認識されやすくなる。 As shown in FIGS. 15 and 16, in this embodiment, each picture is set such that the division position is different between adjacent pictures, and a part of the slices of each picture is set as an I slice and encoded. ing. For example, the I slice is set such that the first slice of the I00 picture, the second slice of the B01 picture, the third slice of the B02 picture, and the third slice of the P03 picture. (In the case of I00, other slices are also I slices, but they are not shown because they are unnecessary for the description of the present embodiment. Hereinafter, in the case of simply I slices, other I slices of I00 are not included.) Suppose)
Slices to be I slices are set while shifting the position little by little for each picture, and the division position is set to a position different from the slice division position of the adjacent picture. Note that the division positions of other slices are also set to positions different from those of adjacent pictures. Since the normal I slice has only intra prediction that can be used, the coding efficiency is low, and although it depends on the allocated code amount, it is basically in a state where noise is likely to occur. In particular, when the adjacent slice is a P slice or B slice with good coding efficiency, the degree of degradation of the I slice is easily noticeable, and the slice boundary is easily recognized.

そこで、本実施例では、上記した各実施例と同様に各ピクチャのスライス分割位置が隣接ピクチャと異なる位置になるように設定し、なおかつ、Ｉスライスをピクチャごとにずらしながら設定するようにする。これによって、スライス境界を目立ちにくくすることができるとともに、Ｉスライスに設定したエリアにおけるエラー耐性や高速再生時の表示再現性を向上させられることができる。 Therefore, in the present embodiment, the slice division position of each picture is set so as to be different from the adjacent picture as in the above-described embodiments, and the I slice is set while being shifted for each picture. As a result, the slice boundary can be made inconspicuous, and the error tolerance in the area set for the I slice and the display reproducibility at high speed reproduction can be improved.

以上のとおり、本発明は、スライスの分割位置及び分割数の少なくとも一方を設定するものであり、基本的に隣接するピクチャ間でスライス分割位置を異ならせるものであり、或いはスライス分割位置が異なる確率を高めるものである。そして、スライス分割位置の変化を規則的なものとすることで、復号時にスライス分割位置を決定しやすくなり、復号処理を容易にすることができる。 As described above, the present invention sets at least one of the slice division position and the number of divisions, basically changes the slice division position between adjacent pictures, or the probability that the slice division position is different. It is what raises. By making the change of the slice division position regular, it becomes easy to determine the slice division position at the time of decoding, and the decoding process can be facilitated.

（他の実施形態）
上述した本発明の実施形態における画像符号化装置を構成する各手段、並びに画像符号化方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び上記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。 (Other embodiments)
Each means constituting the image coding apparatus and each step of the image coding method in the embodiment of the present invention described above can be realized by operating a program stored in a RAM or ROM of a computer. This program and a computer-readable recording medium on which the program is recorded are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。 Further, the present invention can be embodied as a system, apparatus, method, program, storage medium, or the like. Specifically, the present invention may be applied to a system composed of a plurality of devices, or may be applied to an apparatus composed of a single device.

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接されてもよい。あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。 In the present invention, a software program that implements the functions of the above-described embodiments may be directly applied to a system or apparatus. Alternatively, it may be achieved by supplying from a remote location and the computer of the system or apparatus reads and executes the supplied program code.

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。 In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどである。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）なども含む。 Examples of the recording medium for supplying the program include a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, and CD-RW. Moreover, a magnetic tape, a non-volatile memory card, ROM, DVD (DVD-ROM, DVD-R), etc. are also included.

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、前記ホームページから本発明のコンピュータプログラムそのものをダウンロードすることによっても供給できる。もしくは、圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 As another program supply method, the program can be supplied by connecting to an Internet homepage using a browser of a client computer and downloading the computer program of the present invention from the homepage. Alternatively, it can be supplied by downloading a compressed file including an automatic installation function to a recording medium such as a hard disk.

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. Let It is also possible to execute the encrypted program by using the key information and install the program on a computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. In addition, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.

１０画像符号化装置
１２スライス分割部
１４減算器
１６整数変換部
１８量子化部
２０逆量子化部
２２逆整数変換部
２４加算器
２６フレームメモリ
２８イントラ予測部
３０デブロッキングフィルタ
３２フレームメモリ
３４インター予測部
３６動き推定部
３８スイッチ
４０エントロピー符号化部
４２ピクチャ属性決定部
４４スライス設定部
１０ａ画像符号化装置
４６スライス設定部 DESCRIPTION OF SYMBOLS 10 Image coding apparatus 12 Slice division part 14 Subtractor 16 Integer conversion part 18 Quantization part 20 Inverse quantization part 22 Inverse integer conversion part 24 Adder 26 Frame memory 28 Intra prediction part 30 Deblocking filter 32 Frame memory 34 Inter prediction Unit 36 motion estimation unit 38 switch 40 entropy encoding unit 42 picture attribute determination unit 44 slice setting unit 10a image encoding device 46 slice setting unit

Claims

入力された画像データを複数のスライスに分割する手段であって、一つの前記スライスが、所定数の画素からなる１以上のブロックから構成されるように、前記画像データの複数のピクチャそれぞれを複数の前記スライスに分割する分割手段と、
前記分割手段によって分割されたスライスを単位として前記画像データを符号化する符号化手段と、
前記ブロックの単位で前記スライスの分割位置を設定する設定手段とを有し、
前記設定手段は、前記画像データの複数のピクチャにおける前記スライスの分割数を等しくして、前記スライスの分割位置を周期的に変更し、
前記分割手段は、前記設定手段により設定された分割位置に従って、前記画像データを複数の前記スライスに分割することを特徴とする画像符号化装置。 A means for dividing input image data into a plurality of slices , wherein each of the plurality of pictures of the image data is divided so that one slice is composed of one or more blocks including a predetermined number of pixels. Dividing means for dividing the slice into
Encoding means for encoding the image data in units of slices divided by the dividing means;
Setting means for setting a division position of the slice in units of the block ;
The setting means equalizes the number of divisions of the slices in a plurality of pictures of the image data, and periodically changes the division position of the slices ,
The image coding apparatus according to claim 1, wherein the dividing unit divides the image data into a plurality of the slices according to the division position set by the setting unit.

前記分割手段は、前記スライスに関する情報を前記符号化手段に供給することを特徴とする請求項１に記載の画像符号化装置。 It said dividing means, the image coding apparatus according to claim 1, characterized in that to supply information about the slice to the encoding means.

前記符号化手段は、前記スライスを単位として符号化を行うエントロピー符号化手段を有することを特徴とする請求項１に記載の画像符号化装置。 It said encoding means, the image coding apparatus according to claim 1, characterized in that it comprises an entropy encoding means for encoding the slice units.

前記符号化手段は、前記スライスを単位としてピクチャ間予測に関連する動き推定を行う動き推定手段を有することを特徴とする請求項１に記載の画像符号化装置。 The image coding apparatus according to claim 1 , wherein the coding unit includes a motion estimation unit that performs motion estimation related to inter-picture prediction in units of the slice.

前記符号化手段は、前記スライスを単位として予測処理を行うピクチャ内予測手段を有することを特徴とする請求項１に記載の画像符号化装置。 The image coding apparatus according to claim 1 , wherein the coding unit includes an intra-picture prediction unit that performs a prediction process in units of the slices.

前記設定手段は、設定されるスライスごとに符号化タイプを設定することを特徴とする請求項１に記載の画像符号化装置。 The image encoding apparatus according to claim 1, wherein the setting unit sets an encoding type for each slice to be set.

前記符号化手段は、前記スライスを単位として、ピクチャ間予測符号化と、ピクチャ内予測符号化の一方を選択することを特徴とする請求項１に記載の画像符号化装置。 The image encoding apparatus according to claim 1, wherein the encoding unit selects one of inter-picture predictive encoding and intra-picture predictive encoding in units of the slices .

前記設定手段は、前記画像データの隣接するピクチャ間で前記スライスの分割位置が異なるように、前記スライスの分割位置を設定することを特徴とする請求項１に記載の画像符号化装置。 2. The image encoding apparatus according to claim 1, wherein the setting unit sets the division position of the slice so that the division position of the slice differs between adjacent pictures of the image data .

前記設定手段は、所定数のピクチャ毎の周期で前記スライスの分割位置を変更することを特徴とする請求項１に記載の画像符号化装置。 2. The image encoding apparatus according to claim 1, wherein the setting unit changes the division position of the slice at a period of a predetermined number of pictures .

入力された画像データを複数のスライスに分割する工程であって、一つの前記スライスが、所定数の画素からなる１以上のブロックから構成されるように、前記画像データの複数のピクチャそれぞれを複数の前記スライスに分割する分割工程と、
前記スライスを単位として前記画像データを符号化する符号化工程と、
前記ブロックの単位で前記スライスの分割位置を設定する設定工程とを有し、
前記設定工程は、前記画像データの複数のピクチャにおける前記スライスの分割数を等しくして、前記スライスの分割位置を周期的に変更し、
前記分割工程は、前記設定された分割位置に従って、前記画像データを複数の前記スライスに分割することを特徴とする画像符号化方法。 A step of dividing the input image data into a plurality of slices , wherein each of the plurality of pictures of the image data is configured such that one slice is composed of one or more blocks including a predetermined number of pixels; A dividing step of dividing the slice into
A coding step for coding the image data of the slice units,
Possess a setting step of setting a dividing position of the slice in units of said blocks,
In the setting step, the division number of the slice in the plurality of pictures of the image data is made equal, and the division position of the slice is periodically changed,
The image coding method according to claim 1, wherein the dividing step divides the image data into a plurality of slices according to the set division position .