JP2007195209A - Video encoding apparatus and method - Google Patents
Video encoding apparatus and method Download PDFInfo
- Publication number
- JP2007195209A JP2007195209A JP2007038684A JP2007038684A JP2007195209A JP 2007195209 A JP2007195209 A JP 2007195209A JP 2007038684 A JP2007038684 A JP 2007038684A JP 2007038684 A JP2007038684 A JP 2007038684A JP 2007195209 A JP2007195209 A JP 2007195209A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- circuit
- alpha map
- image
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
Description
本発明は、画像信号を高能率に符号化し、伝送・蓄積するための画像符号化方法及び装置に関する。 The present invention relates to an image encoding method and apparatus for encoding an image signal with high efficiency and transmitting / accumulating it.
画像信号は膨大な情報量を持つため、伝送や蓄積に供する場合には圧縮符号化するのが一般的である。画像信号を高能率に符号化するには、フレーム単位の画像を、所要画素数単位でブロック分けし、その各ブロック毎に直交変換して画像の持つ空間周波数を各周波数成分に分離し、変換係数として取得してこれを符号化する。 Since an image signal has an enormous amount of information, it is generally compressed and encoded when used for transmission or storage. In order to encode an image signal with high efficiency, a frame-by-frame image is divided into blocks in units of the required number of pixels, and each block is orthogonally transformed to separate the spatial frequency of the image into each frequency component and transform Obtained as a coefficient and encoded it.
ところで、画像符号化の一つとして、『J.Y.A. Wang et al. “Applying Mid-level Vision Techniques for Video Data Compression and Manipulation”, M. I. T. Media Lab. Tech. Report No.263, Feb.1994, 』において、ミッドレベル符号化と呼ばれる範疇に属する画像符号化法が提案されている。 By the way, as one of the image coding, “JYA Wang et al.“ Applying Mid-level Vision Techniques for Video Data Compression and Manipulation ”, MIT Media Lab. Tech. Report No.263, Feb.1994,” An image coding method belonging to a category called level coding has been proposed.
この方式では、例えば、図３１（ａ）のような背景と被写体（以後、オブジェクトと呼ぶ）からなる画像があったとして、この背景とオブジェクトを図２８（ｂ），（ｃ）のように分けて符号化している。 In this method, for example, if there is an image composed of a background and a subject (hereinafter referred to as an object) as shown in FIG. 31A, the background and the object are divided as shown in FIGS. 28B and 28C. Are encoded.
このように、背景（図３１（ｃ））やオブジェクト（図３１（ｂ））を別々に符号化するためには、オブジェクトの形状や画面内の位置を表す副画像情報であるアルファマップ信号（図３１（ｄ）白画素がオブジェクトの画素を示す）が必要となる。なお、背景のアルファマップ信号（図３１（ｅ））は、オブジェクトのアルファマップ信号から一意に求められる。 As described above, in order to separately encode the background (FIG. 31C) and the object (FIG. 31B), an alpha map signal (sub-image information representing the shape of the object and the position in the screen) ( FIG. 31 (d) white pixels indicate object pixels). The background alpha map signal (FIG. 31E) is uniquely obtained from the alpha map signal of the object.
ところで、このアルファマップ信号を効率的に符号化する方法として、２値画像の符号化法（例えば、ＭＭＲ(Modified Modified READ)符号化等）や、線図形の符号化法（チェイン符号化等）が用いられている。 By the way, as a method of efficiently encoding the alpha map signal, a binary image encoding method (for example, MMR (Modified Modified READ) encoding) or a line figure encoding method (chain encoding or the like) is used. Is used.
また、更にアルファマップの符号量を低減するために、形状の輪郭線をポリゴン近似してスプライン曲線でスムーシングする方法(J. Ostermann, “Object-based analysis-synthesis coding based on the source model of moving rigid 3D objects”, Signal Process.: Image Comm.Vol.6 No.2 pp.143-161, 1994)や、アルファマップを縮小して符号化し、拡大する際に曲線近似する方法（特開平０７−１５２９１５号公報参照）などがある。
画像を符号化する場合に、画面内を背景とオブジェクトに分割して符号化する方式があるが、この場合、背景とオブジェクトを分けるために、オブジェクトの形状や画面内の位置を表すアルファマップ信号が必要となる。そして、画像の符号化情報と共に、このアルファマップの情報も符号化してビットストリーム化し、伝送や蓄積に供する。 When encoding an image, there is a method that divides the inside of the screen into a background and an object, and in this case, in order to separate the background and the object, an alpha map signal indicating the shape of the object and the position in the screen is used. Is required. The information of the alpha map as well as the encoded information of the image is also encoded to form a bit stream for transmission and storage.
しかし、画面内を背景とオブジェクトに分割して符号化する方式の場合、従来の符号化法のように画面内を一括して符号化するのに比べ、アルファマップがある分、符号量増加が問題となり、このアルファマップの符号量増加による符号化効率の低下が問題となる。 However, in the method of encoding by dividing the inside of the screen into the background and the object, the amount of code increases by the amount of alpha map compared to the case of encoding in the screen all at once as in the conventional encoding method. There is a problem, and a decrease in encoding efficiency due to an increase in the code amount of the alpha map becomes a problem.
そこでこの発明の目的とするところは、オブジェクトの形状や画面内の位置などを表す副画像情報であるアルファマップの情報を効率良く符号化できるとともに、その復号を行うことができるようにした画像符号化装置および画像復号化装置を提供することにある。 Accordingly, an object of the present invention is to efficiently encode the information of the alpha map, which is sub-image information representing the shape of the object, the position in the screen, and the like, and an image code that can be decoded. It is to provide an encoding device and an image decoding device.
本発明は、上記目的を達成するため、２値画像を拡大・縮小する解像度変換手段と、縮小された２値画像を符号化する手段と、解像度変換手段の拡大・縮小率を符号化して上記２値画像の符号化データと併せて伝送する手段を有し、解像度変換手段の拡大縮小率を変えることで、符号化手段の発生符号量を制御する構成とする。 In order to achieve the above object, the present invention encodes the resolution conversion means for enlarging / reducing a binary image, the means for encoding the reduced binary image, and the enlargement / reduction ratio of the resolution conversion means, It has a means for transmitting together with the encoded data of the binary image, and the generated code amount of the encoding means is controlled by changing the enlargement / reduction ratio of the resolution conversion means.
また、本発明は、上記目的を達成するため、画像をその画像のオブジェクト領域と背景領域に区別するための副画像情報であるアルファマップと共に符号化して出力するようにした画像符号化装置において、前記アルファマップを解像度変換して縮小する解像度変換手段と、縮小されたアルファマップを符号化する手段と、前記解像度変換手段の縮小率を符号化して前記縮小されたアルファマップの符号化データと併せて伝送する手段を有し、解像度変換手段の縮小率を変えることで、符号化手段の発生符号量を制御する構成とすることを特徴とする。 In order to achieve the above object, the present invention provides an image encoding apparatus that encodes and outputs an image together with an alpha map that is sub-image information for distinguishing an image from an object area and a background area. Combined with resolution conversion means for reducing the resolution by converting the alpha map, means for encoding the reduced alpha map, and encoded data of the reduced alpha map by encoding the reduction rate of the resolution conversion means. Transmission means, and the generated code amount of the encoding means is controlled by changing the reduction rate of the resolution converting means.
また、本発明は、上記目的を達成するため、ＭＭＲ(Modified Modified READ)符号化で用いられる２次元符号化において、垂直モードが適用される範囲を変える手段と、拡大した垂直モードの範囲に応じて、符号表を拡張する手段を有し、垂直モードが適用される範囲を表す情報を、上記２次元符号化データと併せて伝送することを特徴とする。 In order to achieve the above object, the present invention provides means for changing the range in which the vertical mode is applied in the two-dimensional encoding used in MMR (Modified Modified READ) encoding, and the expanded vertical mode range. And a means for extending the code table, wherein information representing a range to which the vertical mode is applied is transmitted together with the two-dimensional encoded data.
また、本発明は、上記目的を達成するため、画面内のオブジェクトを含む小領域を設定する手段と、小領域内のアルファマップ信号を符号化する手段を有し、画面内における小領域の位置および大きさの情報を、上記アルファマップ信号の符号化データと併せて伝送する手段を有する構成の２値画像符号化装置とする。 In order to achieve the above object, the present invention has means for setting a small region including an object in the screen and means for encoding an alpha map signal in the small region, and the position of the small region in the screen. In addition, a binary image encoding apparatus having a means for transmitting information on the size together with the encoded data of the alpha map signal is provided.
本発明ではアルファマップの縮小画像を符号化することで、符号量の増加を抑える。さらに、縮小率の情報を送ることで、所望のサイズでアルファマップを符号化することができ、アルファマップの発生符号量と形状の精度のトレードオフを図ることが可能となる。 In the present invention, an increase in code amount is suppressed by encoding a reduced image of an alpha map. Furthermore, by sending information on the reduction ratio, it is possible to encode the alpha map with a desired size, and it is possible to achieve a trade-off between the generated code amount of the alpha map and the accuracy of the shape.
また、本発明ではＧ４−ＦＡＸ（Ｇ４規格のファクシミリ）の符号化方式である、ＭＭＲの垂直モードの範囲を拡大することが可能となり、水平方向のみではなく、垂直方向にも高い相関を有するアルファマップの性質を利用して、符号化効率を向上させることが可能となる。 Further, according to the present invention, it is possible to expand the range of the MMR vertical mode, which is a G4-FAX (G4 standard facsimile) encoding method, and alpha having high correlation not only in the horizontal direction but also in the vertical direction. It is possible to improve the coding efficiency by utilizing the property of the map.
また、本発明では、オブジェクトに対して必要最小限の領域のアルファマップを符号化することで、オブジェクトの大きさが画面に比較して小さい場合に符号化効率を向上させることができる。 Further, according to the present invention, the encoding efficiency can be improved when the size of the object is smaller than the screen by encoding the alpha map of the minimum necessary area for the object.
また、本発明は、ＭＭＲ符号化のような、相対アドレス符号化（垂直モード）とランレングス符号化（水平モード）を適応的に切り換える符号化法を適用した画像符号化装置において、画面の横幅より大きいかまたは画面の横幅と等しい長さとした最大ラン長を設定すると共に、この最大ラン長までのランレングス符号を備える手段と、前記ランレングス符号を用い、２値画像を、表示のラスタ走査順に符号化すると共に、また、最大ラン長を越えるラン長を符号化する場合には、ラスタ走査の走査線を飛び越える指示である垂直方向パスモードの符号に置き換える符号化手段とを備えたことを特徴とする。 The present invention also relates to an image encoding apparatus to which an encoding method such as MMR encoding that adaptively switches between relative address encoding (vertical mode) and run length encoding (horizontal mode) is applied. A maximum run length that is greater than or equal to the horizontal width of the screen is set, and means having a run length code up to the maximum run length and the run length code are used to scan a binary image for raster scanning of the display Encoding in order, and in the case of encoding a run length exceeding the maximum run length, an encoding means for replacing with a code in a vertical pass mode, which is an instruction to skip the scanning line of raster scanning, is provided. Features.
さらに、ＭＭＲ符号化のような、相対アドレス符号化とランレングス符号化を適応的に切り換える符号化法を適用して符号化された符号化情報を復号する復号化装置において、与えられた符号化情報をラスタ順に復号する復号手段と、画面幅より大きいかまたは画面幅と等しい長さとした最大ラン長を設定すると共に、復号手段により垂直方向のパスモード情報が復号されると垂直スキップモードにより上記最大ラン長対応の情報に復号する復号化手段を設けたことを特徴とする。 Furthermore, in a decoding apparatus that decodes encoded information by applying an encoding method that adaptively switches between relative address encoding and run-length encoding, such as MMR encoding, A decoding unit that decodes information in raster order, and a maximum run length that is greater than or equal to the screen width are set, and when the vertical path mode information is decoded by the decoding unit, the vertical skip mode Decoding means for decoding information corresponding to the maximum run length is provided.
本発明においては、ランレングス符号を用い、２値画像を、表示のラスタ走査順に符号化すると共に、また、最大ラン長を越えるラン長を符号化する場合には、ラスタ走査の走査線を飛び越える指示である垂直方向パスモードの符号に置き換える符号化を行って符号量を少なくする。そして、復号化は、与えられた符号化情報をラスタ順に復号し、復号手段により垂直方向のパスモード情報が復号されると垂直スキップモードにより、上記画面幅より大きいかまたは画面幅と等しい長さとした最大ラン長対応の情報に復号する。これにより、垂直方向パスモードの符号を用いて符号化したものであっても復号化できて、最大ラン長を越えるラン長を短い符号量で符号化および復号化することが可能になる。 In the present invention, a run-length code is used to encode a binary image in the order of display raster scanning. When a run length exceeding the maximum run length is encoded, the scan line of the raster scan is skipped. The code amount is reduced by performing the replacement with the code in the vertical path mode as an instruction. In decoding, the given encoded information is decoded in raster order, and when the pass mode information in the vertical direction is decoded by the decoding unit, the length is larger than the screen width or equal to the screen width by the vertical skip mode. To the information corresponding to the maximum run length. Accordingly, even a code encoded using a code in the vertical direction path mode can be decoded, and a run length exceeding the maximum run length can be encoded and decoded with a short code amount.
以上は、いずれも画面単位で、かつ、ライン方向を主体に圧縮符号化し、あるいは復号化するようにしたものであるが、ＭＰＥＧ等においては、画面を複数のブロック（マクロブロック）に区分し、このブロック（マクロブロック）単位で処理する方式を採用している。そのため、マクロブロック単位で圧縮符号化処理し、また、復号化処理する技術が必要である。 In the above, each is a screen unit and is mainly compression-encoded or decoded mainly in the line direction. In MPEG and the like, the screen is divided into a plurality of blocks (macroblocks). A method of processing in units of this block (macro block) is adopted. Therefore, a technique for performing compression encoding processing and decoding processing for each macroblock is required.
そのために本発明は、２値画像を所定の小領域毎に拡大・縮小する解像度変換手段と、前記小領域毎に２値化像を符号化する手段と、前記小領域毎に解像度変換手段の適用した拡大・縮小率の情報を符号化して前記２値画像の符号化データと併せて伝送する手段を有し、小領域毎に解像度変換手段の拡大・縮小率を変えることで、符号化手段の発生符号量を制御することを特徴とする２値画像符号化装置を提供する。さらにまた本発明は、前記解像度変換手段の適用した拡大・縮小率にしたがって可変長符号を切り替える。 For this purpose, the present invention provides a resolution conversion means for enlarging / reducing a binary image for each predetermined small area, a means for encoding a binary image for each small area, and a resolution conversion means for each small area. Encoding means by encoding the applied enlargement / reduction ratio information and transmitting it together with the encoded data of the binary image, and changing the enlargement / reduction ratio of the resolution converting means for each small area A binary image encoding apparatus is provided that controls the amount of generated codes. Furthermore, the present invention switches the variable length code according to the enlargement / reduction ratio applied by the resolution conversion means.
また本発明は、所定の小領域毎に解像度変換手段の情報を復号する手段と、前記解像度変換手段の適用した拡大・縮小率の情報にしたがって小領域毎に２値画像を復号化する手段と、前記解像度変換手段の適用した拡大・縮小率の情報にしたがって２値画像を拡大する解像度変換手段を有する２値画像復号化装置を提供する。 The present invention also provides means for decoding the information of the resolution conversion means for each predetermined small area, means for decoding a binary image for each small area according to the information of the enlargement / reduction ratio applied by the resolution conversion means, The present invention provides a binary image decoding apparatus having resolution conversion means for enlarging a binary image in accordance with information on the enlargement / reduction ratio applied by the resolution conversion means.
また本発明は、解像度変換手段の適用した拡大・縮小率の情報にしたがって可変長符号を切り換えることを特徴とする。 Further, the present invention is characterized in that the variable length code is switched in accordance with the information of the enlargement / reduction ratio applied by the resolution conversion means.
また本発明は、オブジェクトを含む長方形領域をＭ×Ｎ画素（Ｍ：水平方向の画素数．Ｎ：垂直方向の画素数）で構成される方形ブロック毎に分割する手段と、上記方形ブロックを長方形領域の左上あるいは右下から順次符号化する手段を有し、方形ブロックの全てあるいは一部に対して相対アドレス符号化を適用する２値画像符号化装置であって、方形ブロックに接する再生値を蓄える手段と、変化画素を検出する手段を有し、方形ブロックに接する再生値も含めて変化画素を検出することで、変化画素数を削減することを可能とする画像符号化装置を提供する。 The present invention also provides means for dividing a rectangular area including an object into square blocks each composed of M × N pixels (M: number of pixels in the horizontal direction. N: number of pixels in the vertical direction), and the rectangular block is rectangular. A binary image encoding apparatus having means for sequentially encoding from the upper left or lower right of an area and applying relative address encoding to all or a part of a square block, wherein a reproduction value adjacent to the square block is Provided is an image encoding device that has a means for storing and a means for detecting a change pixel, and that can detect the change pixel including a reproduction value in contact with a square block, thereby reducing the number of change pixels.
また本発明は、Ｍ×Ｎ画素で構或される方形ブロック毎に長方形領域の左上あるいは右下から順次復号化する２値画像復号化装置であって、方形ブロックに接する再生値を蓄える手段と、変化画素を検出する手段と、変化画素との相対アドレスを復号する手段を有し，方形ブロックに接する再生値も含めて変化画素を検出することを特徴とする画像復号化装置を提供する。 Further, the present invention is a binary image decoding apparatus for sequentially decoding from the upper left or lower right of a rectangular area for each square block composed of M × N pixels, and means for storing reproduction values in contact with the square block An image decoding apparatus having means for detecting a change pixel and means for decoding a relative address of the change pixel and detecting a change pixel including a reproduction value in contact with a square block is provided.
また本発明は、オブジェクトを含む長方形領域をＭ×Ｎ画素（Ｍ：水平方向の画素数，Ｎ：垂直方向の画素数）で構成される方形ブロック毎に分割する手段を有し、方形ブロックの全てあるいは一部に対して相対アドレス符号化を適用する２値画像符号化装置であって、方形ブロック内の符号化順序（スキャン順序）を適応的に切り換える手段と、上記切り換え情報を併せて符号化する手段を有することを特徴とする画像符号化装置を提供する。 The present invention also includes means for dividing a rectangular area including an object into square blocks each composed of M × N pixels (M: number of pixels in the horizontal direction, N: number of pixels in the vertical direction). A binary image coding apparatus that applies relative address coding to all or a part of the image coding apparatus, and includes a means for adaptively switching the coding order (scan order) in a square block and the switching information. There is provided an image encoding device characterized by comprising means for converting into an image.
また本発明は、Ｍ×Ｎ画素で構成される方形ブロック毎に復号化する２値画像復号化装置であって、方形ブロック内の復号化順序（スキャン順序）を切り換える手段と、復号化順序の切り換え情報を復号する手段を有し、上記切り換え情報に応じてＭ×Ｎ画素の方形ブロックを再生することを特徴とする画像復号化装置を提供する。 The present invention is also a binary image decoding apparatus for decoding for each square block composed of M × N pixels, and means for switching the decoding order (scan order) in the square block; There is provided an image decoding apparatus characterized by having means for decoding switching information and reproducing a square block of M × N pixels in accordance with the switching information.
また本発明は、オブジェクトを含む長方形領域をＭ×Ｎ画素（Ｍ：水平方向の画素数，Ｎ：垂直方向の画素数）で構成される方形ブロック毎に分割する手段を有し、方形ブロックの全てあるいは一部に対して相対アドレス符号化を適用する２値画像符号化装置であって、方形ブロック内のラインを交互にスキャンすることで、ラスタスキャンされた（２Ｍ）×（Ｎ／２）画素のブロックに変換する手段と、上記変換手段を適応的に用いる手段を有し、方形ブロックに上記変換手段を用いたか否かを識別する情報も併せて符号化することを特徴とする画像信号化装置を提供する。 The present invention also includes means for dividing a rectangular area including an object into square blocks each composed of M × N pixels (M: number of pixels in the horizontal direction, N: number of pixels in the vertical direction). A binary image coding apparatus that applies relative address coding to all or a part of the image data, and raster scanned (2M) × (N / 2) by alternately scanning lines in a rectangular block An image signal comprising means for converting to a block of pixels and means for adaptively using the conversion means, and also encoding information for identifying whether or not the conversion means is used for a square block A device is provided.
また本発明は、Ｍ×Ｎ画素あるいは（２Ｍ）×（Ｎ／２）画素で構成される方形ブロック毎に相対アドレスを復号化する２値画像復号化装置であって、ブロックの変換手段を用いたか否かを識別する符号を復号する手段と、ラスタスキャンされた（２Ｍ）×（Ｎ／２）画素のブロックをＭ×Ｎ画素のブロックに逆変換する手段を有し、前記識別情報に応じてＭ×Ｎ画素の方形ブロックを再生することを特徴とする画像復号化装置を提供する。 The present invention is also a binary image decoding apparatus for decoding a relative address for each square block composed of M × N pixels or (2M) × (N / 2) pixels, using block conversion means. Means for decoding a code for identifying whether or not a raster scan is performed, and means for inversely converting a raster-scanned block of (2M) × (N / 2) pixels into a block of M × N pixels, according to the identification information An image decoding apparatus is provided that reproduces a square block of M × N pixels.
また本発明は、オブジェクトの画像信号と、このオブジェクトの画像に対応し、画像をその画像のオブジェクト領域と背景領域に区別するための情報であるアルファマップとを分けて符号化する画像符号化装置において、オブジェクトの画像信号とおよびそのオブジェクトに対応するアルファマップの動き補償予測を行うと共に、動き補償予測されたアルファマップの予測誤差がしきい値よりも小さい場合には、オブジェクトの画像信号の動き補償予測値をコピーする符号化方式であって、画像信号で既に符号化されている動きベクトル（ＭＶY ）と、アルファマップの動きベクトル（ＭＶA ）との差分ベクトル（ＭＶＤA ）を符号化する符号化手段と、上記差分ベクトル（ＭＶＤA ）を検出する際に、上記動きベクトル（ＭＶY ）を中心として、差分ベクトル（ＭＶＤA ）を小さい順から、大きい順へと検出する検出手段と、アルファマップの動き補償予測誤差がしきい値よりも小さくなった時点で、動きベクトルの検出を終了し、その時点での動きベクトルを上記差分ベクトル（ＭＶＤA ）とする動きベクトル検出回路とを有することを特徴とする画像符号化装置を提供する。 The present invention also relates to an image encoding device that separately encodes an image signal of an object and an alpha map that corresponds to the image of the object and is information for distinguishing the image into an object area and a background area of the image. , The motion compensation prediction of the object image signal and the alpha map corresponding to the object is performed, and if the prediction error of the motion compensated alpha map is smaller than the threshold value, the motion of the object image signal An encoding method for copying a compensated prediction value, which encodes a difference vector (MVDA) between a motion vector (MVY) already encoded in an image signal and a motion vector (MVA) of an alpha map When detecting the difference vector (MVDA) and the means, the motion vector (MVY) is the center. , Detecting means for detecting the difference vector (MVDA) from the smallest to the largest, and when the motion compensation prediction error of the alpha map becomes smaller than the threshold, the detection of the motion vector is terminated, And a motion vector detection circuit that uses the difference vector (MVDA) as a motion vector at (1).
また本発明は、オブジェクトの画像信号と、そのオブジェクトに対応するアルファマップを分けて符号化する画像符号化装置において、オブジェクトの画像信号とおよびそのオブジェクトに対応するアルファマップの動き補償予測を行うと共に、動き補償予測されたアルファマップの予測誤差がしきい値よりも小さい場合には、オブジェクトの画像信号の動き補償予測値をコピーする符号化方式であって、動きベクトル（ＭＶY ）は符号表に従って符号化すると共に、画像信号で既に符号化されている動きベクトル（ＭＶY ）とアルファマップの動きベクトル（ＭＶA ）との差分ベクトル（ＭＶＤA ）を当該差分ベクトル（ＭＶＤA ）用符号表に従って符号化する手段を有し、差分ベクトル（ＭＶＤA ）のダイナミックレンジが動きベクトル（ＭＶY ）を符号化する際の上記符号表のダイナミックレンジよりも小さくなるように制限することを特徴とする画像符号化装置を提供する。 The present invention also provides motion compensation prediction of an object image signal and an alpha map corresponding to the object in an image encoding apparatus that separately encodes the object image signal and the alpha map corresponding to the object. If the prediction error of the motion compensated alpha map is smaller than the threshold, the coding method is to copy the motion compensated prediction value of the image signal of the object, and the motion vector (MVY) is in accordance with the code table. A means for encoding and encoding a difference vector (MVDA) between a motion vector (MVY) already encoded with an image signal and a motion vector (MVA) of an alpha map according to a code table for the difference vector (MVDA). And the dynamic range of the difference vector (MVDA) is the motion vector (M The Y) to provide an image coding apparatus and limits to be smaller than the dynamic range of the code table in encoding.
またこの符号化装置によって符号化されたデータを復号するために本発明は、画像信号で既に再生されている動きベクトル（ＭＶY ）と差分ベクトル（ＭＶＤA ）より符号表に従って画像を復号する手段と、アルファマップの動きベクトル（ＭＶA ）を生成する手段とを有し、上記符号表は、動きベクトル（ＭＶY ）用と差分ベクトル（ＭＶＤA ）用をそれぞれ設けると共に、差分ベクトル（ＭＶＤA ）用符号表は上記動きベクトル（ＭＶY ）を復号化する際の符号表のダイナミックレンジよりも小さいダイナミックレンジとすることを特徴とする画像復号化装置を提供する。 Further, in order to decode the data encoded by the encoding device, the present invention comprises means for decoding an image according to a code table from a motion vector (MVY) and a difference vector (MVDA) already reproduced in the image signal, Means for generating a motion vector (MVA) of an alpha map, and the code table provides a motion vector (MVY) and a difference vector (MVDA), respectively, and the code table for the difference vector (MVDA) Provided is an image decoding apparatus characterized by having a dynamic range smaller than the dynamic range of a code table used when decoding a motion vector (MVY).
また本発明は、アルファマップをブロックに区分し、そのブロック毎に符号化すると共に、その符号化はそのブロック毎のアルファマップの情報状況対応に属性を与え、その属性を符号化するようにした方式であって、各ブロックに対して、各々の属性に固有のラベルを少なくとも２ビット表現で割り当てると共に、そのラベルを割り当てたプレーンをブロックタイプのプレーンとして得る手段と、上記ラベルで構成されるブロックタイプのプレーンを、桁位置別に分解してビットプレーンに分解する手段と、各々のビットプレーンを個別に２値画像符号化する手段とを有する画像符号化装置を提供する。 Further, according to the present invention, the alpha map is divided into blocks and encoded for each block, and the encoding gives an attribute to the information status correspondence of the alpha map for each block, and the attribute is encoded. A block that is configured by assigning a label unique to each attribute to each block in at least a 2-bit representation and obtaining the assigned plane as a block-type plane for each block, and a block composed of the label There is provided an image encoding apparatus having means for decomposing a type plane into digit planes and decomposing the planes into bit planes, and means for individually binary encoding each bit plane.
またこの画像符号化装置により符号化されたデータを復号化して、アルファマップのブロック毎の属性を再生するために本発明は、各ビットプレーンを個別に２値画像復号化する手段と、ビットプレーンを合成してブロックタイプのプレーンを再生する手段とを有する画像復号化装置を提供する。 In addition, in order to decode the data encoded by the image encoding device and reproduce the attribute of each block of the alpha map, the present invention includes means for individually decoding binary images of each bit plane, And an image decoding apparatus having means for reproducing a block type plane.
また、本発明は、画像をその画像のオブジェクト領域と背景領域に区別するための情報であるアルファマップと共に符号化して出力するようにした画像符号化装置において、前記アルファマップをブロックに分割して、そのブロック毎に符号化を行い、既に符号化したブロックの一部分から切りだした参照パターンを用いてベクトル量子化のインデックステーブルをブロック毎に生成するテーブル生成手段と、前記インデックステーブルを用いてアルファマップをベクトル量子化によって符号化する手段とを有するオブジェクト画像の画像符号化装置を提供する。 Further, the present invention relates to an image encoding device that encodes and outputs an image together with an alpha map that is information for distinguishing the object area and background area of the image, and divides the alpha map into blocks. Encoding means for each block, table generating means for generating a vector quantization index table for each block using a reference pattern cut out from a part of the already encoded block, and alpha using the index table An object image coding apparatus having means for coding a map by vector quantization is provided.
また、この符号化装置により符号化されて得られた符号化ビットストリームを復号化する復号化装置として本発明は、前記ブロック毎に復号化を行い、既に復号したブロックの一部分から切りだした参照パターンを用いてベクトル量子化のインデックステーブルをブロック毎に生成するテーブル生成手段と、前記インデックステーブルを用いてアルファマップをベクトル量子化によって復号する手段とを有するオブジェクト画像の画像復号装置を提供する。 Further, as a decoding device for decoding an encoded bitstream obtained by encoding with this encoding device, the present invention performs decoding for each block, and references that have been cut out from a part of the already decoded block There is provided an image decoding apparatus for an object image having table generation means for generating a vector quantization index table for each block using a pattern, and means for decoding an alpha map by vector quantization using the index table.
本発明によれば、アルファマップの符号量を低減することができるため、従来の符号化法と比べて大幅な符号化効率の低下なしに、背景とオブジェクトを別々に符号化することができるようになる。 According to the present invention, since the code amount of the alpha map can be reduced, it is possible to separately encode the background and the object without significantly reducing the encoding efficiency as compared with the conventional encoding method. become.
以下、図面を参照して本発明の具体例を説明する。 Hereinafter, specific examples of the present invention will be described with reference to the drawings.
（第１の具体例）本発明は、図１の画像伝送システムにおける送受信装置（図１のＡ，Ｂ）内の、画像符号化・復号化装置に関するものであり、アルファマップ信号の高能率圧縮符号化・復号化を図ることができるようにしたものである。 (First Specific Example) The present invention relates to an image encoding / decoding device in a transmission / reception device (A, B in FIG. 1) in the image transmission system of FIG. 1, and highly efficient compression of an alpha map signal. The encoding / decoding can be achieved.
本発明では、符号化装置側において、アルファマップ信号について、解像度縮小を図り、符号化すると共に、得られた符号を縮小率情報とともに多重化して伝送や蓄積用のアルファマップ信号とすることで、アルファマップ信号を効率良く符号化できるようにする。 In the present invention, on the encoding device side, the resolution is reduced and encoded for the alpha map signal, and the obtained code is multiplexed with the reduction ratio information to obtain an alpha map signal for transmission and storage, An alpha map signal can be efficiently encoded.
また、本発明では、復号化装置側において、このような高能率符号化されたアルファマップ信号を再生する時は、アルファマップの符号化成分と、縮小率情報とを分離し、アルファマップの符号化成分は復号した後に縮小率情報に従って元の解像度に拡大するようにし、これによって元のサイズのアルファマップ信号を復元できるようにして、アルファマップを用いた符号化画像の復号も支障なく行えるようにする。 Further, in the present invention, when reproducing such a high-efficiency encoded alpha map signal on the decoding device side, the encoded component of the alpha map and the reduction rate information are separated and the code of the alpha map is encoded. After the decoding component is decoded, it is enlarged to the original resolution according to the reduction ratio information, so that the alpha map signal of the original size can be restored, so that the encoded image using the alpha map can be decoded without any trouble. To.
図２は、このような本発明における画像符号化装置のブロック図である。本発明における画像符号化装置は、図２に示すように、差分回路１００、動き補償予測回路１１０、直交変換回路１２０、量子化回路１３０、可変長符号化回路１４０、逆量子化回路１５０、逆直交変換回路１６０、加算回路１７０、多重化回路１８０、アルファマップ符号化回路２００とから構成される。
FIG. 2 is a block diagram of such an image coding apparatus according to the present invention. As shown in FIG. 2, the image coding apparatus according to the present invention includes a
アルファマップ符号化回路２００は、入力されたアルファマップを符号化し、この符号化された信号をアルファマップ信号として多重化回路１８０に出力する機能と、このアルファマップ信号を復号して局部復号信号として出力する機能を有する。
The alpha
特に、本アルファマップ符号化回路２００は、入力されたアルファマップを符号化するにあたり、与えられた縮小率（倍率）で解像度を縮小する処理を行い、この解像度縮小処理されたものを符号化すると共に、この符号化したものと縮小率の情報（倍率情報）とを多重化してこれをアルファマップ信号として多重化回路１８０に出力する機能を有する。そして、局部復号信号としては、解像度縮小処理されたものを元の解像度に戻す処理をして得たものを用いる構成である。
In particular, the present alpha
差分回路１００は、動き補償予測回路１１０より供給される動き補償予測信号と入力画像信号との差分信号を算出するものであり、直交変換回路１２０は、差分回路１００から供給された差分信号を、アルファマップの情報にしたがって、直交変換係数に変換して出力するものである。
The
量子化回路１３０はこの直交変換回路１２０により得られた直交変換係数を量子化する回路であり、可変長符号化回路１４０はこの量子化回路１３０の出力を符号化して出力するものである。多重化回路１８０はこの可変長符号化回路１４０により符号化されたものと、前記アルファマップ信号とを、動きベクトル情報等のサイド情報と共に多重化してビットストリームとして出力するものである。
The
逆量子化回路１５０は量子化回路１３０の出力を逆量子化するものであり、逆直交変換回路１６０はこの逆量子化回路１５０の出力を前記アルファマップに基いて逆直交変換するものであり、加算回路１７０はこの逆直交変換回路１６０の出力と動き補償予測回路１１０から与えられる予測信号（動き補償予測信号）とを加算して差分回路１００に出力するものである。
The
動き補償予測回路１１０は、フレームメモリを有し、アルファマップ復号化回路２００から与えられる局部復号信号にもとづいて動作してオブジェクト領域の信号、背景領域の信号を蓄積する機能を有する。また、動き補償予測回路１１０は蓄積したオブジェクト領域の画像から動き補償値を予測して予測値として出力し、また、蓄積した背景領域の画像から動き補償値を予測して予測値として出力する機能を有する。
The motion
このような構成の本装置は、画像信号とその画像信号のアルファマップが入力される。 This apparatus configured as described above receives an image signal and an alpha map of the image signal.
アルファマップ符号化回路２００では、線２０を介して入力されるアルファマップを、指示された解像度縮小率（倍率）で縮小して符号化し、この符号化されたアルファマップ信号を前記解像度縮小率情報（倍率情報）とともに多重化してから線３０を介して出力し、また、符号化されたアルファマップ信号を元の解像度に戻すかたちで復号して得た局部復号信号を線４０を介して直交変換回路１２０，逆直交変換回路１６０及び動き補償予測回路１１０に出力する。
In the alpha
本アルファマップ符号化回路２００は、入力されたアルファマップを符号化するにあたり、与えられた縮小率で解像度を縮小する処理を行い、この解像度縮小処理されたものを符号化すると共に、この符号化したものと縮小率の情報とを多重化してこれをアルファマップ信号として多重化回路１８０に出力する。これにより、アルファマップ信号を高効率で符号化することを可能にする。
In encoding the input alpha map, the alpha
そして、局部復号信号としては、解像度縮小処理されたものを元の解像度に戻す処理をして得たものを用い、これを線４０を介して直交変換回路１２０，逆直交変換回路１６０に出力する。これにより、直交変換回路１２０，逆直交変換回路１６０での処理を元のサイズのアルファマップで行うことができるようにする。
Then, as the locally decoded signal, a signal obtained by performing processing for returning the resolution-reduced signal to the original resolution is used, and this is output to the orthogonal transform circuit 120 and the inverse
画像信号は、所定画素サイズ（Ｎ×Ｎ画素）のブロックに分割された後、ブロック位置順に線１０を介して差分回路１００に供給される。そして、差分回路１００では、この入力（画像信号）と、予測信号（オブジェクト予測回路１１０からの動き補償予測信号の出力）との差分信号が算出され、直交変換回路１２０に供給される。
The image signal is divided into blocks having a predetermined pixel size (N × N pixels), and then supplied to the
直交変換回路１２０では、供給された差分信号を線４０を介して供給されるアルファマップの情報にしたがって、直交変換係数に変換した後、量子化回路１３０に供給する。そして、ここで量子化される。量子化回路１３０にて量子化された変換係数は、可変長符号化回路１４０において符号化されると共に、逆量子化回路１５０に供給される。
In the orthogonal transform circuit 120, the supplied difference signal is converted into an orthogonal transform coefficient according to the information of the alpha map supplied via the
逆量子化回路１５０に供給された変換係数は、逆量子化された後、逆直交変換回路１６０において逆変換される。そして、加算回路１７０において動き補償予測回路１１０より供給される動き補償予測値と加算される。加算回路１７０の出力である局部復号画像は、動き補償予測回路１１０内のフレームメモリに蓄えられる。
The transform coefficient supplied to the
そして、動き補償予測回路１１０は、アルファマップ復号化回路２００から与えられる局部復号信号にもとづいてオブジェクトの領域のブロックの処理のタイミングではオブジェクトの動き補償予測値を、それ以外のタイミングでは背景部分の動き補償予測値を出力して差分回路１００に与える。
Then, the motion
すなわち、動き補償予測回路１１０ではアルファマップ信号の局部復号信号から現在、オブジェクトのブロック対応部分の画像信号が差分回路１００に入力されているのか、あるいは背景部分のブロック対応部分の画像信号が差分回路１００に入力されているのかを知り、オブジェクトのブロック対応部分の画像信号の入力期間中であれば、オブジェクトの動き補償予測信号を、そして、背景部分のブロック対応部分の画像信号入力期間中であれば、背景の動き補償予測信号を、差分回路１００に与える。
That is, in the motion
その結果、差分回路１００では、この入力された画像信号と、その画像の領域対応の予測信号との差を算出するので、入力画像がオブジェクト対応の領域のものであれば、そのオブジェクトの対応位置での予測値との差分信号が、また、入力画像が背景の領域のものであれば、その背景位置対応の予測値との差分信号が算出され、直交変換回路１２０に供給される。
As a result, the
直交変換回路１２０では、供給された差分信号を線４０を介して供給されるアルファマップの情報にしたがって、直交変換係数に変換した後、量子化回路１３０に供給する。そしてここで量子化される。
In the orthogonal transform circuit 120, the supplied difference signal is converted into an orthogonal transform coefficient according to the information of the alpha map supplied via the
量子化回路１３０にて量子化された変換係数は、可変長符号化回路１４０において符号化されると共に、逆量子化回路１５０に供給される。そして、逆量子化回路１５０に供給された変換係数はここで逆量子化された後、逆直交変換回路１６０において逆変換されて加算回路１７０に供給される。そして、予測値切り換え回路５００を介して加算回路１７０に供給される予測値と加算されることになる。
The transform coefficient quantized by the
加算回路１７０の出力である局部復号画像の信号は、動き補償予測回路１１０に供給され、動き補償予測回路１１０ではアルファマップ信号の局部復号信号から現在、オブジェクトのブロック対応の信号が加算回路１７０から出力されているのか、あるいは背景部分のブロック対応の信号が加算回路１７０から出力されているのかを知り、オブジェクトのブロック対応の信号の出力中であれば、オブジェクト用のフレームメモリに、そして、背景部分のブロック対応の信号の出力中であれば、背景用のメモリに与えるべく動作して対応のメモリに蓄えさせる。
The signal of the locally decoded image, which is the output of the
そして、これにより、オブジェクト画像のみ、背景画像のみの画像がそれぞれメモリ上に得られることになる。そして、動き補償予測回路１１０はオブジェクト画像を利用して予測値を求め、また、背景部分の画像を利用して背景画像の予測値を求めることができる。
As a result, only the object image and only the background image are obtained on the memory. Then, the motion compensated
上述したように、アルファマップ符号化回路２００では、入力されるアルファマップを符号化し、この符号化されたアルファマップ信号を線３０を介して多重化回路１８０に供給している。
As described above, the alpha
また、多重化回路１８０には、可変長符号化回路１４０から出力された変換係数が線４０を介して供給されている。そして、多重化回路１８０は供給されているこれらアルファマップ信号および変換係数の符号化値とを、動きベクトル情報等のサイド情報と共に多重化した後、線５０を介して出力して本画像符号化装置の最終出力としての符号化ビットストリームとなる。
Further, the transform coefficient output from the variable length coding circuit 140 is supplied to the multiplexing circuit 180 via the
以上が符号化装置の構成と作用であり、画像の誤差信号を得るにあたって、オブジェクト用および背景用の画像により動き補償予測を行うべく、アルファマップにしたがって処理中の画像の現在ブロック位置がオブジェクト領域位置であるのか、背景領域位置であるのかを判別しながら、処理中の画像の現在ブロック位置がオブジェクト領域位置であればオブジェクト用の画像から求めた予測値を用い、背景領域位置であれば背景用の画像から求めた予測値を用いて差分を求めるようにした。 The above is the configuration and operation of the encoding device. When obtaining an error signal of an image, the current block position of the image being processed according to the alpha map is the object region in order to perform motion compensation prediction using the object and background images. If the current block position of the image being processed is the object area position, the predicted value obtained from the object image is used while determining whether the current position is the position or the background area position. The difference is obtained using the predicted value obtained from the image for use.
そして、オブジェクト用および背景用の予測には動き補償予測回路に、この差分から得た画像について、アルファマップにしたがってそれぞれ対応の領域部分の画像を保持させ、予測に供するようにした。これにより、オブジェクトおよび背景それぞれで最適な動き補償予測を行うことができるようになり、質の良い画像圧縮符号化と復号化を可能にする。 For the object and background predictions, the motion compensation prediction circuit holds the images of the corresponding region portions of the images obtained from the differences according to the alpha map, and uses them for prediction. As a result, optimal motion compensation prediction can be performed for each object and background, enabling high-quality image compression encoding and decoding.
また、本発明では、アルファマップについて、解像度縮小を図り、符号化すると共に、得られた符号を縮小率情報と共に多重化して伝送や蓄積用のアルファマップ信号とするようにした。そのため、アルファマップ信号は効率良く符号化できることになり、オブジェクトの形状情報を効率良く符号化できるようになる。 In the present invention, the resolution of the alpha map is reduced and encoded, and the obtained code is multiplexed with the reduction ratio information to form an alpha map signal for transmission and storage. Therefore, the alpha map signal can be efficiently encoded, and the shape information of the object can be efficiently encoded.
また、アルファマップ信号を再生する時は、アルファマップの符号化成分と、縮小率情報とを分離し、アルファマップの符号化成分は復号した後に縮小率情報に従って元の解像度に拡大するようにしたことで、元のサイズのアルファマップを復元できるようになり、アルファマップを用いた符号化画像の復号も支障なく行えるようになる。 In addition, when reproducing the alpha map signal, the encoded component of the alpha map and the reduction rate information are separated, and the encoded component of the alpha map is decoded and enlarged to the original resolution according to the reduction rate information. Thus, the original alpha map can be restored, and the encoded image using the alpha map can be decoded without any trouble.
一方、図３は本発明が用いられる復号化装置のブロック図である。復号化装置は、図３に示すように、分離回路３００、可変長復号化回路３１０、逆量子化回路３２０、逆直交変換回路３３０、加算回路３４０、動き補償予測回路３５０、アルファマップ復号化回路４００とより構成される。
On the other hand, FIG. 3 is a block diagram of a decoding apparatus in which the present invention is used. As shown in FIG. 3, the decoding apparatus includes a
分離化回路３００は入力される符号化ビットストリームを分離化処理してアルファマップ信号と画像の符号化信号等を得る回路であり、アルファマップ復号化回路４００はこの分離化回路３００にて分離されたアルファマップ信号を復号してアルファマップを再生する回路である。ここでは、アルファマップ復号化回路４００は、供給されたアルファマップ信号からアルファマップの成分と、縮小率の情報（倍率情報）を分離し、アルファマップの成分を復号すると共に、これを縮小率の情報に基づいて解像度拡大し、元の解像度のアルファマップに復元する機能を有する。
The
可変長復号化回路３１０は、分離化回路３００にて分離された画像の符号化信号を復号するものであり、逆量子化回路３２０はこの復号されたものを逆量子化して元の係数に戻すものであり、逆直交変換回路３３０はこの係数をアルファマップにしたがって逆直交変換して予測誤差信号に戻すものであり、加算回路３４０は、この予測誤差信号に動き補償予測回路３５０からの動き補償予測値を加算して再生画像信号として出力するものである。この再生画像信号が復号化装置の最終出力となる。
The variable
動き補償予測回路３５０は、加算回路３４０から出力された再生画像信号をアルファマップにしたがってフレームメモリに蓄積することによりオブジェクト画像と背景画像とを得ると共に、この蓄積されて得られた画像からオブジェクトの動き補償予測信号、背景の動き補償予測を得るものである。
The motion
このような構成の復号化装置においては、符号化ビットストリームは、線７０を介して分離化回路３００に供給され、分離化回路３００において各々の情報毎に分離されることにより、アルファマップ信号に関する符号と、画像信号の可変長符号とに分けられる。
In the decoding apparatus having such a configuration, the encoded bit stream is supplied to the
そして、アルファマップ信号に関する符号は、線８０を介してアルファマップ復号化回路４００に供給され、また、画像信号の可変長符号は可変長復号化回路３１０にそれぞれ供給される。
The code relating to the alpha map signal is supplied to the alpha
アルファマップ信号に関する符号はアルファマップ復号化回路４００においてアルファマップ信号に再生され、線９０を介して逆直交変換回路３３０と動き補償予測回路３５０に出力される。
The code relating to the alpha map signal is reproduced as an alpha map signal by the alpha
すなわち、アルファマップ復号化回路４００は、供給されたアルファマップ信号からアルファマップの成分と、縮小率の情報を分離し、アルファマップの成分を復号すると共に、これを縮小率の情報に基づいて解像度拡大し、元の解像度のアルファマップに復元して逆直交変換回路３３０と動き補償予測回路３５０に出力する。
In other words, the alpha
一方、可変長復号化回路３１０では、分離化回路３００から供給される符号を復号し、逆量子化回路３２０に供給して、ここで逆量子化する。逆量子化された変換係数は、線９０を介して供給されるアルファマップにしたがって逆直交変換回路３３０により逆変換され、加算回路３４０に供給される。加算回路３４０では、逆直交変換回路３３０からの逆直交変換された信号と、動き補償予測回路３５０より供給される動き補償予測信号とを加算し、再生画像を得る。
On the other hand, the variable
本発明では、符号化装置側において、アルファマップについて、解像度縮小を図り、符号化すると共に、得られた符号を縮小率情報とともに多重化して伝送や蓄積用のアルファマップ信号とするようにした。そのため、アルファマップ信号は効率良く符号化できることになり、オブジェクトの形状情報を効率良く符号化できるようになる。 In the present invention, on the encoding device side, the resolution of the alpha map is reduced and encoded, and the obtained code is multiplexed with the reduction ratio information to form an alpha map signal for transmission and storage. Therefore, the alpha map signal can be efficiently encoded, and the shape information of the object can be efficiently encoded.
また、本発明では、復号化装置側において、このような高能率圧縮符号化されたアルファマップ信号を再生する時は、アルファマップの符号化成分と、縮小率情報とを分離し、アルファマップの符号化成分は復号した後に縮小率情報に従って元の解像度に拡大するようにしたことで、元のサイズのアルファマップを復元できるようになり、アルファマップを用いた符号化画像の復号も支障なく行えるようになる。 Also, in the present invention, when reproducing such an alpha map signal that has been subjected to such high-efficiency compression coding on the decoding device side, the encoded component of the alpha map and the reduction rate information are separated, and the alpha map Since the encoded component is expanded to the original resolution according to the reduction ratio information after decoding, the original size alpha map can be restored, and the encoded image using the alpha map can be decoded without any trouble. It becomes like this.
本発明で重要なものは、符号化装置におけるアルファマップ符号化回路２００と、復号化装置におけるアルファマップ復号化回路４００であり、所望の倍率で解像度縮小・拡大変換を行える機能を持たせた点に特徴がある。従って、これについて以下詳述する。
What is important in the present invention is the alpha
すなわち、本発明の主体は、アルファマップ符号化回路２００およびアルファマップ復号化回路４００であり、その他の構成に関しては、本発明者等がすでに出願した特願平７−９７０７３号に記載の任意形状画像の符号化方式の技術を用いれば良いので、ここでは深くは立ち入らない。
That is, the subject of the present invention is an alpha
図４、図５および図６を用いて、本発明の主体的要素であるアルファマップ符号化回路２００の具体例の説明を、また、図７および図８を用いてアルファマップ復号化回路４００の具体例の説明をする。
A specific example of the alpha
図４は、特開平０７−１５２９１５号公報にて提案されている方法である。アルファマップ符号化回路２００内では、線２０を介して供給されるアルファマップ信号を、解像度変換を行う手段である解像度変換回路２１０にて縮小し、符号化対象となるサンプリング数を減らした後、線２１を介して２値画像符号化回路２２０に供給してここでＭＭＲやチェイン符号化等で符号化した後、線３０を介して多重化回路１８０に供給する。
FIG. 4 shows a method proposed in Japanese Patent Application Laid-Open No. 07-152915. In the alpha
さらに、解像度変換回路２１０にて縮小されたアルファマップ信号は、線２１を介して解像度変換回路２３０に供給され、線２０を介してアルファマップ符号化回路２００に供給された元信号のサンプル数まで拡大された後、線４０を介して出力される。
Further, the alpha map signal reduced by the resolution conversion circuit 210 is supplied to the resolution conversion circuit 230 via the
図５は、解像度変換回路２１０，２３０における縮小・拡大変換の例である。この変換の説明を、参考文献“尾上編：画像処理ハンドブック，ｐ．６３０，昭晃堂”を基に説明する。 FIG. 5 shows an example of reduction / enlargement conversion in the resolution conversion circuits 210 and 230. This conversion will be described based on the reference document “Onoe: Image Processing Handbook, p. 630, Shosodo”.
図５（ａ）において、Ｐexは変換後の画素位置であり、当該Ｐexは図５（ａ）のように実数画素位置を指し示す。 In FIG. 5A, Pex is a pixel position after conversion, and the Pex indicates a real pixel position as shown in FIG.
そこで、入力信号の整数画素位置Ａ，Ｂ，Ｃ，Ｄとの距離関係から、８つの領域に分けて図５（ｂ）に示す論理式により、Ａ〜Ｄの画素値Ｉａ〜ＩｄからＰexの画素値Ｉｐを求める。 Therefore, from the distance relationship with the integer pixel positions A, B, C, and D of the input signal, the pixel values Ia to Id of A to D are changed from Pex to Pex according to the logical expression shown in FIG. A pixel value Ip is obtained.
図４の発明ではアルファマップを縮小・拡大する際の誤差を許容する代わりに、符号量を低減することを目的としている。しかし、縮小・拡大率が固定になっていると、アルファマップ信号の誤差と符号量とのトレードオフを図ることは不可能である。 The invention of FIG. 4 aims to reduce the amount of code instead of allowing an error when reducing / enlarging the alpha map. However, when the reduction / enlargement ratio is fixed, it is impossible to trade off the error of the alpha map signal and the code amount.
図６は本発明のアルファマップ符号化回路２００の構成を示す図である。図に示すように、本発明のアルファマップ符号化回路２００は、解像度変換回路２１０，２３０、２値画像符号化回路２２０、多重化回路２４０とから構成されている。
FIG. 6 is a diagram showing the configuration of the alpha
解像度変換回路２１０は解像度縮小変換用の変換回路であり、与えられる拡大率に従った縮小率でアルファマップを符号化し、また、解像度変換回路２３０は解像度縮拡大変換用の変換回路であって、与えられる拡大率に従った拡大率でアルファマップを符号化する機能を有する。 The resolution conversion circuit 210 is a conversion circuit for resolution reduction conversion, encodes an alpha map at a reduction rate according to a given enlargement rate, and the resolution conversion circuit 230 is a conversion circuit for resolution reduction / enlargement conversion, It has a function of encoding an alpha map at an enlargement rate according to a given enlargement rate.
解像度変換回路２３０は解像度変換回路２１０が解像度縮小変換したものを元のサイズに戻すために設けてあり、この解像度変換回路２３０により元のサイズに戻されたアルファマップが、線４０を介して直交変換回路１２０，逆直交変換回路１６０に与えられるアルファマップ局部復号信号となる。
The resolution conversion circuit 230 is provided to restore the resolution reduced by the resolution conversion circuit 210 to the original size, and the alpha map restored to the original size by the resolution conversion circuit 230 is orthogonalized via the
２値画像符号化回路２２０は解像度変換回路２１０の出力する解像度縮小変換されたアルファマップ信号を２値画像符号化して出力するものであり、多重化回路２４０は２値画像符号化出力と前記与えられる拡大率の情報とを多重化して出力するものである。
The binary
このような構成のアルファマップ符号化回路２００においては、線２０を介して入力されるアルファマップを、解像度変換回路２１０により指定の拡大率で縮小符号化し、この符号化されたアルファマップ信号を線３０を介して出力し、また、縮小符号化されたアルファマップ信号を解像度変換回路２３０により元の解像度に復号して得た局部復号信号を線４０を介して直交変換回路１２０，逆直交変換回路１６０に出力する。
In the alpha
すなわち、線６０を介してアルファマップ符号化回路２００に所望とする縮小・拡大率の設定情報を供給することで、上記トレードオフを図ることが可能となる。
That is, by supplying the desired reduction / enlargement ratio setting information to the alpha
線６０を介して供給された縮小・拡大率の設定情報信号は、解像度変換回路２１０，２３０、２値画像符号化回路２２０に供給され、アルファマップ信号の発生符号量を制御することが可能となる。また、線６０を介して供給された縮小・拡大率の符号（設定情報信号）は、多重化回路２４０にて、符号化されたアルファマップ信号と多重化され、線３０を介して出力され、アルファマップの符号化信号として画像符号化装置の最終出力段である多重化回路１８０に与えられることになる。
The setting information signal of the reduction / enlargement ratio supplied via the
一方、図７は図４のアルファマップ符号化回路に対するアルファマップ復号化回路の概念であり、図８は本発明の具体的なアルファマップ復号化回路４００である。
On the other hand, FIG. 7 shows a concept of an alpha map decoding circuit for the alpha map encoding circuit of FIG. 4, and FIG. 8 shows a specific alpha
図に示すように、アルファマップ復号化回路４００は、２値画像復号化回路４１０、解像度変換回路４２０、分離回路４３０にて構成される。分離回路４３０は、画像復号化装置の分離回路３００で分離されて入力されたアルファマップ信号からアルファマップ信号の符号と縮小・拡大率の符号に分離する回路であり、２値画像復号化回路４１０はアルファマップ信号の符号を、分離回路４３０から分離して与えられる縮小・拡大率の符号にしたがって２値画像に戻す回路であり、解像度変換回路４２０はこの２値画像を、分離回路４３０から分離して与えられる縮小・拡大率の符号にしたがって解像度拡大変換して出力するものである。
As shown in the figure, the alpha
図８において、線８０を介してアルファマップ復号化回路４００に供給された符号は、分離回路４３０によりアルファマップ信号の符号と縮小・拡大率の符号に分離され、各々線８１および線８２を介して出力される。
In FIG. 8, the code supplied to the alpha
２値画像復号化回路４１０では、線８１を介して供給されるアルファマップ信号の符号と線８２を介して供給される縮小・拡大率の符号から、縮小されたアルファマップ信号を再生し、線８３を介して解像度変換回路４２０に供給する。解像度変換回路４２０では、線８２を介して供給される縮小・拡大率の符号から、縮小されたアルファマップ信号を元のサイズに拡大してアルファマップ信号を再生した後、線９０を介して出力する。
The binary
（第２の具体例）本発明ではアルファマップ信号の圧縮符号化に２値画像符号化を用いるが、次に、本発明の第２の具体例としてその２値画像符号化の詳細を図９および図１０を用いて説明する。本具体例は、第１の具体例における２値画像符号化回路２２０に関するものである。
(Second Specific Example) In the present invention, binary image coding is used for compression coding of an alpha map signal. Next, as a second specific example of the present invention, details of the binary image coding will be described with reference to FIG. This will be described with reference to FIG. This specific example relates to the binary
図１０は本発明で用いる可変長符号の符号化コード例と、公知のＭＭＲ符号化での符号化コード例を対比して示す図であり、特定の状態情報をＭＭＲ符号化と本発明で用いられる可変長符号化ではどのようになるかを対比して示したものである。例えば、Ｐはパスモードを示し、これがＭＭＲ符号化では“０００１”、本発明では“００００ ００１”と表し、また、Ｖ0 ，Ｖ1 ，Ｖ2 ，Ｖ3 ，Ｖ4，Ｖ5 はそれぞれ垂直モードを示しており、Ｖ0 は１ラインの同一位置、Ｖ1 は１ライン下の１画素分のずれ、Ｖ2 は１ライン下の２画素分のずれ、Ｖ3 は１ライン下の３画素分のずれ、Ｖ4 は１ライン下の４画素分のずれ、Ｖ5 は１ライン下の５画素分のずれという意味を持ち、これらをＭＭＲ符号化では“１”、“０１Ｓ”、“００００ １Ｓ”、“００００ ０１Ｓ”、該当なし、該当なし、そして、本発明では“０１”、“１Ｓ”、“００１Ｓ”、“０００１ Ｓ”、“００００ １Ｓ”、“００００ ０１Ｓ”、“００００ ０００１Ｓ”と表し、Ｈは水平モードでＭＭＲ符号化では“００１”、本発明では“００００ １”と表し、さらに本発明ではＥＳＣ符号を追加してこれを“００００ ００００１”と表し、といった具合であることを示している。 FIG. 10 is a diagram showing a comparison between an example of an encoding code of a variable length code used in the present invention and an example of an encoding code in a known MMR encoding, and specific state information is used in the MMR encoding and the present invention. This shows a comparison of what happens in the variable-length coding. For example, P represents a pass mode, which is represented as “0001” in MMR encoding, “0000 001” in the present invention, and V0, V1, V2, V3, V4, and V5 represent vertical modes, respectively. V0 is the same position on one line, V1 is one pixel below one line, V2 is two pixels below one line, V3 is one pixel below one line, V4 is one line below 4 pixel shift, V5 means 5 pixel down 1 line, these are MMR coding "1", "01S", "0000 1S", "0000 01S", not applicable, applicable None, and in the present invention, “01”, “1S”, “001S”, “0001 S”, “0000 1S”, “0000 01S”, “0000 0001S”, and H is the horizontal mode and MMR coding “001”, Invention is represents a "0000 1" indicates that further in the present invention represents this "0000 00001" by adding the ESC code, and so on.
なお、図１０での符号中の“Ｓ”は、ａ１とｂ１の位置関係が左か右かを示すためのｓｉｇｎ ｂｉｔである。 Note that “S” in the reference numerals in FIG. 10 is a sign bit indicating whether the positional relationship between a1 and b1 is left or right.
また、図９は、ＭＭＲ符号化で用いられている２値画像の２次元符号化を説明する図である。 FIG. 9 is a diagram for explaining two-dimensional encoding of a binary image used in MMR encoding.
この第２の具体例における２次元符号化では、例えば、図９（ａ）に示したように、参照ラインと符号化ライン上の５つの変化画素の位置関係を符号化するケースを例に説明する。但し、ａ１とｂ１の距離が３画素以内のときは垂直モード（Ｖ）とし、その距離を符号化し、それ以外の場合には水平モード（Ｈ）とすることにする。 In the two-dimensional encoding in the second specific example, for example, as shown in FIG. 9A, a case where the positional relationship between five change pixels on the reference line and the encoding line is encoded will be described as an example. To do. However, when the distance between a1 and b1 is within 3 pixels, the vertical mode (V) is set, and the distance is encoded, and otherwise the horizontal mode (H) is set.
ここで図９において、“ａ０”は符号化ライン上の起点変化画素であり、“ａ１”は符号化ライン上で“ａ０”よりも右にある最初の変化画素であり、“ａ２”は符号化ライン上で“ａ１”の次の変化画素であり、“ｂ１”は参照ライン上で“ａ０”よりも右側にあって、しかも、“ａ０”と反対色の最初の変化画素である。 Here, in FIG. 9, “a0” is the starting change pixel on the encoding line, “a1” is the first change pixel on the right of “a0” on the encoding line, and “a2” is the code The change pixel next to “a1” on the conversion line, “b1” is on the right side of “a0” on the reference line, and is the first change pixel of the opposite color to “a0”.
また、“ｂ２”は参照ライン上で“ｂ１”の次の変化画素を示している。 “B2” indicates the next changed pixel of “b1” on the reference line.
この場合でのＭＭＲ符号化の手順は、つぎのようになる。 The procedure of MMR encoding in this case is as follows.
[1] 図９（ｂ）に示すように、は参照ライン上での上記変化画素ｂ２が、符号化ライン上での上記最初の変化画素ａ１よりも左側にあるときには、１ライン分の画素数分、飛ぶことを意味するパスモード（Ｐ）とし、符号化ライン上での上記起点変化画素ａ０の位置をｂ２の直下に移す。 [1] As shown in FIG. 9B, when the change pixel b2 on the reference line is on the left side of the first change pixel a1 on the encoding line, the number of pixels for one line. The path mode (P), which means flying, is moved, and the position of the starting point change pixel a0 on the encoding line is moved directly below b2.
[2] 図９（ｃ）に示すような関係の場合には、変化画素ｂ２がａ１よりも左側にないのでパスモードとはならず、しかも、ａ１とｂ１の距離が３画素以内であるので、このときは垂直モード（Ｖ）とし、その距離を符号化し、ａ０をａ１の位置に移す。 [2] In the case of the relationship shown in FIG. 9C, since the change pixel b2 is not on the left side of a1, the pass mode is not achieved, and the distance between a1 and b1 is within 3 pixels. In this case, the vertical mode (V) is set, the distance is encoded, and a0 is moved to the position a1.
[3] 図９（ｄ）に示すように、それ以外の場合には、水平モード（Ｈ）とし、ａ０〜ａ１の長さとａ１〜ａ２までの長さを符号化し、ａ０をａ２の位置に移す。 [3] As shown in FIG. 9D, in other cases, the horizontal mode (H) is set, the lengths a0 to a1 and the lengths a1 to a2 are encoded, and a0 is set to the position a2. Transfer.
以上の各々のモード情報は、図１０の可変長符号で符号化され、水平モードにおけるラン長はＭＨ(Modified Huffman)にて符号化される（テレビジョン学会編：画像情報圧縮，オーム社，参照）。これがＭＭＲ符号化を用いた場合の符号化例である。 Each of the above mode information is encoded by the variable length code of FIG. 10, and the run length in the horizontal mode is encoded by MH (Modified Huffman) (Edition of Television Information: Image Information Compression, Ohmsha, see ). This is an example of encoding when MMR encoding is used.
一方、本具体例の手法の場合、図９に示す如き参照ラインと符号化ラインとの関係において、ａ１とｂ１の距離がＭ（：整数）画素以内のときは垂直モード（Ｖ）とする。ここで、ａ１とｂ１の距離がＮ（：整数，Ｍ≧Ｎ）画素以内のときは可変長符号化し、Ｎ画素よりも大きな場合はＥＳＣ符号（エスケープ符号）と固定長符号で符号化するようにする。 On the other hand, in the case of the method of this specific example, the vertical mode (V) is set when the distance between a1 and b1 is within M (: integer) pixels in the relationship between the reference line and the coding line as shown in FIG. Here, when the distance between a1 and b1 is within N (: integer, M ≧ N) pixels, variable length coding is performed, and when the distance is larger than N pixels, coding is performed using an ESC code (escape code) and a fixed length code. To.
なお、この固定長符号は、（Ｍ−Ｎ＋１）の値を２のベキ乗にしておけば、ｌｏｇ2 （Ｍ−Ｎ＋１）ビットの固定長符号となる。図１０は、Ｎ＝５とした場合の可変長符号の例である。 This fixed length code is a log 2 (M−N + 1) bit fixed length code if the value of (M−N + 1) is a power of 2. FIG. 10 is an example of a variable length code when N = 5.
さらに、２値画像符号化回路２２０で符号化されるアルファマップ信号の縮小画像の水平方向の画素数は分かっているので、例えばこの水平方向の画素数が“１２８”画素であった場合、ｌｏｇ2 （Ｍ−Ｎ＋１）の最大値は７ビットとなるため、３ビットの付加情報を付けることでＭの値を変えることもできる。
Further, since the number of pixels in the horizontal direction of the reduced image of the alpha map signal encoded by the binary
また、ＭＭＲ符号化では水平モードにおいてラン長をＭＨで符号化しているが、ラン長の発生頻度分布がアルファマップ信号の水平方向の画素数によって変動する。従って、ラン長をアルファマップ信号の水平方向の画素数に応じて固定長符号化しても良い（水平方向の画素数が“１２８”画素の場合には、ラン長は７ビットで固定長符号化される）。 In MMR encoding, the run length is encoded with MH in the horizontal mode, but the frequency distribution of the run length varies depending on the number of pixels in the horizontal direction of the alpha map signal. Accordingly, the run length may be fixed-length encoded according to the number of pixels in the horizontal direction of the alpha map signal (if the number of pixels in the horizontal direction is “128” pixels, the run length is 7 bits and the fixed-length encoding is performed. )
さらに、動画像符号化の場合には、フレーム間の相関が高い場合に、図２８のように、２値画像符号化回路２２０は、２次元符号化回路２２１、ラインメモリ２２２、フレームメモリ２２３とより構成し、ラインメモリ２２２に前ラインの画像を保持させるようにし、このラインメモリ２２２に蓄積されている前ラインを参照するだけでなく、さらに前フレームで符号化したアルファマップ信号をフレームメモリ２２３に蓄積しておくようにし、前フレームのラインを参照して２次元符号化回路２２１において符号化するようにした方が符号化効率が高くなる場合がある。
Further, in the case of moving image coding, when the correlation between frames is high, as shown in FIG. 28, the binary
また、図２および図３の動き補償予測回路１１０，３５０で用いる動きベクトルを用いて、前フレームの参照ラインを動き補償しても良い。
In addition, the motion vector used in the motion
このように、本具体例の手法の場合、図９に示す如き参照ラインと符号化ラインとの関係において、ａ１とｂ１の距離がＭ（：整数）画素以内のときは垂直モード（Ｖ）とし、かつ、ａ１とｂ１の距離がＮ（：整数，Ｍ≧Ｎ）画素以内のときは可変長符号化し、Ｎ画素よりも大きな場合はＥＳＣ符号（エスケープ符号）と固定長符号で符号化する方式としたことにより、ＭＭＲ符号化を用いる場合に比べて高い圧縮率で符号化できるようになる。 Thus, in the case of the method of this specific example, when the distance between a1 and b1 is within M (: integer) pixels in the relationship between the reference line and the coding line as shown in FIG. 9, the vertical mode (V) is set. In addition, when the distance between a1 and b1 is within N (: integer, M ≧ N) pixels, variable length coding is performed, and when the distance is larger than N pixels, coding is performed using an ESC code (escape code) and a fixed length code. As a result, encoding can be performed at a higher compression rate than when MMR encoding is used.
具体的手法を、次に説明する。 A specific method will be described next.
［第２の具体例のその１］さらに高能率圧縮符号化を図ることができるようにした別の例を説明する。
[
＜方式１＞図１１は２値画像の符号化法である公知のＭＭＲの符号化手順を表すフローチャートである。すなわち、符号化ライン上の起点変化画素ａ０の画素位置情報を初期化し（Ｓ１０１）、符号化ライン上で“ａ０”位置よりも右にある最初の変化画素ａ１を検出し（Ｓ１０２）、参照ライン上で“ａ０”位置よりも右側にあって、しかも、“ａ０”位置の画素と反対色の最初の変化画素ｂ１と、参照ライン上で“ｂ１”位置の次に表れる変化画素ｂ２を検出し（Ｓ１０３）、次にｂ２とａ１の画素位置関係がｂ２＜ａ１であるか否かを調べ（Ｓ１０４）、ｂ２＜ａ１であれば、パスモード（Ｐ）にしてａ０の画素位置情報をｂ２の画素位置情報にセットし（Ｓ１０５，Ｓ１０６）、Ｓ１０３の処理に戻る。
<
Ｓ１０４での判断の結果、ｂ２＜ａ１でなければ、｜ａ１−ｂ１｜≦Ｎ（Ｎはある閾値）であるか否かを判断し（Ｓ１０７）、その結果、｜ａ１−ｂ１｜≦Ｎであれば垂直モード（Ｖ）にしてａ０の画素位置をａ１の画素位置にし（Ｓ１０８，Ｓ１０９）、Ｓ１１０の処理に入る。Ｓ１１０ではａ０が“WIDTH ”（画像の横幅方向の画素数）対応の位置であるか否かを判断し、そうでなければＳ１０２の処理に戻る。Ｓ１１０での判定の結果、ａ０が“WIDTH ”対応の位置であれば、画像の最後であるか否かを調べ（Ｓ１１１）、画像の最後で無ければＳ１０１の処理に戻る。Ｓ１１０での判定の結果、画像の最後であったならば、処理を終了する。 If b2 <a1 as a result of the determination in S104, it is determined whether or not | a1-b1 | ≦ N (N is a threshold) (S107), and as a result, | a1-b1 | ≦ N. If there is, the vertical mode (V) is set, the pixel position of a0 is changed to the pixel position of a1 (S108, S109), and the process of S110 is started. In S110, it is determined whether or not a0 is a position corresponding to “WIDTH” (the number of pixels in the horizontal width direction of the image). Otherwise, the process returns to S102. As a result of the determination in S110, if a0 is a position corresponding to “WIDTH”, it is checked whether it is the end of the image (S111), and if it is not the end of the image, the process returns to S101. If the result of determination in S110 is the end of the image, processing ends.
Ｓ１０７での判定の結果、｜ａ１−ｂ１｜≦Ｎでなければａ２を検出し（Ｓ１１２）、水平モード（Ｈ）にして“ａ０”の画素位置を“ａ２”の画素位置にし（Ｓ１１３，Ｓ１１４）、Ｓ１１０の処理に入る。Ｓ１１０では“ａ０”が“WIDTH ”であるかを判断し、そうでなければＳ１０２の処理に戻る。 If | a1-b1 | ≦ N as a result of the determination in S107, a2 is detected (S112), the horizontal mode (H) is set, and the pixel position “a0” is changed to the pixel position “a2” (S113, S114). ), The process enters S110. In S110, it is determined whether “a0” is “WIDTH”. Otherwise, the process returns to S102.
なお、“WIDTH ”は図１２に示すように、１画面の水平方向１ラインの画素数（ラスタ走査の１ラインの画素数）である。 As shown in FIG. 12, “WIDTH” is the number of pixels in one horizontal line of one screen (the number of pixels in one line of raster scanning).
すなわち、ＭＭＲの符号化は１ライン単位で処理を進めるもので、ラスタ走査の１ライン毎に符号化処理を行って符号化してゆく方式である。 In other words, MMR encoding is performed in units of lines, and is performed by performing encoding processing for each line of raster scanning.
ここで、本発明での符号化処理の適用対象となるアルファマップ信号、すなわち、オブジェクトと背景とを区別するための２値画像は、図１２（ａ）に例示される様な、ラスタ走査１ライン毎に変化点が２点程度の単純図形の揚合が殆どである。そして、図１１に示したＭＭＲの符号化のように、ラスタ走査の１ライン毎に符号化処理を行うと、符号化すベき変化画素はオブジェクトと背景の境界部のみであるにもかかわらず、画面の右端も変化画素として符号化しなくてはならないため、圧縮符号量の点から考えて効率的でない。
Here, an alpha map signal to which the encoding process according to the present invention is applied, that is, a binary image for distinguishing between an object and a background is a
従って、ここで説明する本発明方式においては、ライン内で“ａ１”や“ｂ１”を検出するのではなく、図１３に示すように、ラスタスキャン順で“ａ１”や“ｂ１”を検出するようにし、これによって境界部の変化画素のみを符号化できるようにする。 Therefore, in the method of the present invention described here, “a1” and “b1” are not detected in the line, but “a1” and “b1” are detected in the raster scan order as shown in FIG. Thus, only the change pixels at the boundary can be encoded.
ＭＭＲ符号化のように、ライン毎に符号化処理を行う場合には、“ａ１”や“ｂ１”は、当該ライン左端からのアドレスであったが、本発明方式においては、ラスタ走査順に“ａ１”や“ｂ１”を検出して符号化処理するために、“ａ１”および“ｂ１”は以下のように定義される。 When encoding processing is performed for each line as in MMR encoding, “a1” and “b1” are addresses from the left end of the line, but in the method of the present invention, “a1” "A1" and "b1" are defined as follows in order to detect "" and "b1" and perform the encoding process.
a1＝ abs＿a1−(int)(abs ＿a0／WIDTH)*WIDTHb1＝ abs＿b1−((int)(abs＿a0／WIDTH)−１)*WIDTH
ここで、 abs＿a1(abs＿b1,abs＿a0）は画面左上端からのラスタ順のアドレスである。なお、“＊”は乗算を、また、“(int)(x)”はｘの小数点以下切り捨てを意味する。
a1 = abs_a1- (int) (abs_a0 / WIDTH) * WIDTHb1 = abs_b1-((int) (abs_a0 / WIDTH) -1) * WIDTH
Here, abs_a1 (abs_b1, abs_a0) is an address in raster order from the upper left corner of the screen. “*” Means multiplication, and “(int) (x)” means truncation after the decimal point of x.
この際の参照ラインは、図１３（ｃ），（ｄ）のクロスハッチ掛け領域で表されるように、ａ０位置の画素から“WIDTH ”相当分の画素数遡った位置までの領域である。ここで、図１３（ｃ）は図１３（ａ）の、図１３（ｄ）は図１３（ｂ）の参照ラインである。 The reference line at this time is an area from the pixel at the a0 position to a position retroactive to the number of pixels corresponding to “WIDTH”, as represented by the cross-hatched areas in FIGS. 13 (c) and 13 (d). Here, FIG. 13 (c) is a reference line of FIG. 13 (a), and FIG. 13 (d) is a reference line of FIG. 13 (b).
そのため、本発明方式では、パスモードの符号Ｐ、水平モードの符号Ｈ、そして白画素及び黒画素のランレングス符号を使用して図１４に示す如きに符号化する。 Therefore, in the method of the present invention, encoding is performed as shown in FIG. 14 using a pass mode code P, a horizontal mode code H, and run length codes of white and black pixels.
ここで、Ｐはパスモード符号であって、２次元符号化のテーブルに含まれる符号であり、また、Ｈは水平モード符号であって、これも２次元符号化のテーブルに含まれる符号であり、これらに続く白及び斜線の長方形は、白画素及び黒画素のランレングス符号を表している。 Here, P is a pass mode code, which is a code included in the two-dimensional encoding table, and H is a horizontal mode code, which is also a code included in the two-dimensional encoding table. The white and hatched rectangles following these represent run-length codes of white pixels and black pixels.
しかし、上記のようにラスタ順で符号化処理を行うようにすると、図１４（ａ）の画像の場合では複数ラインに亙って変化画素が無いので、この場合には、図１４（ｂ）のように画像の水平方向の構成画素数（WIDTH ）を越えるラン長が発生することとなってしまう。 However, if the encoding process is performed in the raster order as described above, in the case of the image of FIG. 14A, there are no change pixels over a plurality of lines. In this case, in FIG. As a result, a run length exceeding the number of constituent pixels (WIDTH) in the horizontal direction of the image occurs.
そのため、本発明方式ではこれに対処するために、垂直方向にラインをパスするための符号として、垂直パスモード符号Ｖをさらに用意した。 Therefore, in the system of the present invention, in order to cope with this, a vertical pass mode code V is further prepared as a code for passing a line in the vertical direction.
そして、最大ラン長が画像の水平方向の構成画素数 WIDTHを越える場合には、垂直パスモード（Ｖ）を適用する。垂直パスモード符号Ｖは 垂直方向にラインをパスする指示であるため、ラン長がこの“ WIDTH”相当の値以上であっても次のライン内に出現する場合には表現できなくなるので、その場合のための符号として水平モード（ランレングス符号化）からのエスケープ符号を用意した。 When the maximum run length exceeds the number of constituent pixels WIDTH in the horizontal direction of the image, the vertical pass mode (V) is applied. Since the vertical pass mode code V is an instruction to pass the line in the vertical direction, even if the run length is greater than or equal to this “WIDTH” value, it cannot be expressed if it appears in the next line. An escape code from the horizontal mode (run-length encoding) was prepared as a code for.
この垂直パスモードでは、水平モードで使用されるラン長の最大値は水平方向の画素数 WIDTHとし、ラン長がこの WIDTH相当の値となる場合では、これを表す符号として水平モード（ランレングス符号化）からのエスケープ符号を用いるようにする。 In this vertical pass mode, the maximum run length used in the horizontal mode is the number of pixels in the horizontal direction WIDTH. If the run length is a value equivalent to this WIDTH, the horizontal mode (run length code) )).
図１５は、垂直パスモードの例である。図１５（ａ）の例では、ランレングス符号化からのエスケープ符号と垂直モード符号を用いて垂直パスモードを形成する例である。なお、ａ０からまるまる１ラインを飛び越えてその次のラインにａ１が表れる図１５（ｂ）の如きの例の場合には、白ランの長さが画像の水平方向の構成画素数“WIDTH ”より大きくても、パスモードを使用して表現することができるので、垂直パスモードで符号化する必要はない。 FIG. 15 is an example of the vertical path mode. The example of FIG. 15A is an example in which a vertical path mode is formed using an escape code and a vertical mode code from run-length encoding. In the case of the example shown in FIG. 15B in which a1 appears on the next line after jumping over a whole line from a0, the length of the white run is determined from the number of constituent pixels “WIDTH” in the horizontal direction of the image. Even if it is large, it can be expressed using the pass mode, so there is no need to encode in the vertical pass mode.
さらに、図１５（ｃ）の例では、ａ０からまるまる３ラインを飛び越えてその次のラインにａ１が表れているが、この場合にそのライン数分を飛び越える（つまり、パスさせる）ことを指示するための垂直パスモードの符号（ＶＰ）を可変長符号テーブル内に用意し、この垂直パスモードの符号ＶＰを使用して対処する例である。この場合の表現はパスさせるライン数を垂直モードで表現するもので、この符号ＶＰの表す情報は、“水平モード（Ｈ）＋最大ラン長”と等価である。 Furthermore, in the example of FIG. 15C, a1 appears on the next line after jumping over the whole three lines from a0. In this case, it is instructed to jump over the number of lines (that is, to pass). In this example, a vertical path mode code (VP) is prepared in a variable-length code table, and this vertical path mode code VP is used. In this case, the number of lines to be passed is expressed in the vertical mode, and the information represented by the code VP is equivalent to “horizontal mode (H) + maximum run length”.
なお、図１５（ｃ）のように、パスさせるライン数を垂直モードで表現するのではなく、次の変化画素のアドレス（ＳＰ（ａ１））を符号化してもよい。 As shown in FIG. 15C, the number of lines to be passed may not be expressed in the vertical mode, but the address (SP (a1)) of the next change pixel may be encoded.
本発明の符号化手法が適用されるアルファマップ信号、すなわち、オブジェクトと背景とを区別するための２値画像では、図１６（ａ）のように最初の数ラインには変化画素が無い場合が多い。本発明では垂直パスモードＶＰを使用することができることから、図１６（ａ）のような画像の場合に、図１６（ｂ）、（ｃ）のように画面の先頭から垂直パスモードを適用することで、符号量の縮減が図れるようになる。 In an alpha map signal to which the encoding method of the present invention is applied, that is, a binary image for distinguishing an object from a background, there may be no change pixel in the first few lines as shown in FIG. Many. Since the vertical pass mode VP can be used in the present invention, the vertical pass mode is applied from the top of the screen as shown in FIGS. 16B and 16C in the case of an image as shown in FIG. As a result, the amount of code can be reduced.
図１６（ｂ）の例は、垂直モード符号Ｖ0 を使用してパスさせるライン数を表現する方法である。この例の場合は、パスさせるライン数が４ライン分であるので、垂直モード符号Ｖ0 を４つ並べる。そして、ａ１が表れるラインについては、そのラインの先頭からａ１までの白ラン長と水平モード符号Ｈを用いて“Ｈ＋白ラン長”で表し、さらにａ１からａ２までの間の黒画素数を並べて“Ｖ0 ”＋“Ｖ0 ”＋“Ｖ0 ”＋“Ｖ0 ”＋“Ｈ”＋“白画素数を示すランレングス符号”＋“黒画素数を示すランレングス符号”なるかたちで表現する。 The example of FIG. 16B is a method of expressing the number of lines to be passed using the vertical mode code V0. In this example, since the number of lines to be passed is four lines, four vertical mode codes V0 are arranged. For the line in which a1 appears, the white run length from the head of the line to a1 and the horizontal mode code H are used to represent “H + white run length”, and the number of black pixels from a1 to a2 is arranged. It is expressed in the form of “V0” + “V0” + “V0” + “V0” + “H” + “run length code indicating the number of white pixels” + “run length code indicating the number of black pixels”.
また、図１６（ｃ）の例は、画面内の最初の変化画素のアドレス（ＳＰ（ａ１））を符号化するようにした方法であり、“ＳＰ（ａ１）＋黒画素数を示すランレングス符号”なるかたちで表現する。 In addition, the example of FIG. 16C is a method in which the address (SP (a1)) of the first changed pixel in the screen is encoded, and “SP (a1) + run length indicating the number of black pixels” is used. Expressed in the form of “sign”.
従って、このような手法を、アルファマップ信号の符号化に適用することで、高能率の圧縮符号化が可能になる。 Therefore, by applying such a method to the encoding of the alpha map signal, highly efficient compression encoding becomes possible.
＜方式２＞以上の例では、水平モードでは、（ａ１−ａ０）、（ａ２−ａ１）をランレングス符号化しているが、これはＭＭＲの水平モードの表現法を継承しているだけである。そこで、ここでは、水平モードでは（ａ１−ａ０）だけをランレングス符号化し、ａ２が他のモード（例えば、垂直モード）で符号化できる場合には、当該ａ２を他のモードで符号化するような符号化方式を提案する。
<
図１７は、このような方式を適用する場合の符号化手順を説明するフローチャートである。ここでの処理は、まず、符号化ライン上の起点変化画素ａ０の画素位置情報を初期化し（Ｓ２０１）、符号化ライン上で“ａ０”位置よりも右にある最初の変化画素ａ１の検出処理をし（Ｓ２０２）、参照ライン上で“ａ０”位置よりも右側にあって、しかも、“ａ０”位置の画素と反対色の最初の変化画素ｂ１と、参照ライン上で“ｂ１”位置の次に表れる変化画素ｂ２の検出処理をし（Ｓ２０３）、次にｂ１が検出されたか否かをチェックする（Ｓ２０４）。その結果、ｂ１が検出されていれば次にａ０からａ１までの間の画素数が２＊WIDTHより小さいか調べ（Ｓ２０５）、小さければｂ２＜ａ１であるか否かを調べる（Ｓ２０６）。 FIG. 17 is a flowchart for explaining an encoding procedure when such a method is applied. In this process, first, pixel position information of the starting point change pixel a0 on the encoding line is initialized (S201), and detection processing of the first change pixel a1 on the right of the “a0” position on the encoding line is performed. (S202), on the reference line to the right of the “a0” position, the first change pixel b1 of the opposite color to the pixel at the “a0” position, and the “b1” position on the reference line. Is detected (S203), and then it is checked whether b1 is detected (S204). As a result, if b1 is detected, it is checked whether the number of pixels between a0 and a1 is smaller than 2 * WIDTH (S205), and if it is smaller, it is checked whether b2 <a1 (S206).
その結果、ｂ２＜ａ１の関係にあれば、パスモード（Ｐ）にしてａ０の画素位置情報をｂ２の画素位置情報にセットし（Ｓ２０７，Ｓ２０８）、Ｓ２０３の処理に戻る。 As a result, if the relationship of b2 <a1 is established, the pass mode (P) is set, the pixel position information of a0 is set to the pixel position information of b2 (S207, S208), and the process returns to S203.
一方、Ｓ２０６において、ｂ２＜ａ１でなければ、｜ａ１−ｂ１｜≦９であるか否かを判断し（Ｓ２０９）、その結果、｜ａ１−ｂ１｜≦９であれば垂直モード（Ｖ）にしてａ０の画素位置をａ１の画素位置にし（Ｓ２１０，Ｓ２１１）、Ｓ２１２の処理に入る。Ｓ２１２では画像の最後か否かを判断し、最後であれば処理を終了し、最後でなければＳ２０２の処理に戻る。 On the other hand, if b2 <a1 is not satisfied in S206, it is determined whether or not | a1-b1 | ≦ 9 (S209). As a result, if | a1-b1 | ≦ 9, the vertical mode (V) is set. Then, the pixel position of a0 is changed to the pixel position of a1 (S210, S211), and the process of S212 is started. In S212, it is determined whether or not it is the last of the image. If it is the last, the process ends. If not, the process returns to S202.
また、Ｓ２０９での判断の結果、｜ａ１−ｂ１｜≦９でなかったときには、ａ２の検出処理をし、ａ１とａ２との間の画素数が画像の水平方向構成画素数“WIDTH ”以下であるかを判断し（Ｓ２１４）、そうであれば垂直モードとし（Ｓ２１５）、ａ０をａ２にセットする（Ｓ２１６）。そして、Ｓ２１２の判断処理に移る。 If it is not | a1-b1 | ≦ 9 as a result of the determination in S209, the detection processing of a2 is performed, and the number of pixels between a1 and a2 is equal to or less than the number of horizontal constituent pixels “WIDTH”. It is determined whether there is (S214). If so, the vertical mode is set (S215), and a0 is set to a2 (S216). Then, the process proceeds to S212.
Ｓ２１４での判断の結果、ａ１とａ２との間の画素数が画像の水平方向構成画素数“WIDTH ”以下でなければ、垂直パスモードとし（Ｓ２１７）、ａ０をａ２にセットする（Ｓ２１８）。そして、Ｓ２１２の判断処理に移る。 If the result of determination in S214 is that the number of pixels between a1 and a2 is not less than the number of pixels constituting the horizontal direction of the image “WIDTH”, the vertical pass mode is set (S217), and a0 is set to a2 (S218). Then, the process proceeds to S212.
また、Ｓ２０５での判断の結果、ａ０からａ１までの間の画素数が２＊WIDTHより小さくなればａ２の検出処理を行い（Ｓ２１９）、次に垂直パスモードとし（Ｓ２１７）、ａ０をａ２にセットする（Ｓ２１８）。そして、Ｓ２１２の判断処理に移る。 If the result of determination in S205 is that the number of pixels between a0 and a1 is smaller than 2 * WIDTH, a2 detection processing is performed (S219), then the vertical pass mode is set (S217), and a0 is set to a2. Set (S218). Then, the process proceeds to S212.
これにより、水平モードでは（ａ１−ａ０）だけをランレングス符号化し、ａ２が他のモード（例えば、垂直モード）で符号化できる場合には、当該ａ２を他のモードで符号化するといった符号化方式が実現できることになる。 Thus, in the horizontal mode, only (a1-a0) is run-length encoded, and when a2 can be encoded in another mode (for example, vertical mode), the a2 is encoded in another mode. The method can be realized.
［第２の具体例のその２］ここでは、前フレームのラインを参照ラインとすることで、フレーム間の相関を利用して符号化処理効率を向上させるようにする具体例を説明する。図１８は、本発明を適用した符号化／復号化装置のブロック構成図である。図中、２０００は符号化／復号化回路であり、画像データを符号化処理して出力し、また、入力された符号化画像データを復号化して出力する回路である。２１００はラスタ走査に対応するライン単位の画像情報を保持するラインメモリであり、フレーム内の参照ラインとフレーム間の参照ラインの画像情報を保持するものである。また、２２００はセレクタ、２３００ａ，２３００ｂはそれぞれフレーム画像を保持するフレームメモリ、２４００は動き補償予測回路である。 [Second Example of Second Example] Here, a specific example will be described in which the line of the previous frame is used as a reference line to improve the encoding processing efficiency using the correlation between frames. FIG. 18 is a block diagram of an encoding / decoding device to which the present invention is applied. In the figure, reference numeral 2000 denotes an encoding / decoding circuit, which encodes and outputs image data, and decodes and outputs input encoded image data. Reference numeral 2100 denotes a line memory that holds image information in units of lines corresponding to raster scanning, and holds image information of reference lines in a frame and reference lines between frames. Further, 2200 is a selector, 2300a and 2300b are frame memories for holding frame images, and 2400 is a motion compensation prediction circuit.
フレームメモリ２３００ａおよび２３００ｂは現フレームの画像データをそれぞれ保持するメモリであり、動き補償予測回路２４００はフレームメモリ２３００ｂの画像データから動き補償予測を行ってその動き補償予測済みの画像データを出力するものである。 The frame memories 2300a and 2300b are memories that respectively hold the image data of the current frame, and the motion compensation prediction circuit 2400 performs motion compensation prediction from the image data of the frame memory 2300b and outputs the motion compensated image data. It is.
また、セレクタ２２００は符号化／復号化回路２０００の出力するモード切り替え信号により、動き補償予測回路２４００の出力する画像データまたはフレームメモリ２３００ａからの画像データのいずれか一方を選択してラインメモリ２１００に出力する回路である。また、ラインメモリ２１００はこのセレクタ２２００を介して得られた画像データをライン単位で保持し、符号化／復号化回路２０００に渡し、符号化／復号化回路２０００はこのライン単位の画像データを用いて符号化もしくは復号化処理する回路である。
In addition, the
このような構成の本システムにおいて、符号化／復号化回路２０００は入力される画像情報をラインメモリ２１００の内容を参照しながらラスタ走査の順に従って符号化して出力ＯＵＴより出力し、また、この符号化した内容は復号化してフレームメモリ２３００ａ，２３００ｂに入力して蓄える。フレームメモリ２３００ａ，２３００ｂ内の復号化された画像の情報は読み出されてセレクタ２２００に、あるいは動き補償予測回路２４００を介して動き補償予測処理され、セレクタ２２００に与えられる。
In this system having such a configuration, the encoding / decoding circuit 2000 encodes input image information in the order of raster scanning while referring to the contents of the line memory 2100, and outputs the encoded image information from the output OUT. The converted contents are decrypted and input to and stored in the frame memories 2300a and 2300b. The decoded image information in the frame memories 2300a and 2300b is read out and subjected to motion compensation prediction processing via the
セレクタ２２００は、符号化／復号化回路２０００より線１０を介して供給されるモード切り換え信号（フレーム内／フレーム間）に従って、入力切り替えされ、ラインメモリ２１００はこのセレクタ２２００を介してフレームメモリ２３００ａ，２３００ｂからの画像情報が与えられることにより、ラインメモリ２１００には、モード切り換え信号（フレーム内／フレーム間）に応じて、選択入力されることになるフレーム内の参照ラインとフレーム間の参照ラインのいずれかが逐次蓄えられる。
The
ここで、フレームメモリ２３００ａ，２３００ｂには符号化／復号化回路２０００により符号化／復号化処理されることにより得られた当該フレームの復号済みの画素値と、復号済みの参照フレームの画素値が蓄えられている。なお、フレーム間の参照ラインは、動き補償予測回路２４００にて動き補償した信号を用いても良い。 Here, in the frame memories 2300a and 2300b, the decoded pixel value of the frame obtained by the encoding / decoding processing by the encoding / decoding circuit 2000 and the pixel value of the decoded reference frame are stored. It is stored. Note that, as a reference line between frames, a signal subjected to motion compensation by the motion compensation prediction circuit 2400 may be used.
また図１９（ａ），（ｂ）のクロスハッチ部は、ラスタ順に符号化する場合のフレーム内とフレーム間の参照ラインの例である。図１９（ａ）はフレーム内の参照ラインであり、以後、これを“ABOVE LINE”と呼ぶことにする。図１９（ｂ）はフレーム間の参照ラインであり、参照フレーム内のａ０と同じ、あるいは動き補償後のアドレスａ０´に対して図のように設定されるもので、以後、これを“PREVIOUS LINE ”と呼ぶことにする。 19A and 19B are examples of reference lines within and between frames when encoding is performed in raster order. FIG. 19A shows a reference line in a frame, which is hereinafter referred to as “ABOVE LINE”. FIG. 19B shows a reference line between frames, which is the same as a0 in the reference frame or is set as shown in the figure with respect to the address a0 ′ after motion compensation. This is hereinafter referred to as “PREVIOUS LINE”. I will call it.
参照ラインを切り換えるためのモード情報は、符号化／復号化回路２０００により、例えば、複数のラインで構成されるブロックライン毎に別途符号化される。 The mode information for switching the reference line is separately encoded by the encoding / decoding circuit 2000, for example, for each block line composed of a plurality of lines.
図２０は、本具体例の符号化手順を表すフローチャートであり、符号化／復号化回路２０００は、まず、初めに符号化ライン上の起点変化画素ａ０の画素位置情報を初期化し（Ｓ３０１）、次に起点画素ａ０が属するラインのモードがフレーム内（INTRA)であるか否かを調べる（Ｓ３０２）。その結果、フレーム内（INTRA)であれば“ABOVE LINE”をラインメモリ２１００に読み込む（Ｓ３０２）が、フレーム内（INTRA)でなければ“PREVIOUS LINE ”を図１８のラインメモリ２１００に読み込むように制御する（Ｓ３０９）。 FIG. 20 is a flowchart showing the encoding procedure of this example. The encoding / decoding circuit 2000 first initializes the pixel position information of the starting point change pixel a0 on the encoding line (S301). Next, it is checked whether or not the mode of the line to which the origin pixel a0 belongs is within the frame (INTRA) (S302). As a result, if it is within the frame (INTRA), “ABOVE LINE” is read into the line memory 2100 (S302). If not within the frame (INTRA), “PREVIOUS LINE” is read into the line memory 2100 of FIG. (S309).
そして、次にａ１の検出処理をし（Ｓ３０４）、さらにｂ１，ｂ２の検出処理をし（Ｓ３０５）、次にｂ２とａ１の画素位置関係がｂ２＜ａ１であるか否かを調べ（Ｓ３０６）、ｂ２＜ａ１であれば、パスモード（Ｐ）にしてａ０の画素位置情報をｂ２の画素位置情報にセットし（Ｓ３０７，Ｓ３０８）、Ｓ３０４の処理に戻る。 Next, a1 detection processing is performed (S304), b1 and b2 detection processing is performed (S305), and then whether or not the pixel positional relationship between b2 and a1 is b2 <a1 is checked (S306). If b2 <a1, the pass mode (P) is set, the pixel position information of a0 is set to the pixel position information of b2 (S307, S308), and the process returns to S304.
Ｓ３０６の処理において、ｂ２とａ１の画素位置関係がｂ２＜ａ１でなければ、｜ａ１−ｂ１｜≦Ｎ（Ｎはある閾値）であるか否かを判断し（Ｓ３１０）、その結果、｜ａ１−ｂ１｜≦Ｎであれば垂直モード（Ｖ）にしてａ０の画素位置をａ１の画素位置にし（Ｓ３１１，Ｓ３１２）、Ｓ３１３の処理に入る。Ｓ３１３ではａ０が“WIDETH”（画像の横幅方向の画素数）対応の位置であるか否かを判断し、そうでなければＳ３０４の処理に戻る。Ｓ３１３での判定の結果、ａ０が“WIDETH”対応の位置であれば、画像の最後であるか否かを調べ（Ｓ３１４）、画像の最後で無ければＳ３０１の処理に戻る。Ｓ３１４での判定の結果、画像の最後であったならば、処理を終了する。 If the pixel positional relationship between b2 and a1 is not b2 <a1 in the process of S306, it is determined whether or not | a1-b1 | ≦ N (N is a certain threshold value) (S310). As a result, | a1 If −b1 | ≦ N, the vertical mode (V) is set, the pixel position of a0 is changed to the pixel position of a1 (S311 and S312), and the process of S313 is started. In S313, it is determined whether or not a0 is a position corresponding to “WIDETH” (the number of pixels in the horizontal width direction of the image). If not, the process returns to S304. As a result of the determination in S313, if a0 is a position corresponding to “WIDETH”, it is checked whether or not it is the end of the image (S314), and if it is not the end of the image, the process returns to S301. If the result of determination in S314 is the end of the image, processing ends.
Ｓ３１０での判定の結果、｜ａ１−ｂ１｜≦Ｎでなければａ２を検出し（Ｓ３１５）、水平モード（Ｈ）にして“ａ０”の画素位置を“ａ２”の画素位置にし（Ｓ３１６，Ｓ３１７）、Ｓ３１３の処理に入る。 If | a1-b1 | ≦ N as a result of determination in S310, a2 is detected (S315), the horizontal mode (H) is set, the pixel position “a0” is changed to the pixel position “a2” (S316, S317). ), The process enters S313.
すなわち、以上の手順は、起点画素ａ０が属するラインのモードがフレーム内（INTRA)の場合には“ABOVE LINE”を、また、フレーム間“（INTRA)”の場合には“PREVIOUS LINE ”を図１８のラインメモリ２１００に読み込む。“PREVIOUSLINE ”を参照ラインとするとき、符号化ラインと全く同じか、あるいは誤差が非常に小さい場合には、“NOT CODED ”すなわち、符号化ラインを符号化せずに参照ラインの信号をそのままコピーするというものであり、“PREVIOUS LINE ”を参照ラインとするとき、符号化ラインと全く同じか、あるいは誤差が非常に小さい場合には、符号化ラインを符号化せずに参照ラインの信号をそのままコピーすることで、発生符号量を削減することができる。 That is, the above procedure displays “ABOVE LINE” when the mode of the line to which the origin pixel a0 belongs is within the frame (INTRA), and “PREVIOUS LINE” when the mode between the frames is “(INTRA)”. 18 line memory 2100 is read. When “PREVIOUSLINE” is used as the reference line, if it is exactly the same as the encoded line or the error is very small, “NOT CODED”, that is, the signal of the reference line is copied as it is without encoding the encoded line. When “PREVIOUS LINE” is used as a reference line, if the code line is exactly the same or the error is very small, the signal of the reference line is left as it is without encoding the code line. By copying, the amount of generated codes can be reduced.
図２１は、この方式を使用した場合での人物像アルファマップに対するブロックライン毎の、モードの切り換えの例である。ブロックラインとは、隣接する複数のライン単位で構成したブロックを示しており、頭頂部近傍に相当する部分が占める第０および第１ブロックラインではそれぞれ“INTRA ”、顔部分に相当する部分が占める第２〜第４ブロックラインでは互いの違いが少ないのでそれぞれ“NOT CODED ”、肩部胸部近傍に相当する部分が占める第５〜第８ブロックラインではそれぞれ“INTRA ”のラインモードとなっていることを示している。 FIG. 21 is an example of mode switching for each block line with respect to the human image alpha map when this method is used. The block line is a block composed of a plurality of adjacent lines. The 0th and 1st block lines occupied by the portion corresponding to the vicinity of the top of the head are respectively “INTRA” and the portion corresponding to the face portion. Since there is little difference between the 2nd to 4th block lines, the line mode is “NOT CODED”, and the 5th to 8th block lines occupied by the area corresponding to the vicinity of the shoulder chest are “INTRA”. Is shown.
また図２２は、ラスタ順に符号化する場合に、“NOT CODED ”となるブロックラインの符号化をスキップする際の具体例を説明するものである。本発明では、起点画素ａ０が属するラインの属性（“INTRA ”／“INTER ”／“NOT CODED ”により、モード切り換えを行っている。しかし、ラスタ順に符号化する場合には、ａ１がａ０と同じライン上にあるとは限らない。したがって、復号時にａ１がａ０と同じライン上か否かは不明である。 FIG. 22 illustrates a specific example of skipping encoding of a block line that becomes “NOT CODED” when encoding is performed in raster order. In the present invention, the mode is switched by the attribute (“INTRA” / “INTER” / “NOT CODED”) of the line to which the origin pixel a0 belongs. However, when encoding in raster order, a1 is the same as a0. Therefore, it is not clear whether a1 is on the same line as a0 at the time of decoding.
そこで、図２２のように、ａ０が当該ブロックライン上での最後の変化画素であり、かつ、次のブロックラインのモードが“ NOT CODED”（非符号化）である場合には、スキップ符号ＳＫにより次の“CODED ”（符号化）となるブロックラインにスキップし、このスキップ先のブロックラインの先頭画素を新たなａ０（ｎｅｗ ａ０）とすると共に、このスキップされるブロックラインの領域についてはすべて符号化する。 Therefore, as shown in FIG. 22, when a0 is the last changed pixel on the block line and the mode of the next block line is “NOT CODED” (uncoded), the skip code SK is used. To skip to the next “CODED” (encoded) block line and set the first pixel of this skip-destination block line to a new a0 (new a0), and all the block line areas to be skipped Encode.
つまり、ａ０が存在するブロックラインＢ１があり、そのブロックラインＢ１のモードが“INTER ”であるとし、当該ブロックラインＢ１の次に、モードが“NOT CODED”のブロックラインが３つ繋がり（Ｂ２〜Ｂ４）、その次にモードが“INTER ”であるブロックラインＢ５が繋がっているので、当該Ｂ５のブロックラインの先頭にａ０を移してｎｅｗ ａ０とし、符号ＳＫを用いてａ０からｎｅｗ ａ０にスキップし、ブロックラインＢ１からＢ４までについてはすべて“CODED ”、すなわち、符号化することになる。また、この符号ＳＫの可変長符号は“垂直モード”／“水平モード”／“パスモード”の可変長符号と共に設計される。 That is, there is a block line B1 in which a0 exists, and the mode of the block line B1 is “INTER”. Next to the block line B1, three block lines whose mode is “NOT CODED” are connected (B2 to B2). B4) Next, since block line B5 whose mode is “INTER” is connected, a0 is moved to the beginning of the block line of B5 to be new a0, and the code SK is used to skip from a0 to new a0. The block lines B1 to B4 are all "CODED", that is, encoded. The variable length code of the code SK is designed together with variable length codes of “vertical mode” / “horizontal mode” / “pass mode”.
図２３は以上の符号化手順を表すフローチャートであり、図１７の点線で囲まれた部分を変更したものである。符号化ライン上の起点変化画素ａ０の画素位置情報を初期化し（Ｓ２０１）、次に起点画素ａ０が属するラインのモードがフレーム内（INTRA)であるか否かを調べる（Ｓ１２０１）。その結果、フレーム内（INTRA)であれば“ABOVE LINE”をラインメモリ１００に読み込む（Ｓ１２０２）が、フレーム内（INTRA)でなければ“PREVIOUS LINE ”を図１８のラインメモリ２１００に読み込む（Ｓ１２０３）。さらにａ０が属するラインのモードが“NOT CODED LINE”、つまり、符号化しないラインでないかを調べ（Ｓ１２０３）、符号化しないラインであればＳ２０１の処理に移り、符号化しないラインであれば、次にａ１の検出処理をし（Ｓ２０２）、さらにｂ１，ｂ２の検出処理をし（Ｓ２０３）、Ｓ２０４の処理に入るといった処理形態である。 FIG. 23 is a flowchart showing the above encoding procedure, in which the part surrounded by the dotted line in FIG. 17 is changed. The pixel position information of the starting point change pixel a0 on the encoded line is initialized (S201), and then it is checked whether the mode of the line to which the starting point pixel a0 belongs is in frame (INTRA) (S1201). As a result, if it is within the frame (INTRA), “ABOVE LINE” is read into the line memory 100 (S1202), but if it is not within the frame (INTRA), “PREVIOUS LINE” is read into the line memory 2100 of FIG. . Further, it is checked whether the mode of the line to which a0 belongs is “NOT CODED LINE”, that is, a line that is not encoded (S1203). If the line is not encoded, the process proceeds to S201. In this processing mode, a1 is detected (S202), b1 and b2 are further detected (S203), and S204 is entered.
以上、前フレームの符号化済みの信号を復号化して蓄え、かつ、当該前フレームの信号を参照することで、画像の符号化中の領域が符号化済みの領域の画像状態に近似しているか否かを調べ、近似しているとき、その領域の画像の符号化をせずに、代わりに、上記復号済みフレーム内の信号を上記符号化中のフレームにコピーすると共に、コピーされた部分をスキップして、次の符号化すべき領域の符号化をするよう符号化処理するようにしたことにより、コピーされた部分を符号化しないで処理能率を向上させることができるようになる。 As described above, whether the encoded region of the image approximates the image state of the encoded region by decoding and storing the encoded signal of the previous frame and referring to the signal of the previous frame If the image of the region is not encoded, the signal in the decoded frame is copied to the frame being encoded, and the copied portion is replaced. By skipping and performing the encoding process so as to encode the next region to be encoded, the processing efficiency can be improved without encoding the copied portion.
［第２の具体例のその３］ここでは、参照ラインを複数用いて予測の性能を向上させることで、発生符号量を縮減する具体例を説明する。 [No. 3 of the second specific example] Here, a specific example of reducing the amount of generated codes by improving the prediction performance using a plurality of reference lines will be described.
図２４は、本発明の符号化ラインと参照ラインの関係を説明する図である。ここで、新たにｃ１とｃ２の定義を行う。 FIG. 24 is a diagram illustrating the relationship between the encoding line and the reference line according to the present invention. Here, c1 and c2 are newly defined.
ｃ１：ａ０よりも右側で、ａ０と反対色の最初の変化画素ｃ２：ｃ１の次の変化画素本発明は、ａ１を符号化する際に、ｃ１とｂ１の変位から、ｂ１とａ１の変位を予測するものであり、以下の式で得られるdiffを垂直モードで符号化する。 c1: The first change pixel c2: c1 in the color opposite to a0 on the right side of a0 The present invention changes the displacement of b1 and a1 from the displacement of c1 and b1 when encoding a1. This is a prediction, and the diff obtained by the following equation is encoded in the vertical mode.
diff=b1-a1+f{b1-c1)ここで、ｆ（ｘ）はｂ１とａ１との変位を推定する予測関数である。また、次式は微小ノイズによる予測効率の低下を防止するために、ｃ１とｂ１の変位の絶対値がしきい値ｔｈよりも小さい場合に予測値を０とする予測関数の例である。 diff = b1-a1 + f {b1-c1) where f (x) is a prediction function for estimating the displacement between b1 and a1. Further, the following equation is an example of a prediction function that sets the predicted value to 0 when the absolute value of the displacement of c1 and b1 is smaller than the threshold th in order to prevent a decrease in prediction efficiency due to minute noise.
ｆ（ｘ）＝０ （ａｂｓ（ｘ）＜ｔｈ）
ｆ（ｘ）＝ｓｉｇｎ（ｘ） （ａｂｓ（ｘ）≧ｔｈ）
ｓｉｇｎ｛ｘ）＝−１ （ｘ＜０）
ｓｉｇｎ｛ｘ）＝ ０ （ｘ＝０）
ｓｉｇｎ｛ｘ）＝ １ （ｘ＞０）
但し、ｃ２がｂ１より左端にある時、あるいはabs(b1-c1)が、あるしきい値よりも大きい場合は、通常の垂直モードで符号化する。
f (x) = 0 (abs (x) <th)
f (x) = sign (x) (abs (x) ≧ th)
sign {x) =-1 (x <0)
sign {x) = 0 (x = 0)
sign {x) = 1 (x> 0)
However, when c2 is at the left end of b1, or when abs (b1-c1) is larger than a certain threshold value, encoding is performed in the normal vertical mode.
図２５は、本具体例の符号化手順を表すフローチャートであり、第１の垂直モードは従来の垂直モードであり、第２の垂直モードは、参照ラインを２ラインとする垂直モードで、本発明で採用した新しいモードである。 FIG. 25 is a flowchart showing the encoding procedure of this example. The first vertical mode is a conventional vertical mode, and the second vertical mode is a vertical mode with two reference lines. This is a new mode adopted in
ここでの処理は、まず、符号化ライン上の起点変化画素ａ０の画素位置情報を初期化し（Ｓ４０１）、符号化ライン上で“ａ０”位置よりも右にある最初の変化画素ａ１の検出処理をし（Ｓ４０２）、参照ライン上で“ａ０”位置よりも右側にあって、しかも、“ａ０”位置の画素と反対色の最初の変化画素ｂ１と、参照ライン上で“ｂ１”位置の次に表れる変化画素ｂ２の検出処理をし（Ｓ４０３）、次にｂ１がａ１より小さいか判断する（Ｓ４０４）。その結果、ｂ１がａ１より小さい場合はパスモード（Ｐ）にし（Ｓ４０５）、次にａ０の画素位置情報をｂ２の画素位置情報にセットし（Ｓ４０６）、Ｓ４０３の処理に戻る。 In this process, first, pixel position information of the starting point change pixel a0 on the encoding line is initialized (S401), and detection processing of the first change pixel a1 on the right of the “a0” position on the encoding line is performed. (S402) on the reference line to the right of the “a0” position, and the first change pixel b1 of the opposite color to the pixel at the “a0” position, and the “b1” position next to the reference line. Is detected (S403), and it is then determined whether b1 is smaller than a1 (S404). As a result, when b1 is smaller than a1, the pass mode (P) is set (S405), the pixel position information of a0 is set to the pixel position information of b2 (S406), and the process returns to S403.
Ｓ４０５の判断において、ｂ１がａ１より小さくなかったときはｃ１，ｃ２の検出処理をし（Ｓ４０７）、ｃ２がｂ１より小さいか判断する（Ｓ４０８）。その結果、ｃ２がｂ１より小さかったときは｜ａ１−ｂ１｜≦Ｎであるか判断し（Ｓ４０９）、｜ａ１−ｂ１｜≦Ｎであったときは、第１の垂直モード（Ｖ）とし（Ｓ４１０）、ａ０の画素位置をａ１の画素位置にし（Ｓ４１１）、Ｓ４１２の処理に入る。 If it is determined in S405 that b1 is not smaller than a1, c1 and c2 are detected (S407), and it is determined whether c2 is smaller than b1 (S408). As a result, if c2 is smaller than b1, it is determined whether | a1-b1 | ≦ N (S409). If | a1-b1 | ≦ N, the first vertical mode (V) is set ( S410), the pixel position of a0 is set to the pixel position of a1 (S411), and the process of S412 is entered.
Ｓ４１２では、ａ０の位置が水平方向の画素数であるWIDTH の値対応の位置であるか判断し、そうでなければＳ４０２の処理に戻り、そうであればＳ４１３に移り画像の終りであるか判断し、終りであれば処理を終了し、終りでなければＳ４０１の処理に戻る。 In S412, it is determined whether the position of a0 is a position corresponding to the value of WIDTH, which is the number of pixels in the horizontal direction. If not, the process returns to S402, and if so, the process proceeds to S413 to determine whether it is the end of the image. If the process is over, the process ends. If not, the process returns to S401.
一方、Ｓ４０８の判断において、ｃ２＜ｂ１でなければ｜ｄｉｆｆ｜≦Ｎであるか調べ（Ｓ４１８）、その結果、そうでなければａ２を検出処理し（Ｓ４１４）、水平モードとし（Ｓ４１５）、ａ０をａ２にセットする（Ｓ４１７）。そして、Ｓ４１２の処理に入る。Ｓ４１８の判断の結果、｜ｄｉｆｆ｜≦Ｎであれば、第２の垂直モードとし（Ｓ４１９）、ａ０をａ２にセットする（Ｓ４２０）。そして、Ｓ４１２の処理に入る。 On the other hand, if c2 <b1 is not satisfied in the determination of S408, whether or not | diff | ≦ N is checked (S418). If not, a2 is detected (S414), and the horizontal mode is set (S415). Is set to a2 (S417). Then, the process enters S412. If | diff | ≦ N as a result of the determination in S418, the second vertical mode is set (S419), and a0 is set to a2 (S420). Then, the process enters S412.
一方、Ｓ４０９の判断において、｜ａ１−ｂ１｜≦Ｎでなかったときには、ａ２を検出処理し（Ｓ４１４）、水平モードとし（Ｓ４１５）、ａ０をａ２にセットする（Ｓ４１７）。そして、Ｓ４１２の処理に入る。 On the other hand, if it is not | a1-b1 | ≦ N in the determination of S409, a2 is detected (S414), the horizontal mode is set (S415), and a0 is set to a2 (S417). Then, the process enters S412.
以上の処理により、参照ラインを複数用いて予測の性能を向上させることができるようにし、この予測の性能向上により、発生符号量を縮減することができるようになる。 With the above processing, the prediction performance can be improved by using a plurality of reference lines, and the generated code amount can be reduced by the improvement in the prediction performance.
［応用例］次に本発明の手法による高能率圧縮符号化の応用例として、上述のように２値ではなく、多値のアルファマップを符号化する場合の具体例を説明する。図２６は、多値のアルファマップを説明する図である。図２６（ａ）、はオブジェクトと背景を合成する際に境界部での不連続性を防止するために、合成の重み付けを多値で表現したものの例である。また図２６（ｂ）は、キャプションの一部を半透明に合成する際の例である（半透明重ね合わせ）。 [Application Example] Next, as an application example of high-efficiency compression encoding by the method of the present invention, a specific example in the case of encoding a multi-value alpha map instead of binary as described above will be described. FIG. 26 is a diagram illustrating a multi-value alpha map. FIG. 26 (a) shows an example in which the weighting of the synthesis is expressed in multiple values in order to prevent discontinuity at the boundary when the object and the background are synthesized. FIG. 26B shows an example when a part of the caption is synthesized to be translucent (translucent overlay).
ここで、オブジェクトの信号をＳｏ、背景の信号をＳｂ、重み付けの値（Alpha Value)をａとすると、合成信号Ｓｃは次式で表される。ここで、Alpha Valueは８ビットで表現されている。 Here, if the object signal is So, the background signal is Sb, and the weighting value (Alpha Value) is a, the combined signal Sc is expressed by the following equation. Here, Alpha Value is expressed by 8 bits.
Sc=((255-a)*Sb+a*So)/255このような、アルファマップを符号化する場合には、図２７（ａ）のように、アルファマップの値が０か否かを表すシェープ情報（Shape ）と、アルファマップにおける画素のグレースケール情報（階調情報）であるアルファバリュー情報（Alpha Value ）とに分離して符号化する。すなわち、図２７（ｂ）のように、シェープ情報Shape を本発明の２値画像符号化法を実施するためのシェープコーディング部２５００に与え、ここで本発明の２値画像符号化法により、シェープ情報Shape を符号化し、Shape 情報の再生信号にしたがって、多値画像用の符号化を行うアルファバリューコーディング部２６００により、アルファバリュー情報Alpha Value を符号化すれば良い。 Sc = ((255−a) * Sb + a * So) / 255 When encoding an alpha map like this, as shown in FIG. 27A, it is determined whether the alpha map value is 0 or not. It encodes separately into shape information (Shape) to be expressed and alpha value information (Alpha Value) which is gray scale information (gradation information) of pixels in the alpha map. That is, as shown in FIG. 27 (b), the shape information Shape is given to the shape coding unit 2500 for carrying out the binary image coding method of the present invention, where the shape information is shaped by the binary image coding method of the present invention. The alpha value information Alpha Value may be encoded by the alpha value coding unit 2600 that encodes the information shape and performs multi-value image encoding according to the reproduction signal of the shape information.
このようにすると、２値ではなく、多値のアルファマップを符号化することができるようになる。 In this way, it is possible to encode a multi-value alpha map instead of a binary value.
（第３の具体例）次に、本発明の第３の具体例として、画面全体に占めるオブジェクト部分の領域がかなり小さい場合での符号量低減技術を、図２９と図３０を用いて説明する。 (Third Specific Example) Next, as a third specific example of the present invention, a code amount reduction technique when the area of the object portion occupying the entire screen is quite small will be described with reference to FIGS. 29 and 30. FIG. .
図２９（ａ）に示されるような画面全体に占めるオブジェクト部分の領域がかなり小さい場合において、画面全体のアルファマップ信号を符号化するのではなく、図２９（ｂ）のようなオブジェクトを含む小領域のアルファマップ信号を符号化した方が符号量が低減される場合がある。 When the area of the object portion occupying the entire screen as shown in FIG. 29A is quite small, the alpha map signal of the entire screen is not encoded, but the small object including the object as shown in FIG. The amount of code may be reduced when the alpha map signal of the region is encoded.
そして、この場合、小領域の大きさと、画面内での位置関係がわからなければならない。 In this case, the size of the small area and the positional relationship within the screen must be known.
そこで、小領域の位置を表すための小領域左上端Ｓの位置アドレスと、小領域の（水平，垂直）方向の大きさ（ｈ，ｖ）とを付加情報として別途符号化する。さらに、前記Ｓや前記（ｈ，ｖ）の符号量を低減するために、図２９（ａ）において破線で区切られた、符号化の処理単位であるブロックの整数倍となる様に小領域を設定することで、Ｓや（ｈ，ｖ）をブロックのアドレスで表現することもできる。 Therefore, the position address of the upper left end S of the small area for representing the position of the small area and the size (h, v) in the (horizontal, vertical) direction of the small area are separately encoded as additional information. Further, in order to reduce the code amount of S and (h, v), a small area is formed so as to be an integral multiple of a block that is a processing unit of encoding, which is divided by a broken line in FIG. By setting, S and (h, v) can be expressed by block addresses.
図３０は、上記の処理の流れを説明するブロック図であり、図３０（ａ），（ｂ）は各々送信側、受信側のブロック図である。 FIG. 30 is a block diagram illustrating the flow of the above processing, and FIGS. 30A and 30B are block diagrams on the transmission side and the reception side, respectively.
送信側は、オブジェクト領域検出回路５００、アルファマップ符号化回路２００、多重化回路５１０とから構成されている。オブジェクト領域検出回路５００は、アルファマップからオブジェクト部分の領域を検出する回路であり、小領域のアルファマップ信号と、Ｓや（ｈ，ｖ）の値とを検出するものである。
The transmission side includes an object
また、アルファマップ符号化回路２００は小領域のアルファマップを符号化する回路であり、既に詳述した如きのものである。多重化回路５１０はこの符号化されたアルファマップと、オブジェクト領域検出回路５００の出力するＳや（ｈ，ｖ）の値とを多重化して出力する回路である。
The alpha
また、受信側は、分離化回路５２０、アルファマップ復号化回路４００、アルファマップ復元回路５３０から構成されている。分離化回路５２０は、ビットストリームから、小領域のアルファマップ信号と、Ｓや（ｈ，ｖ）の値の符号化成分とを分離するものであり、アルファマップ復号化回路４００は小領域のアルファマップ信号を復号して元のサイズのアルファマップを得る回路であり、アルファマップ復元回路５３０はＳや（ｈ，ｖ）の値の符号化成分からＳや（ｈ，ｖ）の値を復元する回路である。
The receiving side includes a separation circuit 520, an alpha
このような構成において、線２０を介して画面全体のアルファマップ信号が供給されたオブジェクト領域検出回路５００では、図２９（ｂ）のような小領域のアルファマップ信号を線２２を介してアルファマップ符号化回路２００に供給すると共に、Ｓや（ｈ，ｖ）の値を符号化して、線２３を介してアルファマップ符号化回路２００と多重化回路５１０に供給する。
In such a configuration, the object
多重化回路５１０では、線２４を介して供給される符号化された小領域のアルファマップ信号と、線２３を介して供給される符号化されたＳや（ｈ，ｖ）の値を多重化した後、線３０を介して出力する。
The
一方、線８０を介して分離化回路５２０に供給された符号は、小領域のアルファマップ信号に関する符号と、Ｓや（ｈ，ｖ）に関する符号に分離され、各々線８４と線８６を介して出力される。アルファマップ復元回路５３０では、線８５を介して供給される再生された小領域のアルファマップ信号と、線８６を介して供給されるＳや（ｈ，ｖ）の値から、画面全体のアルファマップ信号を復元し、線９０を介して出力する。
On the other hand, the code supplied to the separation circuit 520 via the line 80 is separated into a code related to the small area alpha map signal and a code related to S and (h, v). Is output. In the alpha map restoration circuit 530, the alpha map of the entire screen is obtained from the reproduced small area alpha map signal supplied via the line 85 and the S and (h, v) values supplied via the line 86. The signal is recovered and output via
この結果、図２９（ａ）に示されるような画面全体に占めるオブジェクト部分の領域がかなり小さい場合において、画面全体のアルファマップ信号を符号化するのではなく、図２９（ｂ）のようなオブジェクトを含む小領域のアルファマップ信号を符号化して符号量低減を図ることができるようになる。 As a result, when the area of the object portion occupying the entire screen as shown in FIG. 29A is quite small, the alpha map signal of the entire screen is not encoded, but the object as shown in FIG. It is possible to reduce the code amount by encoding the alpha map signal of a small area including.
（第４の具体例）次に、第４の具体例として、図４のサンプリング変換（拡大・縮小変換）により発生する斜め方向の不連続性を滑らかにする技術を、図４と図３３および図３４を用いて説明する。 (Fourth Specific Example) Next, as a fourth specific example, a technique for smoothing the discontinuity in the oblique direction caused by the sampling conversion (enlargement / reduction conversion) of FIG. This will be described with reference to FIG.
２値画像の縮小拡大を繰り返すと、斜めの線あるいは、曲線の滑らかさが失われ易い。アルファマップ信号は２値画像の情報であるから、縮小拡大を繰り返すと、このような現象を起こし易く、しかも、画面内の目的の部分を抽出したり、認識するために用いるのがアルファマップ信号であるから、このような滑らかさが失われることは、画質の劣化に繋がる。そこで、この滑らかさを失うという問題を解消する技術が必要となる。 If the reduction and enlargement of the binary image is repeated, the smoothness of the diagonal lines or curves is likely to be lost. Since the alpha map signal is binary image information, such a phenomenon is likely to occur when the enlargement and reduction are repeated, and the alpha map signal is used for extracting or recognizing a target portion in the screen. Therefore, such a loss of smoothness leads to deterioration of image quality. Therefore, a technique for solving the problem of losing smoothness is required.
本具体例は、図４の構成においてサンプリング変換（拡大・縮小変換）により発生する斜め方向の不連続性を滑らかにする２値画像の処理方法に関するものである。 This example relates to a binary image processing method for smoothing the discontinuity in the oblique direction caused by sampling conversion (enlargement / reduction conversion) in the configuration of FIG.
図３３は、スムーシング処理（平滑化処理）を説明するための図である。ここで、図３３の（ａ）は元のサイズの２値画像、図３３の（ｂ）はこれを縮小して得た２値画像である。図３３においては、オブジェクト領域は黒丸印で、また、バックグラウンド（背景）領域は白丸印で示してある。 FIG. 33 is a diagram for explaining the smoothing process (smoothing process). Here, FIG. 33A is a binary image of the original size, and FIG. 33B is a binary image obtained by reducing this. In FIG. 33, the object area is indicated by a black circle, and the background area is indicated by a white circle.
本具体例では、図４の構成において解像度変換回路２１０や解像度変換回路２３０によるサンプリング変換（拡大・縮小変換）がなされることにより発生する斜め方向の不連続性を滑らかにするために、バックグラウンド領域の画素（白丸）一つ一つについて、それを中心にして、その上下左右の画素、つまり、隣接画素を調べ、そのうち、２画素以上がオブジェクト領域の画素（黒丸）であったときは、そのバックグラウンド領域の画素を、オブジェクト領域に含める処理を行う。 In this specific example, in order to smooth the discontinuity in the oblique direction that is generated by the sampling conversion (enlargement / reduction conversion) by the resolution conversion circuit 210 or the resolution conversion circuit 230 in the configuration of FIG. For each pixel (white circle) in the area, the upper, lower, left, and right pixels, that is, adjacent pixels are examined, and when two or more pixels are pixels (black circles) in the object area, A process of including the pixels in the background area in the object area is performed.
すなわち、今、バックグラウンド領域にある一つの画素である検査対象画素が図３３（ｂ）における二重丸印で示す位置の画素である場合のように、その隣接画素に、２画素以上、オブジェクト領域の画素（黒丸）があったときは、その二重丸印で示す位置の画素（つまり、検査対象画素）を黒丸印の画素にしてオブジェクト領域の画素にする。黒丸印の画素が例えば、“１”、白丸印が“０”であるとすると、二重丸印で示す位置の画素（画素値“０”）を、画素値“１”に置き換える処理をする。 That is, two or more pixels are adjacent to the adjacent pixel as in the case where the pixel to be inspected that is one pixel in the background area is a pixel at a position indicated by a double circle in FIG. When there is an area pixel (black circle), the pixel at the position indicated by the double circle (that is, the pixel to be inspected) is changed to a black circle pixel to be a pixel in the object area. For example, assuming that the black circle is “1” and the white circle is “0”, the pixel at the position indicated by the double circle (pixel value “0”) is replaced with the pixel value “1”. .
具体的にはつぎのようにする。図３４に示すように、上記画像処理を行う装置としては、２フレーム分のメモリ６２１，６２２を用意し、スムーシング処理を行う対象の２値画像データを、それぞれのフレームメモリ６２１，６２２に保持させるようにする。そして、そのうちの一方のフレームメモリを検査用画像の保持メモリとし、他方を作業用メモリとする。そして、制御手段６２３により、これらフレームメモリ６２１，６２２をつぎのように制御し、また、これらフレームメモリ６２１，６２２の保持内容を用いてつぎのように演算処理する。
Specifically: As shown in FIG. 34, two frames of
２値画像データが入力されると、制御手段６２３はこの２値画像データを、検査用画像の保持メモリと作業用メモリとに格納するように制御する（Ｓ１）。 When the binary image data is input, the control means 623 controls to store the binary image data in the inspection image holding memory and the work memory (S1).
つぎに制御手段６２３は、検査用画像の保持メモリに保持された画像の画素一つずつについて、その画素を検査対象画素としたときに、それに隣接する４方の画素の値を調べる（Ｓ２）。そして、検査対象画素の値が“０”であって、それに隣接する４方の画素のうち、値が“１”を持つ画素が２画素分以上あるかを調べ（Ｓ３）、２画素分以上ある場合には、その検査対象画素の画素の値を“１”に書き替える（Ｓ４）。この書き替えは作業用メモリに対して該当の画素位置のものを“１”にすることで行う。 Next, the control means 623 examines the values of the four pixels adjacent to each pixel of the image held in the inspection image holding memory when the pixel is set as the inspection target pixel (S2). . Then, the value of the pixel to be inspected is “0”, and it is checked whether there are two or more pixels having the value “1” among the four adjacent pixels (S3). If there is, the value of the pixel to be inspected is rewritten to “1” (S4). This rewriting is performed by setting the pixel at the corresponding pixel position to “1” in the working memory.
全ての画素についてこの処理が済むと、制御手段６２３はこの作業用メモリにある修正済みの２値画像データを読出し（Ｓ５）、スムーシング処理済みの２値画像データとして出力する。 When this process is completed for all the pixels, the control means 623 reads the corrected binary image data in the working memory (S5) and outputs it as the smoothed binary image data.
この処理の結果、滑らかさが失われた２値画像データは、輪郭部の滑らかさが回復することになる。 As a result of this processing, the smoothness of the contour portion of the binary image data whose smoothness has been lost is restored.
滑らかさが大きく失われている２値画像データの場合は、上記処理を複数回繰り返す。すなわち、作業用メモリにある修正済みの２値画像データを検査用画像の保持メモリにコピーし（Ｓ６）、再び、Ｓ２以降の処理を行う。圧縮と拡大の率や回数が決まれば、そのシステムの場合、滑らかさ喪失の度合いがどの程度であるかは分かるので、状況対応に適宜な繰り返し回数を定めて、上記の処理を繰り返した後、処理済みの２値画像データとして作業用メモリの２値画像データを読出して最終処理済み出力とするよう、制御手段６２３に制御させる。
In the case of binary image data in which smoothness is largely lost, the above process is repeated a plurality of times. That is, the corrected binary image data in the working memory is copied to the inspection image holding memory (S6), and the processes after S2 are performed again. If the rate and number of compression and expansion are determined, you can see how much smoothness is lost in that system, so after determining the appropriate number of repetitions for the situation and repeating the above processing, The
この結果、滑らかさが大きく損なわれた２値画像データであっても、滑らかな輪郭に修正することができるようになる。そのため、この図３４の画像処理手段を図４の構成における解像度変換回路２１０の出力段に設けておけば、輪郭の滑らかな２値画像データを後段に与えることができるようになる。 As a result, even binary image data whose smoothness is greatly impaired can be corrected to a smooth outline. Therefore, if the image processing means of FIG. 34 is provided at the output stage of the resolution conversion circuit 210 in the configuration of FIG. 4, binary image data having a smooth outline can be provided to the subsequent stage.
以上、種々の例を説明したが、以上の具体例は要するにオブジェクトスケーラビリティを実現するに当たって必要となるアルファマップについて、解像度縮小を図り、符号化すると共に、得られた符号を縮小率情報と共に多重化して伝送や蓄積用のアルファマップ信号とするようにしたことを特徴としている。そのため、アルファマップ信号は効率良く符号化できることになり、オブジェクトの形状情報を効率良く符号化できるようになる。 Although various examples have been described above, in the above specific examples, the resolution is reduced and encoded with respect to the alpha map necessary for realizing object scalability, and the obtained code is multiplexed with the reduction ratio information. This is characterized in that the alpha map signal is used for transmission and storage. Therefore, the alpha map signal can be efficiently encoded, and the shape information of the object can be efficiently encoded.
また、アルファマップ信号を再生する時は、アルファマップの符号化成分と、縮小率情報とを分離し、アルファマップの符号化成分は復号した後に縮小率情報に従って元の解像度に拡大するようにしたことで、元のサイズのアルファマップを復元できるようになり、アルファマップを用いた符号化画像の復号も支障なく行えるようになる。 In addition, when reproducing the alpha map signal, the encoded component of the alpha map and the reduction rate information are separated, and the encoded component of the alpha map is decoded and enlarged to the original resolution according to the reduction rate information. Thus, the original alpha map can be restored, and the encoded image using the alpha map can be decoded without any trouble.
また、本発明はブロックライン毎に処理が可能であるため、図３２に示すように、ブロックライン毎にそのブロックライン対応部分のアルファマップの符号を伝送し、受信側ではブロックライン毎に復号することも可能である。 Further, since the present invention can perform processing for each block line, as shown in FIG. 32, the code of the alpha map corresponding to the block line is transmitted for each block line, and is decoded for each block line on the receiving side. It is also possible.
すなわち、一般的なＭＭＲでは画像をその水平方向ライン内でのみ変化画素を検出するのに対して、第１ないし第４の具体例ではＭＭＲを用いてはいるが、画像をラスタスキャン順に複数ラインにまたがって変化画素を検出している。そのため、ブロックライン毎に処理が可能であるから、図３２に示すように、ブロックライン毎にそのブロックライン対応部分のアルファマップの符号を伝送し、受信側ではブロックライン毎に復号することも可能である。 That is, in general MMR, a change pixel is detected only within a horizontal line of an image, whereas in the first to fourth specific examples, MMR is used, but an image is divided into a plurality of lines in the raster scan order. The change pixel is detected across the two. Therefore, since processing is possible for each block line, as shown in FIG. 32, it is possible to transmit the code of the alpha map corresponding to the block line for each block line and to decode for each block line on the receiving side. It is.
＜マクロブロック単位での符号化、復号化処理＞以上の各具体例は、任意形状の部分画像像毎に再生可能な符号化方式の機能であるオブジェクトスケーラビリティを実現する際に必要となるアルファマップの符号化において、一画面全体あるいは、ブロックライン単位で符号化を行う方法であり、２値画像で表現されたアルファマップを、ＦＡＸの符号化方式であるＭＭＲ（Modified Modified READ）に基づいた符号化方法にて符号化する手法であった。そして、ＭＭＲは基本的にライン単位での符号化法である。 <Encoding and Decoding Processing in Macroblock Units> Each of the above specific examples is an alpha map necessary for realizing object scalability, which is a function of an encoding method that can be reproduced for each partial image of an arbitrary shape. Is an encoding method based on MMR (Modified Modified READ), which is a FAX encoding method, in which encoding is performed on an entire screen or on a block line basis. This is a method of encoding by the encoding method. MMR is basically a coding method in units of lines.
一方、動画像の標準符号化方式であるＭＰＥＧ等の既存の画像符号化方式は、一般に画面全体を１６×１６画素で構成されるマクロブロックＭＢに分割した上で、各マクロブロックＭＢ単位で符号化処理が行われている。従って、このような場合にはアルファマップの符号化法もマクロブロックＭＢ単位での符号化を可能にすることが望ましい。しかし、マクロブロックＭＢは画面の一部分であるために、ライン単位での符号化法であるＭＭＲに基づいて一つ一つのマクロブロックＭＢを符号化すると符号化効率が低下するおそれがある。 On the other hand, an existing image coding method such as MPEG, which is a standard coding method for moving images, generally divides the entire screen into macroblocks MB composed of 16 × 16 pixels, and then codes each macroblock MB. Is being processed. Therefore, in such a case, it is desirable that the encoding method of the alpha map also enables encoding in units of macroblock MB. However, since the macroblock MB is a part of the screen, if each macroblock MB is encoded based on MMR, which is an encoding method in units of lines, the encoding efficiency may be reduced.
そこで、マクロブロック単位で効率的に符号化処理し、また、復号化処理することのできるようにした符号化技術を次に説明する。 An encoding technique that enables efficient encoding processing and decoding processing in units of macroblocks will be described next.
（第５の具体例）本発明にかかるマクロブロック単位での符号化、復号化処理の第１の手法を第５の具体例として、図３５、図３６および図３７を参照しながら説明する。この具体例において必要なシステム構成は基本的には図２および図３の如きで良く、以下説明する処理は符号化処理については、図２におけるアルファマップ符号化回路２００においてなされ、復号化処理については図３におけるアルファマップ復号化回路４００においてなされるように仕組みを整えておけば良い。
(Fifth Specific Example) A first specific method of encoding and decoding in units of macroblocks according to the present invention will be described as a fifth specific example with reference to FIGS. 35, 36 and 37. FIG. The system configuration required in this specific example may basically be as shown in FIGS. 2 and 3, and the processing described below is performed in the alpha
図３５は、アルファマップの画面内を例えば、画素サイズが１６×１６画素といった所定の複数画素構成によるマクロブロックＭＢ単位に分割した図であり、正方形の升目で示したものが分割の境界線であり、升目一つ一つがマクロブロックＭＢである。 FIG. 35 is a diagram in which the screen of the alpha map is divided into macroblock MB units having a predetermined plurality of pixel configurations such as a pixel size of 16 × 16 pixels, for example, and a square border indicates a division boundary line. Yes, each square is a macroblock MB.
アルファマップはオブジェクトの情報を画素毎に２値で示すものであるから、画素は白か黒のいずれかであり、従って、図３５に示されるように、アルファマップの画面における各マクロブロックＭＢはその中身の状態は“ａｌｌ＿ｗｈｉｔｅ”（全て白）、“ａｌｌ＿ｂｌａｃｋ”（全て黒）、“ｏｔｈｅｒｓ”（その他）の３つの種類のいずれかに分類される。 Since the alpha map indicates the object information in binary for each pixel, the pixel is either white or black. Therefore, as shown in FIG. 35, each macro block MB in the alpha map screen is The state of the contents is classified into one of three types: “all_white” (all white), “all_black” (all black), and “others” (others).
人物像のアルファマップである図３５のような画面の場合、背景は“白”、人物部分は“黒”であるから、マクロブロックＭＢは符号（ＭＢwh）を付して示す背景部分のみのものと、符号（ＭＢbk）を付して示す人物部分のみのもの、そして、符号（ＭＢot）を付して示す背景部分と人物部分両方を含むものとに分けることができる。そして、この場合、符号化の必要な部分は（ＭＢot）なる部分であり、図３５より明かなように、（ＭＢot）なる部分はオブジェクトＯＪにおける輪郭部分の入ったマクロブロック、すなわち、図３６に示す如き部分のマクロブロックのみにＭＭＲベースの符号化法を適用すれば良いことが分かる。（ＭＢot）なる部分のマクロブロックは、人物の輪郭領域に位置するマクロブロックであり、背景部分と人物部分両方を含む部分である。 In the case of the screen as shown in FIG. 35, which is an alpha map of a human image, the background is “white” and the human part is “black”, so the macroblock MB is only the background part indicated by a symbol (MBwh). And only the person portion indicated by the reference sign (MBbk), and those including both the background portion indicated by the reference sign (MBot) and the person portion. In this case, the part that needs to be encoded is the part (MBot), and as is clear from FIG. 35, the part (MBot) is the macroblock including the contour part in the object OJ, that is, FIG. It can be seen that the MMR-based encoding method should be applied only to the macroblocks in the portions as shown. The macroblock of the part (MBot) is a macroblock located in a person's outline area, and is a part including both a background part and a person part.
ところで、図３７のようなマクロブロックＭＢに、第１から第４の具体例の手法を適用すると、検出される変化画素は図３７（ａ）において黒丸で示した位置になる。なお、以後の図では簡単のため、マクロブロックＭＢのサイズを８×８画素で構成されるブロックとして例示している。 By the way, when the techniques of the first to fourth specific examples are applied to the macroblock MB as shown in FIG. 37, the detected change pixel is at the position indicated by the black circle in FIG. In the following drawings, for the sake of simplicity, the size of the macro block MB is illustrated as a block composed of 8 × 8 pixels.
一方、マクロブロックＭＢを画面左上からラスタスキャン順に符号化して送信し、ラスタスキャン順に受信して復号化を行うとすると、今、符号化あるいは復号化処理しようとしている対象のマクロブロックＭＢの上辺に接する画素群（“top referece”）と、当該マクロブロックＭＢの左辺に接する画素群（“left reference”）は、図３７（ｂ）に示されるように送受信両端において既知の値となる。すなわち、ラスタスキャン順に処理してゆくので、top refereceとleft referenceは既に処理した隣接のマクロブロックＭＢの情報であるから既知の値である。 On the other hand, if the macroblock MB is encoded and transmitted in the raster scan order from the upper left of the screen and is received and decoded in the raster scan order, then the macroblock MB is placed on the upper side of the target macroblock MB to be encoded or decoded. The pixel group in contact (“top reference”) and the pixel group in contact with the left side of the macroblock MB (“left reference”) have known values at both transmission and reception ends as shown in FIG. That is, since the processing is performed in the raster scan order, the top referece and the left reference are information of adjacent macro blocks MB that have already been processed, and are known values.
マクロブロックＭＢ単位で考えた場合、ラスタスキャン順に処理してゆく方式ではそのマクロブロックＭＢでの左辺に接する画素においては、それが図３７（ａ）に黒丸印を付して示すように変化画素であった場合にはそれは変化画素として符号化しなければならないから、画面単位で符号化する場合に比べて極めて冗長な情報となる。 When considered in units of macro blocks MB, in the method of processing in the raster scan order, the pixels that contact the left side of the macro block MB are changed pixels as indicated by the black circles in FIG. In this case, since it must be encoded as a change pixel, the information becomes extremely redundant as compared with the case of encoding on a screen basis.
そこで、このような冗長さを解消するために、本発明では、マクロブロックＭＢの左端の画素に関しては同じライン上の“left reference”の値との変化を検出すると共に、参照領域内で“pred＿color ”と反対色となる最初の変化画素を”ｂ１”と定義する。すると、変化画素は図３７（ｂ）の黒丸印の位置となり、図３７（ａ）に比べて冗長な変化画素が大幅に削減される。 Therefore, in order to eliminate such redundancy, in the present invention, a change from the value of “left reference” on the same line is detected for the leftmost pixel of the macroblock MB, and “pred_color” is detected in the reference area. The first change pixel having a color opposite to “is defined as“ b1 ”. Then, the changed pixel is located at the black circle in FIG. 37 (b), and redundant changed pixels are greatly reduced compared to FIG. 37 (a).
ここで、“pred＿color ”に該当するのは“a0＿color ”（previous line ）と“ ref＿color ”（current line）となる。なお、“current line”とは、起点変化画素“ａ０”が属するラインのことであり、“previous line ”とは、“current line”の１ライン上のラインのことであり、“a0＿color ”とは起点変化画素“ａ０”の値（ｂｌａｃｋ ｏｒ ｗｈｉｔｅ（白値または黒値））であり、“ ref＿color ”とは“current line”と同じラインの“left refeence ”の値である。 Here, “a0_color” (previous line) and “ref_color” (current line) correspond to “pred_color”. Note that “current line” is a line to which the starting point change pixel “a0” belongs, “previous line” is a line on one line of “current line”, and “a0_color” is It is the value (black or white (white value or black value)) of the starting point change pixel “a0”, and “ref_color” is the value of “left refeence” of the same line as “current line”.
ここで、“top reference ”は、図３７（ｂ）に示されるマクロブロックＭＢの上辺に接する画素群を指し、“left reference”は、図３７（ｂ）に示されるマクロブロックＭＢの左辺に接する画素群を指す。 Here, “top reference” refers to a pixel group that touches the upper side of the macroblock MB shown in FIG. 37B, and “left reference” touches the left side of the macroblock MB shown in FIG. 37B. Refers to a pixel group.
なお、オブジェクトを含む方形領域を符号化対象としている場合に、マクロブロックＭＢの上辺あるいは左辺が方形領域の上端あるいは左端に接しているときは、“top reference ”および“left reference”の値は全て、“white ”（白）とする。 When the rectangular area including the object is the encoding target and the upper side or the left side of the macroblock MB is in contact with the upper end or the left end of the rectangular area, the values of “top reference” and “left reference” are all , “White” (white).
また、第１ないし第４の具体例に示した発明では、複数ラインの再生値を用いて相対アドレスの変化量を予測する方法が記載されている。このような場合には、前記の“top reference ”および“left reference”を複数ライン蓄えておく必要がある。また、マクロブロックＭＢ毎に符号化する順序を右下から順次符号化するようにしてもよい。この場合、マクロブロックＭＢの下辺に接する再生値と右辺に接する再生値を用いる。 In the inventions shown in the first to fourth specific examples, a method for predicting a change amount of a relative address using reproduction values of a plurality of lines is described. In such a case, it is necessary to store a plurality of lines of the “top reference” and “left reference”. The order of encoding for each macroblock MB may be sequentially encoded from the lower right. In this case, a reproduction value in contact with the lower side of the macroblock MB and a reproduction value in contact with the right side are used.
また、動き補償予測が適用される場合には、図２と図３の構成における動き補償予測回路１１０および３５０において、画像信号と同様にアルファマップ信号の動き補償予測も生成することができる。上記の“top reference ”および“left reference”は、送信側および受信側とも同じ信号が得られれば良いため、“top reference ”および“left reference”には，動き補償予測値を用いても良い。また、第１ないし第４の具体例に示したように、動き補償予測値との相対アドレス符号化を適用しても良い。
When motion compensated prediction is applied, motion compensated prediction of an alpha map signal can also be generated in the motion compensated
以上は、マクロブロックＭＢ単位でラスタスキャン順に圧縮符号化し、ラスタスキャン順（ｘｙスキャンにおけるｘ方向スキャンのスキャン順）に復号化処理する場合の例であった。しかし、マクロブロックＭＢ単位で圧縮符号化し、復号化する場合に、画像の状態によってはラスタスキャン順に行うよりも垂直方向（ｘｙ方向におけるｙ方向スキャン順）に処理するようにした方が効率の良い圧縮処理ができる場合があり、従って、ラスタスキャン順にしたり、垂直方向にスキャンを切り換えたりして、画像の状況対応に種々切り換えて処理することができるようにした方式も実現できれば有用である。そこで、このような方式を次に第６の具体例として説明する。 The above is an example in the case where compression encoding is performed in the order of raster scanning in units of macroblock MB and decoding processing is performed in the order of raster scanning (scanning order of x-direction scanning in xy scanning). However, when compression encoding and decoding is performed in units of macroblock MB, it is more efficient to perform processing in the vertical direction (y direction scan order in the xy direction) than in the raster scan order depending on the state of the image. There are cases where compression processing can be performed. Therefore, it would be useful to realize a system that can perform processing by changing variously according to the situation of the image by changing the scan order in the raster scan order or in the vertical direction. Such a system will be described as a sixth specific example.
（第６の具体例）図３８を用いて本発明の第６の具体例を説明する。この具体例において必要なシステム構成も基本的には図２および図３の如きで良く、以下説明する処理は符号化処理については、図２におけるアルファマップ符号化回路２００においてなされ、復号化処理については図３におけるアルファマップ復号化回路４００においてなされるように仕組みを整えておけば良い。
(Sixth Specific Example) A sixth specific example of the present invention will be described with reference to FIG. The system configuration required in this specific example may basically be as shown in FIGS. 2 and 3, and the processing described below is performed in the alpha
図３８（ｂ）は第１ないし第５の具体例におけるスキャン順序（左から右ヘスキャンする（水平スキャンＳh ））であり、図３８（ａ）はこのスキャン順序によってスキャンされることにより、検出された変化画素（黒丸で示した画素）の例である。 FIG. 38B shows a scan order (scanning from left to right (horizontal scan Sh)) in the first to fifth specific examples, and FIG. 38A is detected by scanning in this scan order. This is an example of the changed pixels (pixels indicated by black circles).
この場合、第５の具体例における変化画素の検出方法を用いても、変化画素は１２個検出される。そこで、この具体例では図３８（ｄ）に示すように、マクロブロックＭＢの行のアドレスと列のアドレスを入れ換えることによって、縦方向のスキャン順序（上から下にスキャンする（垂直スキャンＳv ））で変化画素を検出する。このようにすると、図３８（ｂ）のスキャン方法で１２個検出された変化画素は、図３８（ｃ）に示すように８個に減る。このように、画像の状態によってはスキャン方向を変えることで変化画素の数を減らすことができる。 In this case, 12 change pixels are detected even when the change pixel detection method in the fifth specific example is used. Therefore, in this specific example, as shown in FIG. 38 (d), the scanning order in the vertical direction (scanning from top to bottom (vertical scanning Sv)) is performed by switching the row address and column address of the macroblock MB. A change pixel is detected by. In this way, twelve changed pixels detected by the scanning method of FIG. 38B are reduced to eight as shown in FIG. 38C. Thus, depending on the state of the image, the number of change pixels can be reduced by changing the scanning direction.
本発明では、変化画素間の変化量が同じ場合、変化画素の数が少ない方が発生符号量が少なくなるため、図３８の例では、（ｂ）に比べて（ｄ）のスキャン順の方が発生符号量が少なくなる。 In the present invention, when the amount of change between the changed pixels is the same, the smaller the number of changed pixels, the smaller the amount of generated code. Therefore, in the example of FIG. However, the amount of generated code is reduced.
従って、図３８（ｂ）のスキャン順序と図３８（ｄ）のスキャン順序を適応的に切り換えることによって、符号量の削減ができる場合がある。この場合、復号化処理側で再生できるようにするために、スキャン順序を識別する情報を別途符号化してデータに付加しておく必要がある。そして、このスキャン順序を識別する情報に基づき、方向を切り換えながら復号するようにする。 Therefore, the code amount may be reduced by adaptively switching the scan order of FIG. 38B and the scan order of FIG. 38D. In this case, in order to be able to reproduce on the decoding processing side, it is necessary to separately encode information for identifying the scan order and add it to the data. Then, decoding is performed while switching the direction based on the information for identifying the scan order.
以上は、マクロブロックＭＢ単位で圧縮符号化し、復号化する場合に、画像の状態によってはラスタスキャン順に行うよりも垂直方向（ｘｙ方向におけるｙ方向スキャン順）に処理するようにした方が効率の良い圧縮符号化処理ができる場合があり、従って、ラスタスキャン順にしたり、垂直方向にスキャンを切り換えて処理をしたりするといった具合に、画像の状況対応に方向を種々切り換えて処理することができるようにした方式を実現するものであった。 As described above, when compression encoding and decoding is performed in units of macro blocks MB, it is more efficient to perform processing in the vertical direction (y-direction scan order in the xy direction) than in the raster scan order depending on the state of the image. In some cases, it is possible to perform good compression coding processing. Therefore, it is possible to process by changing the direction according to the situation of the image, for example, in the order of raster scanning or by switching the scanning in the vertical direction. It was what realized the method.
しかし、正方ブロックであるマクロブロックＭＢを、正方ブロックのまま、処理する方式にかえて、正方ブロックを横長の長方形ブロックに並び替えるかたちにしてから処理すると、符号量を少なくすることができる場合もあるのでそれを次に第７の具体例として説明する。 However, if the macroblock MB, which is a square block, is processed as a square block instead of being processed, the code amount can be reduced by processing the square block after rearranging it into a horizontally long rectangular block. This will be described as a seventh specific example.
（第７の具体例）図３９を用いて本発明の第７の具体例を説明する。この具体例において必要なシステム構成も基本的には図２および図３の如きで良く、以下説明する処理は符号化処理については、図２におけるアルファマップ符号化回路２００においてなされ、復号化処理については図３におけるアルファマップ復号化回路４００においてなされるように仕組みを整えておけば良い。
(Seventh Specific Example) A seventh specific example of the present invention will be described with reference to FIG. The system configuration required in this specific example may basically be as shown in FIGS. 2 and 3, and the processing described below is performed in the alpha
本具体例は、マクロブロックＭＢ毎に独立に符号化するため、第５の具体例における“top reference ”および“left reference”の値を用いない例である。図３９（ａ）は、本具体例のスキャン順序を説明する図である。図３９（ａ）における左側の図のように、マクロブロックＭＢを構成するｎ×ｎ画素構成の正方ブロックを、図３９（ａ）における右側の図のようにライン毎に交互にスキャン方向を切り換えることで、ラスタスキャンされた長方形ブロックを作成する。すなわち、正方ブロックにおいて左上の画素よりラインに沿って水平に右側へスキャンし（Ｓ１）、右端に達すると次にその下のラインの画素に移り、右端から左端にラインに沿って水平に左側へスキャンし（Ｓ２）、左端に達すると次にその下のラインの画素に移り、左端から右端にラインに沿って水平に右側へスキャンし（Ｓ３）といった具合に、ジグザグにスキャンを進める。そして、スキャンの２ライン分をスキャン順に繋いで１ラインを倍にし、垂直方向（縦方向）にはライン数を少なくするかたちとして長方形ブロックを作成する。つまり、方形ブロックにおけるジグザグスキャンのＳ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６，…を、Ｓ１の次にＳ２を繋いで最上位置の１ラインとし、その下のラインはＳ３とＳ４を繋いだものとし、さらにその下のラインはＳ５とＳ６とを繋いだものとする，…といった具合である。 This example is an example in which the values of “top reference” and “left reference” in the fifth example are not used because encoding is performed independently for each macroblock MB. FIG. 39A is a diagram for explaining the scan order of this example. As shown on the left side of FIG. 39A, the scan direction of the square block of the n × n pixel configuration constituting the macroblock MB is alternately switched for each line as shown on the right side of FIG. 39A. Thus, a raster scanned rectangular block is created. That is, in the square block, the pixel is scanned horizontally to the right along the line from the upper left pixel (S1). When the right end is reached, the next pixel is moved to the lower line, and from the right end to the left end, the line is horizontally shifted left. Scan (S2), and when it reaches the left end, it moves to the pixel of the line below it, scans horizontally from the left end to the right end along the line (S3), and so on. Then, two lines of the scan are connected in the scan order to double one line, and a rectangular block is created so that the number of lines is reduced in the vertical direction (vertical direction). That is, S1, S2, S3, S4, S5, S6,... Of zigzag scan in a square block are connected to S2 next to S1 to be the uppermost line, and the lower line is connected to S3 and S4. In addition, the lower line is assumed to connect S5 and S6, and so on.
このように、正方ブロックを横長の長方形ブロックに並び替えるかたちにスキャンすることで、図３９（ｂ）の場合には変化画素の数が正方ブロックでは１０個あったものが長方形ブロックでは５個に低減される。 In this way, by scanning the square block into a horizontally long rectangular block, in the case of FIG. 39B, the number of changed pixels is 10 in the square block but 5 in the rectangular block. Reduced.
但し、このようにすると変化画素間の相関は低下するため、符号化にあたり、正方ブロックに対して設計された可変長符号を用いると、逆に符号量が増加してしまう場合もある。しかし、この場合、長方形ブロックに対しては、長方形ブロック用の可変長符号を新たに設計してテーブルとして用意し、この長方形ブロック用可変長符号テーブルを用いて符号化するようにすればよい。 However, since the correlation between the changed pixels is lowered in this way, the amount of code may be increased conversely when a variable length code designed for a square block is used for encoding. However, in this case, for the rectangular block, a variable length code for the rectangular block may be newly designed and prepared as a table, and the encoding may be performed using the variable length code table for the rectangular block.
また、この具体例を適用しても図３９（ｃ）のような場合には、図からも分かるように変化画素の数は変わらず、逆に変化画素間の相関が低下しているために、長方形ブロックに変換するとむしろ発生符号量が増加してしまう。 Further, even if this specific example is applied, in the case as shown in FIG. 39C, the number of change pixels does not change as shown in the figure, and conversely, the correlation between the change pixels decreases. If converted into a rectangular block, the amount of generated code rather increases.
画像の状態は様々であり、従って、正方ブロックと長方形ブロックとを適応的に切り換えることで、発生符号量の削減を図ることができる場合があることから、手法としてこの具体例のようなものも、十分に意義がある。 There are various image states. Therefore, there are cases where the amount of generated codes can be reduced by adaptively switching between a square block and a rectangular block. Is meaningful enough.
ところで、マクロブロックＭＢ単位の処理とはいっても、いつでもマクロブロックＭＢのサイズそのままに、圧縮処理するというのは能率的でない場合も多い。例えば、縦の垂直な帯線のみが入っている場合のように、マクロブロックＭＢ内においてどのラインも同じ画像の状況を呈しているような時は、ラインを間引くかたちで圧縮しても解像度を落とすことなく高い忠実度で再生することが可能である。このような画像に対して最適な手法を次に第８の具体例として説明する。 By the way, even if the processing is performed in units of macroblock MB, it is often inefficient to perform compression processing with the size of the macroblock MB as it is. For example, when all the lines in the macro block MB have the same image status as in the case where only vertical vertical lines are included, the resolution can be reduced even if the lines are compressed. It is possible to reproduce with high fidelity without dropping. Next, an optimum method for such an image will be described as an eighth example.
（第８の実施例）図６および図８および図４０を用いて本発明の第８の具体例を説明する。この具体例において必要なシステム構成も基本的には図２および図３の如きで良く、以下説明する処理は符号化処理については、図２におけるアルファマップ符号化回路２００においてなされ、復号化処理については図３におけるアルファマップ復号化回路４００においてなされるように仕組みを整えておけば良い。
(Eighth Embodiment) An eighth embodiment of the present invention will be described with reference to FIGS. 6, 8 and 40. FIG. The system configuration required in this specific example may basically be as shown in FIGS. 2 and 3, and the processing described below is performed in the alpha
本具体例は、第１の具体例において用いた２値画像を縮小した後に符号化する方法を、マクロブロックＭＢ単位での処理に適用した場合の問題点を解決するものである。 This specific example solves the problem when the method of encoding after reducing the binary image used in the first specific example is applied to processing in units of macroblock MBs.
上述したように、符号化回路および復号化回路は基本的には第１の具体例で用いたものを採用することができ、ここではアルファマップ符号化回路２００は既に説明した図６の構成を、また、アルファマップ復号化回路４００は既に説明した図８の構成を採用する。従って、各構成要素の動作および信号の流れは既に第１の具体例で詳細に説明したので、ここでは深く立ち入らない。
As described above, the encoding circuit and the decoding circuit can basically adopt the ones used in the first specific example. Here, the alpha
図４０は２値画像を縮小する例を示す図である。図４０の（ａ）は、第１の具体例で説明した手法による縮小例であり、縮小フィルタにより縮小した例である。図４０の（ａ）においては、変換比率ＣＲが“１”のもの（縮小なしの状態のもの）、変換比率ＣＲが“１／２”のもの（１／２縮小の状態のもの）、変換比率ＣＲが“１／４”のもの（１／４縮小の状態のもの）を示しており、いずれも方形のブロックの状態のまま間引き処理した結果を示している。 FIG. 40 is a diagram illustrating an example of reducing a binary image. FIG. 40A shows an example of reduction by the method described in the first specific example, which is an example of reduction by a reduction filter. In FIG. 40A, the conversion ratio CR is “1” (no reduction), the conversion ratio CR is “1/2” (1/2 reduction), and the conversion The ratio CR is “1/4” (1/4 reduction state), and all show the results of the thinning process in the square block state.
また、図４０の（ｂ）は第７の具体例で説明したライン間引きにより垂直方向に縮小した例である。図４０の（ｂ）においては、変換比率ＣＲが“１”のものが縮小なしの状態のもの、変換比率ＣＲが“１／２”のもの（１／２縮小の状態のもの）、変換比率ＣＲが“１／４”のもの（１／４縮小の状態のもの）を示しており、いずれも方形のブロックから間引き処理を行ってかつ長方形ブロックへの変換を行った状態に処理した結果を示している。 FIG. 40B shows an example of reduction in the vertical direction by line thinning described in the seventh specific example. In FIG. 40B, a conversion ratio CR of “1” is a state without reduction, a conversion ratio CR is “1/2” (a state of 1/2 reduction), and a conversion ratio. CR indicates “1/4” (1/4 reduction state), and in each case, the results of processing to a state where a rectangular block is thinned and converted to a rectangular block Show.
ここで、変換比率ＣＲ（“Conversion Ratio”）は、図６のアルファマップ符号化回路２００における線６０を介して供給される縮小率である。第１の具体例あるいはＭＭＲでは、変化画素“ｂ１”と変化画素“ａ１”のアドレスの差分（ｂ１−ａ１）の値がしきい値以下ならば、長さ（ａ１−ａ０）のランと長さ（ａ２−ａ１）のランを符号化している（水平モード）。
Here, the conversion ratio CR (“Conversion Ratio”) is a reduction ratio supplied via the
また、符号化をマクロブロックＭＢ毎に行うため、生起し得るラン長の種類は、各ＣＲの値に対して一意に定まる。ここで、図４０（ａ）のように、方形形状のブロックのまま、水平，垂直方向共に間引いて縮小した場合には、変換比率ＣＲが変わることによってラン長の頻度分布が大きく変わる。従って、各ＣＲ対応にランレングス用の可変長符号を各々用意しておくことで、各ＣＲ対応に可変長符号化を行うようすれば、符号化効率の改善が図れる。 Also, since encoding is performed for each macroblock MB, the types of run lengths that can occur are uniquely determined for each CR value. Here, as shown in FIG. 40A, when the rectangular block is thinned out and reduced in both the horizontal and vertical directions, the frequency distribution of the run length changes greatly by changing the conversion ratio CR. Therefore, by preparing a variable length code for run length corresponding to each CR, if variable length coding is performed for each CR, the coding efficiency can be improved.
なお、第１の具体例のように、最大ラン長を画面（マクロブロックＭＢ）の水平画素数とすれば、ラン長の種類は最大でも１７（０〜１６）であるから、複数の可変長符号を用意しても可変長符号表を蓄えるメモリの負担は小さい。 As in the first specific example, if the maximum run length is the number of horizontal pixels of the screen (macroblock MB), the type of run length is 17 (0 to 16) at the maximum. Even if the code is prepared, the load on the memory for storing the variable length code table is small.
また，図４０（ｂ）の例では，変換比率ＣＲを小さくすると変化画素間の相関が低下するため、変換比率ＣＲが異なれば、相対アドレスの頻度分布の偏りが大きく異なる。従って、各ＣＲに対して各々最適な可変長符号を切り換えることで、発生符号量の削減が図れる。なお、相対アドレスの絶対値の種類は最大でも１６種類（０〜１５）であるため、複数の可変長符号表を用意してもメモリの負担は少ない。 In the example of FIG. 40B, since the correlation between the changed pixels decreases when the conversion ratio CR is decreased, the deviation in the frequency distribution of the relative addresses is greatly different if the conversion ratio CR is different. Therefore, the amount of generated code can be reduced by switching the optimum variable length code for each CR. Since the absolute value types of relative addresses are 16 types (0 to 15) at the maximum, the burden on the memory is small even if a plurality of variable length code tables are prepared.
また、図４０（ａ）の例では、生起し得る相対アドレスの絶対値の最大値が異なるため、上記の水平モードヘ切り換えるしきい値を、各ＣＲの対して切り換えても良い。また、マクロブロックＭＢ毎に変換比率ＣＲあるいは縮小方法（例えば、図４０（ａ）や図４０（ｂ）に示す如きの形式等）を画像の状態に合わせて適応的に切り換えることで、符号量制御を行うことができる。 In the example of FIG. 40A, since the maximum absolute value of the relative address that can occur is different, the threshold value for switching to the horizontal mode may be switched for each CR. Also, the code amount can be changed by adaptively switching the conversion ratio CR or the reduction method (for example, the format shown in FIGS. 40A and 40B) according to the state of the image for each macroblock MB. Control can be performed.
以上、第５ないし第８の具体例によれば、マクロブロックＭＢ単位でのアルファマップ符号化においても大幅な符号量の増加を招くことなく符号化が可能となり、また、復号することができるようになる。 As described above, according to the fifth to eighth specific examples, even in alpha map encoding in units of macroblock MB, encoding can be performed without causing a significant increase in code amount, and decoding can be performed. become.
なお、本発明は上述した各種の具体例に限定されるものではなく、種々変形して実施可能である。 The present invention is not limited to the various specific examples described above, and can be implemented with various modifications.
（応用例）最後に、本発明の応用例として本発明の動画像符号化／復号化装置を適用した動画像伝送システムの実施形態を図４１を用いて説明する。 (Application Example) Finally, as an application example of the present invention, an embodiment of a video transmission system to which the video encoding / decoding apparatus of the present invention is applied will be described with reference to FIG.
図４１（ａ）に示すように、このシステムは、パーソナルコンピュータ（ＰＣ）１００１に備え付けられたカメラ１００２より入力された動画像信号は、ＰＣ１００１に組み込まれた動画像符号化装置によって符号化される。この動画像符号化装置から出力される符号化データは、他の音声やデータの情報と多重化された後、無線機１００３により無線で送信され、他の無線機１００４によって受信される。
As shown in FIG. 41A, in this system, a moving image signal input from a
無線機１００４で受信された信号は、動画像信号の符号化データおよび音声やデータの情報に分解される。これらのうち、動画像信号の符号化データはワークステーション（ＥＷＳ）１００５に組み込まれた動画像復号化装置によって復号され、ＥＷＳ１００５のディスプレイに表示される。
A signal received by the
一方、ＥＷＳ１００５に備え付けられたカメラ１００６より入力された動画像信号は、ＥＷＳ１００６に組み込まれた動画像符号化装置を用いて上記と同様に符号化される。動画像信号の符号化データは、他の音声やデータの情報と多重化され、無線機１００４により無線で送信され、無線機１００３によって受信される。無線機１００３によって受信された信号は、動画像信号の符号化データおよび音声やデータの情報に分解される。これらのうち、動画像信号の符号化データはＰＣ１００１に組み込まれた動画像復号化装置によって復号され、ＰＣ１００１のディスプレイに表示される。
On the other hand, a moving image signal input from a
図４１（ｂ）は、図４１（ａ）におけるＰＣ１００１およびＥＷＳ１００５に組み込まれた動画像符号化装置の、そして、図４１（ｃ）は、図４１（ａ）におけるＰＣ１００１およびＥＷＳ１００５に組み込まれた動画像復号化装置の構成を概略的に示すブロック図である。
41 (b) shows the moving picture coding apparatus incorporated in the
図４１（ｂ）に示す動画像符号化装置は、カメラなどの画像入力部１１０１からの画像信号を入力して誤り耐性処理部１１０３を有する情報源符号化部１１０２と、伝送路符号化部１１０４を有し、情報源符号化部１１０１においては予測残差信号の離散コサイン変換（ＤＣＴ）と生成されたＤＣＴ係数の量子化などが行われ、伝送路符号化部１１０４においては可変長符号化や符号化データの誤り検出および誤り訂正符号化などが行われる。伝送路符号化部１１０４から出力される符号化データは無線機１１０５に送られ、送信される。情報源符号化部１１０１における処理や、伝送路符号化部１１０４における可変長符号化処理は、本発明の各具体例で説明した如きの処理手法を適用する。
The moving picture encoding apparatus shown in FIG. 41B receives an image signal from an image input unit 1101 such as a camera, and has an information
一方、図４１（ｃ）に示す動画像復号化装置は、無線機１２０１によって受信された符号化データを入力して伝送路符号化部１１０４と逆の処理を行う伝送路復号化部１２０２と、伝送路復号化部１２０１の出力信号を入力して情報源符号化部１１０２と逆の処理を行う誤り耐性処理部１２０４を有する情報源復号化部１２０３を有し、情報源復号化部１２０３で復号化された画像はディスプレイなどの画像出力部１０２５によって出力される。
On the other hand, the moving picture decoding apparatus shown in FIG. 41 (c) receives the encoded data received by the
これらでの復号化処理は、本発明の各具体例で説明した如きの処理手法を適用する。 For these decoding processes, the processing method as described in each specific example of the present invention is applied.
（第９の具体例）
＜アルファマップ用の動きベクトル（ＭＶ）を符号化する方式の具体例＞上述の［第２の具体例その２］は、フレーム間の相関を利用して符号化する方法であって、前フレームのラインを参照ラインとすることで、フレーム間の相関を利用して符号化処理効率を向上させるようにする具体例であった。この方法は、ＭＢライン単位（マクロブロックにおけるライン方向の１ライン単位）での処理であるが、当然、ＭＢ単位で処理するようにしても、一般性は失われない。
(Ninth example)
<Specific Example of Method for Encoding Motion Vector (MV) for Alpha Map> The above-mentioned [second specific example 2] is a method of encoding using correlation between frames, and includes the previous frame This is a specific example in which the reference line is used as a reference line to improve the encoding processing efficiency using the correlation between frames. This method is processing in MB line units (one line unit in the line direction in the macroblock), but naturally, even if processing is performed in MB units, generality is not lost.
そこで、フレーム間の相関を利用して符号化するにあたり、マクロブロック単位で符号化することで、符号化処理効率向上を計るようにする具体例を次に説明する。 Accordingly, a specific example will be described below in which encoding is performed in units of macroblocks in order to improve the encoding processing efficiency when encoding using correlation between frames.
本具体例では、ＭＢ単位（マクロブロック単位）で、アルファマップの動き補償予測（ＭＣ）信号と、当該ＭＢ（マクロブロック）の信号との相関を評価し、その評価値が予め設定されたしきい値よりも小さい場合には、当該ＭＢにＭＣ信号をコピーし（以後、コピー符号化と呼ぶ）、しきい値よりも大きかった場合には、当該ＭＢを本発明で提供するような２値画像符号化法により符号化するシステムである。 In this specific example, the correlation between the motion compensated prediction (MC) signal of the alpha map and the MB (macroblock) signal is evaluated in MB units (macroblock units), and the evaluation value is set in advance. If the threshold value is smaller than the threshold value, the MC signal is copied to the MB (hereinafter referred to as copy encoding). If the threshold value is larger than the threshold value, the MB value is a binary value provided by the present invention. This is a system for encoding by an image encoding method.
コピー符号化を実施するにあたり、“アルファマップのＭＶ（動きベクトル）”と、“Ｙ（輝度）信号のＭＶ（動きベクトル）”との相関が非常に高い場合には、Ｙ信号で求めたＭＶをそのまま使用することで、“アルファマップのＭＶ”についての符号量を用いることなしに、コピー符号化が可能となる。 When performing the copy encoding, if the correlation between “alpha map MV (motion vector)” and “Y (luminance) signal MV (motion vector)” is very high, the MV obtained from the Y signal By using as it is, copy encoding can be performed without using the code amount for “MV of alpha map”.
特願平８−１１６５４２号には、アルファマップとＹ信号とをブレンドした信号（この処理は、一般にアルファブレンディングと呼ばれる）を用いてＭＶ（動きベクトル）を検出することで、アルファマップとＹ信号との共通のＭＶ（このＭＶ（動きベクトル）をＭＶYAと表記する）を検出する発明が記載されている。即ち、アルファマップとＹ信号との共通の動きベクトルである“ＭＶYA”を利用してアルファマップをＭＣ（動き補償予測）すれば、アルファマップのコピー符号化でのＭＶの情報は必要ない。つまり、アルファマップのコピー符号化にあたっては、アルファマップの動きベクトルの情報は無くて良い。 In Japanese Patent Application No. 8-116542, an alpha map and a Y signal are detected by detecting a MV (motion vector) using a signal obtained by blending an alpha map and a Y signal (this process is generally called alpha blending). And a common MV (this MV (motion vector) is expressed as MVYA). That is, if the alpha map is MC (motion compensated prediction) using “MVYA”, which is a common motion vector of the alpha map and the Y signal, MV information is not necessary for alpha map copy coding. In other words, in the case of alpha map copy encoding, there is no need for information on the motion vector of the alpha map.
しかし、この場合、アルファマップの符号量は削減されるものの、反面、Ｙ信号においては最適なＭＶが検出されないため、Ｙ信号のＭＣ誤差値（アルファマップの動き補償予測信号の誤差値）が大きくなり、符号化システム全体での符号化効率が低下するおそれがある。 However, in this case, although the code amount of the alpha map is reduced, on the other hand, since the optimum MV is not detected in the Y signal, the MC error value of the Y signal (the error value of the motion compensated prediction signal of the alpha map) is large. Therefore, the coding efficiency of the entire coding system may be reduced.
例えば、Ｙ信号に対しての最適な動きベクトルＭＶY を検出した場合や、アルファマップに対しての最適な動きベクトルＭＶA を検出した場合がこれに該当し、このような場合には符号化効率の低下が避けられない。 For example, the case where the optimum motion vector MVY for the Y signal is detected and the case where the optimum motion vector MVA for the alpha map is detected fall under this case. A decline is inevitable.
具体的には、図４２における（ａ）や（ｂ）のような場合が、符号化効率の低下するおそれがある例である。これらのうち、図４２（ａ）に示すケースは、Ｙ信号に対しての最適な動きベクトルＭＶY を検出した場合を示しており、ある時点でのあるマクロブロックの部分画像に着目して説明すると、前フレームで検出したＹ信号に対しての動きベクトルＭＶY の指し示す位置が、後フレームでの当該部分画像の出現位置に一致している様子を示している。ここで用いられる誤差評価値は、例えば、オブジェクトに含まれる画素値における誤差値である。 Specifically, cases such as (a) and (b) in FIG. 42 are examples in which the coding efficiency may decrease. Of these cases, the case shown in FIG. 42 (a) shows a case where the optimum motion vector MVY for the Y signal is detected, and will be described by focusing on a partial image of a macroblock at a certain point in time. This shows that the position indicated by the motion vector MVY with respect to the Y signal detected in the previous frame matches the appearance position of the partial image in the subsequent frame. The error evaluation value used here is, for example, an error value in a pixel value included in the object.
また、図４２（ｂ）はアルファマップに対して最適な動きベクトルＭＶA を検出した場合を示しており、ある時点でのあるマクロブロック部分でのアルファマップ内容に着目して説明すると、前フレームで検出したマクロブロック部分でのアルファマップ内容に対する動きベクトルＭＶA の指し示す位置が、後フレームでの当該アルファマップ内容部分の出現位置に一致している様子を示している。ここで用いられる誤差値は、例えば、アルファマップのミスマッチ画素数である。 FIG. 42 (b) shows a case where an optimal motion vector MVA is detected for the alpha map. If attention is paid to the alpha map contents at a certain macroblock portion at a certain time point, This shows that the position indicated by the motion vector MVA with respect to the alpha map content in the detected macroblock portion matches the appearance position of the alpha map content portion in the subsequent frame. The error value used here is, for example, the number of mismatched pixels in the alpha map.
なお、ＭＶYAは、ＭＶY よりもＭＶA と類似なＭＶ（動きベクトル）となるため、アルファマップ符号化の符号量は、最適な値ＭＶA を用いた場合と比較してもほとんど増加しない。 Since MVYA is an MV (motion vector) similar to MVA than MVY, the code amount of alpha map encoding hardly increases even when compared with the case where the optimum value MVA is used.
一方、“ＭＶY ”を共通のＭＶとして用いても、アルファマップのＭＣ誤差（動き補償予測誤差）が大きくなるため、コピー符号化が選択されず、アルファマップ符号化の効率が向上しない。 On the other hand, even if “MVY” is used as a common MV, the MC error (motion compensation prediction error) of the alpha map increases, so that copy coding is not selected and the efficiency of alpha map coding does not improve.
そこで、これを打開するためには、図４２（ｃ）に一例を示すように、アルファマップに対しての最適な動きベクトルであるＭＶA と輝度信号に対しての最適な動きベクトルであるＭＶY の差分であるＭＶＤA を求め、この求めたＭＶＤAを効率よく符号化するようにする。このようにＭＶA とＭＶY の差分を求めて、これを符号化することで、Ｙ信号（輝度信号）の符号化効率を低下させずに、アルファマップの符号化効率を向上させることが可能となる。 Therefore, in order to overcome this problem, as shown in FIG. 42 (c), an optimal motion vector MVA for the alpha map and an optimal motion vector MVY for the luminance signal are shown. The difference MVDA is obtained, and the obtained MVDA is efficiently encoded. Thus, by obtaining the difference between MVA and MVY and encoding it, the encoding efficiency of the alpha map can be improved without reducing the encoding efficiency of the Y signal (luminance signal). .
ところで、ＭＶA とＭＶY の差分であるＭＶＤA が大きな値となった場合には、動きベクトルの符号量よりも、当該ブロックを２値画像符号化する際の符号量の方が小さくなる場合がある。また、ＭＶＤA はＭＶY からの差分ベクトルであるから、そのダイナミックレンジは小さい。 By the way, when MVDA, which is the difference between MVA and MVY, becomes a large value, the code amount when the block is binary-coded may be smaller than the code amount of the motion vector. Since MVDA is a difference vector from MVY, its dynamic range is small.
そこで、ＭＶＤA の探索範囲の最大値をＭＶY の探索範囲よりも小さくなるように制限することで、ＭＶＤA の符号量と、２値画像符号化における符号量とのトレードオフを図るようにすると良い。また、ＭＶＤA の探索範囲を制限することで、ＭＶＤA 用の符号表は、ＭＶY を符号化する（実際に符号化されるのは、ＭＶY の予測誤差であり、この予測誤差のダイナミックレンジは、ＭＶY のダイナミックレンジの２倍となる）符号表よりも小さくなる。従って、ＭＶＤA 用に小さな可変長符号表を設計することで、より符号化効率が改善される。 Therefore, by limiting the maximum value of the MVDA search range to be smaller than the MVY search range, a trade-off between the code amount of MVDA and the code amount in binary image coding may be achieved. In addition, by limiting the search range of MVDA, the code table for MVDA encodes MVY (what is actually encoded is a prediction error of MVY, and the dynamic range of this prediction error is MVY Smaller than the code table). Therefore, the coding efficiency is further improved by designing a small variable length code table for MVDA.
＜ＭＶA を検出する具体例＞つぎに、第９の具体例を実施するにあたり、アルファマップに対しての最適な動きベクトルＭＶA を検出する必要があるが、その具体例を説明する。 <Specific Example of Detecting MVA> Next, in implementing the ninth specific example, it is necessary to detect the optimum motion vector MVA for the alpha map. A specific example will be described.
既に、Ｙ信号の方でＭＶY （Ｙ信号に対しての最適な動きベクトル）は送られているものとすると、ＭＶY で指し示される位置を中心として、ＭＶA とＭＶYの差分であるＭＶＤA は検出される。前述した通り、アルファマップのコピー符号化は、アルファマップのＭＣ誤差（動き補償予測誤差）が、あるしきい値よりも小さくなった時に実行される。そこで、中心位置から外側への順序で誤差を評価し、最初に誤差がしきい値よりも小さくなった位置のＭＶＤA を用いることにする。 Assuming that MVY (optimal motion vector for Y signal) has already been sent in the Y signal, MVDA, which is the difference between MVA and MVY, is detected around the position indicated by MVY. The As described above, alpha map copy encoding is executed when the MC error (motion compensation prediction error) of the alpha map becomes smaller than a certain threshold value. Therefore, the error is evaluated in the order from the center position to the outside, and the MVDA at the position where the error becomes smaller than the threshold value is used first.
これにより、最も小さなＭＶＤA が検出されて、これが使用されることになり、一般に、ＭＶＤA の大きさが小さければ小さいほど、短い符号が割り当てられることになるために、ＭＶＤA は効率よく符号化されることとなる。 This detects and uses the smallest MVDA, and in general, the smaller the size of the MVDA, the shorter code will be assigned, so the MVDA is efficiently encoded. It will be.
以上は動きベクトルの符号化であったが、マクロブロックの属性情報をフレーム単位で符号化する方式も考えられる。従って、次にこれを第１０の具体例として説明する。 The above is the encoding of the motion vector. However, a method of encoding the attribute information of the macroblock on a frame basis is also conceivable. Therefore, this will be described as a tenth specific example.
（第１０の具体例）第１０の具体例として、各マクロブロックの属性情報をフレーム単位で符号化する方式の具体例を説明する。 (Tenth Specific Example) As a tenth specific example, a specific example of a method of encoding attribute information of each macroblock in units of frames will be described.
第６の具体例における図３８には、本発明で提供するようなブロックベースで２値画像符号化する場合の各ブロック（マクロブロックＭＢ）の属性が表されている。また、このブロック（ＭＢ）の属性情報は、２値画像符号化情報とは別途に符号化する必要がある。 FIG. 38 in the sixth specific example shows the attributes of each block (macroblock MB) when performing binary image coding on a block basis as provided in the present invention. Further, the attribute information of this block (MB) needs to be encoded separately from the binary image encoding information.
図４３（ａ）は、上述した図３８を書き直したものである。この図においては、“白”部分のみのマクロブロックをＭＢwhとし、背景部分と人物部分両方を含むマクロブロックをＭＢotとし、“黒”部分のみのマクロブロックをＭＢbkとしてある。そして、“白”部分のみのマクロブロックであるＭＢwhを“０”、背景部分と人物部分両方を含むマクロブロックであるＭＢotを“１”、“黒”部分のみのマクロブロックであるＭＢbkを“３”とラベル付けしたとすると、図４３の（ａ）は、図４３（ｂ）のようなblock typeの情報となり、このblock typeの情報がＭＢの属性情報である。 FIG. 43A is a rewrite of FIG. 38 described above. In this figure, a macroblock having only the “white” portion is denoted as MBwh, a macroblock including both the background portion and the person portion is denoted as MBot, and a macroblock having only the “black” portion is denoted as MBbk. Then, MBwh which is a macro block including only the “white” portion is “0”, MBot which is a macro block including both the background portion and the person portion is “1”, and MBbk which is a macro block including only the “black” portion is “3”. 43 (a) becomes block type information as shown in FIG. 43 (b), and this block type information is MB attribute information.
ラベルは“１”，“２”，“３”の三種であり、これらは２ビットあれば表現できる。つまり、十進数の“１”は２進表現で“０１”、十進数の“２”は２進表現で“１０”、十進数の“３”は２進表現で“１１”であり、２ビットあれば表現できる。 There are three types of labels, “1”, “2”, and “3”, and these can be expressed with 2 bits. That is, the decimal number “1” is “01” in binary representation, the decimal number “2” is “10” in binary representation, and the decimal number “3” is “11” in binary representation. If it is a bit, it can be expressed.
このようにblock type情報は、２ビットで表現できるため、その上位ビット（MSB ）と下位ビット（LSB ）をビットプレーンに分解すると、図４３（ｃ）の様になる。なお、図４３（ｃ）において、Ｂpoは元のblock typeの情報が（ＭＢの属性情報）であり、ＢplはＢpoをビットプレーンに分解して得た下位ビット（LSB ）のビットプレーンであり、ＢpmはＢpoを分解して得た上位ビット（MSB ）のビットプレーンである。 Since the block type information can be represented by 2 bits in this way, when the upper bit (MSB) and the lower bit (LSB) are decomposed into bit planes, the result is as shown in FIG. In FIG. 43 (c), Bpo is the original block type information (MB attribute information), and Bpl is the lower-order bit (LSB) bit plane obtained by breaking Bpo into bit planes. Bpm is a bit plane of upper bits (MSB) obtained by decomposing Bpo.
一般に、図４３（ａ）のように、オブジェクトか否かを表す、アルファマップのブロック属性情報を、図４３（ｂ）の様にラベル付けすることで、図４３（ｃ）におけるＢpl，Ｂpmの様に上位および下位のビットのプレーンに分解したときに、何れのビットプレーンにおいても“０”と“１”は、かたまり易くなる。即ち、ＭＳＢにおいても、ＬＳＢにおいても、相関が保てることになる。 In general, as shown in FIG. 43 (a), the block attribute information of the alpha map indicating whether or not the object is labeled as shown in FIG. 43 (b), so that Bpl and Bpm in FIG. In this way, when the plane is broken down into upper and lower bit planes, “0” and “1” are easily collected in any bit plane. That is, the correlation can be maintained in both the MSB and the LSB.
図４４は、図４３（ｃ）の各ビットプレーンを、本発明で提供するブロックベースのＭＭＲで符号化する例である。この図に示すように、ビットプレーンに分解し、各ビットプレーンを高能率な２値画像符号化方式により符号化する事で、ブロックの属性情報の符号量をブロック毎に符号化する場合に比べて、大幅に削減することができるようになる。 FIG. 44 shows an example in which each bit plane of FIG. 43C is encoded by the block-based MMR provided in the present invention. As shown in this figure, by dividing into bit planes and encoding each bit plane using a highly efficient binary image encoding method, the code amount of the attribute information of the block is compared with the case of encoding for each block. Can be greatly reduced.
また、ブロックの属性を符号化する２値画像符号化と、各ブロックを符号化する２値画像符号化の符号化法を同一のものとする事で、符号化システム全体の複雑さを緩和することができる。 In addition, the complexity of the entire encoding system is reduced by making the encoding method of the binary image encoding for encoding the attribute of the block the same as the encoding method of the binary image encoding for encoding each block. be able to.
以上が、ブロックの属性情報を符号化する方式の具体例であるが、ブロックの属性情報の符号化方式には別の方法もあるので、これを次に説明する。 The above is a specific example of a method for encoding block attribute information, but there is another method for encoding block attribute information, which will be described next.
図４５は、時刻 n と時刻 n-1 におけるあるマクロブロックの属性情報の一例を表している。図２（ａ）の様に、オブジェクトの左上を領域の境界部に接するように、方形領域を設定すると、図４５における（ａ）に示した時刻 n でのブロックの属性情報の例と（ｂ）に示した時刻 n-1 でのブロックの属性情報の例のように、時間的に近いフレームのアルファマップ間では、非常に似たラベル付けが行われる。従って、このような場合には、フレーム間においてラベルの相関が高いため、既に符号化済みのフレームのラベルを利用して、現フレームのラベルを符号化することで、大幅に符号化効率が改善されることになる。 FIG. 45 shows an example of attribute information of a certain macroblock at time n and time n-1. As shown in FIG. 2A, when the rectangular area is set so that the upper left of the object is in contact with the boundary of the area, an example of block attribute information at time n shown in FIG. As in the example of the attribute information of the block at time n-1 shown in (), very similar labeling is performed between alpha maps of frames close in time. Therefore, in such a case, since the correlation of labels between frames is high, encoding efficiency is greatly improved by encoding the label of the current frame using the label of the already encoded frame. Will be.
また、一般に、時刻 n と、時刻 n-1 の領域のサイズが異なる場合がある。この場合、一例として、図４６に示す手順で、時刻 n-1 での領域を 時刻 nのサイズに合わせる。例えば、時刻 n におけるマクロブロックが、時刻 n-1におけるマクロブロックの行より１行長く、１列短い場合は、図４６（ａ）のように、行の短い時刻 n-1 におけるマクロブロックの右端の１列をカットし、その後、下部の１行分をその下にコピーして行を増やす。この状態が図４６（ｂ）である。 In general, the size of the area at time n and time n-1 may be different. In this case, as an example, the area at time n-1 is adjusted to the size of time n by the procedure shown in FIG. For example, if the macroblock at time n is one row longer than the macroblock row at time n-1 and one column shorter, the right end of the macroblock at time n-1 with a short row as shown in FIG. Is cut, and then the lower row is copied below to increase the number of rows. This state is shown in FIG.
また、時刻 n-1 におけるマクロブロックが、時刻 n のマクロブロックより列が１列短く、１行長い場合は、下端の１行をカットし、その後、そのマクロブロック右端の１列をその隣りにコピーして１列増やす。 If the macroblock at time n-1 is one column shorter and one row longer than the macroblock at time n, the bottom row is cut, and then the rightmost column of the macroblock is placed next to it. Copy and increase one column.
サイズが合わないときは、このようにしてサイズを合わせる。なお、サイズの合わせ方は前記の方法に限ったものではない。そして、最終的に、図４６（ｂ）の様に、時刻 n のサイズに合わせられた、時刻 n-1 のラベルを、ここでは便宜上、時刻 n-1' のラベルと表記して以下の説明に用いることにする。 If the size does not match, adjust the size in this way. Note that the method of adjusting the size is not limited to the above method. Finally, as shown in FIG. 46 (b), the label at time n-1 adjusted to the size at time n is expressed as the label at time n-1 'here for convenience. I will use it.
図４７（ａ）は、時刻 n での上述のマクロブロックの属性情報と、時刻 n-1' での上述のマクロブロックの属性情報の差分、つまり各画素位置での各ラベルの差分を、同一画素位置のもの同士で取った結果を示している。ここで、Ｓは“ラベルが一致している”ことを示し、Ｄは“ラベルが不一致である”ことを示す。 FIG. 47A shows the difference between the above-described macroblock attribute information at time n and the above-described macroblock attribute information at time n−1 ′, that is, the difference between each label at each pixel position. The result taken between the pixel positions is shown. Here, S indicates “labels match”, and D indicates “labels do not match”.
一方、図４７（ｂ）は、時刻 n での上述のマクロブロックの属性情報における隣接画素位置のラベルの差分をとった結果を示している。ここで、左端のラベルは、１ライン上の右端の画素位置でのラベルとの差を取り、左上端の画素位置でのラベルは、“０”との差を取ることにしている。以後、便宜的に図４７（ａ）をフレーム間符号化、図４７（ｂ）をフレーム内符号化と呼ぶことにする。 On the other hand, FIG. 47B shows the result of taking the difference in the label of adjacent pixel positions in the above-described macroblock attribute information at time n. Here, the leftmost label takes a difference from the label at the rightmost pixel position on one line, and the label at the upper left pixel position takes a difference from “0”. Hereinafter, for convenience, FIG. 47A is referred to as interframe coding, and FIG. 47B is referred to as intraframe coding.
図４７より、フレーム間符号化の方がフレーム内符号化に比べてＳの割合が多く、フレーム間符号化の方が予測が当たるため、符号量の削減を図ることができる。 From FIG. 47, since the ratio of S is larger in inter-frame coding than in intra-frame coding, and prediction is performed in inter-frame coding, the amount of code can be reduced.
図４９は、各ラベルを符号化するための可変長符号表の例である。ここでは符号化対象となるラベルが、その予測値（フレーム間：前フレームのラベル、フレーム内：隣のラベル）と一致している場合（Ｓの場合）には１ビットで符号化し、一致していない場合（Ｄの場合）には、２ビットで符号化することにする。このようにすると、符号量を少なくすることができる。 FIG. 49 is an example of a variable length code table for encoding each label. Here, if the encoding target label matches the predicted value (between frames: the label of the previous frame, within the frame: the adjacent label) (in the case of S), it is encoded with 1 bit and matches. If not (in the case of D), encoding is performed with 2 bits. In this way, the code amount can be reduced.
また、フレーム間符号化の場合には、Ｓの割合が多いため、複数のラベルをまとめて符号化することで、更に符号化効率の向上が図られる。 In the case of interframe coding, since the ratio of S is large, coding efficiency can be further improved by collectively coding a plurality of labels.
図４８は、ライン毎にライン内のラベルの差分が全てＳか否かを、１ビットの符号で示す例である。これにより、ライン内が全てＳでないラインのみラベルを符号化すれば良いため、符号量が大幅に削減されることが分かる。 FIG. 48 shows an example in which, for each line, whether or not all the label differences in the line are S is indicated by a 1-bit code. As a result, it is only necessary to encode the labels only for the lines in which the lines are not all S, and it can be seen that the amount of codes is greatly reduced.
なお、フレーム間での相関が極端に小さい場合、フレーム内符号化に比べて符号化効率が低下する恐れがある。この場合は、１ビットの符号でフレーム内符号化を行うか、フレーム間符号化を行うかを切り換えられるようにしておき、フレーム内符号化で符号化できるようにする。当然のことながら、最初に符号化するフレームは、参照するラベルが無いため、フレーム内符号化を行う。この際、フレーム間／フレーム内を切り換える符号は必要ない。 In addition, when the correlation between frames is extremely small, there is a possibility that the encoding efficiency may be reduced as compared with intra-frame encoding. In this case, it is possible to switch between intra-frame encoding with 1-bit code or inter-frame encoding so that encoding can be performed with intra-frame encoding. As a matter of course, since the frame to be encoded first has no reference label, intra-frame encoding is performed. At this time, a code for switching between frames / within frames is not necessary.
図５０は、前述した本具体例のシステムのブロック図であり、このブロック図を参照して処理の流れを説明する。この図５０の構成において、破線で囲まれた部分が前述した本具体例に係わる部分である。図５０（ａ）は符号化装置であり、オブジェクト領域検出回路３１００、ブロック化回路３１１０、ラベル付け回路３１２０、ブロック符号化回路３１３０、ラベルメモリ３１４０、サイズ変更回路３１５０、ラベル符号化回路３１６０、多重化回路（ＭＵＸ）３１７０とより構成されている。
FIG. 50 is a block diagram of the system of this specific example described above, and the flow of processing will be described with reference to this block diagram. In the configuration shown in FIG. 50, a portion surrounded by a broken line is a portion related to the specific example described above. FIG. 50A shows an encoding device, which includes an object area detection circuit 3100, a
これらのうち、オブジェクト領域検出回路３１００は、入力されたアルファマップ信号を元に、そのアルファマップ信号においてオブジェクトを含んでいる部分についての方形領域を検出して、その方形領域のサイズに関する情報と共に当該方形領域のアルファマップ信号を出力するものである。ブロック化回路３１１０は、この方形領域のアルファマップ信号をマクロブロック化する回路であり、ラベル付け回路３１２０は、このマクロブロック化されたアルファマップ信号についてそのブロック毎に、そのマクロブロックでのアルファマップ信号内容の属性（ＭＢwh（白のみ）、ＭＢot（白と黒の混合）、ＭＢbk（黒のみ））を判定し、各属性に対応するラベル（“０”、“１”、“３”）を割り当てる回路である。
Among these, the object area detection circuit 3100 detects a square area of a portion including the object in the alpha map signal based on the input alpha map signal, and includes the information about the size of the square area. This outputs an alpha map signal of a rectangular area. The
ブロック符号化回路３１３０は、ラベルが“１”（ＭＢot）のもののマクロブロックについて、そのマクロブロック内のアルファマップ信号を符号化する回路であり、ラベルメモリ３１４０は、ラベル付け回路３１２０より供給されるラベル情報とラベルメモリ出力線３０２０を介してオブジェクト領域検出回路３１００から与えられる領域のサイズ情報を蓄積すると共に、この蓄積したラベル情報とサイズ情報を併せてサイズ変更回路３１５０に供給するためのメモリである。サイズ変更回路３１５０は、ラベルメモリ３１４０より供給される、時刻 n-1のフレームのラベル情報とサイズ情報と、オブジェクト領域検出回路３１００から与えられる、時刻 n のフレームのサイズ情報とから、時刻 n-1 のラベル情報を時刻 n のサイズに相当する様にサイズを変更する回路であり、ラベル符号化回路３１６０は、このサイズ変更されたラベル情報を予測値として、ラベル付け回路３１２０より供給されるラベル情報を符号化する回路である。
The block encoding circuit 3130 is a circuit that encodes an alpha map signal in a macroblock having a label of “1” (MBot), and the label memory 3140 is supplied from the
また、多重化回路３１７０は、ラベル符号化回路３１６０の得た符号化情報と、ブロック符号化回路３１３０より供給される符号化情報と、オブジェクト領域検出回路３１００から与えられるサイズ情報とを多重化して出力する回路である。
The
このような構成の符号化装置は、線３０１０を介して供給されるアルファマップ信号は、オブジェクト領域検出回路３１００により、オブジェクトを含む方形領域を検出する。この方形領域のサイズに関する情報は線３０２０を介して出力され、領域内部のアルファマップ信号は、ブロック化回路３１１０に供給される。ブロック化回路３１１０は、この領域内部のアルファマップ信号についてマクロブロック化する。マクロブロック化されたアルファマップ信号は、ラベル付け回路３１２０とブロック符号化回路３１３０に供給される。
In the encoding apparatus having such a configuration, the alpha map signal supplied via the
ラベル付け回路３１２０では、マクロブロック毎の属性（ＭＢwh、ＭＢot、ＭＢbk）を判定し、各属性に対応するラベル（“０”、“１”、“３”）を割り当てる。このラベル情報は、ブロック符号化回路３１３０、ラベルメモリ３１４０、ラベル符号化回路３１６０に供給される。
The
ブロック符号化回路３１３０では、ラベルが“１”（ＭＢot）のとき、ブロック内のアルファマップ信号が符号化され、その符号化情報は多重化回路３１７０に供給される。ラベルメモリ３１４０には、ラベル付け回路３１２０より供給されるラベル情報とラベルメモリ出力線３０２０を介する領域のサイズ情報が蓄積され、ラベル情報とサイズ情報を併せてラベルメモリ出力線３０３０を介して、サイズ変更回路３１５０に供給される。
In the block encoding circuit 3130, when the label is “1” (MBot), the alpha map signal in the block is encoded, and the encoded information is supplied to the
サイズ変更回路３１５０では、ラベルメモリ出力線３０３０を介して供給される、時刻 n-1 のフレームのラベル情報とサイズ情報と、線３０２０を介して供給される、時刻 n のサイズ情報とから、時刻 n-1 のラベル情報を時刻 n のサイズに相当する様にサイズを変更したラベル情報をラベル符号化回路３１６０に供給する。ラベル符号化回路３１６０では、サイズ変更回路３１５０より供給されるラベル情報を予測値として、ラベル付け回路３１２０より供給されるラベル情報を符号化し、その符号化情報は多重回路３１７０に供給される。多重化回路３１７０では、ブロック符号化回路３１３０とラベル符号化回路３１６０より供給される符号化情報と、線３０２０を介して供給されるサイズ情報とを多重化した後、線３０４０を介して出力する。
In the
以上が符号化装置の構成と作用である。次に復号化装置の構成と作用を説明する。 The above is the configuration and operation of the encoding device. Next, the configuration and operation of the decoding apparatus will be described.
図５０（ｂ）に示す符号化装置は、分離化回路（ＤＭＵＸ）３２００、ラベル復号化回路３２１０、サイズ変更回路３２２０、ラベルメモリ３２３０、ブロック復号化回路３２４０より構成される。これらのうち、分離化回路３２００は、線３０５０を介して供給される符号化情報を分離する回路であり、ラベル復号化回路３２１０は、サイズ変更回路３２２０より供給される、時刻 n-1 のラベル情報のサイズを変更した情報を予測値として、時刻 n のラベル情報を再生する回路である。
The encoding apparatus shown in FIG. 50B includes a separation circuit (DMUX) 3200, a
また、サイズ変更回路３２２０は、サイズ変更回路３１５０と同様の働きをする回路であって、ラベルメモリ３２３０より供給される、時刻 n-1 のフレームのラベル情報とサイズ情報と、分離化回路３２００から分離して与えられる、時刻 n のフレームのサイズ情報とから、時刻 n-1 のラベル情報を時刻 n のサイズに相当する様にサイズを変更する回路であり、ラベルメモリ３２３０は、ラベルメモリ３１４０と同様の働きをする回路であって、ラベル復号化回路３２１０より復号化されて供給されるラベル情報と、分離化回路３２００から与えられる領域のサイズ情報を蓄積すると共に、この蓄積したラベル情報とサイズ情報を併せてサイズ変更回路３２２０に供給するためのメモリである。
The size changing circuit 3220 is a circuit that functions in the same manner as the
また、ブロック復号化回路３２４０は、ラベル復号化回路３２１０より供給される、再生されたラベル情報にしたがって、ブロック毎にアルファマップ信号を再生する回路である。
The block decoding circuit 3240 is a circuit that reproduces an alpha map signal for each block in accordance with the reproduced label information supplied from the
このような構成の復号化装置の作用を説明する。分離化回路３２００では、線３０５０を介して供給される符号化情報を分離して、ブロック復号化回路３２４０とラベル復号化回路３２１０に供給すると共に、線３０６０を介してサイズ情報を出力する。ラベル復号化回路３２１０では、サイズ変更回路３２２０より供給される、時刻 n-1 のラベル情報のサイズを変更した情報を予測値として、時刻 n のラベル情報を再生する。
The operation of the decoding apparatus having such a configuration will be described. The demultiplexing circuit 3200 demultiplexes the encoded information supplied via the
再生されたラベル情報はブロック復号化回路３２４０とラベルメモリ３２３０に供給される。ブロック復号化回路３２４０では、ラベル復号化回路３２１０より供給される、再生されたラベル情報にしたがって、ブロック毎にアルファマップ信号を再生する。なお、サイズ変更回路３２２０はサイズ変更回路３１５０と、ラベルメモリ３２３０は、ラベルメモリ３１４０と、各々同一の動作をするため、ここでは深く説明しない。
The reproduced label information is supplied to the block decoding circuit 3240 and the
以上、マクロブロック単位にしたアルファマップをラベル付けし、既に符号化済みのフレームのマクロブロックのラベルを利用して、現フレームのマクロブロックのラベルを符号化するようにした符号化装置と復号化装置の例を説明した。時間的に近いフレームのアルファマップ間では、そのマクロブロックは非常に似たラベル付けが行われる。従って、このような場合には、フレーム間においてラベルの相関が高いため、既に符号化済みのフレームのラベルを利用して、現フレームのラベルを符号化することで、大幅に符号化効率を図ることができるようになる。 As described above, an encoding device and a decoding unit that label an alpha map in units of macroblocks and use the macroblock label of an already encoded frame to encode the macroblock label of the current frame. An example of an apparatus has been described. The macroblocks are labeled very similar between alphamaps in near temporal frames. Therefore, in such a case, since the correlation between the labels is high between the frames, encoding of the label of the current frame by using the label of the already encoded frame greatly improves the encoding efficiency. Will be able to.
次にベクトル量子化による符号化システムを説明する。 Next, an encoding system using vector quantization will be described.
（第１１の具体例）アルファマップを効率よく符号化するために、第１１の具体例として、アルファマップを矩形のブロックに分割して、そのブロック毎に符号化を行い、既に符号化したブロックの一部分から切り出した参照パターンを用いてベクトル量子化のインデックステーブルをブロック毎に生成し、そのインデックステーブルを用いてアルファマップをベクトル量子化によって符号化する方式の具体例を説明する。 (Eleventh Specific Example) In order to efficiently encode the alpha map, as an eleventh specific example, the alpha map is divided into rectangular blocks, and each block is encoded. A specific example of a method of generating a vector quantization index table for each block using a reference pattern cut out from a part of the image and encoding an alpha map by vector quantization using the index table will be described.
以下、本発明の具体例を図面を用いて説明する。 Hereinafter, specific examples of the present invention will be described with reference to the drawings.
＜ベクトル量子化を用いた符号化回路の構成＞図５１は、ベクトル量子化を用いた本発明の符号化回路の一具体例を示すブロック図である。本符号化回路はメモリ１６０５、ベクトル量子化器１６０７、インデックステーブル生成器１６０９、ベクトル逆量子化器１６１３とより構成される。
<Configuration of Encoding Circuit Using Vector Quantization> FIG. 51 is a block diagram showing a specific example of the encoding circuit of the present invention using vector quantization. This encoding circuit includes a
メモリ１６０５は、符号化が終わった部分を復号したアルファマップを保持するためのメモリである。また、インデックステーブル生成器１６０９は、このメモリ１６０５の保持情報を元に各種画素パターンのインデックステーブル１６１２を生成する装置であって、複数のマクロブロック各々の画素パターンと個別のインデックス番号を対応づけるテーブルを生成するものである。ベクトル量子化器１６０７は、入力されたアルファマップ信号１６０６とインデックステーブル生成器１６０９からのインデックステーブル１６１２とを元に、インデックステーブル１６１２にある画素パターンのうちでアルファマップ信号１６０６との誤差が小さなもののインデックス１６１４を求め、そのインデックス１６１４を出力するものである。
A
ベクトル逆量子化器１６１３は、ベクトル量子化器１６０７の出力するインデックス１６１４と、インデックステーブル生成器１６０９の出力するインデックステーブル１６１２とを用い、インデックス１６１４に対応する画素パターンを求めると共に、その求めた画素パターンを、復号したアルファマップ１６１５としてメモリ１６０５に与える装置である。
The vector inverse quantizer 1613 obtains a pixel pattern corresponding to the index 1614 by using the index 1614 output from the
本具体例におけるこのような構成の符号化回路は、図２に示した画像符号化装置全体の中では、アルファマップ符号化回路２００の部分に配置される。また、本符号化回路にはアルファマップ信号が入力され、このアルファマップ信号をベクトル量子化して得たインデクッス１６１４を回路出力とする。アルファマップの画面は、図５９に示したようにブロックに分割され、左上のブロックから順に符号化される。ここで、横線を引いた領域５−１がオブジェクト領域、それ以外が背景領域５−２である。
The encoding circuit having such a configuration in this specific example is disposed in the alpha
図６０に、画面の途中まで符号化が終わった様子を示す。図６０においては、太線で囲った部分５−３が既に符号化が終わった部分を示しており、現在はブロック５−４を符号化している様子を示している。そして、図６１に示すように、現の符号化ブロック５−４の符号化には、それに隣接する画素列が上部参照パターン５−１０及び左部参照パターン５−１１として用いられる。 FIG. 60 shows a state where encoding has been completed to the middle of the screen. In FIG. 60, a portion 5-3 surrounded by a thick line indicates a portion that has already been encoded, and currently shows a state in which the block 5-4 is encoded. Then, as shown in FIG. 61, adjacent pixel columns are used as the upper reference pattern 5-10 and the left reference pattern 5-11 for encoding of the current encoding block 5-4.
なお、上部参照パターン５−１０の画素値を左からT1,T2,...,TBと呼び、左部参照パターン５−１１の画素値を上からL1,L2,...,LBと呼ぶこととする。Ｂはブロックの一辺の画素数（ブロックサイズ）である。 The pixel values of the upper reference pattern 5-10 are referred to as T1, T2,..., TB from the left, and the pixel values of the left reference pattern 5-11 are referred to as L1, L2,. I will do it. B is the number of pixels on one side of the block (block size).
図５１に戻り、説明を続ける。本発明の符号化回路はメモリ１６０５、ベクトル量子化器１６０７、インデックステーブル生成器１６０９、ベクトル逆量子化器１６１３とより構成されるが、これらのうち、メモリ１６０５には既に符号化が終わった部分を復号したアルファマップが保持されている。アルファマップ信号１６０６は、ベクトル量子化器１６０７に入力される。また、メモリ１６０５からは、既に符号化が終わった部分から上部と左部の参照パターン１６０８が読み出され、インデックステーブル生成器１６０９に送られる。
Returning to FIG. 51, the description will be continued. The encoding circuit according to the present invention includes a
インデックステーブル生成器１６０９では、参照パターン１６０８に応じてベクトル量子化（吹抜「ＴＶ画像の多次元信号処理」日刊工業新聞社、昭和６３年、ｐｐ．２６１−２６２）で用いるインデックステーブル１６１２が生成され、ベクトル量子化器１６０７とベクトル逆量子化器１６１３に送られる。
The index table generator 1609 generates an index table 1612 used in vector quantization (blowout “multi-dimensional signal processing of TV images”, Nikkan Kogyo Shimbun, 1988, pp. 261-262) according to the
ここで、インデックステーブルとは、複数のマクロブロック各々の画素パターンと個別のインデックス番号を対応づけるものである。 Here, the index table associates the pixel patterns of each of the plurality of macroblocks with individual index numbers.
ベクトル量子化器１６０７では、インデックステーブル生成器１６０９から出力されたインデックステーブル１６１２にある画素パターンのうちでアルファマップ信号１６０６との誤差が小さなもののインデックス１６１４が求められ、そのインデックス１６１４は出力され、また、ベクトル逆量子化器１６１３にも送られる。
The
ベクトル逆量子化器１６１３では、インデックステーブル１６１２を用いてインデックス１６１４に対応する画素パターンが求められる。そして、その求められた画素パターンは、復号したアルファマップ１６１５としてベクトル逆量子化器１６１３からメモリ１６０５に送られることになる。
The vector inverse quantizer 1613 obtains a pixel pattern corresponding to the index 1614 using the index table 1612. The obtained pixel pattern is sent from the vector inverse quantizer 1613 to the
ここで、インデックステーブル生成器１６０９の具体例について触れておく。 Here, a specific example of the index table generator 1609 will be described.
＜インデックステーブル生成器１６０９の具体例＞図５３、図５４、図５５に示すブロック図はそれぞれインデックステーブル生成器１６０９の具体例である。 <Specific Example of Index Table Generator 1609> The block diagrams shown in FIGS. 53, 54, and 55 are specific examples of the index table generator 1609, respectively.
まず、図５３に示す構成のインデックステーブル生成器１６０９の場合は、幾つか用意されたタイプのうちのいずれかを指定すると、その指定されたもののインデックステーブルを生成する方式であって、使用するタイプを指定するためのタイプ決定器１６１６、インデックステーブルを生成する生成器１６１９、生成したインデックステーブルを保持するメモリ１６２１とを備えている。
First, in the case of the index table generator 1609 having the configuration shown in FIG. 53, when any one of several prepared types is specified, an index table is generated for the specified type. Are provided, a type determiner 1616 for designating, a
このような構成のインデックステーブル生成器１６０９では、参照パターン１６０８はタイプ決定器１６１６に送られる。
In the index table generator 1609 having such a configuration, the
画素パターンは傾向を変えて幾つ化のタイプが選べるようになっており、所望のものを指定すると、タイプ決定器１６１６は、幾つか用意されたタイプのうちの当該指定のものを、使用決定して、そのタイプ１６１７の情報とパラメータ１６１８の情報が生成器１６１９に送る。生成器１６１９ではこれらの情報を受けて指定のタイプのインデックステーブル１６２０を生成し、この生成されたインデックステーブル１６２０をメモリ１６２１に一時的に保持させる。インデックステーブル１６２２は符号化の過程で適宜出力される。
The pixel pattern can change its tendency so that any number of types can be selected. When a desired one is designated, the type determiner 1616 decides to use the designated one of several types. Then, the information of the
タイプ決定器１６１６での処理アルゴリズムを示したフローチャートを図６８に示す。タイプ決定器１６１６は、まず初めに、Ｓ１： 図６１で説明した上部参照パターン５−１０の画素値T1と左部参照パターン５−１１の画素値L1が等しいか否かを判断し、その結果、等しい場合はＳ２に進み、等しくない場合はＳ４に進む。 A flowchart showing the processing algorithm in the type determiner 1616 is shown in FIG. First, the type determiner 1616 determines whether or not the pixel value T1 of the upper reference pattern 5-10 described in FIG. 61 and the pixel value L1 of the left reference pattern 5-11 described in FIG. If equal, the process proceeds to S2. If not equal, the process proceeds to S4.
Ｓ２： マクロブロックの行方向画素列のうち、左から順にみた場合に、画素値が前の画素値と異なった値を示した最初の画素位置をＲＴとし、列方向に上から順にみた場合に、画素値が前の画素値と異なった値を示した最初の画素位置をＲＬとすると、前記ＲＴがＢ（マクロブロックの一辺の画素数（ブロックサイズ））に等しく、かつ、ＲＬがＢに等しい場合はＳ５に進み、そうでない場合はＳ３に進む。なお、もう少しＲＴ、ＲＬについて詳しく触れておくと、ＲＴは、Ｔ１からＴ２、Ｔ３、．．．と順に見ていった時、Ｔｋで初めてＴ１と違う値になった時のｋ−１である。但し、マクロブロックの行方向最後の画素位置ＴＢまで、全てがＴ１と等しい場合はＲＬ＝Ｂとする（Ｂは図６１で説明したブロックサイズである）。例えば、図６３（Ｂ＝１６）の場合はＲＴ＝１０である。 S2: When the first pixel position in which the pixel value shows a different value from the previous pixel value when viewed from the left in the row direction pixel column of the macroblock is RT, and when viewed from the top in the column direction When the first pixel position where the pixel value is different from the previous pixel value is RL, RT is equal to B (number of pixels on one side of the macroblock (block size)) and RL is set to B If equal, the process proceeds to S5, and if not, the process proceeds to S3. If RT and RL are mentioned in more detail, RT is defined as T1 to T2, T3,. . . And in order, k-1 when Tk becomes a value different from T1 for the first time. However, if all the pixel positions TB in the row direction of the macroblock are equal to T1, RL = B is set (B is the block size described in FIG. 61). For example, in the case of FIG. 63 (B = 16), RT = 10.
同様ににＲＬはＬ１，Ｌ２，．．．に関するもので、図６３の場合はＲＬ＝６である。 Similarly, RL is L1, L2,. . . In the case of FIG. 63, RL = 6.
Ｓ３：ＲＴがＢに等しいか、あるいは、ＲＬがＢに等しい場合はＳ６に進み、そうでない場合はＳ７に進む。 S3: If RT is equal to B or RL is equal to B, the process proceeds to S6, and if not, the process proceeds to S7.
Ｓ４：ＲＴがＢに等しく、かつ、ＲＬがＢに等しい場合はＳ８に進み、そうでない場合はＳ９に進む。 S4: If RT is equal to B and RL is equal to B, the process proceeds to S8, and if not, the process proceeds to S9.
Ｓ５： タイプＭ＝１とする。Ｓ１０に進む。 S5: Type M = 1. Proceed to S10.
Ｓ６： タイプＭ＝２とする。Ｓ１０に進む。 S6: Set type M = 2. Proceed to S10.
Ｓ７： タイプＭ＝３とする。Ｓ１０に進む。 S7: Type M = 3. Proceed to S10.
Ｓ８： タイプＭ＝４とする。Ｓ１０に進む。 S8: Type M = 4. Proceed to S10.
Ｓ９： タイプＭ＝５とする。Ｓ１０に進む。 S9: Type M = 5. Proceed to S10.
Ｓ１０： ＭとＲＴ、ＲＬに応じてインデックステーブルを作成する。 S10: An index table is created according to M, RT, and RL.
このアルゴリズムを用いる場合は、図５３のタイプ決定器１６１６が出力するパラメータ１６１８はＲＴとＲＬである。また、タイプ決定器１６１６は図５６に示すように構成される。図５６に示す構成は、判定器１６２３、ＲＴ，ＲＬ検出器１６２４からなり、参照パターン１６０８は判定器１６２３と、ＲＴ，ＲＬ検出器１６２４に入力される。ＲＴ，ＲＬ検出器ではＲＴとＲＬが検出され、パラメータ１６１８として出力されるとともに判定器１６２３にも送られる。判定器１６２３では、図６８のアルゴリズムでタイプ１６１７を決定し、出力する。
When this algorithm is used, the parameters 1618 output from the type determiner 1616 in FIG. 53 are RT and RL. The type determiner 1616 is configured as shown in FIG. The configuration shown in FIG. 56 includes a
次にタイプＭとＲＴ、ＲＬを用いたインデックステーブルの構成例を図７０に示す。まずＭ＝１は、上部参照パターンと左部参照パターンのアルファマップの画素値が全て等しい場合であるから、図７０（ａ）に示したような、上辺と左辺をよぎる境界線が無い画素パターンのうちから、予め決める幾つかを生成する。 Next, FIG. 70 shows a configuration example of an index table using types M, RT, and RL. First, M = 1 is a case where the pixel values of the alpha map of the upper reference pattern and the left reference pattern are all equal to each other. Therefore, as shown in FIG. 70A, there is no pixel pattern having no boundary line between the upper side and the left side. Some of these are generated in advance.
この図で斜線はＴ１と等しい値を表す。つまり、Ｔ１がオブジェクト領域にある場合は斜線がオブジェクトで白が背景、Ｔ１が背景領域にある場合はその逆である。 In this figure, the diagonal line represents a value equal to T1. That is, if T1 is in the object area, the diagonal line is the object and white is the background, and vice versa if T1 is in the background area.
次にＭ＝２は、上部参照パターンと左部参照パターンのいずれかを境界線がよぎり、他方は画素値が全て等しい場合である。 Next, M = 2 is a case where the boundary line crosses either the upper reference pattern or the left reference pattern, and the other is the case where the pixel values are all equal.
図７０（ｂ）は左部参照パターンを境界線がよぎる（ＲＬ＜Ｂ）場合の例で、左辺の上からＲＬの点を起点に境界線の角度を様々に変えたものなどである。上部参照パターンを境界線がよぎる場合は上辺の左からＲＴの点を起点に境界線をひく。 FIG. 70B shows an example in which the boundary line crosses the left reference pattern (RL <B), in which the angle of the boundary line is changed variously starting from the RL point on the left side. When the boundary line crosses the upper reference pattern, the boundary line is drawn starting from the RT point from the left of the upper side.
また、Ｍ＝３では図７０（ｃ）に示したように上辺のＲＴと左辺のＲＬで境界線がよぎるようにする。 Further, when M = 3, as shown in FIG. 70C, the boundary line is crossed by RT on the upper side and RL on the left side.
最後にＭ＝４ではＴ１とＬ１の間に境界線があるので図７０（ｄ）のように左上の頂点を起点に境界線をひく。また、参照パターンとして図６４（ｂ）に示すように上部、左部とも複数ラインを用いるようにすると図６４（ａ）に点線で示したように境界線の向きも推定できるので、その推定した境界線を用いて画素パターンを生成することができる。 Finally, since there is a boundary line between T1 and L1 at M = 4, the boundary line is drawn starting from the upper left vertex as shown in FIG. 70 (d). Further, if a plurality of lines are used as the reference pattern as shown in FIG. 64 (b) for both the upper part and the left part, the direction of the boundary line can also be estimated as shown by the dotted line in FIG. 64 (a). A pixel pattern can be generated using the boundary line.
以上でインデックステーブル生成器１６０９の第１の具体例である図５３の詳細な説明を終えて、インデックステーブル生成器１６０９の第２の具体例を図５４に示す。 The detailed description of FIG. 53, which is the first specific example of the index table generator 1609, has been completed, and the second specific example of the index table generator 1609 is shown in FIG.
［インデックステーブル生成器１６０９の第２の具体例］図５４に示す構成のインデックステーブル生成器１６０９は、タイプ決定器１６１６、メモリ１６２５，１６２６，１６２７、スイッチ１６２８を備えている。このインデックステーブル生成器１６０９では、符号化に先だって各タイプに応じたインデックステーブルが作られるようにしてあり、それぞれタイプ別にメモリ１６２５，１６２６，１６２７のうちの専用のものに格納させる。従って、メモリ１６２５，１６２６，１６２７はいずれか一つのタイプのものを専用に格納してある。
[Second Specific Example of Index Table Generator 1609] The index table generator 1609 having the configuration shown in FIG. 54 includes a type determiner 1616,
スイッチ１６２８はこれらのメモリ１６２５，１６２６，１６２７のいずれかを選択してその選択したメモリに格納されているインデックステーブルを利用できるようにするためのものである。
The
このようなインデックステーブル生成器１６０９において、参照パターン１６０８によって、タイプ決定器１６１６でタイプ１６１７が決まるのは図５３に示した具体例と同じである。但し、この具体例ではパラメータ１６１８はタイプ決定器１６１６から出力されない。また、符号化に先だって作られる、各タイプに応じたインデックステーブルが、それぞれ異なるメモリ１６２５、１６２６、１６２７に保持されている。
In such an index table generator 1609, the type determiner 1616 determines the
そして、タイプ１６１７によってスイッチ１６２８が切り替えられ、そのタイプ１６１７に応じたインデックステーブル１６２２が出力される。
Then, the
この具体例は図５３の例と比較してメモリが多く必要であるが、インデックスを生成する演算が不要であるという利点がある。 Although this specific example requires more memory than the example of FIG. 53, there is an advantage that an operation for generating an index is unnecessary.
インデックステーブル生成器１６０９のさらに別の構成例を示す。 Another configuration example of the index table generator 1609 will be shown.
＜インデックステーブル生成器１６０９の第３の具体例＞インデックステーブル生成器の第３の具体例を図５５に示す。図５５では、評価器１６２９、メモリ１６３０、スイッチ１６３２、メモリ１６３４から構成している。
<Third Specific Example of Index Table Generator 1609> FIG. 55 shows a third specific example of the index table generator. 55 includes an
この例では先の例と異なってタイプ判定は行わず、参照パターンと予め用意する画素パターンの境界線が連続的につながる度合いを表す評価値を求めて利用する。 In this example, unlike the previous example, type determination is not performed, and an evaluation value indicating the degree of continuous connection between the reference pattern and the boundary line of the pixel pattern prepared in advance is obtained and used.
この評価値は図６５（ｂ）に示すように、上部参照パターンT1,T2,..と画素パターンの上端の画素列H1,H2,..、及び、左部参照パターンL1,L2,..と左端の画素列V1,V2,... を比較して、Ti=Hi となるi={1,2,3,..,B}の数と、Lj=Vj となるj={1,2,3,..,B}の数の和である。 As shown in FIG. 65 (b), the evaluation values are represented by upper reference patterns T1, T2,..., Upper end pixel columns H1, H2,..., And left reference patterns L1, L2,. And the leftmost pixel column V1, V2, ..., the number of i = {1,2,3,., B} where Ti = Hi and j = {1, 2,3, .., B}.
従って、図６５（ａ）の場合は、i=1,2,3, j=1,2,3,6,7,8において等しくなるので、評価値は“９”となる。 Therefore, in the case of FIG. 65A, since i = 1, 2, 3, j = 1, 2, 3, 6, 7, 8, the evaluation value is “9”.
図５５に戻り、説明を続ける。上記メモリ１６３０には図７０に示したものなど、様々な画素パターンが予め保持されており、評価器１６２９は、参照パターンと予め用意した画素パターン（メモリ１６３０から与えられる）の境界線が連続的につながる度合いを表す評価値を求める装置である。スイッチ１６３２はメモリ１６３０の出力を開閉するためのスイッチであり、メモリ１６３４は、このスイッチ１６３２を介して与えられる情報を保持するものである。スイッチ１６３２は評価値対応に評価器１６２９が出力する開閉信号により開閉制御される。
Returning to FIG. 55, the description will be continued. Various pixel patterns such as the one shown in FIG. 70 are stored in the memory 1630 in advance, and the
符号化装置の構成要素であるメモリ１６０５から読み出される参照パターン１６０８は、この評価器１６２９に送られる。また、メモリ１６３０からは図７０に示したものなど、予め保持された様々な画素パターン１６３１が、逐次、評価器１６２９とスイッチ１６３２に送られる。
The
評価器１６２９では先に説明した参照パターン１６０８と画素パターン１６３１の評価値を求める。そして、その評価値が所定値よりも小さい場合には評価器１６２９はスイッチ１６３２を接続するような切替え信号１６３３をスイッチ１６３２に送る。
The
この場合は、画素パターン１６３１はメモリ１６３４に記録されてインデックステーブルに載る。逆に評価値が所定値よりも大きい場合には接続を切るような切替え信号１６３３がスイッチ１６３２に送られて、画素パターン１６３１はメモリ１６３４に送られない。 In this case, the pixel pattern 1631 is recorded in the memory 1634 and placed on the index table. Conversely, when the evaluation value is larger than the predetermined value, a switching signal 1633 for disconnecting is sent to the switch 1632, and the pixel pattern 1631 is not sent to the memory 1634.
メモリ１６３０に用意された画素パターンのうちの所定の個数の評価が終ったら、メモリ１６３４に記録された画素パターンに順にインデックスを付加して、インデックステーブル１６２２として出力する。この評価は、メモリ１６３４に所定の個数の画素パターンが記録された時に終了する方法もある。 When a predetermined number of pixel patterns prepared in the memory 1630 have been evaluated, an index is sequentially added to the pixel patterns recorded in the memory 1634 and output as an index table 1622. There is also a method in which this evaluation is completed when a predetermined number of pixel patterns are recorded in the memory 1634.
また、メモリ１６３０にある画素パターンのうち評価値の大きいものから順に所定の数の画素パターンを選択する方法もある。この場合はメモリ１６３４に所定の数の画素パターン１６３１とその評価値を記録するようにする。 There is also a method of selecting a predetermined number of pixel patterns in order from the largest evaluation value among the pixel patterns in the memory 1630. In this case, a predetermined number of pixel patterns 1631 and their evaluation values are recorded in the memory 1634.
そして、記録されている評価値のうちで最も小さなものよりも、現在評価中の画素パターンの評価値が大きい場合にそれらを入れ替えればよい。 Then, when the evaluation value of the currently evaluated pixel pattern is larger than the smallest evaluation value recorded, they may be replaced.
以上の図５５の具体例は比較的大規模なメモリ１６３０が必要であるが、タイプ決定の演算が不要となる利点がある。 The specific example of FIG. 55 described above requires a relatively large memory 1630, but has the advantage of not requiring a type determination operation.
なお、図５３、図５４、図５５の具体例は、応用システムで許容される演算量とメモリ量によってそれぞれ適当なものを採用すればよい。 It should be noted that the specific examples of FIGS. 53, 54, and 55 may be appropriately selected depending on the calculation amount and memory amount allowed in the application system.
以上で図５１のインデックステーブル生成器１６０９の説明を終る。 The description of the index table generator 1609 in FIG.
＜ベクトル量子化器１６０７のアルゴリズム＞次に図５１のベクトル量子化器１６０７でのアルゴリズムを図６９に示す。ここでＣ（ｉ）は入力されたアルファマップの原画像と画素パターンの誤差の許容条件で、例えば、Ｂ×Ｂ画素のブロックの場合、「１６個の（Ｂ／４）×（Ｂ／４）画素ブロックに分割し（図６６参照）、そのいずれのブロックにおいても、原画像と画素パターンｉの各画素の誤差の絶対値和がαを超えない。」というものである。但し、αはしきい値である。また、各画素の誤差の絶対値和とは、具体的にはミスマッチ画素数のことであり、具体的にはαは０画素，１画素，２画素，…，Ｂ2 ／１６画素といった具合に定めるものである。
<Algorithm of
最低限、この条件をクリアしないと、その画素パターンは選択されない。また、ＥはＢ×Ｂ画素全体での誤差の絶対値和である。図６９に示すフローチャートを説明する。 If this condition is not cleared at least, the pixel pattern is not selected. E is the sum of absolute values of errors in the entire B × B pixel. The flowchart shown in FIG. 69 will be described.
Ｓ１１： インデックスi=0 とする。Ｓ１２に進む。 S11: Index i = 0. Proceed to S12.
Ｓ１２： 画素パターンｉがＣ（ｉ）を満たす場合はＳ１５に進む。そうでない場合はＳ１３に進む。 S12: If the pixel pattern i satisfies C (i), the process proceeds to S15. Otherwise, the process proceeds to S13.
Ｓ１３： i=1 とする。 S13: i = 1.
Ｓ１４： 画素パターンｉがＣ（ｉ）を満たす場合はＳ１５に進む。そうでない場合はＳ１６に進む。 S14: If the pixel pattern i satisfies C (i), the process proceeds to S15. Otherwise, the process proceeds to S16.
Ｓ１５： Mini=iとする。そして、Ｓ２３に進む。 S15: Mini = i. Then, the process proceeds to S23.
Ｓ１６： MinEに十分大きな値を代入し、Mini=-1 とする。Ｓ１７に進む。 S16: A sufficiently large value is substituted for MinE, and Mini = -1. Proceed to S17.
Ｓ１７： i にi+1 を代入する。そして、Ｓ１８に進む。 S17: i + 1 is substituted into i. Then, the process proceeds to S18.
Ｓ１８： 画素パターンｉがＣ（ｉ）を満たす場合はＳ１９に進む。そうでない場合はＳ２１に進む。 S18: If the pixel pattern i satisfies C (i), the process proceeds to S19. Otherwise, the process proceeds to S21.
Ｓ１９： ＥがMinEよりも小さい場合はＳ２０に進む。そうでない場合はＳ２１に進む。 S19: If E is smaller than MinE, the process proceeds to S20. Otherwise, the process proceeds to S21.
Ｓ２０： MinEにＥを代入し、Mini=iとする。そして、Ｓ２１に進む。 S20: Substitute E into MinE and set Mini = i. Then, the process proceeds to S21.
Ｓ２１： i がインデックスの最後の値Ｎと等しい場合はＳ２２に進む。そうでない場合はＳ１７に進む。 S21: If i is equal to the last value N of the index, the process proceeds to S22. Otherwise, the process proceeds to S17.
Ｓ２２： Mini=-1 である場合は該当ブロックにはインデックスは決定せずに終了する。そうでない場合はＳ２３に進む。 S22: If Mini = -1, the corresponding block is terminated without determining an index. Otherwise, the process proceeds to S23.
Ｓ２３： Miniを該当ブロックのインデックスとして出力して終了する。 S23: Mini is output as the index of the corresponding block, and the process ends.
本アルゴリズムでは、画素パターン“０”と画素パターン“１”は、Ｅを計算せずにＣ（ｉ）さえ満たせば直ちにそれに決定している。 In this algorithm, the pixel pattern “0” and the pixel pattern “1” are determined as soon as C (i) is satisfied without calculating E.
このようにすると、“０”と“１”のインデックスに、他のインデックスよりも短い符号を割り当てている場合に、符号量を少なくできるという効果が期待できる。例えば、ブロック内が全てオブジェクト領域とか、逆に全て背景領域といった画素パターンを、“０”や“１”に割り当てる。 In this way, when a code shorter than the other indexes is assigned to the indexes “0” and “1”, an effect that the code amount can be reduced can be expected. For example, pixel patterns such as all the object areas in the block or all the background areas are assigned to “0” and “1”.
また、インデックスが決定されなかったブロックについては、図６７のフローチャートに示すように、ベクトル量子化（ＶＱ）とは別の符号化手法を用いて符号化するといった方法がある。 Further, as shown in the flowchart of FIG. 67, there is a method in which a block for which no index is determined is encoded using an encoding method different from vector quantization (VQ).
すなわち、図６７のフローチャートは、インデックスが決定されなかったブロックについての符号化は、まず、ベクトル量子化（ＶＱ）で符号化する（Ｓ２４）。そして、インデックスが決定されれば終了し（Ｓ２５）。そうでなければＳ２６に進む。Ｓ２６では、ＭＭＲで符号化して終了する。 That is, in the flowchart of FIG. 67, the encoding for the block for which the index has not been determined is first performed by vector quantization (VQ) (S24). If the index is determined, the process ends (S25). Otherwise, the process proceeds to S26. In S26, encoding is performed by MMR and the process ends.
このような処理をする符号化装置を図７１に示す。図７１に示す符号化装置は、ベクトル量子化回路１６４２、ＭＭＲ符号化回路１６４３、切り替え器１６４４、合成器１６４６とから構成されている。 FIG. 71 shows an encoding apparatus that performs such processing. The encoding apparatus shown in FIG. 71 includes a vector quantization circuit 1642, an MMR encoding circuit 1643, a switch 1644, and a combiner 1646.
アルファマップ信号１６０６はベクトル量子化回路１６４２とＭＭＲ符号化回路１６４３に入力される。 The alpha map signal 1606 is input to the vector quantization circuit 1642 and the MMR encoding circuit 1643.
ベクトル量子化回路１６４２は図５１に示した構成のものを採用しており、このベクトル量子化回路１６４２からの出力であるインデックス１６１４が、切り替え器１６４４に送られる。同時に、切り替え信号１６４５も切り替え器１６４４と合成器１６４６に送られる。
The vector quantization circuit 1642 employs the configuration shown in FIG. 51, and an index 1614 that is an output from the vector quantization circuit 1642 is sent to the switch 1644. At the same time, a
また、ＭＭＲ符号化回路１６４３では、アルファマップ信号１６０６がＭＭＲによって符号化され、ＭＭＲ符号１６４７が切り替え器１６４４に送られる。切り替え器１６４４はＭＭＲ符号化回路１６４３からの出力であるＭＭＲ符号１６４７と、ベクトル量子化回路１６４２からの出力であるインデックス１６１４とが入力されており、切り替え器１６４４は切り替え信号１６４５に応じてこれらのうちの一方を選択して通すように、回路切り替えをする。
Further, in the MMR encoding circuit 1643, the alpha map signal 1606 is encoded by MMR, and the MMR code 1647 is sent to the switch 1644. The switch 1644 receives an MMR code 1647 that is an output from the MMR encoding circuit 1643 and an index 1614 that is an output from the vector quantization circuit 1642, and the switch 1644 receives these according to the
切り替え器１６４４に与えられる切り替え信号１６４５は、ＭＭＲ符号化回路１６４３が出力するものであり、インデックス１６１４が決定された場合にはインデックス１６１４が、インデックスが決定されなかった場合にはＭＭＲ符号１６４７がアルファマップの符号１６４８として選択されるようにＭＭＲ符号化回路１６４３は決定すべく動作する。
The
このようにして切り替え器１６４４にて選択されて出力されたインデックス１６１４または、アルファマップの符号１６４８は信号を多重化する合成器１６４６に送られ、この合成器１６４６でベクトル量子化回路１４６２から得られる上述のような切り替え信号１６４５と多重化され、符号１６４９として出力される。
The index 1614 or alpha map code 1648 selected and output in this way by the switch 1644 is sent to the synthesizer 1646 that multiplexes the signals, and is obtained from the vector quantization circuit 1462 by the synthesizer 1646. The signal is multiplexed with the
なおこの具体例で、ＭＭＲが選択された場合、そのブロックの復号したアルファマップ１６１５はＭＭＲ符号化回路１６４３からベクトル量子化回路の内部のメモリ１６０５に送られる。ここで、ＭＭＲ符号化回路１６４３の具体例を示す。
In this specific example, when MMR is selected, the decoded
＜ＭＭＲ符号化回路１６４３の具体例＞（ブロックベース符号化の具体例）図７４（ａ）は、ブロック単位で符号化する場合の変化画素の関係を表す図である。また、図７４（ｂ）は、ｂ１を検出する為の参照領域を表す図である。ブロックベース符号化においては、以下のように変化画素の符号化を単純化して符号化しても良い。なお、以下の処理は、第６の具体例にあるように、スキャンの順序を切り換えても良いし、第８の具体例にあるように、縮小されたブロックに適用しても良い。 <Specific Example of MMR Encoding Circuit 1643> (Specific Example of Block-Based Encoding) FIG. 74 (a) is a diagram showing the relationship of changed pixels when encoding is performed in units of blocks. FIG. 74 (b) is a diagram showing a reference area for detecting b1. In block-based encoding, encoding of changed pixels may be simplified as follows. The following processing may be performed by switching the scan order as in the sixth specific example, or may be applied to a reduced block as in the eighth specific example.
単純化した変化画素の符号化は次のようにして行う。今、変化画素ａｉ（ｉ＝０〜１）、ｂ１の画面左上からのアドレスを各々、ａｂｓ＿ａｉ（ｉ＝０〜１）、ａｂｓ＿ｂ１と表記すると、ｒ＿ａｉ（ｉ＝０〜１）およびｒ＿ｂ１の値は、以下の式で求められる。 Simplified change pixel encoding is performed as follows. Now, if the addresses of the change pixels ai (i = 0 to 1) and b1 from the upper left of the screen are expressed as abs_ai (i = 0 to 1) and abs_b1, respectively, the values of r_ai (i = 0 to 1) and r_b1 are Is obtained by the following equation.
r- a0＝ abs- a0−(int) （ abs- a0／WIDTH ）＊WIDTHr- a1＝ abs- a0−(int) （ abs- a0／WIDTH ）＊WIDTH ＊WIDTHr- b1＝ abs- b1−(int) ((int)(abs- a0／WIDTH)−１）＊WIDTH上記式において、＊は乗算を、（ｉｎｔ）（ｘ）はｘの小数点以下切り捨てを意味しており、ＷＩＤＴＨはブロックの水平方向の画素数を示している。 r - a0 = abs - a0-(int) (abs - a0 / WIDTH) * WIDTHr - a1 = abs - a0-(int) (abs - a0 / WIDTH) * WIDTH * WIDTHr - b1 = abs - b1-(int ) ((int) (abs − a0 / WIDTH) −1) * WIDTH In the above equation, * indicates multiplication, (int) (x) indicates truncation after the decimal point of x, and WIDTH indicates the horizontal direction of the block. The number of pixels is shown.
“ｒ＿ａ１−ｒ＿ｂ１”あるいは、“ｒ＿ａ１−ｒ＿ａ０”の値を符号化することで、再生値が得られる。 A reproduction value can be obtained by encoding the value of “r_a1-r_b1” or “r_a1-r_a0”.
図７５は、ＭＭＲをブロックベースで符号化する場合のフローチャートである。以後、フローチャートに従って符号化処理を説明する。ここでの処理は、まず、起点変化画素の位置を初期化し（Ｓ５０１）、初期位置（ブロックの左上画素）での画素値を１ビットで符号化する（Ｓ５０２）、次に初期位置において参照変化画素ｂ１を検出する（Ｓ５０３）。 FIG. 75 is a flowchart for encoding MMR on a block basis. Hereinafter, the encoding process will be described according to the flowchart. In this process, first, the position of the starting point change pixel is initialized (S501), the pixel value at the initial position (the upper left pixel of the block) is encoded with 1 bit (S502), and then the reference change is performed at the initial position. The pixel b1 is detected (S503).
ここで、ｂ１が検出されなかった場合には、参照領域に変化画素が存在しないことから垂直モードが使えないため、垂直パスモードの状態を“ＴＲＵＥ”とし、ｂ１が検出された場合は垂直モードが使えるため、垂直パスモードの状態を“ＦＡＬＳＥ”とする。 Here, when b1 is not detected, the vertical mode cannot be used because there is no change pixel in the reference region. Therefore, the state of the vertical pass mode is set to “TRUE”, and when b1 is detected, the vertical mode is set. Therefore, the vertical path mode is set to “FALSE”.
以上で初期状態のセッティングを終了し、符号化ループの処理に移る。まず、変化画素ａ１を検出し（Ｓ５０５）、変化画素ａ１が検出されたか否かを判定し（Ｓ５０６）、変化画素ａ１が検出されなかった場合には、以後、変化画素が無いため、符号化の終了を示す符号化処理の終了符号（ＥＯＭＢ）を符号化する（Ｓ５０７）。 The initial setting is thus completed, and the process proceeds to the encoding loop process. First, the change pixel a1 is detected (S505), and it is determined whether or not the change pixel a1 is detected (S506). If the change pixel a1 is not detected, then there is no change pixel, so that encoding is performed. An end code (EOMB) of the encoding process indicating the end of is encoded (S507).
また、Ｓ５０６での判定の結果、変化画素ａ１が検出された場合には、垂直パスモードの状態を判定する（Ｓ５０８）。ここで、垂直パスモードの状態が“ＴＲＵＥ”ならば、垂直パスモードの符号化処理（Ｓ５１６）を行い、垂直パスモードの状態が“ＦＡＬＳＥ”ならば、ｂ１を検出する（Ｓ５０９）。 If the change pixel a1 is detected as a result of the determination in S506, the state of the vertical pass mode is determined (S508). If the vertical path mode state is “TRUE”, vertical path mode encoding processing (S516) is performed. If the vertical path mode state is “FALSE”, b1 is detected (S509).
次に、ｂ１が検出されたか否かを判定し（Ｓ５１０）。ｂ１が検出されなかった場合には。水平モードのステップ（Ｓ５１３）に進み。ｂ１が検出された場合には、”ｒ＿ａ１−ｒ＿ｂ１”の絶対値がしきい値（ＶＴＨ）よりも大きいか否かを判定し（Ｓ５１１）、その結果、しきい値以下の場合には、垂直モードのステップ（Ｓ５１２）に進み、しきい値よりも大きい場合には、水平モードのステップ（Ｓ５１３）に進む。 Next, it is determined whether or not b1 is detected (S510). If b1 is not detected. Proceed to step (S513) in the horizontal mode. When b1 is detected, it is determined whether or not the absolute value of “r_a1−r_b1” is larger than the threshold value (VTH) (S511). The process proceeds to the mode step (S512), and if larger than the threshold value, the process proceeds to the horizontal mode step (S513).
水平モードのステップ（Ｓ５１３）では、“ｒ＿ａ１−ｒ＿ａ０”の値が符号化される。ここで、“ｒ＿ａ１一ｒ＿ａ０”の値が“ＷＩＤＴＨ”よりも小さいか否かを判定し（Ｓ５１４）、その結果、“ＷＩＤＴＨ”以上の場合には、垂直パスモードの状態を“ＴＲＵＥ”として（Ｓ５１５）、垂直パスモードのステップ（Ｓ５１６）に進み、垂直パスモードのステップ（Ｓ５１６）が終了したら、垂直パスモードの状態を“ＦＡＬＳＥ”とする。 In the horizontal mode step (S513), the value of “r_a1-r_a0” is encoded. Here, it is determined whether or not the value of “r_a1r_a0” is smaller than “WIDTH” (S514). If the result is “WIDTH” or more, the vertical path mode state is set to “TRUE” ( S515), the process proceeds to the step (S516) of the vertical path mode, and when the step (S516) of the vertical path mode is completed, the state of the vertical path mode is set to “FALSE”.
以上、垂直モード、水平モード、垂直パスモードの何れかが終了した後（ａｌまでの符号化が終了した後）、ａ１の位置を新たなａ０の位置として（Ｓ５１８）。Ｓ５０５の処理に戻る。 As described above, after any of the vertical mode, the horizontal mode, and the vertical pass mode is finished (after the encoding up to al is finished), the position of a1 is set as a new position of a0 (S518). The process returns to S505.
図７３は、ＶＬＣテーブルの例である。ここで、垂直パスモードの状態が“ＴＲＵＥ”の場合には、符号の種類はＶＯ、Ｈ、ＥＯＭＢの３種類しか生起しないため、垂直パスモードの状態に応じて、ＶＬＣを切り換える事ができる。なお、垂直パスモードの状態が“ＴＲＵＥ”の場合、ＥＯＭＢはａ０がブロックの左上の位置（初期位置）にある場合のみ生起する。従って、この場合には、図７３の“０”うちの符号が用いられる。 FIG. 73 is an example of a VLC table. Here, when the state of the vertical path mode is “TRUE”, only three types of codes, VO, H, and EOMB, occur, so that the VLC can be switched according to the state of the vertical path mode. When the state of the vertical path mode is “TRUE”, EOMB occurs only when a0 is at the upper left position (initial position) of the block. Therefore, in this case, the code out of “0” in FIG. 73 is used.
なお、ベクトル量子化は用いずにＭＭＲ符号化のみを用いる場合は、上述の具体例を、直接、図２のアルファマップ符号化回路２００に用いればよい。
When only MMR coding is used without using vector quantization, the above-described specific example may be used directly in the alpha
インデックスが決定されなかったブロックについての符号化は、ＭＭＲなど他の符号化方法を用いる以外に、図６２のように、マクロブロックをさらに小さなブロックに再分割して、ベクトル量子化をやり直す方法もある。図では標準的なサイズのマクロブロックを、さらに小さなブロックに再分割するにあたり、当該小さなブロックのサイズｂはｂ＝Ｂ／２とした。 For the coding of blocks for which the index has not been determined, there is a method of re-dividing the macro block into smaller blocks and performing vector quantization again as shown in FIG. 62, in addition to using other coding methods such as MMR. is there. In the figure, when a macro block of a standard size is subdivided into smaller blocks, the size b of the small block is b = B / 2.
この場合は各ブロックの参照部分が既に符号化しているように、“Ａ→Ｂ→Ｃ→Ｄ”か、“Ａ→Ｃ→Ｂ→Ｄ”の順で符号化する。 In this case, encoding is performed in the order of “A → B → C → D” or “A → C → B → D” so that the reference portion of each block has already been encoded.
ブロックの再分割は、誤差が許容範囲に収まるようになるまで行う。こうすればインデックスの数が増えて符号量が増加するが、誤差を許容量以下に抑えられる。 The block is subdivided until the error falls within the allowable range. In this way, the number of indexes increases and the amount of codes increases, but the error can be suppressed to an allowable amount or less.
以上で符号化装置の具体例の説明を終わるが、最後に図５７にこの符号化装置全体のフローチャートを示す。 This is the end of the description of the specific example of the encoding apparatus. Finally, FIG. 57 shows a flowchart of the entire encoding apparatus.
Ｓ２７： 参照パターンによってインデックステーブルを生成する。 S27: An index table is generated according to the reference pattern.
Ｓ２８：生成したインデックステーブルを用いてベクトル量子化を行い終了する。このような処理を行う。 S28: Vector quantization is performed using the generated index table, and the process ends. Such processing is performed.
＜復号装置の具体例＞次に、復号装置の具体例を図５２に示す。図５２に示した回路は、ベクトル逆量子化を行うベクトル逆量子化器１６３６、ベクトル逆量子化されて得られた情報を保持するメモリ１６３７、インデックステーブルを生成するインデックステーブル生成器１６３９とから構成されており、これを図３に示した画像復号装置全体の中ではアルファマップ復号化回路４００の部分に配置する。
<Specific Example of Decoding Device> Next, a specific example of the decoding device is shown in FIG. The circuit shown in FIG. 52 includes a
ベクトル逆量子化器１６３６にはインデックス１６３５が入力される。メモリ１６３７には既に復号したアルファマップが保持されており、そこから、参照パターン１６３８がインデックステーブル生成器１６３９に送られる。このインデックステーブル生成器１６３９は符号化装置のそれと同じものである。
An index 1635 is input to the
生成されたインデックステーブル１６４０はベクトル逆量子化器１６３６に送られる。ベクトル逆量子化器１６３６からメモリ１６３７には復号したアルファマップ１６４１が送られる。
The generated index table 1640 is sent to the
図５８が図５２に示した復号装置の処理の流れを示すフローチャートである。このフローチャートを説明すると、まず、インデックステーブル生成器１６３９は、参照パターンによってインデックステーブルを生成する（Ｓ２９）。そして、生成したインデックステーブルを用いてベクトル逆量子化器１６３６はインデックス１６３５のベクトル逆量子化を行い（Ｓ３０）、終了する。
FIG. 58 is a flowchart showing the flow of processing of the decoding apparatus shown in FIG. Explaining this flowchart, first, the index table generator 1639 generates an index table based on the reference pattern (S29). Then, using the generated index table, the
図７２には図７１に示した符号化装置で生成される符号の復号を行う復号装置を示す。この復号装置は、切り替え信号１６５２とアルファマップの符号１６５３が多重化された信号を分離する分離器１６５１、この分離器１６５１で分離された切り替え信号１６５２により回路切り替えしてベクトル逆量子化器１６５４またはＭＭＲ復号器１６５７のうちの一方に与える切り替え器１６５５、切り替え器１６５５を介して与えられる分離器１６５１からの分離されたアルファマップの符号１６５３をベクトル逆量子化するベクトル逆量子化器１６５４、切り替え信号１６５２により回路切り替えしてベクトル逆量子化器１６５４またはＭＭＲ復号器１６５７のうちの一方を出力する切り替え器１６５６からなる。
FIG. 72 shows a decoding apparatus that decodes codes generated by the encoding apparatus shown in FIG. The decoding apparatus includes a separator 1651 that separates a switching signal 1652 and a signal in which an alpha map code 1653 is multiplexed, and a vector dequantizer 1654 or a circuit switching by switching the circuit using the switching signal 1652 separated by the separator 1651. A
このような構成において、切り替え信号１６５２とアルファマップの符号１６５３の多重化信号である符号１６５０は、分離器１６５１に入力される。分離器１６５１では符号１６５０が切り替え信号１６５２とアルファマップの符号１６５３に分割され、切り替え信号１６５２は切り替え器１６５５と切り替え器１６５６に、アルファマップの符号１６５３は切り替え器１６５６にそれぞれ送られる。
In such a configuration, a code 1650 that is a multiplexed signal of the switching signal 1652 and the alpha map code 1653 is input to the separator 1651. In the separator 1651, the code 1650 is divided into a switching signal 1652 and an alpha map code 1653, the switching signal 1652 is sent to the
切り替え器１６５６では切り替え信号１６５２によって、アルファマップの符号１６５３がベクトル逆量子化器１６５４かＭＭＲ復号器１６５７のいずれかに送られる。ベクトル逆量子化器１６５４とＭＭＲ復号器１６５７では、アルファマップの符号１６５３が入力された時にはアルファマップ１６５８を再生し、切り替え器１６５５を通って出力される。
The switch 1656 sends the alpha map code 1653 to either the vector inverse quantizer 1654 or the MMR decoder 1657 according to the switch signal 1652. In the vector inverse quantizer 1654 and the MMR decoder 1657, when the alpha map code 1653 is inputted, the
以上で第１１の具体例としての復号装置の具体例の説明を終わる。 This is the end of the description of the specific example of the decoding device as the eleventh specific example.
以上述べてきたように、本発明によればアルファマップを効率良く符号化することが可能となり、従って、アルファマップの符号量を低減することができるために、大幅な符号化効率の低下なしに、背景とオブジェクトを別々に符号化することができるようになる。 As described above, according to the present invention, it is possible to efficiently encode an alpha map, and therefore the code amount of the alpha map can be reduced, so that there is no significant reduction in encoding efficiency. The background and the object can be encoded separately.
なお、種々の具体例について説明したが、本発明はこれらに限定されることなく、変形して実施可能である。 Although various specific examples have been described, the present invention is not limited to these and can be modified.
１００…差分回路
１１０，３５０…動き補償予測回路
１２０…直交変換回路
１３０…量子化回路
１４０…可変長符号化回路
１５０，３２０…逆量子化回路
１６０，３３０…逆直交変換回路
１７０，３４０…加算回路
１８０，２４０，５１０…多重化回路
２００…アルファマップ符号化回路
２１０，２３０，４２０…解像度変換回路
２２０…２値画像符号化回路
２２１…２次元符号化回路
２２２…ラインメモリ
２２３…フレームメモリ
３００，４３０，５２０…分離化回路
３１０…可変長復号化回路
４００…アルファマップ復号化回路
４１０…２値画像復号化回路
５００…オブジェクト領域検出回路
５３０…アルファマップ復元回路
６２１，６２２…フレームメモリ
６２３…制御手段
１６１３…ベクトル逆量子化器
１６０５…メモリ
１６０７…ベクトル量子化器
１６０９，１６３９…インデックステーブル生成器
１６３６…逆量子化器
１６３７…メモリ
２０００…符号化／復号化回路
２１００…ラインメモリ
２２００…セレクタ
２３００…フレームメモリ
２４００…動き補償予測回路
２５００…シェープコーディング部（２値画像符号化回路）
２６００…アルファバリューコーディング部（多値画像符号化回路）。
DESCRIPTION OF
2600: Alpha value coding unit (multi-valued image coding circuit).
Claims (4)
前記２値画像を前記小領域毎に拡大・縮小して解像度変換された２値画像を出力する解像度変換ステップと、
前記解像度変換された２値画像を符号化する符号化ステップと、
前記解像度変換ステップの拡大・縮小率を前記小領域毎に変えることにより前記符号化ステップの発生符号量を制御する制御ステップと、
前記２値画像の符号化データと前記拡大・縮小率の情報を示す符号とを多重化する多重化ステップとを具備することを特徴とする画像符号化方法。 A dividing step of dividing the binary image into predetermined small regions;
A resolution conversion step of outputting a binary image whose resolution has been converted by enlarging or reducing the binary image for each small area;
An encoding step of encoding the resolution-converted binary image;
A control step for controlling the generated code amount of the encoding step by changing the enlargement / reduction ratio of the resolution conversion step for each small area;
An image encoding method comprising: a multiplexing step of multiplexing encoded data of the binary image and a code indicating information on the enlargement / reduction ratio.
前記２値画像を前記小領域毎に拡大・縮小して解像度変換された２値画像を出力する解像度変換手段と、
前記解像度変換された２値画像を符号化する符号化手段と、
前記解像度変換手段の拡大・縮小率を前記小領域毎に変えることにより前記符号化手段の発生符号量を制御する制御手段と、
前記２値画像の符号化データと前記拡大・縮小率の情報を示す符号とを多重化する多重化手段とを具備することを特徴とする画像符号化装置。 Dividing means for dividing the binary image into predetermined small regions;
Resolution conversion means for outputting a binary image whose resolution has been converted by enlarging or reducing the binary image for each of the small areas;
Encoding means for encoding the resolution-converted binary image;
Control means for controlling the generated code amount of the encoding means by changing the enlargement / reduction ratio of the resolution conversion means for each small area;
An image encoding apparatus comprising: a multiplexing unit that multiplexes encoded data of the binary image and a code indicating information on the enlargement / reduction ratio.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007038684A JP2007195209A (en) | 1995-09-29 | 2007-02-19 | Video encoding apparatus and method |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27699095 | 1995-09-29 | ||
| JP28102895 | 1995-10-27 | ||
| JP6145196 | 1996-03-18 | ||
| JP9891896 | 1996-04-19 | ||
| JP2007038684A JP2007195209A (en) | 1995-09-29 | 2007-02-19 | Video encoding apparatus and method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8237053A Division JPH104549A (en) | 1995-09-29 | 1996-09-06 | Image coder and image decoder |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007195209A true JP2007195209A (en) | 2007-08-02 |
Family
ID=38450464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007038684A Abandoned JP2007195209A (en) | 1995-09-29 | 2007-02-19 | Video encoding apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007195209A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013205947A (en) * | 2012-03-27 | 2013-10-07 | Fujitsu Ten Ltd | Image processing device, image processing method, and image processing program |
| KR101760420B1 (en) * | 2011-01-04 | 2017-07-21 | 엘지전자 주식회사 | Apparatus and method for processing sharpness of video signal, Broadcasting Signal Receiver |
-
2007
- 2007-02-19 JP JP2007038684A patent/JP2007195209A/en not_active Abandoned
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101760420B1 (en) * | 2011-01-04 | 2017-07-21 | 엘지전자 주식회사 | Apparatus and method for processing sharpness of video signal, Broadcasting Signal Receiver |
| JP2013205947A (en) * | 2012-03-27 | 2013-10-07 | Fujitsu Ten Ltd | Image processing device, image processing method, and image processing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6088486A (en) | Video coding and video decoding apparatus | |
| US7308031B2 (en) | Video encoding apparatus and video decoding apparatus | |
| US6330364B1 (en) | Video coding and video decoding apparatus | |
| JP2007202169A (en) | Video decoding method and apparatus | |
| JP2007195209A (en) | Video encoding apparatus and method | |
| JPH104549A (en) | Image coder and image decoder | |
| JP2007166664A (en) | Image encoding method and device | |
| JP2007195210A (en) | Video decoding method and apparatus | |
| JP2007166665A (en) | Image decoding method and device | |
| US6754268B1 (en) | Video coding and video decoding apparatus | |
| JP2007166663A (en) | Image decoding method and device | |
| JP2007166662A (en) | Image encoding method and device | |
| JP2004350307A (en) | Image encoding device and image decoding device | |
| JP2004343788A (en) | Video encoding apparatus, video decoding apparatus and recording medium with video encoded data recorded thereon | |
| JP2004320808A (en) | Image coding apparatus | |
| JP2004320807A (en) | Image coding and apparatuses decoding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20100125 |