JP5342645B2 - Image coding apparatus and image coding method - Google Patents
Image coding apparatus and image coding method Download PDFInfo
- Publication number
- JP5342645B2 JP5342645B2 JP2011519503A JP2011519503A JP5342645B2 JP 5342645 B2 JP5342645 B2 JP 5342645B2 JP 2011519503 A JP2011519503 A JP 2011519503A JP 2011519503 A JP2011519503 A JP 2011519503A JP 5342645 B2 JP5342645 B2 JP 5342645B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- quantization
- representative point
- input image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000013139 quantization Methods 0.000 claims abstract description 90
- 239000013598 vector Substances 0.000 claims abstract description 72
- 230000002093 peripheral effect Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 28
- 239000006185 dispersion Substances 0.000 claims description 3
- 230000002542 deteriorative effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 11
- 238000009792 diffusion process Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 238000007429 general method Methods 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000000593 degrading effect Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 108700026244 Open Reading Frames Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
Description
本発明は、画像を効率的に符号化・復号化する画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法、及び画像表示装置に関する。 The present invention relates to an image encoding device, an image encoding method, an image decoding device, an image decoding method, and an image display device that efficiently encode and decode an image.
画像、音声情報をデジタルデータ化して記録、伝送する手法として、MPEG(Moving Picture Experts Group)方式等の符号化方式が策定され、MPEG−1規格、MPEG−2規格、MPEG−4規格等として国際標準の符号化方式となっている。さらに圧縮率を向上させる方式として、H.264/AVC(Advanced Video Coding)規格等が定められている。 As a technique for recording and transmitting image and audio information as digital data, an encoding method such as the MPEG (Moving Picture Experts Group) method has been established, and the MPEG-1 standard, MPEG-2 standard, MPEG-4 standard, etc. This is a standard encoding method. As a method for further improving the compression ratio, H. The H.264 / AVC (Advanced Video Coding) standard is defined.
一方、多値画像を符号化する方法として、特許文献1には、写真等の濃淡画像である多値画像を誤差拡散法によって2値化処理し、2値化画像を算術符号化方法を用いて符号化する技術が開示されている。
また特許文献2には、グレースケールや3次元色空間で表現された画像信号を効率的に量子化してデジタル化する方法として、画像信号を輝度・色差分離型均等色空間へ変換し、輝度軸については変換した画像信号を均等量子化し、色差平面については変換した画像信号を三角格子に基づく量子化を行う技術が開示されている。On the other hand, as a method for encoding a multi-valued image,
In
特許文献1に記載の技術は、濃淡画像(グレースケール画像)を対象としており、このままカラー画像に適用することはできない。仮にこの手法を用いてカラー画像の各色成分を独立に処理した場合、色バランスが崩れて色ノイズが発生し、主観画質を大きく劣化させてしまう。
The technique described in
また特許文献2に記載の技術では、画像信号を輝度軸と色差平面の3次元色空間として取り扱うので、色ノイズの発生を抑えることが期待できる。しかしながら、この手法では処理対象の画像の特徴に関係なく一定の量子化レベルが設定されているので、必ずしも画像に適応した高い符号化効率が得られるとは限らない。
In the technique described in
本発明は、上記課題に鑑みて為されたものであり、その目的は主観画質を大きく劣化させることなく、効率的に符号化が可能な画像符号化、復号化技術を提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an image encoding / decoding technique that enables efficient encoding without greatly degrading subjective image quality.
上記目的を達成するために、本発明の画像符号化装置は、輝度・色差空間における入力画像の画素値を代表する複数の代表点を決定する代表点決定部と、輝度・色差空間における入力画像の処理対象画素と最短距離になる代表点を用いて、入力画像の階調のベクトル量子化を行う階調ベクトル量子化部と、代表点の画素値の情報と入力画像の量子化情報とを符号化する代表点・量子化情報符号化部とを備える。ここに階調ベクトル量子化部は、処理対象画素の周辺画素をベクトル量子化した際の量子化誤差に処理対象画素との位置関係に応じた重み付けを行い、量子化誤差の合計値が拡散するように処理対象画素の画素値を補正し、補正した画素値に対して最短距離になる代表点を選択する。 In order to achieve the above object, an image encoding device according to the present invention includes a representative point determination unit that determines a plurality of representative points representing pixel values of an input image in the luminance / color difference space, and an input image in the luminance / color difference space. A gradation vector quantization unit that performs vector quantization of the gradation of the input image using a representative point that is the shortest distance from the processing target pixel, information on the pixel value of the representative point, and quantization information of the input image A representative point to be encoded / quantized information encoding unit; Here, the gradation vector quantization unit weights the quantization error when the peripheral pixels of the processing target pixel are vector-quantized according to the positional relationship with the processing target pixel, and the total value of the quantization error is diffused. In this manner, the pixel value of the processing target pixel is corrected, and a representative point having the shortest distance with respect to the corrected pixel value is selected.
また本発明の画像復号化装置は、輝度・色差空間における代表点を用いて画像の階調をベクトル量子化することで画像を符号化した符号化ストリームが入力するものであって、符号化ストリームから、代表点の画素値の情報と画像の量子化情報とを復号化する代表点・量子化情報復号化部と、代表点の画素値の情報と画像の量子化情報とを用いて、各画素の輝度・色差空間における階調ベクトルを復元する階調ベクトル復元部と、復元された階調ベクトルに対してフィルタ処理を行う高画質化フィルタと、を備える。 Also, the image decoding apparatus of the present invention inputs an encoded stream obtained by encoding an image by vector quantization of the gradation of the image using a representative point in the luminance / chrominance space. From the representative point / quantization information decoding unit that decodes the pixel value information of the representative point and the quantization information of the image, the pixel value information of the representative point and the quantization information of the image, A gradation vector restoring unit that restores a gradation vector in the luminance / color difference space of the pixel, and an image quality enhancement filter that performs a filtering process on the restored gradation vector.
本発明によれば、主観画質を大きく劣化させることなく、効率的に符号化が可能な画像符号化、復号化技術を提供することができる。 According to the present invention, it is possible to provide an image encoding / decoding technique that enables efficient encoding without significantly degrading the subjective image quality.
以下、本発明の実施例を、図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、本発明による画像符号化装置の一実施例を示す構成図である。画像符号化装置1は、画像を入力する画像入力部11と、画像内の領域の特徴を判定する領域判定部12と、一般的な方式で画像の符号化を行う画像符号化部13と、輝度・色差空間における画素の代表点の決定する代表点決定部14と、輝度・色差空間において代表点を用いて各画素を3次元的に量子化を行う階調ベクトル量子化部15と、代表点の画素値と量子化された画素情報を符号化する代表点・量子化情報符号化部16と、符号化ストリームを統合する符号統合部17を備える。
FIG. 1 is a block diagram showing an embodiment of an image encoding apparatus according to the present invention. The
以下では、色空間を輝度・色差空間として座標軸としてYUV(YCbCr)を用いる場合を例に挙げて説明するが、空間としてはこれ以外に、RGB、HSV、L*a*b*、XYZ等の空間を用いることができる。 In the following, the case where YUV (YCbCr) is used as a coordinate axis with the color space as the luminance / color difference space will be described as an example. However, as the space, other than this, RGB, HSV, L * a * b *, XYZ, etc. Space can be used.
各部の動作を説明する。画像入力部11は入力された画像を保持し、領域判定部12に渡す。領域判定部12は、画像の各処理対象領域について画像特徴を解析して処理方法の判定を行う。画像の領域は特定サイズのブロックとしてもよいし、これらブロックの集合体、あるいは領域分割等の前処理によって判別された領域としてもよい。
The operation of each part will be described. The
一般に画像には領域毎に特徴があり、領域毎に適切な符号化方式を切り替えることにより圧縮効率をより高めることができる。特に、色成分の変化が少なく輝度成分の変化の大きいところでは、輝度及び色差情報について3次元的に階調のベクトル量子化を行う。これにより本実施例では、主観画質を大きく劣化させることなく効率的な符号化を行うものである。 In general, an image has a feature for each region, and compression efficiency can be further increased by switching an appropriate encoding method for each region. In particular, where the change in the color component is small and the change in the luminance component is large, the vector quantization of the gradation is performed three-dimensionally on the luminance and color difference information. Thus, in this embodiment, efficient encoding is performed without significantly degrading the subjective image quality.
画像特徴の判定方法としては、例えば色成分の分散値を用いる。分散値とは、各要素の平均値に対する二乗誤差の平均値である。この分散値が所定値より小さい領域では(これを領域Aとする)、輝度・色差空間における階調ベクトル量子化による符号化を行い、分散値が所定値以上の領域であれば(領域Bとする)、一般的な符号化方式を用いる。これにより、色成分の変化が少ない領域Aでは、階調ベクトル量子化を行うことで主観画質をそれほど劣化させずに効率的な符号化を可能とする。なお、領域の判定は、後述の階調ベクトル量子化の際に、代表点の切り替えを行う領域を分離する場合にも行われる。 As the image feature determination method, for example, a variance value of color components is used. The variance value is an average value of square errors with respect to the average value of each element. In a region where this variance value is smaller than a predetermined value (this region is referred to as region A), encoding is performed by gradation vector quantization in a luminance / chrominance space. A general encoding method is used. As a result, in the area A where the change in the color component is small, efficient encoding can be performed without significantly degrading the subjective image quality by performing gradation vector quantization. The determination of the region is also performed when the region where the representative point is switched is separated during the gradation vector quantization described later.
画像符号化部13は、上記の領域判定によって一般的な符号化を行うと判定された領域Bに対して符号化を行う。これには、例えばH.264/AVC等の既存の国際標準符号化方式を用いる。符号化された画像データは符号統合部17に渡される。
The
代表点決定部14は、階調ベクトル量子化を用いて符号化する領域Aに対して、領域内の色情報に対する代表点を決定する。代表点の数は予め決めておいてもよいし、領域内の色のばらつきに応じて決定してもよい。以下では、4点の代表点を用いる例で説明する。代表点の決定方法には、色空間内に画素値をプロットし、投票やクラスタリング等の統計的手法を用いる。代表点の決定方法の詳細については後述する。決定した代表点の情報は、階調ベクトル量子化部15に送られる。なお、画像内部において画素値の分布が変化する領域では、選択する代表点を切り替えることでより適切なベクトル量子化が可能となる。
The representative
階調ベクトル量子化部15は、輝度・色差空間における代表点を用いて各画素の階調のベクトル量子化を行う。すなわち、各処理対象画素の位置を4点の代表点のいずれかを用いて近似し、どの代表点を用いたかを示す情報(量子化情報)を生成する。階調のベクトル量子化方法については後述する。各画素の量子化情報は、代表点・量子化情報符号化部16に送る。
The gradation
代表点・量子化情報符号化部16は、代表点の輝度・色差の情報と、各画素に対する量子化情報を符号化する。例えば代表点が4点だった場合、4点のY,U,Vの情報を符号化する。また各画素の量子化情報は、代表点が4点であれば、これらを区別するために2ビットで表現できる。これを符号化領域に対してスキャンし、ハフマン符号化、算術符号化等を用いてエントロピー符号化する。あるいは、4×4サイズ程度のブロック単位でパターンを符号にマッピングし、出現頻度の少ないパターンは似ている別のパターンに変換して符号化するベクトル量子化による符号化を用いてもよい。なお、代表点が領域によって切り替わる場合には、各領域単位で代表点の輝度・色差の情報を符号化する。符号化された代表点情報と量子化情報は、符号統合部17に送られる。
The representative point / quantization
符号統合部17は、画像符号化部13からの符号化データと、代表点・量子化情報符号化部16からの符号化情報を統合し、符号化ストリームとして出力する。その際符号化ストリームには、対象領域ごとにいずれの符号化方式を用いたかを示すフラグを付与する。例えば、階調ベクトル量子化による場合はフラグ=「1」とし、一般の符号化方式による場合はフラグ=「0」とする。
The
以上のように本実施例の画像符号化装置1では、色成分の変化が少なく輝度成分の変化の大きい画像領域では、代表点を用いた階調のベクトル量子化を行うことで、従来の符号化方式に比較し効率的な符号化が可能となる。
As described above, in the
図2A〜図2Cは、本実施例における代表点決定部14と階調ベクトル量子化部15の動作を詳細に説明する図である。以下では、Y,U,Vの輝度・色差空間において4点の代表点を決定し、これを基に誤差拡散法を利用して階調のベクトル量子化を行う例について説明する。
2A to 2C are diagrams illustrating in detail the operations of the representative
図2Aは代表点の決定を示す図である。まず、入力画像の各画素の値をY,U,Vを軸とする輝度・色差空間内にプロットし、各画素値をベクトルPで表す(黒丸で示す)。次にこれらの画素値を代表するベクトルP0,P1,P2,P3を決定する(白丸で示す)。代表点の決定方法には、一般的なクラスタリング手法等を用いることができる。例えば、P0,P1,P2,P3に対して適当な初期値を与え、新しい値をプロットする毎に重心を計算して調整すればよい。単純な方法としては、図に示すようにP0の値を(Y,U,V)=(255,128,128)に固定し、P1,P2,P3についてはY=0として、U,Vの平面内において各画素値によって投票を行い、U,Vの値を決定する。これによって代表点4点を決定する。 FIG. 2A is a diagram illustrating determination of representative points. First, the value of each pixel of the input image is plotted in a luminance / color difference space with Y, U, and V as axes, and each pixel value is represented by a vector P (indicated by a black circle). Next, vectors P0, P1, P2, and P3 representing these pixel values are determined (indicated by white circles). A general clustering method or the like can be used as a representative point determination method. For example, an appropriate initial value may be given to P0, P1, P2, and P3, and the center of gravity may be calculated and adjusted each time a new value is plotted. As a simple method, as shown in the figure, the value of P0 is fixed to (Y, U, V) = (255, 128, 128), and P = 0, P2, and P3 are set to Y = 0. Voting is performed by each pixel value in the plane, and the values of U and V are determined. As a result, four representative points are determined.
図2Bは誤差ベクトルの計算を示す図である。処理対象画素(*印)のベクトルをP*、その周辺画素(a,b,c,d)のベクトルをPa,Pb,Pc,Pdとする。ここで周辺画素については既に代表点が選択されていて、それぞれP0,P2,P2,P3で近似されている。このとき各周辺画素には、選択された代表点との間で誤差ベクトルVa=P0−Pa,Vb=P2−Pb,Vc=P2−Pc,Vd=P3−Pdが生じている。 FIG. 2B is a diagram illustrating calculation of an error vector. The vector of the pixel to be processed (marked with *) is P *, and the vectors of its surrounding pixels (a, b, c, d) are Pa, Pb, Pc, Pd. Here, representative points have already been selected for the peripheral pixels and are approximated by P0, P2, P2, and P3, respectively. At this time, error vectors Va = P0−Pa, Vb = P2−Pb, Vc = P2−Pc, and Vd = P3−Pd are generated in each peripheral pixel with the selected representative point.
図2Cは画素値の量子化を示す図である。処理対象画素の代表点には両者の距離が最短となる代表点を選択するが、まず、処理対象画素の位置について、周辺画素の誤差ベクトルが拡散されるように補正する(誤差拡散法)。始めに、周辺画素のベクトル量子化に伴う誤差ベクトル(量子化誤差)の合計値を求める。その際、対象画素*との位置関係に応じた重み付けを行い、例えばその係数をa:b:c:d=1:3:1:3とする。その結果、誤差ベクトルの合計値Vtotは、
Vtot=Va+3Vb+Vc+3Vd
となる。なお、周辺画素の範囲や重み付け係数は一般の誤差拡散法と同様でよい。FIG. 2C is a diagram illustrating quantization of pixel values. A representative point having the shortest distance is selected as the representative point of the processing target pixel. First, the position of the processing target pixel is corrected so that the error vector of the surrounding pixels is diffused (error diffusion method). First, a total value of error vectors (quantization errors) associated with vector quantization of peripheral pixels is obtained. At that time, weighting is performed according to the positional relationship with the target pixel *, and for example, the coefficient is set to a: b: c: d = 1: 3: 1: 3. As a result, the total error vector Vtot is
Vtot = Va + 3Vb + Vc + 3Vd
It becomes. The range of peripheral pixels and the weighting coefficient may be the same as those in a general error diffusion method.
次に、対象画素の画素値P*を周辺画素の誤差ベクトルVtotで補正する。補正値をPqとすると、
Pq=P*+Vtot
となる。そして、Pqと代表点であるP0,P1,P2,P3の輝度・色差空間内の距離を計算し、最短距離となる代表点を選択する。図の例では、P3が代表点として選択される。Next, the pixel value P * of the target pixel is corrected with the error vector Vtot of the peripheral pixels. If the correction value is Pq,
Pq = P * + Vtot
It becomes. Then, the distance in the luminance / chrominance space between Pq and representative points P0, P1, P2, and P3 is calculated, and the representative point that is the shortest distance is selected. In the illustrated example, P3 is selected as the representative point.
このように重み付けされた周辺誤差を考慮して代表点を選択することによって、符号化誤差が拡散し、カラー画質の劣化を抑えることができる。上記では誤差拡散法を例に挙げたが、他にマトリクスディザ法等の2次元画像に用いられる階調量子化手法を用いることもできる。 By selecting the representative points in consideration of the weighted peripheral errors in this way, the coding error is diffused, and deterioration in color image quality can be suppressed. In the above description, the error diffusion method is taken as an example. In addition, a gradation quantization method used for a two-dimensional image such as a matrix dither method can also be used.
図3は、本実施例における画像符号化方法の流れを示すフローチャートである。
ステップS101において原画像を入力し、ステップS102において画面を複数の処理領域(例えばブロック領域)に分割する。ステップS103において処理対象領域に移動する。FIG. 3 is a flowchart showing the flow of the image encoding method in the present embodiment.
In step S101, an original image is input, and in step S102, the screen is divided into a plurality of processing areas (for example, block areas). In step S103, the process moves to the processing target area.
ステップS104では、領域判定部12により対象領域の色成分の分散値を求めて、その処理方式を判定する。すなわち、分散値が所定値より小さい場合はステップS105へ進み、輝度・色差空間における階調ベクトル量子化を行う。分散値が所定値より大きい場合はステップS108へ進み、画像符号化部13により領域内を一般的な方式で画像符号化する。
In step S104, the
ステップS105では、代表点決定部14により領域内の画素の輝度・色差情報から代表点を決定する。ステップS106では、階調ベクトル量子化部15により代表点を用いて各画素の階調のベクトル量子化を行う。ステップS107では、代表点・量子化情報符号化部16により代表点と各画素の量子化情報を符号化する。
In step S105, the representative
ステップS109では、前記S107またはS108で符号化したデータをメモリに蓄積する。ステップS110では全ての領域の処理を終了したかどうかを判定する。未処理の領域があれば前記ステップS103に戻り、次の処理対象領域に移動して符号化処理を続ける。 In step S109, the data encoded in S107 or S108 is stored in a memory. In step S110, it is determined whether or not the processing for all areas has been completed. If there is an unprocessed area, the process returns to step S103 to move to the next process target area and continue the encoding process.
ステップS111では、符号統合部17によりメモリに蓄積した各領域の符号化データを統合し符号化ストリームとして出力する。その際符号化ストリームには、各領域をいずれの符号化方式を用いたかを示すフラグを付与する。
In step S111, the encoded data of each area accumulated in the memory by the
図4は、本発明による画像復号化装置の一実施例を示す構成図である。画像復号化装置2は、符号化ストリームを入力し符号を分離する符号分離部21と、画像を一般的な方式で復号化する画像復号化部22と、代表点・量子化情報を復号化する代表点・量子化情報復号化部23と、輝度・色差空間において各画素の階調ベクトルを復元する階調ベクトル復元部24と、復元画像にフィルタ処理を行う高画質化フィルタ25と、画像を合成する画像合成部26と、画像を出力する画像出力部27を備える。
FIG. 4 is a block diagram showing an embodiment of an image decoding apparatus according to the present invention. The
各部の動作を説明する。符号分離部21は符号化ストリームを入力し、付与されているフラグ等により、一般の方式によって符号化された領域(領域B)か、輝度・色差空間における階調ベクトル量子化によって符号化された領域(領域A)かを判定する。画像復号化部22は、領域Bと判定された符号化データについて一般的な方式で復号化し、復号画像を生成する。これには、画像符号化装置1の画像符号化部13に対応する既存の画像復号化方式(例えばH.264/AVC等)を用いる。
The operation of each part will be described. The
代表点・量子化情報復号化部23は、領域Aと判定された符号化データについて、代表点の輝度・色差の情報と、各画素にどの代表点を用いたかを示す情報(量子化情報)を復号化する。これには、画像符号化装置1の代表点・量子化情報符号化部16に対応する復号化方式を用いる。階調ベクトル復元部24は、代表点の輝度・色差の情報と各画素の量子化情報とを用いて、各画素の輝度・色差空間における階調ベクトルを復元する。
The representative point / quantization
高画質化フィルタ25では、復元された階調ベクトル(画素値)に対してフィルタ処理を行うことにより主観画質を向上させる。この処理は各色成分に対して独立に行ってもよいし、まとめて処理をしてもよい。最も簡単な方法は、各色成分に対してローパスフィルタをかけることである。復元画像においては各画素の値は代表点によって量子化されているが、周辺画素とのローパスフィルタ処理により、空間的な補間を行い画質を向上させることができる。他の方法としては、エッジの方向性を考慮したフィルタ処理や、ルックアップテーブル(LUT)を用いたフィルタ処理等がある。
The image
画像合成部26は、画像復号化部22によって復号された画像と高画質化フィルタ25によって出力された画像を合成し、画像出力部24は合成された画像を出力する。
The
以上のように本実施例の画像復号化装置2では、代表点を用いた階調のベクトル量子化により効率的に符号化された符号化ストリームを復号化し、高画質の復号画像を復元することが可能となる。
As described above, the
図5A〜図5Cは、本実施例における階調ベクトル復元部24と高画質化フィルタ25から出力される画像の例を示す図である。
5A to 5C are diagrams illustrating examples of images output from the gradation
図5Aは復号化対象の原画像である。図5Bは、階調ベクトル復元部24において代表点を用いて復元された画像である。この段階では、代表点の画素値のみで構成されるため、各画素を拡大するとバラバラの値がランダムに並んでいるようにも見える。
FIG. 5A shows an original image to be decoded. FIG. 5B is an image restored using the representative points in the gradation
図5Cは、高画質化フィルタ25により処理した画像である。ここでは、ローパスフィルタあるいはエッジを考慮した適応的な非等方拡散フィルタ等を用いて周辺画素とのフィルタ処理を行い、図示するように高画質な画像を得ることができる。このようなフィルタ処理を組み合わせることによって、少ない代表点を用いた量子化にもかかわらず、高画質の復号画像を復元することができる。ここでのフィルタ処理による改善効果は、輝度・色差空間における階調ベクトル量子化と組み合わせることで特に有効となる。すなわち、輝度・色差空間での代表点を選択して3次元的に量子化したものであるから、復号画像において色ノイズの発生を抑えることができる。
FIG. 5C is an image processed by the image
図6は、本実施例における画像復号化方法の流れを示すフローチャートである。
ステップS201において符号化ストリームを入力し、ステップS202において画面の処理対象領域に移動する。FIG. 6 is a flowchart showing the flow of the image decoding method in the present embodiment.
In step S201, an encoded stream is input, and in step S202, the process moves to a processing target area on the screen.
ステップS203では、符号分離部21により対象領域の符号化方式をストリームに付与されているフラグで判定する。フラグ=「1」は階調ベクトル量子化による符号化の場合であり、ステップS204へ進む。フラグ=「0」は一般の符号化方式による場合であり、ステップS207へ進み、画像復号化部22により領域内を指定された方式で画像の復号化を行う。
In step S <b> 203, the
ステップS204では、代表点・量子化情報復号化部23により符号化ストリームから
代表点と各画素の量子化情報を復号化する。ステップS205では、階調ベクトル復元部
24により輝度・色差空間において代表点を用いて各画素の階調ベクトルの復元を行う。
ステップS206では、高画質化フィルタ25により復元された画像にフィルタ処理を行
う。In step S204, the representative point / quantization
In step S206, the image restored by the image
ステップS208では、画像合成部26によりステップS206及びステップS207によって生成された画像を合成する。ステップS209では全ての領域の処理を終了したかどうかを判定する。未処理の領域があれば前記ステップS202に戻り、次の処理対象領域に移動し復号化処理を続ける。ステップS210では、画像出力部27により合成された画像を出力する。
In step S208, the images generated in steps S206 and S207 are combined by the
図7は、本発明による画像表示装置の一実施例を示す構成図である。本実施例の画像表示装置3は、階調ベクトル量子化によって符号化された符号化ストリームを入力するものとし、これを復号化してディスプレイ33に画像表示するものである。その構成は、代表点・量子化情報を復号化する代表点・量子化情報復号化部31と、輝度・色差空間において階調ベクトルを復元する階調ベクトル復元部32とを有し、これらは実施例2(図4)における代表点・量子化情報復号化部23と、階調ベクトル復元部24と同様である。ただし本実施例では、図4における高画質化フィルタ25を省略している。
FIG. 7 is a block diagram showing an embodiment of the image display device according to the present invention. The
本実施例の装置では、実施例2と同様に画像の復号化を行うが、復号画像に対してフィルタ処理を行わない。これは、人間の視野に対して画素が十分に小さく細かい場合、あるいは、遠くから眺めることによって相対的に画素が小さい場合には、人間の視覚には、復号画像に対してフィルタ作用が働くからである。すなわち、前記図5Bのように代表点のみで構成された画像が、図5Cのようなフィルタ後の画像のように見える。これは、例えば極少数の発色機能しか持たない電子ペーパーデバイスや、屋外の巨大ディスプレイ装置の場合に特に有効であり、階調のベクトル量子化による画像処理を行うことで、一般の量子化方法よりも高い画質で画像を表示することが可能となる。 In the apparatus of the present embodiment, the image is decoded in the same manner as in the second embodiment, but the filtering process is not performed on the decoded image. This is because if the pixels are sufficiently small and fine with respect to the human visual field, or if the pixels are relatively small when viewed from a distance, the human vision will have a filtering effect on the decoded image. It is. That is, an image composed of only representative points as shown in FIG. 5B looks like an image after filtering as shown in FIG. 5C. This is particularly effective in the case of electronic paper devices that have a very small number of coloring functions and outdoor large display devices. In addition, it is possible to display an image with high image quality.
以上のように各実施例で説明した画像符号化・復号化技術によれば、従来の符号化方式に比較し効率的な符号化が可能となり、特にカラー画質の劣化を抑えることで、高画質の復号画像を復元することが可能となる。 As described above, according to the image encoding / decoding technology described in each embodiment, it is possible to perform efficient encoding as compared with the conventional encoding method, and in particular, by suppressing deterioration of color image quality, It is possible to restore the decoded image.
本発明の画像符号化装置、画像復号化装置、及びその方法は、画像記録装置、プレーヤ、携帯電話、携帯端末、デジタルカメラTV、プロジェクタ、各種ディスプレイ、ゲーム機等の映像処理装置に広く適用することができる。 The image encoding device, the image decoding device, and the method thereof according to the present invention are widely applied to video processing devices such as an image recording device, a player, a mobile phone, a mobile terminal, a digital camera TV, a projector, various displays, and a game machine. be able to.
1…画像符号化装置、2…画像復号化装置、3…画像表示装置、11…画像入力部、12…領域判定部、13…画像符号化部、14…代表点決定部、15…階調ベクトル量子化部、16…代表点・量子化情報符号化部、17…符号統合部、21…符号分離部、22…画像復号化部、23,31…代表点・量子化情報復号化部、24,32…階調ベクトル復元部、25…高画質化フィルタ、26…画像合成部、27…画像出力部、33…ディスプレイ。
DESCRIPTION OF
Claims (2)
輝度・色差空間における前記入力画像の画素値を代表する複数の代表点を決定する代表点決定部と、
輝度・色差空間における前記入力画像の処理対象画素と最短距離になる前記代表点を用いて、前記入力画像の階調のベクトル量子化を行う階調ベクトル量子化部と、
前記代表点の画素値の情報と前記入力画像の量子化情報とを符号化する代表点・量子化情報符号化部と、
前記入力画像の各処理対象領域における色成分の分散値を求め、該領域の符号化方式を判定する領域判定部とを備え、
前記階調ベクトル量子化部は、前記処理対象画素の周辺画素をベクトル量子化した際の量子化誤差に前記処理対象画素との位置関係に応じた重み付けを行い、該量子化誤差の合計値が拡散するように前記処理対象画素の画素値を補正し、補正した画素値に対して最短距離になる前記代表点を選択し、
前記領域判定部は、前記分散値が所定値より小さい領域に対し、前記した階調のベクトル量子化による画像の符号化を行なわせることを特徴とする画像符号化装置。 In an image encoding device that encodes an input image,
A representative point determination unit for determining a plurality of representative points representing pixel values of the input image in the luminance / color difference space;
A gradation vector quantization unit that performs vector quantization of the gradation of the input image using the representative point that is the shortest distance from the processing target pixel of the input image in the luminance / color difference space;
A representative point / quantization information encoding unit that encodes pixel value information of the representative point and quantization information of the input image ;
An area determination unit that obtains a dispersion value of a color component in each processing target area of the input image and determines an encoding method of the area;
The gradation vector quantization unit weights the quantization error when the peripheral pixels of the processing target pixel are vector quantized according to the positional relationship with the processing target pixel, and the total value of the quantization errors is calculated. Correct the pixel value of the processing target pixel so as to diffuse, select the representative point that is the shortest distance to the corrected pixel value ,
The area determination unit causes an image to be encoded by vector quantization of the gradation described above for an area where the variance value is smaller than a predetermined value .
輝度・色差空間における前記入力画像の画素値を代表する複数の代表点を決定する代表点決定ステップと、A representative point determining step for determining a plurality of representative points representing pixel values of the input image in the luminance / color difference space;
輝度・色差空間における前記入力画像の処理対象画素と最短距離になる前記代表点を用いて、前記入力画像の階調のベクトル量子化を行う階調ベクトル量子化ステップと、A gradation vector quantization step for performing vector quantization of the gradation of the input image using the representative point that is the shortest distance from the processing target pixel of the input image in the luminance / color difference space;
前記代表点の画素値の情報と前記入力画像の量子化情報とを符号化する代表点・量子化情報符号化ステップと、A representative point / quantization information encoding step for encoding pixel value information of the representative point and quantization information of the input image;
前記入力画像の各処理対象領域における色成分の分散値を求め、該領域の符号化方式を判定する領域判定ステップとを備え、An area determination step of obtaining a dispersion value of color components in each processing target area of the input image and determining an encoding method of the area;
前記階調ベクトル量子化ステップでは、前記処理対象画素の周辺画素をベクトル量子化した際の量子化誤差に前記処理対象画素との位置関係に応じた重み付けを行い、該量子化誤差の合計値が拡散するように前記処理対象画素の画素値を補正し、補正した画素値に対して最短距離になる前記代表点を選択し、In the gradation vector quantization step, the quantization error when the peripheral pixels of the pixel to be processed are vector-quantized is weighted according to the positional relationship with the pixel to be processed, and a total value of the quantization errors is calculated. Correct the pixel value of the processing target pixel so as to diffuse, select the representative point that is the shortest distance to the corrected pixel value,
前記領域判定ステップでは、前記分散値が所定値より小さい領域に対し、前記した階調のベクトル量子化による画像の符号化を行なわせることを特徴とする画像符号化方法。In the region determination step, the image encoding method is characterized in that an image is encoded by vector quantization of the gradation described above for an area where the variance value is smaller than a predetermined value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011519503A JP5342645B2 (en) | 2009-06-15 | 2010-05-18 | Image coding apparatus and image coding method |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009142262 | 2009-06-15 | ||
JP2009142262 | 2009-06-15 | ||
PCT/JP2010/003341 WO2010146769A1 (en) | 2009-06-15 | 2010-05-18 | Image encoding device, image encoding method, image decoding device, image decoding method, and image display device |
JP2011519503A JP5342645B2 (en) | 2009-06-15 | 2010-05-18 | Image coding apparatus and image coding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2010146769A1 JPWO2010146769A1 (en) | 2012-11-29 |
JP5342645B2 true JP5342645B2 (en) | 2013-11-13 |
Family
ID=43356104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011519503A Expired - Fee Related JP5342645B2 (en) | 2009-06-15 | 2010-05-18 | Image coding apparatus and image coding method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5342645B2 (en) |
WO (1) | WO2010146769A1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63158972A (en) * | 1986-12-23 | 1988-07-01 | Matsushita Electric Works Ltd | Image compression system |
JPH02279080A (en) * | 1989-04-20 | 1990-11-15 | Oki Electric Ind Co Ltd | Picture coder and decoder |
JPH04188952A (en) * | 1990-11-22 | 1992-07-07 | Canon Inc | Color picture communication system |
JPH118848A (en) * | 1997-06-19 | 1999-01-12 | Matsushita Electric Ind Co Ltd | Image encoding method and device therefor |
JP2003131652A (en) * | 2001-07-06 | 2003-05-09 | Eastman Kodak Co | Method for representing digital color image using set of palette color based on detected important color |
JP2005117502A (en) * | 2003-10-09 | 2005-04-28 | Sony Corp | Encoding sevice and encoding method, decoding device and decoding method, program and recording medium |
-
2010
- 2010-05-18 JP JP2011519503A patent/JP5342645B2/en not_active Expired - Fee Related
- 2010-05-18 WO PCT/JP2010/003341 patent/WO2010146769A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63158972A (en) * | 1986-12-23 | 1988-07-01 | Matsushita Electric Works Ltd | Image compression system |
JPH02279080A (en) * | 1989-04-20 | 1990-11-15 | Oki Electric Ind Co Ltd | Picture coder and decoder |
JPH04188952A (en) * | 1990-11-22 | 1992-07-07 | Canon Inc | Color picture communication system |
JPH118848A (en) * | 1997-06-19 | 1999-01-12 | Matsushita Electric Ind Co Ltd | Image encoding method and device therefor |
JP2003131652A (en) * | 2001-07-06 | 2003-05-09 | Eastman Kodak Co | Method for representing digital color image using set of palette color based on detected important color |
JP2005117502A (en) * | 2003-10-09 | 2005-04-28 | Sony Corp | Encoding sevice and encoding method, decoding device and decoding method, program and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JPWO2010146769A1 (en) | 2012-11-29 |
WO2010146769A1 (en) | 2010-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023063449A (en) | Device and method of improving perceptual luminance nonlinearity-based image data exchange across different display capabilities | |
JP5868925B2 (en) | Method and apparatus for post-processing assisted by an encoder | |
US8594188B2 (en) | High precision encoding and decoding of video images | |
US7945115B2 (en) | Visual processing device, visual processing method, visual processing program, and semiconductor device | |
US20210067785A1 (en) | Video encoding rate control for intra and scene change frames using machine learning | |
US20080123979A1 (en) | Method and system for digital image contour removal (dcr) | |
KR20040007687A (en) | Method and system for achieving coding gains in wavelet-based image codecs | |
JP4360416B2 (en) | Image compression method, image compression apparatus, and program | |
JP2012199963A (en) | Variance based adaptive block size dct image compression | |
JP2009545212A (en) | Method and apparatus for post-processing assisted by an encoder | |
JP2011175085A (en) | Display driving circuit | |
JP2009153128A (en) | Selective chrominance decimation for digital images | |
WO2005022921A1 (en) | Moving picture encoding method and moving picture decoding method | |
JP4641784B2 (en) | Gradation conversion processing device, gradation conversion processing method, image display device, television, portable information terminal, camera, integrated circuit, and image processing program | |
CN109874012B (en) | Video coding method, encoder, electronic device and medium | |
CN111556320A (en) | Data processing system | |
JP4552400B2 (en) | Image display device, image display method, and image display program | |
JP5342645B2 (en) | Image coding apparatus and image coding method | |
US20230412808A1 (en) | Determining adaptive quantization matrices using machine learning for video coding | |
JP2003264830A (en) | Image encoder and image decoder | |
JP4414464B2 (en) | Visual processing device, visual processing method, visual processing program, and semiconductor device | |
US20210136378A1 (en) | Adaptive quality boosting for low latency video coding | |
JP4126298B2 (en) | Visual processing device, visual processing method, visual processing program, and semiconductor device | |
JP5181059B2 (en) | Image encoding device, image decoding device, image encoding method, and image decoding method | |
JP2006271002A (en) | Coding apparatus and coding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130809 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5342645 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |