JP2012065081A - Image encoding method, image decoding method, image encoding apparatus, and image decoding apparatus - Google Patents
Image encoding method, image decoding method, image encoding apparatus, and image decoding apparatus Download PDFInfo
- Publication number
- JP2012065081A JP2012065081A JP2010206530A JP2010206530A JP2012065081A JP 2012065081 A JP2012065081 A JP 2012065081A JP 2010206530 A JP2010206530 A JP 2010206530A JP 2010206530 A JP2010206530 A JP 2010206530A JP 2012065081 A JP2012065081 A JP 2012065081A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- prediction
- value
- image
- predicted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
本発明は、画像符号化方法、画像復号化方法、画像符号化装置及び画像復号化装置に関する。 The present invention relates to an image encoding method, an image decoding method, an image encoding device, and an image decoding device.
医療用の画像診断装置において、CTやMRI等の技術が利用されている。CTはX線等の放射線を用いて、MRIは核磁気共鳴現象を用いて、人体等の断層を撮影する技術である。撮影された画像は、DICOM（Digital Imaging and COmmunication in Medicine）と呼ばれる規格方式に従ってデジタルデータ化して記録される。特に医療用画像の場合、画像のオリジナルデータを保存する必要があるため、可逆なロスレス圧縮方式であるJPEG-LS規格（ISO-14495-1 / ITU-T T.87）等の圧縮方式によって圧縮される。 Techniques such as CT and MRI are used in medical diagnostic imaging apparatuses. CT is a technique that uses X-rays or other radiation, and MRI is a technique that uses a nuclear magnetic resonance phenomenon to image a tomogram of the human body. The captured image is recorded as digital data according to a standard system called DICOM (Digital Imaging and Communication in Medicine). Especially in the case of medical images, it is necessary to save the original data of the image, so it is compressed by a compression method such as the JPEG-LS standard (ISO-14495-1 / ITU-T T.87), which is a lossless compression method. Is done.
JPEG-LSは、画素単位の予測方式と、コンテキストモデリングとゴロム符号を用いたエントロピー符号化方式とを含み、比較的単純な処理で高い圧縮率を実現する圧縮方式である。このJPEG-LSの予測方式は、例えば符号化対象画素Xの画素値を近傍３画素A、B、Cから予測する式（１）で示される。 JPEG-LS is a compression method that includes a pixel-based prediction method and an entropy coding method using context modeling and Golomb code, and achieves a high compression rate with relatively simple processing. This JPEG-LS prediction method is represented by, for example, Expression (1) for predicting the pixel value of the encoding target pixel X from the three neighboring pixels A, B, and C.
式（１）において、Xは符号化対象画素、Aは画素Xの左画素、Bは上画素、Cは左上画素である。そうすると、この式（１）は、Xの左に縦方向のエッジが存在する場合にはBを用いてXを予測し、Xの上に横方向のエッジが存在する場合にはAを用いてXを予測し、エッジが存在しない場合にはA+B-Cを用いてXを予測することを示す。このように式（１）は、簡単なエッジ検出式になっている。 In Expression (1), X is a pixel to be encoded, A is a left pixel of the pixel X, B is an upper pixel, and C is an upper left pixel. Then, this equation (1) predicts X using B if there is a vertical edge to the left of X, and uses A if there is a horizontal edge on X. This indicates that X is predicted, and when there is no edge, X is predicted using A + BC. Thus, Expression (1) is a simple edge detection expression.
しかしながら、この予測方式は、自然画像に対して汎用的に効果があるように設計されている。そのため、例えば医療用画像のようなノイズを多く含む画像に対して必ずしも高い精度で予測できない課題がある。 However, this prediction method is designed to have a general effect on natural images. Therefore, there is a problem that cannot be predicted with high accuracy for an image including a lot of noise such as a medical image.
このような課題を解決するために、符号化対象画素の画素値を、最小二乗法やニュートラルネットワークを用いて重み付き予測する方式が提案されている（特許文献１〜３参照）。特許文献１〜３に開示された技術によれば、符号化対象画素の画素値を、所定の参照範囲内の近傍画素に基づいて重み付き予測することによって、予測精度を高めている。
In order to solve such a problem, a method has been proposed in which a pixel value of an encoding target pixel is weighted using a least square method or a neutral network (see
また、任意の画素の画素値を、符号化対象画素の予測値とする方式が提案されている（特許文献４参照）。特許文献４に開示された技術によれば、隣接画素（直前・直上・左上・右上）及び同一ライン上の非隣接画素のいずれかを、符号化対象画素の予測値とすることによって、予測精度を高めている。 Further, a method has been proposed in which a pixel value of an arbitrary pixel is used as a predicted value of an encoding target pixel (see Patent Document 4). According to the technique disclosed in Patent Document 4, prediction accuracy is obtained by using any one of an adjacent pixel (immediately before, immediately above, upper left, and upper right) and a non-adjacent pixel on the same line as a predicted value of an encoding target pixel. Is increasing.
しかしながら、特許文献１〜３に開示された技術のように重み付き予測を用いなくても、符号化対象画素の時空間近傍の画素から、符号化対象画素との差分が最も小さい画素を適切に選択する方が、JPEG-LSの圧縮率よりも高い圧縮率を実現することができる。
However, even if the weighted prediction is not used as in the techniques disclosed in
一方、特許文献４に開示された技術では、任意の画素の画素値を、符号化対象画素の画予測値としているが、符号化対象画素との差分が最も小さい画素を選択する点については検討されていなかった。そのため、必ずしも高い圧縮率を実現できない課題があった。 On the other hand, in the technique disclosed in Patent Document 4, the pixel value of an arbitrary pixel is set as the image prediction value of the encoding target pixel. However, the point of selecting the pixel having the smallest difference from the encoding target pixel is considered. Was not. For this reason, there is a problem that a high compression rate cannot always be realized.
本発明は、上述した課題を考慮したものであって、符号化対象画素との差分が最も小さい画素を適切に選択し、より高い圧縮率を実現する画像符号化方法等を提供することを目的とする。 The present invention has been made in consideration of the above-described problems, and an object thereof is to provide an image encoding method or the like that appropriately selects a pixel having the smallest difference from a pixel to be encoded and realizes a higher compression rate. And
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。 In order to solve the above problems, for example, the configuration described in the claims is adopted.
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、符号化対象画像内の着目画素の画素値を、当該着目画素の近傍の所定の範囲内の複数の参照画素の画素値から予測して符号化する画像符号化方法であって、前記符号化対象画像から抽出される複数の特徴量に基づいて、前記着目画素の画素値の予測方法及び前記予測方法において用いられる予測パラメータを学習する手順と、学習された前記予測方法及び前記予測パラメータに基づいて、前記複数の参照画素から一つの参照画素を選択し、選択された参照画素の画素値を、前記着目画素の予測値として予測する手順と、予測された前記着目画素の予測値と、前記着目画素の画素値との差分を、予測誤差として算出する手順と、算出された予測誤差と、前記予測パラメータとを符号化する手順と、を含むことを特徴とする。 The present application includes a plurality of means for solving the above-described problems. To give an example, the pixel value of the target pixel in the encoding target image is set to a plurality of reference pixels in a predetermined range near the target pixel. An image encoding method for predicting and encoding from a pixel value of the pixel, and used in the pixel value prediction method and the prediction method based on a plurality of feature amounts extracted from the encoding target image A reference pixel selected from the plurality of reference pixels based on the learned prediction parameter, the learned prediction method and the prediction parameter, and the pixel value of the selected reference pixel is determined as the target pixel. A predicted value of the predicted pixel of interest, a procedure of calculating the difference between the predicted value of the target pixel of interest and the pixel value of the target pixel of prediction as the prediction error, the calculated prediction error, and the prediction parameter Characterized in that it comprises a step of encoding the meter, the.
本発明によれば、符号化対象画素との差分が最も小さい画素を適切に選択し、より高い圧縮率を実現することができる。 According to the present invention, it is possible to appropriately select a pixel having the smallest difference from the encoding target pixel and realize a higher compression rate.
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。 Problems, configurations, and effects other than those described above will be clarified by the following description of embodiments.
以下、本発明の実施の形態について図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
（第一の実施形態）
図１Ａは、本発明の第一の実施形態の画素予測方式の概要図である（その１）。第一の実施形態の画像符号化方式では、画像を左上から順にラスタスキャンし、画素単位に符号化する。具体的には、処理対象画素yの予測値ypを、近傍の予測候補画素（図１Ａでは、A、B、C、D）の画素値から選択する。その後、予測誤差y-ypを符号化する。
(First embodiment)
FIG. 1A is a schematic diagram of a pixel prediction method according to the first embodiment of the present invention (part 1). In the image encoding method of the first embodiment, images are raster scanned sequentially from the upper left and encoded in units of pixels. Specifically, the prediction value yp of the processing target pixel y is selected from the pixel values of neighboring prediction candidate pixels (A, B, C, and D in FIG. 1A). Thereafter, the prediction error y-yp is encoded.
図１Ｂは、本発明の第一の実施形態の画素予測方式の概要図である（その２）。図１Ｂは、図１Ａに示す画素予測方式を、動画像又は医療用のマルチスライス画像に適用可能に拡張した例を示す。この場合、過去フレーム（別フレーム）の画素を、予測候補画素に加えることができる。例えば、過去フレームにおいて処理対象画素yと空間的に同じ位置にある画素S（collocated pixel）を、予測候補画素に加える。そして、処理対象画素yの予測値ypを、予測候補画素（図１Ｂでは、A、B、C、D、S）の画素値から選択する。その後、予測誤差y-ypを符号化する。 FIG. 1B is a schematic diagram of a pixel prediction method according to the first embodiment of the present invention (part 2). FIG. 1B shows an example in which the pixel prediction method shown in FIG. 1A is extended to be applicable to moving images or medical multi-slice images. In this case, the pixels of the past frame (different frames) can be added to the prediction candidate pixels. For example, a pixel S (collocated pixel) that is spatially the same position as the processing target pixel y in the past frame is added to the prediction candidate pixel. Then, the prediction value yp of the processing target pixel y is selected from the pixel values of the prediction candidate pixels (A, B, C, D, and S in FIG. 1B). Thereafter, the prediction error y-yp is encoded.
以上、本発明の第一の実施形態における画素予測方式の概要について説明してきた。以下では、複数の識別器を用いて、好適に予測値ypを求める方式について説明する。 The outline of the pixel prediction method in the first embodiment of the present invention has been described above. In the following, a method for suitably obtaining the predicted value yp using a plurality of discriminators will be described.
図２は、本発明の第一の実施形態の画像符号化装置２０５の一例を示すブロック図である。同図に示される画像符号化装置２０５は、学習部２０１、画素予測部２０２、減算部２０３、エントロピー符号化部２０４を備える。なお、各部２０１〜２０４は、ハードウェアによって構成されてもよいし、ソフトウェアによって構成されていてもよい。また、ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。
FIG. 2 is a block diagram illustrating an example of the
学習部２０１は、複数個の識別器学習部２０１−１〜２０１−Ｎ（Ｎは整数）を備え、入力画像に対する圧縮効率の高い識別器２０２−１〜２０２−Ｎ及び予測パラメータを学習する。これら識別器学習部２０１−１〜２０１−Ｎは多段接続されており、AdaBoost学習やバギング等のアンサンブル学習の手法に基づいて、それぞれ識別器２０２−１〜２０２−Ｎを生成する。予測パラメータは、各識別器２０２−１〜２０２−Ｎによる画素予測に用いられる各種パラメータである。詳細には後述する。なお、識別器学習部２０１−１〜２０１−Ｎの個数は、予測候補画素の数Mよりも1少ないM-1個である。
The
例えば図１Ａの例では、予測候補画素が4個（A、B、C、D）であるため、識別器学習部２０１−１〜２０１−Ｎは3個である。すなわち、Aを予測値ypとすべきか否かを識別するための第一の識別器学習部２０１−１、Bを予測値ypとすべきか否かを識別するための第二の識別器学習部２０１−２、Cを予測値ypとすべきか又はDを予測値ｙｐとすべきかを識別するための第三の識別器学習部２０１−３が多段接続される。なお、各識別器学習部２０１−１〜２０１−３の接続順は入れ替えてもよい。 For example, in the example of FIG. 1A, since there are four prediction candidate pixels (A, B, C, D), the number of classifier learning units 201-1 to 201-N is three. That is, the first discriminator learning unit 201-1 for identifying whether or not A should be the predicted value yp, the second discriminator learning unit for identifying whether or not B should be the predicted value yp 201-2, a third discriminator learning unit 201-3 for identifying whether C should be a predicted value yp or D should be a predicted value yp is connected in multiple stages. Note that the connection order of the classifier learning units 201-1 to 201-3 may be changed.
一方、図１Ｂの例では、予測候補画素が5個（A、B、C、D、S）であるため、識別器学習部２０１−１〜２０１−Ｎは4個である。なお、各識別器学習部２０１−１〜２０１−４の接続順は入れ替えてもよい。すなわち、S→A→C→B→D等の順番で予測値ypとすべきか否かを識別するように識別器を接続してもよい。 On the other hand, in the example of FIG. 1B, since there are five prediction candidate pixels (A, B, C, D, and S), the number of discriminator learning units 201-1 to 201-N is four. Note that the connection order of the classifier learning units 201-1 to 201-4 may be changed. That is, a discriminator may be connected to identify whether or not the predicted value yp should be set in the order of S → A → C → B → D.
画素予測部２０２は、学習部２０１によって生成された識別器２０２−１〜２０２−Ｎを備え、入力画像の各画素の画素値を予測する。各識別器２０２−１〜２０２−Ｎは、処理対象画素yの予測値ypを予測する場合、各予測候補画素について、当該予測候補画素の画素値を予測値ypとすべきか、又はまだチェックされていない残りの予測候補画素の画素値を予測値ypとすべきかを識別する。この画素予測部２０２の詳細については後述する。
The
減算部２０３は、処理対象画素yの画素値と、画素予測部２０２によって予測された予測値ypとを減算することによって、予測誤差y-ypを生成し、エントロピー符号化部２０４に出力する。
The
エントロピー符号化部２０４は、減算部２０３によって生成された予測誤差y-ypと、学習部２０１から出力された予測パラメータと、を可変長符号化又は算術符号化することによって、ビットストリームを生成して出力する。
The
図３Ａは、本発明の第一の実施形態の画素予測部２０２の構成例を示す図である。図３Ａでは、予測候補画素が4個（A、B、C、D）であり、識別器が3個（２０２−１〜２０２−３）である例を示す。
FIG. 3A is a diagram illustrating a configuration example of the
画素予測部２０２は、まず、処理対象画素yの近傍画素A、B、C、DをまとめたデータベクトルXを入力する。次に、第一の識別器H1(x)２０２−１によって、Aを予測値ypとすべきか、又はB、C、Dのいずれかを予測値ypとすべきかを識別する。ここで、Aと判定されなかった場合、第二の識別器H2(x)２０２−２によって、Bを予測値ypとすべきか、又はC、Dのいずれかを予測値ypとすべきかを識別する。ここで、Bと判定されなかった場合、第三の識別器H3(x)２０２−３によって、Cを予測値ypとすべきか、又はDを予測値ypとすべきかを識別する。
First, the
以上の構成により、画素予測部２０２は、各識別器H1(x)、H2(x)、H3(x)を用いて、処理対象画素yの近傍画素A、B、C、Dから、予測値ypとすべき画素を選択する。
With the above configuration, the
図３Ｂは、本発明の第一の実施形態の識別器Hk(x)２０２−ｋの構成例を示す図である。第kの識別器Hk(x)２０２−ｋは、T個の弱識別器ht(x)（t＝1、2、…、T）の線形結合として表される（式（２）参照）。 FIG. 3B is a diagram illustrating a configuration example of the classifier H k (x) 202-k according to the first embodiment of this invention. The k-th classifier H k (x) 202-k is expressed as a linear combination of T weak classifiers h t (x) (t = 1, 2,..., T) (see Expression (2)). ).
式（２）において、αtは各弱識別器ht(x)の重み係数である。すなわち、第kの識別器Hk(x)は、各弱識別器ht(x)の重み付き投票によって構成される。sign()は、右辺の括弧内が正の値である場合には＋１を、負の値である場合には−１を返す符号関数である。また右辺括弧内の弱識別器ht(x)は、式（３）のように表される。 In Expression (2), α t is a weighting coefficient of each weak classifier h t (x). That is, the k-th classifier H k (x) is configured by a weighted vote of each weak classifier h t (x). sign () is a sign function that returns +1 if the value in the right parenthesis is a positive value, and returns -1 if the value is negative. Further, the weak classifier h t (x) in the right parenthesis is expressed as in Expression (3).
式（３）において、ft(x)はｔ番目の特徴量（後述）である。θtは各特徴量に設定されたしきい値（後述）である。 In Expression (3), f t (x) is a t-th feature amount (described later). θ t is a threshold value (described later) set for each feature amount.
図３Ｃは、本発明の第一の実施形態の弱識別器ht(x)の一例を説明する図である。図３Ｃに示す弱識別器ht(x)は、特徴量ft(x)が閾値θtよりも大きい場合には＋１を出力し、特徴量が閾値θt以下である場合には−１を出力する弱識別器である。図２の学習部２０１は、このような弱識別器ht(x)をT個組み合わせることによって、一つの識別器Hk(x)を生成する。
FIG. 3C is a diagram illustrating an example of the weak classifier h t (x) according to the first embodiment of this invention. Weak classifier h t shown in FIG. 3C (x) outputs +1 when the feature value f t (x) is greater than the threshold value theta t, when the feature amount is equal to or less than the threshold theta t -1 Is a weak classifier. The
図４Ａは、本発明の第一の実施形態の特徴量の例を示す図である。図４Ｂは、本発明の第一の実施形態の特徴ベクトルFの分布を示す図である。 FIG. 4A is a diagram illustrating an example of feature amounts according to the first embodiment of the present invention. FIG. 4B is a diagram showing the distribution of the feature vector F according to the first embodiment of the present invention.
ここでいう特徴量とは、例えば図４Ａに示す（１）画素間差分（画素値の差分値）、（２）Haar-like特徴（所定の領域間の平均輝度値の差分値）、（３）線テンプレートの出力値（エッジの強度）、（４）動きベクトル、（５）領域情報、（６）DICOM情報（検査部位、***、スライス厚、FOV（Field Of View）等）のように、画像の特徴を表す指標である。なお、特徴量は、図４Ａに示すものに限定されない。これら特徴量をまとめたものを、特徴ベクトルF＝｛f1(x)、f2(x)、…、fN(x)｝と呼ぶ。 For example, the feature amount referred to here is (1) inter-pixel difference (difference value of pixel value), (2) Haar-like feature (difference value of average luminance value between predetermined regions), (3) shown in FIG. 4A. ) Line template output value (edge strength), (4) motion vector, (5) region information, (6) DICOM information (examination site, body position, slice thickness, FOV (Field Of View), etc.) It is an index representing the characteristics of an image. Note that the feature amount is not limited to that shown in FIG. 4A. A collection of these feature quantities is called a feature vector F = {f 1 (x), f 2 (x),..., F N (x)}.
そうすると、学習部２０１は、学習段階において、特徴ベクトルFを構成する特徴量から、識別に有効な特徴量を抽出する。具体的には、図４Ｂのような特徴ベクトルFの分布を計算し、２クラス（図４Ｂの例では、A又はA以外）の分離度が高い特徴量を選択する。なお、特徴量の選択は、例えばAdaBoost学習の手法に基づいて実現される。以下、特徴量を選択する手順の概略を説明する。
１．画像を入力する。
２．入力された画像において、処理対象画素yをセットする。
３．処理対象画素yとの予測誤差y-ypが最小となる予測候補画素（例えば図１ＡのA、B、C、D）を選択する。
４．選択された予測候補画素毎に、特徴ベクトルF＝｛f1(x)、f2(x)、…、fN(x)｝を計算する。
５．図４Ｂのような特徴ベクトルFの分布を生成する。
６．分離度が高い特徴量から順に抽出する。
Then, the
1. Enter an image.
2. In the input image, the processing target pixel y is set.
3. A prediction candidate pixel (for example, A, B, C, D in FIG. 1A) that minimizes the prediction error y-yp with the processing target pixel y is selected.
4). A feature vector F = {f 1 (x), f 2 (x),..., F N (x)} is calculated for each selected prediction candidate pixel.
5. A distribution of feature vectors F as shown in FIG. 4B is generated.
6). Extract from the features with the highest degree of separation.
以上の手順によって抽出されたT個の有効な特徴量に基づいて、学習部２０１は、T個の弱識別器ht(x)を生成する。その後、生成されたT個の弱識別器ht(x)を組み合わせることによって、一つの識別器Hk(x)を生成する。なお、図４Ｂの例では、学習部２０１は、Aを予測値ypとすべきか又はA以外を予測値ypとすべきかを識別するための識別器Hk(x)を生成することができる。
Based on the T effective feature amounts extracted by the above procedure, the
図５は、本発明の第一の実施形態の画素予測部２０２の処理内容を示すフローチャートである。ここでは、画素予測部２０２が、入力された画像中の処理対象画素yの画素値を予測する処理内容について説明する。なお、以降の説明において、第kの識別器Hk(x)は、k番目の予測候補画素を予測値ypとすべきか又はそれ以外を予測値ypとすべきかを識別するための識別器であるものとする。
FIG. 5 is a flowchart showing the processing contents of the
まずステップ５００１において、画素予測部２０２は、処理対象画素yの近傍において、参照領域Rを設定する（Ｓ５００１）。参照領域Rは、図１Ａに示すような領域であってもよいし、処理対象画素yからのマンハッタン距離やチェビシェフ距離が等しくなるような領域であってもよい。
First, in step 5001, the
次にステップ５００２において、画素予測部２０２は、ステップ５００１で設定された参照領域R内の画素をまとめて、データベクトルX=｛x1、x2、…、xn｝∈Rを設定する（Ｓ５００２）。
Next, in step 5002, the
その後ステップ５００３において、画素予測部２０２は、ステップ５００２で設定されたデータベクトルXを用いて、処理対象画素yの近傍の特徴ベクトルF＝｛f1(x)、f2(x)、…、fT(x)｝を算出する（Ｓ５００３）。ここでは、画素予測部２０２は、学習部２０１が上記１〜６の手順によって生成した特徴ベクトルF＝｛f1(x)、f2(x)、…、fT(x)｝の各値を算出する。
Thereafter, in
その後ステップ５００４において、画素予測部２０２は、各弱識別器ht(x)を評価する（Ｓ５００４）。具体的には、ステップ５００３で算出された特徴ベクトルFに基づいて、各弱識別器ht(x)の出力値が０より大きいか否かを計算する。
Thereafter, in step 5004, the
その後ステップ５００５において、画素予測部２０２は、第kの識別器Hk(x)を評価する（Ｓ５００５）。具体的には、ステップ５００４の計算結果に基づいて、第kの識別器Hk(x)の出力値を計算する。
Thereafter, in step 5005, the
その後ステップ５００６において、画素予測部２０２は、第kの識別器Hk(x)の出力値が０より大きいか否かを判定する（Ｓ５００６）。
Thereafter, in step 5006, the
第kの識別器Hk(x)の出力値が０より大きい場合（Ｓ５００６でＹＥＳ）、k番目の予測候補画素を予測値ypとすることができるので、画素予測部２０２は、k番目の予測候補画素を予測値ypとして出力する（Ｓ５００７）。 When the output value of the k-th discriminator H k (x) is greater than 0 (YES in S5006), the k-th prediction candidate pixel can be set as the prediction value yp. The prediction candidate pixel is output as a prediction value yp (S5007).
一方、第kの識別器Hk(x)の出力値が０以下の場合（Ｓ５００６でＮＯ）、k番目の予測候補画素を予測値ypとすることはできないので、画素予測部２０２は、kをインクリメントし（Ｓ５００８）、次の第k+1の識別器Hk+1(x)について、ステップ５００３〜５００６の処理を繰り返す。
On the other hand, when the output value of the k-th discriminator H k (x) is 0 or less (NO in S5006), the k-th prediction candidate pixel cannot be set to the prediction value yp. Is incremented (S5008), and the processing of
なお、ステップ５００２の処理において、処理対象画素yが画像端部に近いために、十分な量のデータベクトルXを得ることができない場合がある。この場合、本実施形態の予測技術を用いずに、JPEG-LSや、DPCM（Differential Pulse Code Modulation）等を用いて予測してもよい。 In the process of step 5002, there is a case where a sufficient amount of data vector X cannot be obtained because the processing target pixel y is close to the image end. In this case, prediction may be performed using JPEG-LS, DPCM (Differential Pulse Code Modulation), or the like without using the prediction technique of the present embodiment.
以上に示す処理により、画素予測部２０２は、処理対象画素yとの差分が最も小さい予測候補画素を適切に選択することができる。
Through the processing described above, the
図６は、本発明の第一の実施形態の画像符号化装置２０５が出力するビットストリームを説明する図である。図６では、図２の画像符号化装置２０５が、図５に示す処理を実行することにより生成したビットストリームを記録した蓄積メディアの例を示している。
FIG. 6 is a diagram illustrating a bit stream output from the
記録ディスク６０１は、ディジタル情報を記録する装置（例えば、磁気ディスク、光ディスク等）である。この記録ディスク６０１では、同心円状にディジタル情報が記録される。
The
この記録ディスク６０１に記録されるディジタル情報の一部６０２は、予測パラメータ６０３〜６０６及び予測誤差データ６０７を含む。予測パラメータ６０３〜６０６は、図２の画素予測部２０２によって用いられる各種パラメータである。すなわち、予測パラメータ６０３は、予測候補画素の画像上の位置を識別するための識別情報である。例えば図１ＡのA、B、C、Dの位置を示す情報である。予測パラメータ６０４は、特徴ベクトルFを識別するための識別情報である。予測パラメータ６０５は、各弱識別器の信頼度αt（図３Ｂ参照）を示す情報である。予測パラメータ６０６は、各弱識別器の閾値θt（図３Ｃ参照）を示す情報である。一方、予測誤差データ６０７は、図２の減算部２０３によって出力される予測誤差y-ypである。
A part of
これら予測パラメータ６０３〜６０６及び予測誤差データ６０７は、図２のエントロピー符号化部２０４によって符号化される。なお、予測パラメータ６０３〜６０６を、フレームヘッダに記録して、同一フレームにおける共通情報として使用してもよい。これにより、好適に圧縮率を高めることができる。また、予測パラメータ６０３〜６０６を、シーケンスヘッダに記録して、同一シーケンスにおける共通情報としてもよいし、シーケンスをグループに分割したGOP（Group of Picture）のヘッダに記録して、同一GOPにおける共通情報としてもよい。その他、フレームを任意領域に分割して、各分割部における共通情報としてもよい。
These
図７は、本発明の第一の実施形態の画像復号化装置７０５の一例を示すブロック図である。同図に示される画像復号化装置７０５は、エントロピー復号化部７０１、予測パラメータ解析部７０２、画素予測部７０３、加算部７０４を備える。なお、各部７０１〜７０４は、ハードウェアによって構成されてもよいし、ソフトウェアによって構成されていてもよい。また、ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。
FIG. 7 is a block diagram illustrating an example of the
エントロピー復号化部７０１は、図２の画像符号化装置２０５によって生成されたビットストリーム（符号化ストリーム）を復号化する。
The
予測パラメータ解析部７０２は、エントロピー復号化部７０１によって復号化されたビットストリームを解析することによって、図６の予測パラメータ６０３〜６０６を取得し、画素予測部７０３に出力する。
The prediction
画素予測部７０３は、予測パラメータ解析部７０２によって出力された予測パラメータ６０３〜６０６を用いて、画素予測を実行する。画素予測の手順については、図５に示す処理と同様であるため、ここでは説明を省略する。
The
加算部７０４は、エントロピー復号化部７０１によって出力された予測誤差y-yp（図６の予測誤差データ６０７）と、画素予測部７０３によって出力された予測値ypとを加算することによって、復号画像を生成して出力する。
The adding
以上説明した第一の実施形態によれば、画像に適応した画素予測を実行することによって、予測誤差y-ypを小さくしている。また、選択された画素の識別情報を画素単位にシグナリングする必要がない。そのため、従来よりも圧縮率を高めることができる。また、多段接続した識別器を用いて画素予測を実行することによって、予測候補画素がノイズを含む場合であっても、適切に当該画素を棄却し、従来よりも好適に予測値ypを得ることができる。 According to the first embodiment described above, the prediction error y-yp is reduced by performing pixel prediction adapted to an image. Further, it is not necessary to signal the identification information of the selected pixel in units of pixels. Therefore, the compression rate can be increased as compared with the conventional case. In addition, by executing pixel prediction using multi-stage connected classifiers, even if the prediction candidate pixel includes noise, the pixel is appropriately rejected, and the prediction value yp can be obtained more suitably than before. Can do.
（第二の実施形態）
以下、本発明の第二の実施形態を説明する。上記第一の実施形態では、多段接続された複数の識別器２０２−１〜２０２−Ｎ（図２参照）を用いて画素予測を実行していた。ここでは、並列に設けられた複数の予測器９０２−１〜９０２−Ｎ（図９参照）を用いて画素予測を実行する形態について説明する。
(Second embodiment)
Hereinafter, a second embodiment of the present invention will be described. In the first embodiment, pixel prediction is performed using a plurality of classifiers 202-1 to 202-N (see FIG. 2) connected in multiple stages. Here, a mode in which pixel prediction is executed using a plurality of predictors 902-1 to 902-N (see FIG. 9) provided in parallel will be described.
図８は、本発明の第二の実施形態の画素予測方式の概要図である。第二の実施形態の画像符号化方式では、前述の第一の実施形態と同様に、画像を左上から順にラスタスキャンし、画素単位に符号化する。また同様に、処理対象画素yの予測値ypを、予測候補画素（例えばA、B、C、D、S）の画素値から選択する。 FIG. 8 is a schematic diagram of a pixel prediction method according to the second embodiment of the present invention. In the image encoding system of the second embodiment, as in the first embodiment described above, images are raster scanned sequentially from the upper left and encoded in units of pixels. Similarly, the prediction value yp of the processing target pixel y is selected from the pixel values of prediction candidate pixels (for example, A, B, C, D, S).
ただし、前述の第一の実施形態と異なり、まず処理対象画素yと各予測候補画素との差分の絶対値（|y-A|、|y-B|、|y-C|、|y-D|、|y-S|、以降、これらをまとめて「予測誤差E」という。）を予測する。次に、予測された予測誤差Eが最小となる予測候補画素を選択し、選択された予測候補画素の画素値を、処理対象画素yの予測値ypとする。その後、予測誤差y-ypを符号化する。 However, unlike the first embodiment described above, first, the absolute value of the difference between the processing target pixel y and each prediction candidate pixel (| yA |, | yB |, | yC |, | yD |, | yS |, and so on) These are collectively referred to as “prediction error E”). Next, a prediction candidate pixel that minimizes the predicted prediction error E is selected, and the pixel value of the selected prediction candidate pixel is set as the prediction value yp of the processing target pixel y. Thereafter, the prediction error y-yp is encoded.
なお、処理対象画素yは復号時に未知となる。そのため、第二の実施形態では、予測誤差Eと相関の高い特徴ベクトルF（例えば、B-C、A-C、A-E、A-B、A-P）を説明変数として、予測誤差Eを推定する（式（４）に示す回帰式を参照）。 Note that the processing target pixel y is unknown at the time of decoding. Therefore, in the second embodiment, the prediction error E is estimated using a feature vector F (for example, BC, AC, AE, AB, AP) having a high correlation with the prediction error E as an explanatory variable (shown in Expression (4)). See regression equation).
式（４）において、Wは特徴量の重み係数である。この重み係数Wは、最小二乗法、最尤法、重回帰分析等によって推定される。式（４）において、予測誤差Eが最小となる予測候補画素の画素値を、処理対象画素yの予測値ypとすればよい。 In equation (4), W is a weighting factor of the feature amount. The weighting factor W is estimated by a least square method, a maximum likelihood method, multiple regression analysis, or the like. In Equation (4), the pixel value of the prediction candidate pixel that minimizes the prediction error E may be the prediction value yp of the processing target pixel y.
なお、上記の例では、予測候補画素がA、B、C、D、Sである場合を説明したが、この場合に限らない。例えば、Sを除いた同一フレーム内の予測候補画素A、B、C、Dであってもよいし、A、B、C、D以外の画素であってもよい。同様に、特徴ベクトルFがB-C、A-C、A-E、A-B、A-Pである場合を説明したが、この場合に限らない。例えば、各々の絶対値|B-C|、|A-C|、|A-E|、|A-B|、|A-P|であってもよいし、これらB-C、A-C、A-E、A-B、A-P以外の画素間差分であってもよいし、画素間差分以外の特徴量（図４Ａ参照）を含む特徴ベクトルFであってもよい。また、特徴ベクトルFの候補を複数用意しておき、AdaBoost等の特徴選択アルゴリズムを用いて、特徴ベクトルFを選択してもよい。 In the above example, the case where the prediction candidate pixels are A, B, C, D, and S has been described. However, the present invention is not limited to this case. For example, prediction candidate pixels A, B, C, and D in the same frame excluding S may be used, and pixels other than A, B, C, and D may be used. Similarly, the case where the feature vector F is B-C, A-C, A-E, A-B, and A-P has been described. However, the present invention is not limited to this case. For example, each absolute value | BC |, | AC |, | AE |, | AB |, | AP | may be an inter-pixel difference other than BC, AC, AE, AB, AP. Alternatively, it may be a feature vector F including a feature amount (see FIG. 4A) other than the inter-pixel difference. Alternatively, a plurality of feature vector F candidates may be prepared, and the feature vector F may be selected using a feature selection algorithm such as AdaBoost.
また、式（４）に示す重み係数Wは、画像毎に計算される。この重み係数Wは、後述するようにヘッダに記録される。また、同一の重み係数Wを複数のフレームに適用する場合、１枚目のフレームについて計算された重み係数Wを、２枚目以降のフレームに適用してもよいし、フレーム毎に直前のフレームを用いて重み係数Wを計算してもよいし、複数のフレームについて共通の重み係数Wを計算してもよい。 In addition, the weighting coefficient W shown in Expression (4) is calculated for each image. The weight coefficient W is recorded in the header as will be described later. Further, when the same weighting factor W is applied to a plurality of frames, the weighting factor W calculated for the first frame may be applied to the second and subsequent frames, or the immediately preceding frame for each frame. May be used to calculate the weighting factor W, or a common weighting factor W may be calculated for a plurality of frames.
図９は、本発明の第二の実施形態の画像符号化装置９０５の一例を示すブロック図である。同図に示される画像符号化装置９０５は、学習部９０１、画素予測部９０２、減算部９０３、エントロピー符号化部９０４を備える。なお、各部９０１〜９０４は、ハードウェアによって構成されてもよいし、ソフトウェアによって構成されていてもよい。また、ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。
FIG. 9 is a block diagram illustrating an example of an
学習部９０１は、複数個の予測器学習部９０１−１〜９０１−Ｎ（Ｎは整数）を備え、入力画像に対する圧縮効率の高い予測器９０２−１〜２０２−Ｎ及び予測パラメータを学習する。これら予測器学習部９０１−１〜９０１−Ｎは並列に設けられており、AdaBoost学習やバギング等のアンサンブル学習の手法に基づいて、それぞれ予測器９０２−１〜９０２−Ｎを生成する。予測パラメータは、各予測器９０２−１〜９０２−Ｎによる画素予測に用いられる各種パラメータであって、前述の重み係数Wを含む。詳細には後述する。なお、予測器学習部９０１−１〜９０１−Ｎの個数は、予測候補画素の数Mと同じM個である。
The
例えば図８の例では、予測候補画素が5個（A、B、C、D、S）であるため、予測器学習部９０１−１〜９０１−Ｎは5個である。 For example, in the example of FIG. 8, since there are five prediction candidate pixels (A, B, C, D, and S), the number of predictor learning units 901-1 to 901-N is five.
画素予測部９０２は、学習部９０１によって生成された予測器９０２−１〜９０２−Ｎを備え、入力画像の各画素の画素値を予測する。各予測器９０２−１〜９０２−Ｎは、処理対象画素yの予測値ypを予測する場合、学習部９０１によって出力された重み係数Wを用いて、前述の式（４）による予測を実行し、予測誤差Eが最小となる予測候補画素の画素値を予測値ypとする。この画素予測部９０２の詳細については後述する。
The
減算部９０３は、処理対象画素yの画素値と、画素予測部９０２によって予測された予測値ypとを減算することによって、予測誤差y-ypを生成し、エントロピー符号化部９０４に出力する。
The
エントロピー符号化部９０４は、減算部９０３によって生成された予測誤差y-ypと、学習部９０１から出力された予測パラメータと、を可変長符号化又は算術符号化することによって、ビットストリームを生成して出力する。
The
図１０は、本発明の第二の実施形態の画素予測部９０２の処理内容を示すフローチャートである。ここでは、画素予測部９０２が、入力された画像中の処理対象画素yの画素値を予測する処理内容について説明する。
FIG. 10 is a flowchart showing the processing contents of the
まずステップ１０００１において、画素予測部９０２は、処理対象画素yの近傍において、参照領域Rを設定する（Ｓ１０００１）。図５のステップ５００１と同様であるため、ここでは説明を省略する。
First, in
次にステップ１０００２において、画素予測部９０２は、ステップ１０００１で設定された参照領域R内の画素をまとめて、データベクトルX=｛x1、x2、…、xN｝∈Rを設定する（Ｓ１０００２）。
Next, in step 10002, the
その後ステップ１０００３において、画素予測部９０２は、ステップ１０００２で設定されたデータベクトルXを用いて、処理対象画素yの近傍の特徴ベクトルF=｛f1(x)、f2(x)、…、fT(x)｝を算出する（Ｓ１０００３）。ここでは、画素予測部９０２は、学習部９０１によって生成された式（４）に示す特徴ベクトルF＝｛f1(x)、f2(x)、…、fT(x)｝の各値を算出する。
Thereafter, in step 10003, the
その後ステップ１０００４において、画素予測部９０２は、ステップ１０００３で計算された特徴ベクトルFに重み係数Wを乗じることによって、予測誤差Eを算出する（Ｓ１０００４）。
Thereafter, in step 10004, the
その後ステップ１０００５において、画素予測部９０２は、ステップ１０００４で算出された予測誤差Eが最小となる予測候補画素の画素値を、予測値ypとして出力する（Ｓ１０００５）。
Thereafter, in step 10005, the
なお、ステップ１０００２の処理において、処理対象画素yが画像端部に近いために、十分な量のデータベクトルXを得ることができない場合がある。この場合、本実施形態の予測技術を用いずに、JPEG-LSや、DPCM等を用いて予測してもよい。 In the process of step 10002, there is a case where a sufficient amount of data vector X cannot be obtained because the processing target pixel y is close to the image end. In this case, you may predict using JPEG-LS, DPCM, etc., without using the prediction technique of this embodiment.
以上に示す処理により、画素予測部９０２は、処理対象画素yとの差分が最も小さい予測候補画素を適切に選択することができる。
Through the processing described above, the
図１１は、本発明の第二の実施形態の画像符号化装置９０５が出力するビットストリームを説明する図である。図１１では、図９の画像符号化装置９０５が、図１０に示す処理を実行することにより生成したビットストリームを記録した蓄積メディアの例を示している。
FIG. 11 is a diagram illustrating a bit stream output from the
記録ディスク１１０１は、ディジタル情報を記録する装置（例えば磁気ディスク、光ディスク等）である。この記録ディスク１１０１では、同心円状にディジタル情報が記録される。
The
この記録ディスク１１０１に記録されるディジタル情報の一部１１０２は、予測パラメータ１１０３〜１１０５及び予測誤差データ１１０６を含む。予測パラメータ１１０３〜１１０５は、図９の画素予測部９０２によって用いられる各種パラメータである。すなわち、予測パラメータ１１０３は、予測候補画素の画像上の位置を識別するための識別情報である。例えば図８のA、B、C、D、Sの位置を示す情報である。予測パラメータ１１０４は、特徴ベクトルFを識別するための識別情報である。予測パラメータ１１０５は、重み係数W（式（４）参照）を示す情報である。一方、予測誤差データ１１０６は、図９の減算部９０３によって出力される予測誤差y-ypである。
Part of
これら予測パラメータ１１０３〜１１０５及び予測誤差データ１１０６は、図９のエントロピー符号化部９０４によって符号化される。なお、予測パラメータ１１０３〜１１０５を、フレームヘッダに記録して、同一フレームにおける共通情報として使用してもよい。これにより、好適に圧縮率を高めることができる。また、予測パラメータ１１０３〜１１０５を、シーケンスヘッダに記録して、同一シーケンスにおける共通情報としてもよいし、シーケンスをグループに分割したGOPのヘッダに記録して、同一GOPにおける共通情報としてもよい。その他、フレームを任意領域に分割して、各分割部における共通情報としてもよい。
These
図１２は、本発明の第二の実施形態の画像復号化装置１２０５の一例を示すブロック図である。同図に示される画像復号化装置１２０５は、エントロピー復号化部１２０１、予測パラメータ解析部１２０２、画素予測部１２０３、加算部１２０４を備える。なお、各部１２０１〜１２０４は、ハードウェアによって構成されてもよいし、ソフトウェアによって構成されていてもよい。また、ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。
FIG. 12 is a block diagram illustrating an example of the
エントロピー復号化部１２０１は、図９の画像符号化装置９０５によって生成されたビットストリーム（符号化ストリーム）を復号化する。
The
予測パラメータ解析部１２０２は、エントロピー復号化部１２０１によって復号化されたビットストリームを解析することによって、図１１の予測パラメータ１１０３〜１１０５を取得し、画素予測部１２０３に出力する。
The prediction
画素予測部１２０３は、予測パラメータ解析部１２０２によって出力された予測パラメータ１１０３〜１１０５を用いて、画素予測を実行する。画素予測の手順については、図１０に示す処理と同様であるため、ここでは説明を省略する。
The
加算部１２０４は、エントロピー復号化部１２０１によって出力された予測誤差y-yp（図１１の予測誤差データ１１０６）と、画素予測部１２０３によって出力された予測値ypとを加算することによって、復号画像を生成して出力する。
The adding
以上説明した第二の実施形態によれば、並列に設けられた複数の予測器を用いて画素予測を実行することによって、予測候補画素がノイズを含む場合であっても、適切に当該画素を棄却し、従来よりも好適に予測値ypを得ることができる。なお、前述の第一の実施形態と同様に、画像に適応した画素予測を実行することによって、予測誤差y-ypを小さくしている。また、選択された画素の識別情報を画素単位にシグナリングする必要がない。そのため、従来よりも圧縮率を高めることができる。 According to the second embodiment described above, by performing pixel prediction using a plurality of predictors provided in parallel, even if the prediction candidate pixel includes noise, the pixel is appropriately selected. It can be rejected, and the predicted value yp can be obtained more suitably than before. As in the first embodiment described above, the prediction error y-yp is reduced by executing pixel prediction adapted to the image. Further, it is not necessary to signal the identification information of the selected pixel in units of pixels. Therefore, the compression rate can be increased as compared with the conventional case.
（第三の実施形態）
以下、本発明の第三の実施形態を説明する。上記第二の実施形態では、予測誤差Eを、最小二乗法等を用いて回帰的に推定していた。ここでは、事前に学習したテーブルを参照することによって予測誤差Eを求め、求められた予測誤差Eを用いて画素予測を実行する形態について説明する。
(Third embodiment)
Hereinafter, a third embodiment of the present invention will be described. In the second embodiment, the prediction error E is estimated recursively using the least square method or the like. Here, a mode in which the prediction error E is obtained by referring to a table learned in advance, and pixel prediction is executed using the obtained prediction error E will be described.
まず、第三の実施形態の画素予測方式の概要について、図８を用いて説明する。第三の実施形態の画像符号化方式では、前述の第二の実施形態と同様に、画像を左上から順にラスタスキャンし、画素単位に符号化する。また同様に、処理対象画素yの予測値ypを、予測候補画素（例えばA、B、S）の画素値から選択する。 First, an outline of the pixel prediction method of the third embodiment will be described with reference to FIG. In the image coding system of the third embodiment, as in the second embodiment described above, the image is raster-scanned in order from the upper left, and coded in pixel units. Similarly, the prediction value yp of the processing target pixel y is selected from the pixel values of the prediction candidate pixels (for example, A, B, S).
すなわち、まず処理対象画素yと各予測候補画素との差分の絶対値（|y-A|、 |y-B|、|y-S|、つまり「予測誤差E」）を予測する。次に、予測された予測誤差Eが最小となる予測候補画素を選択し、選択された予測候補画素の画素値を、処理対象画素yの予測値ypとする。その後、予測誤差y-ypを符号化する。 That is, first, the absolute value (| y-A |, | y-B |, | y-S |, that is, “prediction error E”) of the difference between the processing target pixel y and each prediction candidate pixel is predicted. Next, a prediction candidate pixel that minimizes the predicted prediction error E is selected, and the pixel value of the selected prediction candidate pixel is set as the prediction value yp of the processing target pixel y. Thereafter, the prediction error y-yp is encoded.
なお、処理対象画素yは復号時に未知となる。そのため、第三の実施形態では、予測誤差Eと相関の高い特徴ベクトルF（例えば、B-C、A-C、A-P）を説明変数として、事前に学習したテーブルを参照することによって、予測誤差Eが最小となる予測候補画素を選択する。事前に学習したテーブルについては、後述する。 Note that the processing target pixel y is unknown at the time of decoding. Therefore, in the third embodiment, the prediction error E is minimized by referring to a previously learned table with feature vectors F (for example, BC, AC, AP) having a high correlation with the prediction error E as explanatory variables. A candidate pixel for prediction is selected. The table learned in advance will be described later.
第三の実施形態の画像符号化装置及び画像復号化装置の構成は、前述の第二の実施形態（図９、図１２参照）と同様であるため、ここでは説明を省略する。 The configurations of the image encoding device and the image decoding device according to the third embodiment are the same as those of the above-described second embodiment (see FIGS. 9 and 12), and thus description thereof is omitted here.
図１３は、本発明の第三の実施形態の学習部９０１が学習するテーブルの一例を示す図である。このテーブルは、特徴ベクトルFを構成する特徴量ft(x)毎に軸が設定され、各特徴量ft(x)を、量子化ステップ幅dtによって離散化したものである。各特徴量ft(x)の組み合わせによって決まる点kには、事前に学習した予測誤差の平均値（平均予測誤差）EPが格納される。ここで、前述の第一の実施形態及び第二の実施形態と同様に、予測候補画素は、A、B、S以外の画素であってもよい。同様に、特徴ベクトルFはB-C、A-C、A-P以外であってもよい。
FIG. 13 is a diagram illustrating an example of a table learned by the
図１３に示すようなテーブルは、画像毎に計算される。このテーブルは、後述するようにヘッダに記録される。また、同一のテーブルを複数のフレームに適用する場合、１枚目のフレームについて計算されたテーブルを、２枚目以降のフレームに適用してもよいし、フレーム毎に直前のフレームを用いてテーブルを計算してもよいし、複数のフレームについて共通のテーブルを計算してもよい。 A table as shown in FIG. 13 is calculated for each image. This table is recorded in the header as described later. When the same table is applied to a plurality of frames, the table calculated for the first frame may be applied to the second and subsequent frames, or a table using the immediately preceding frame for each frame. May be calculated, or a common table may be calculated for a plurality of frames.
図１４は、本発明の第三の実施形態の画素予測部９０２の処理内容を示すフローチャートである。ここでは、画素予測部９０２が、入力された画像中の処理対象画素yの画素値を予測する処理内容について説明する。
FIG. 14 is a flowchart showing the processing contents of the
まずステップ１４００１において、画素予測部９０２は、処理対象画素yの近傍において、参照領域Rを設定する（Ｓ１４００１）。図５のステップ５００１と同様であるため、ここでは説明を省略する。
First, in step 14001, the
次にステップ１４００２において、画素予測部９０２は、ステップ１４００１で設定された参照領域R内の画素をまとめて、データベクトルX=｛x1、x2、…、xN｝∈Rを設定する（Ｓ１４００２）。
Next, in step 14002, the
その後ステップ１４００３において、画素予測部９０２は、ステップ１４００２で設定されたデータベクトルXを用いて、処理対象画素yの近傍の特徴ベクトルF=｛f1(x)、f2(x)、…、fT(x)｝を算出する（Ｓ１４００３）。ここでは、画素予測部９０２は、学習部９０１によって生成された式（４）に示す特徴ベクトルF＝｛f1(x)、f2(x)、…、fT(x)｝の各値を算出する。
Thereafter, in step 14003, the
その後ステップ１４００４において、画素予測部９０２は、ステップ１４００３で算出された特徴ベクトルFに対応する平均予測誤差EPを、図１３のテーブルを参照することによって求める（Ｓ１４００４）。
Thereafter, in step 14004, the
その後ステップ１４００５において、画素予測部９０２は、ステップ１４００４で算出された平均予測誤差EPが最小となる予測候補画素の画素値を、予測値ypとして出力する（Ｓ１４００５）。
Thereafter, in step 14005, the
なお、ステップ１４００２の処理において、処理対象画素yが画像端部に近いために、十分な量のデータベクトルXを得ることができない場合がある。この場合、本実施形態の予測技術を用いずに、JPEG-LSや、DPCM等を用いて予測してもよい。 In the process of step 14002, since the processing target pixel y is close to the edge of the image, a sufficient amount of the data vector X may not be obtained. In this case, you may predict using JPEG-LS, DPCM, etc., without using the prediction technique of this embodiment.
以上に示す処理により、画素予測部９０２は、処理対象画素yとの差分が最も小さい予測候補画素を適切に選択することができる。
Through the processing described above, the
この第三の実施形態において画像符号化装置９０５が出力するビットストリームは、前述の第二の実施形態（図１１参照）と同様であるが、記録される予測パラメータ１１０５が異なる。すなわち、ここでの予測パラメータ１１０５は、平均予測誤差EPを示す情報である。
The bit stream output from the
これら予測パラメータ１１０３〜１１０５及び予測誤差データ１１０６は、図９のエントロピー符号化部９０４によって符号化される。なお、予測パラメータ１１０３〜１１０５を、フレームヘッダに記録して、同一フレームにおける共通情報として使用してもよい。これにより、好適に圧縮率を高めることができる。また、予測パラメータ１１０３〜１１０５を、シーケンスヘッダに記録して、同一シーケンスにおける共通情報としてもよいし、シーケンスをグループに分割したGOPのヘッダに記録して、同一GOPにおける共通情報としてもよい。その他、フレームを任意領域に分割して、各分割部における共通情報としてもよい。
These
以上説明した第三の実施形態によれば、平均予測誤差EPのみを学習すればよい。そのため、学習に要する時間を減らすことができる。 According to the third embodiment described above, only the average prediction error EP needs to be learned. Therefore, the time required for learning can be reduced.
以上、本発明の各実施形態について説明したが、上記各実施形態は本発明の適用例の一つを示したものであり、本発明の技術的範囲を上記各実施形態の具体的構成に限定する趣旨ではない。本発明の要旨を逸脱しない範囲において種々変更可能である。 Each embodiment of the present invention has been described above. However, each of the above embodiments shows one application example of the present invention, and the technical scope of the present invention is limited to the specific configuration of each of the above embodiments. It is not the purpose. Various modifications can be made without departing from the scope of the present invention.
また、本発明の画像符号化方法及び画像復号化方法に関する技術を、JPEG-LSやLossless-JPEG、またこれらに類似する画像符号化・復号化方式における予測技術に適用することができる。 Further, the technology relating to the image encoding method and the image decoding method of the present invention can be applied to a prediction technology in JPEG-LS, Lossless-JPEG, and similar image encoding / decoding methods.
２０１、９０１ 学習部
２０２、７０３、９０２、１２０３ 画素予測部
２０３、９０３ 減算部
２０４、９０４ エントロピー符号化部
２０５、９０５ 画像符号化装置
６０１、１１０１ 記録ディスク
６０２、１１０２ ディジタル情報の一部
７０１、１２０１ エントロピー復号化部
７０２、１２０２ 予測パラメータ解析部
７０４、１２０４ 加算部
７０５、１２０５ 画像復号化装置
201, 901
Claims (12)
前記符号化対象画像から抽出される複数の特徴量に基づいて、前記着目画素の画素値の予測方法及び前記予測方法において用いられる予測パラメータを学習する手順と、
学習された前記予測方法及び前記予測パラメータに基づいて、前記複数の参照画素から一つの参照画素を選択し、選択された参照画素の画素値を、前記着目画素の予測値として予測する手順と、
予測された前記着目画素の予測値と、前記着目画素の画素値との差分を、予測誤差として算出する手順と、
算出された予測誤差と、前記予測パラメータとを符号化する手順と、
を含むことを特徴とする画像符号化方法。 An image encoding method for predicting and encoding a pixel value of a target pixel in an encoding target image from pixel values of a plurality of reference pixels within a predetermined range in the vicinity of the target pixel,
Based on a plurality of feature amounts extracted from the encoding target image, a method for predicting a pixel value of the pixel of interest and a prediction parameter used in the prediction method;
A procedure for selecting one reference pixel from the plurality of reference pixels based on the learned prediction method and the prediction parameter, and predicting a pixel value of the selected reference pixel as a predicted value of the target pixel;
Calculating a difference between the predicted value of the predicted pixel of interest and the pixel value of the target pixel as a prediction error;
A procedure for encoding the calculated prediction error and the prediction parameter;
An image encoding method comprising:
多段接続された複数の識別器であって、前記各識別器は、前記複数の参照画素のうちのいずれかの参照画素の画素値を前記着目画素の予測値とすべきか否かを識別し、一つの前記識別器が、当該識別器の識別対象の参照画素の画素値を前記着目画素の予測値とすべきでないと識別した場合、次の識別器に処理を移す複数の識別器と、
前記複数の識別器の各々を構成する弱識別器群であって、前記複数の特徴量に基づいて生成される弱識別器群を特定する情報、及び、前記複数の参照画素の識別情報、を含む予測パラメータと、を学習し、
前記予測する手順では、
学習された前記複数の識別器を用いて、前記複数の参照画素から一つの参照画素を選択することを特徴とする請求項１に記載の画像符号化方法。 In the learning procedure,
A plurality of classifiers connected in multiple stages, wherein each classifier identifies whether or not the pixel value of any one of the plurality of reference pixels should be the predicted value of the pixel of interest; When one of the classifiers identifies that the pixel value of the reference pixel to be identified by the classifier should not be the predicted value of the pixel of interest, a plurality of classifiers that move processing to the next classifier;
A group of weak classifiers constituting each of the plurality of classifiers, information identifying a group of weak classifiers generated based on the plurality of feature quantities, and identification information of the plurality of reference pixels Learning prediction parameters including,
In the predicting procedure,
The image encoding method according to claim 1, wherein one reference pixel is selected from the plurality of reference pixels using the learned plurality of discriminators.
前記複数の参照画素の各々について、当該参照画素の画素値と、前記着目画素の画素値との差分を予測する予測方法及び当該予測方法に用いられる予測パラメータを学習し、
前記予測する手順では、
学習された前記予測方法に基づいて、前記複数の参照画素の各々の前記差分を予測し、予測される差分が最も小さい参照画素を選択することを特徴とする請求項１に記載の画像符号化方法。 In the learning procedure,
For each of the plurality of reference pixels, a prediction method for predicting a difference between a pixel value of the reference pixel and a pixel value of the pixel of interest and a prediction parameter used in the prediction method are learned.
In the predicting procedure,
2. The image encoding according to claim 1, wherein the difference of each of the plurality of reference pixels is predicted based on the learned prediction method, and the reference pixel having the smallest predicted difference is selected. Method.
並列に設けられた複数の予測器であって、前記各予測器は、前記複数の参照画素のうちのいずれかの参照画素の画素値と、前記着目画素の画素値との差分を予測する複数の予測器と、
前記差分を説明する説明変数であって、前記複数の特徴量に基づいて生成される説明変数を特定する情報、前記差分と前記説明変数との関係式を特定する情報及び前記複数の参照画素の識別情報、を含む予測パラメータと、を学習し、
前記予測する手順では、
学習された前記複数の予測器の各々によって前記差分を予測し、予測される差分が最も小さい予測器に対応する参照画素を選択することを特徴とする請求項３に記載の画像符号化方法。 In the learning procedure,
A plurality of predictors provided in parallel, wherein each predictor predicts a difference between a pixel value of one of the plurality of reference pixels and a pixel value of the pixel of interest. A predictor of
The explanatory variable for explaining the difference, the information for specifying the explanatory variable generated based on the plurality of feature amounts, the information for specifying the relational expression between the difference and the explanatory variable, and the reference pixels Learning prediction parameters including identification information, and
In the predicting procedure,
The image encoding method according to claim 3, wherein the difference is predicted by each of the learned predictors, and a reference pixel corresponding to a predictor with the smallest predicted difference is selected.
前記複数の参照画素の各々について、当該参照画素の画素値と前記着目画素の画素値との差分を説明する説明変数であって、前記複数の特徴量に基づいて生成される説明変数と、事前学習された前記差分の平均値と、が対応付けられた学習データと、
前記説明変数を特定する情報、前記差分の平均値の情報、及び、前記複数の参照画素の識別情報、を含む予測パラメータと、を学習し、
前記予測する手順では、
学習された前記学習データを参照して、前記差分の平均値が最も小さい差分に対応する参照画素を選択することを特徴とする請求項３に記載の画像符号化方法。 In the learning procedure,
An explanatory variable for explaining a difference between a pixel value of the reference pixel and a pixel value of the target pixel for each of the plurality of reference pixels, the explanatory variable generated based on the plurality of feature amounts; Learning data associated with the average value of the learned differences;
Learning information that identifies the explanatory variable, information on the average value of the differences, and identification information of the plurality of reference pixels, and
In the predicting procedure,
The image coding method according to claim 3, wherein a reference pixel corresponding to a difference having the smallest average value of the differences is selected with reference to the learned learning data.
前記符号化ストリームは、
符号化対象画像内の着目画素の画素値を、前記符号化対象画像から抽出される複数の特徴量に基づいて学習される予測方法によって、当該着目画素の近傍の所定の範囲内の複数の参照画素の画素値から予測した場合の予測誤差と、前記予測方法において用いられた予測パラメータと、を含み、
前記方法は、
前記符号化ストリームを復号化し、前記予測誤差と、前記予測パラメータとに分離する手順と、
分離された前記予測パラメータを解析する手順と、
解析された前記予測パラメータを用いた予測方法によって、前記複数の参照画素から一つの参照画素を選択し、選択された参照画素の画素値を、前記着目画素の予測値として予測する手順と、
予測された前記着目画素の予測値と、分離された前記予測誤差とを加算することによって、当該着目画素の画素値を復号する手順と、
を含むことを特徴とする画像復号化方法。 An image decoding method for decoding an encoded stream,
The encoded stream is
A plurality of references within a predetermined range in the vicinity of the target pixel by a prediction method in which pixel values of the target pixel in the encoding target image are learned based on a plurality of feature amounts extracted from the encoding target image. A prediction error when predicted from a pixel value of a pixel, and a prediction parameter used in the prediction method,
The method
Decoding the encoded stream and separating it into the prediction error and the prediction parameter;
Analyzing the separated prediction parameters;
A step of selecting one reference pixel from the plurality of reference pixels by a prediction method using the analyzed prediction parameter, and predicting a pixel value of the selected reference pixel as a predicted value of the target pixel;
A procedure for decoding the pixel value of the target pixel by adding the predicted value of the predicted pixel of interest and the separated prediction error;
An image decoding method comprising:
多段接続された複数の識別器であって、前記各識別器が、前記複数の参照画素のうちのいずれかの参照画素の画素値を前記着目画素の予測値とすべきか否かを識別し、一つの前記識別器が、当該識別器の識別対象の参照画素の画素値を前記着目画素の予測値とすべきでないと識別した場合、次の識別器に処理を移す複数の識別器を用いて、前記複数の参照画素から一つの参照画素を選択するものであり、
前記予測パラメータは、
前記複数の識別器の各々を構成する弱識別器群であって、前記複数の特徴量に基づいて生成される弱識別器群を特定する情報、及び、前記複数の参照画素の識別情報、を含むことを特徴とする請求項６に記載の画像復号化方法。 The prediction method is:
A plurality of classifiers connected in multiple stages, wherein each classifier identifies whether the pixel value of any one of the plurality of reference pixels should be the predicted value of the pixel of interest; When one of the discriminators discriminates that the pixel value of the reference pixel to be discriminated by the discriminator should not be the predicted value of the pixel of interest, using a plurality of discriminators that move processing to the next discriminator , One reference pixel is selected from the plurality of reference pixels,
The prediction parameter is
A group of weak classifiers constituting each of the plurality of classifiers, information identifying a group of weak classifiers generated based on the plurality of feature quantities, and identification information of the plurality of reference pixels The image decoding method according to claim 6, further comprising:
並列に設けられた複数の予測器であって、前記各予測器が、前記複数の参照画素のうちのいずれかの参照画素の画素値と、前記着目画素の画素値との差分を予測する複数の予測器の各々によって、前記差分を予測し、予測される差分が最も小さい予測器に対応する参照画素を選択するものであり、
前記予測パラメータは、
前記差分を説明する説明変数であって、前記複数の特徴量に基づいて生成される説明変数を特定する情報、前記差分と前記説明変数との関係式を特定する情報及び前記複数の参照画素の識別情報、を含むことを特徴とする請求項８に記載の画像復号化方法。 The prediction method is:
A plurality of predictors provided in parallel, wherein each of the predictors predicts a difference between a pixel value of any one of the plurality of reference pixels and a pixel value of the pixel of interest. Predicting the difference by each of the predictors, and selecting a reference pixel corresponding to the predictor with the smallest predicted difference,
The prediction parameter is
The explanatory variable for explaining the difference, the information for specifying the explanatory variable generated based on the plurality of feature amounts, the information for specifying the relational expression between the difference and the explanatory variable, and the reference pixels The image decoding method according to claim 8, further comprising identification information.
前記複数の参照画素の各々について、当該参照画素の画素値と前記着目画素の画素値との差分を説明する説明変数であって、前記複数の特徴量に基づいて生成される説明変数と、事前学習された前記差分の平均値と、が対応付けられた学習データを参照して、前記差分の平均値が最も小さい差分に対応する参照画素を選択するものであり、
前記予測パラメータは、
前記説明変数を特定する情報、前記差分の平均値の情報、及び、前記複数の参照画素の識別情報、を含むことを特徴とする請求項８に記載の画像復号化方法。 The prediction method is:
An explanatory variable for explaining a difference between a pixel value of the reference pixel and a pixel value of the target pixel for each of the plurality of reference pixels, the explanatory variable generated based on the plurality of feature amounts; With reference to the learning data associated with the learned average value of the difference, the reference pixel corresponding to the difference with the smallest average value of the difference is selected,
The prediction parameter is
The image decoding method according to claim 8, comprising information for specifying the explanatory variable, information on an average value of the differences, and identification information on the plurality of reference pixels.
前記符号化対象画像から抽出される複数の特徴量に基づいて、前記着目画素の画素値の予測方法及び前記予測方法において用いられる予測パラメータを学習する学習部と、
学習された前記予測方法及び前記予測パラメータに基づいて、前記複数の参照画素から一つの参照画素を選択し、選択された参照画素の画素値を、前記着目画素の予測値として予測する画素予測部と、
予測された前記着目画素の予測値と、前記着目画素の画素値との差分を、予測誤差として算出する減算部と、
算出された予測誤差と、前記予測パラメータとを符号化する符号化部と、
を備えたことを特徴とする画像符号化装置。 An image encoding device that predicts and encodes a pixel value of a target pixel in an encoding target image from pixel values of a plurality of reference pixels within a predetermined range in the vicinity of the target pixel,
A learning unit that learns a prediction method of a pixel value of the pixel of interest and a prediction parameter used in the prediction method based on a plurality of feature amounts extracted from the encoding target image;
A pixel prediction unit that selects one reference pixel from the plurality of reference pixels based on the learned prediction method and the prediction parameter, and predicts a pixel value of the selected reference pixel as a predicted value of the target pixel When,
A subtraction unit that calculates a difference between the predicted value of the predicted pixel of interest and the pixel value of the target pixel as a prediction error;
An encoding unit that encodes the calculated prediction error and the prediction parameter;
An image encoding apparatus comprising:
前記符号化ストリームは、
符号化対象画像内の着目画素の画素値を、前記符号化対象画像から抽出される複数の特徴量に基づいて学習される予測方法によって、当該着目画素の近傍の所定の範囲内の複数の参照画素の画素値から予測した場合の予測誤差と、
前記予測方法において用いられた予測パラメータと、を含み、
前記装置は、
前記符号化ストリームを復号化し、前記予測誤差と、前記予測パラメータとに分離する復号化部と、
分離された前記予測パラメータを解析する解析部と、
解析された前記予測パラメータを用いた予測方法によって、前記複数の参照画素から一つの参照画素を選択し、選択された参照画素の画素値を、前記着目画素の予測値として予測する画素予測部と、
予測された前記着目画素の予測値と、分離された前記予測誤差とを加算することによって、当該着目画素の画素値を復号する加算部と、
を備えたことを特徴とする画像復号化装置。 An image decoding device for decoding an encoded stream,
The encoded stream is
A plurality of references within a predetermined range in the vicinity of the target pixel by a prediction method in which pixel values of the target pixel in the encoding target image are learned based on a plurality of feature amounts extracted from the encoding target image. Prediction error when predicted from the pixel value of the pixel,
Prediction parameters used in the prediction method, and
The device is
A decoding unit that decodes the encoded stream and separates into the prediction error and the prediction parameter;
An analysis unit for analyzing the separated prediction parameter;
A pixel prediction unit that selects one reference pixel from the plurality of reference pixels by a prediction method using the analyzed prediction parameter, and predicts a pixel value of the selected reference pixel as a predicted value of the target pixel; ,
An adder that decodes the pixel value of the target pixel by adding the predicted value of the predicted pixel of interest and the separated prediction error;
An image decoding apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010206530A JP2012065081A (en) | 2010-09-15 | 2010-09-15 | Image encoding method, image decoding method, image encoding apparatus, and image decoding apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010206530A JP2012065081A (en) | 2010-09-15 | 2010-09-15 | Image encoding method, image decoding method, image encoding apparatus, and image decoding apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012065081A true JP2012065081A (en) | 2012-03-29 |
Family
ID=46060360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010206530A Pending JP2012065081A (en) | 2010-09-15 | 2010-09-15 | Image encoding method, image decoding method, image encoding apparatus, and image decoding apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012065081A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015056737A (en) * | 2013-09-11 | 2015-03-23 | 日本電信電話株式会社 | Communication system and optical signal transmission method |
| JP2015056736A (en) * | 2013-09-11 | 2015-03-23 | 日本電信電話株式会社 | Communication system and optical signal transmission method |
| RU2665308C2 (en) * | 2013-04-05 | 2018-08-28 | Сони Корпорейшн | Image processing apparatus and image processing method |
| KR20190029800A (en) * | 2017-08-28 | 2019-03-21 | 에스케이텔레콤 주식회사 | Terminal device, server and system for image recognition capable of protecting personal information |
| US11115673B2 (en) | 2017-10-19 | 2021-09-07 | Samsung Electronics Co., Ltd. | Image encoder using machine learning and data processing method of the image encoder |
| WO2021229668A1 (en) * | 2020-05-12 | 2021-11-18 | 株式会社日立ハイテク | Nucleic acid analysis device, nucleic acid analysis method, and machine learning method |
-
2010
- 2010-09-15 JP JP2010206530A patent/JP2012065081A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2665308C2 (en) * | 2013-04-05 | 2018-08-28 | Сони Корпорейшн | Image processing apparatus and image processing method |
| JP2015056737A (en) * | 2013-09-11 | 2015-03-23 | 日本電信電話株式会社 | Communication system and optical signal transmission method |
| JP2015056736A (en) * | 2013-09-11 | 2015-03-23 | 日本電信電話株式会社 | Communication system and optical signal transmission method |
| KR20190029800A (en) * | 2017-08-28 | 2019-03-21 | 에스케이텔레콤 주식회사 | Terminal device, server and system for image recognition capable of protecting personal information |
| KR101982203B1 (en) * | 2017-08-28 | 2019-05-24 | 에스케이텔레콤 주식회사 | Terminal device, server and system for image recognition capable of protecting personal information |
| US11115673B2 (en) | 2017-10-19 | 2021-09-07 | Samsung Electronics Co., Ltd. | Image encoder using machine learning and data processing method of the image encoder |
| US11694125B2 (en) | 2017-10-19 | 2023-07-04 | Samsung Electronics Co., Ltd. | Image encoder using machine learning and data processing method of the image encoder |
| WO2021229668A1 (en) * | 2020-05-12 | 2021-11-18 | 株式会社日立ハイテク | Nucleic acid analysis device, nucleic acid analysis method, and machine learning method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111868751B (en) | Using non-linear functions applied to quantization parameters in machine learning models for video coding | |
| JP5366855B2 (en) | Image processing method and apparatus, and program | |
| JP6024952B2 (en) | Image transmission apparatus, image transmission method, image transmission program, and image recognition authentication system | |
| JP2012065081A (en) | Image encoding method, image decoding method, image encoding apparatus, and image decoding apparatus | |
| JP2020508010A (en) | Image processing and video compression method | |
| JP5335713B2 (en) | Image processing method and apparatus, and program | |
| WO2005084036A1 (en) | Motion vector detecting apparatus, motion vector detecting method, and computer program | |
| CN104303504B (en) | Stablize different coding and the decoding of information and instantaneous/random information | |
| TW201220855A (en) | Image encoding method and apparatus, image decoding method and apparatus, and programs therefor | |
| US20040190624A1 (en) | Image processing apparatus and associated method | |
| Yeo et al. | High-speed action recognition and localization in compressed domain videos | |
| KR101704775B1 (en) | Apparatus and method for multi-resolution image processing | |
| KR102261669B1 (en) | Artificial Neural Network Based Object Region Detection Method, Device and Computer Program Thereof | |
| EP3743855A1 (en) | Receptive-field-conforming convolution models for video coding | |
| CN101835040A (en) | Digital video source evidence forensics method | |
| CN113269722A (en) | Training method for generating countermeasure network and high-resolution image reconstruction method | |
| US20120237126A1 (en) | Apparatus and method for determining characteristic of motion picture | |
| JP5429564B2 (en) | Image processing apparatus and method, and program | |
| He et al. | Exposing fake bitrate videos using hybrid deep-learning network from recompression error | |
| CN114651270A (en) | Depth loop filtering by time-deformable convolution | |
| JPWO2010084738A1 (en) | Collation weight information extraction device | |
| Jacobson et al. | Scale-aware saliency for application to frame rate upconversion | |
| US11164328B2 (en) | Object region detection method, object region detection apparatus, and non-transitory computer-readable medium thereof | |
| JP4622265B2 (en) | Motion vector detection device, motion vector detection method, and program | |
| Yao et al. | Detection and localization of video transcoding from AVC to HEVC based on deep representations of decoded frames and PU maps |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120322 |