JP2008283599A - Method, apparatus and program for encoding parameter selection, and recording medium for the program - Google Patents
Method, apparatus and program for encoding parameter selection, and recording medium for the program Download PDFInfo
- Publication number
- JP2008283599A JP2008283599A JP2007127660A JP2007127660A JP2008283599A JP 2008283599 A JP2008283599 A JP 2008283599A JP 2007127660 A JP2007127660 A JP 2007127660A JP 2007127660 A JP2007127660 A JP 2007127660A JP 2008283599 A JP2008283599 A JP 2008283599A
- Authority
- JP
- Japan
- Prior art keywords
- amount
- encoding parameter
- encoding
- parameter selection
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は，高能率画像信号符号化における符号化パラメータ選択方法に関し，特に時空間視覚感度を考慮して，予測モード，量子化パラメータ等の符号化パラメータを選択する符号化パラメータ選択方法，符号化パラメータ選択装置，符号化パラメータ選択プログラムおよびその記録媒体に関する。 The present invention relates to a coding parameter selection method in high-efficiency image signal coding, and particularly to a coding parameter selection method and coding method for selecting a coding parameter such as a prediction mode and a quantization parameter in consideration of spatiotemporal visual sensitivity. The present invention relates to a parameter selection device, an encoding parameter selection program, and a recording medium thereof.
［二乗誤差規範のコスト関数を用いる符号化方式］
Ｈ．２６４では，イントラ予測および可変形状動き補償の導入に伴い，従来の標準化方式と比べて，予測モードの種類が増加している。このため，一定の主観画質を保持しつつ符号量を削減するには，適切な予測モードを選択する必要がある。Ｈ．２６４の参照ソフトウェアＪＭ［非特許文献１参照］では，以下のＲ−Ｄコストを最小化する予測モードを選択している。なお，以下の表記において，「＾Ｘ」（ＸはＳ，Ｒ，Ｃ等の文字）における記号＾は，「Ｘ」の上に付く記号である。
[Encoding method using cost function of square error criterion]
H. In H.264, with the introduction of intra prediction and variable shape motion compensation, the types of prediction modes are increasing as compared with the conventional standardized method. For this reason, in order to reduce the amount of codes while maintaining a constant subjective image quality, it is necessary to select an appropriate prediction mode. H. In the H.264 reference software JM [see Non-Patent Document 1], the following prediction mode that minimizes the RD cost is selected. In the following notation, the symbol ^ in “＾ X” (X is a character such as S, R, C, etc.) is a symbol added on “X”.
ここで，Ｓは原信号，ｑは量子化パラメータ，ｍは予測モードを表す番号であり，＾Ｓm,q はＳに対してｍを用いて予測し，ｑを用いて量子化した場合の復号信号である。また，λはモード選択に用いるラグランジェの未定乗数である。さらに，Ｄ（Ｓ，＾Ｓm,q ）は次式に示す二乗誤差和である。 Here, S is an original signal, q is a quantization parameter, m is a number indicating a prediction mode, and ^ S m, q is a prediction for S using m and is quantized using q. It is a decoded signal. Λ is a Lagrange's undetermined multiplier used for mode selection. Further, D (S, ^ S m, q ) is a sum of square errors shown in the following equation.
ここで，ＳY ，ＳU ，ＳV は原信号のＹ，Ｕ，Ｖ成分であり，＾ＳY m,q ，＾ＳU m,q ，＾ＳV m,q は復号信号のＹ，Ｕ，Ｖ成分である。 Here, S Y , S U , and S V are Y, U, and V components of the original signal, and Ｓ S Y m, q , ＳS U m, q , ＳS V m, q are Y, Y of the decoded signal. U and V components.
Ｈ．２６４における復号信号の算出を以下に示す。なお，説明に用いる記号を「表１」にまとめる。 H. The calculation of the decoded signal in H.264 is shown below. The symbols used in the explanation are summarized in “Table 1”.
Ｈ．２６４の符号化処理では，モード番号ｍの予測を用いた場合の予測誤差信号Ｒm （＝Ｓ−Ｐm ）に対して，変換行列Φを用いた直交変換が次式のように施される。 H. In the H.264 encoding process, orthogonal transformation using the transformation matrix Φ is performed on the prediction error signal R m (= S−P m ) when the prediction of the mode number m is used as follows: .
Φt は変換行列Φに対する転置行列を表す。なお，変換行列Φは次式で表される整数要素の直交行列である。 Φ t represents a transposed matrix with respect to the transformation matrix Φ. The transformation matrix Φ is an orthogonal matrix of integer elements expressed by the following equation.
次に，行列Φが非正規行列であるため，行列の正規化に相当する処理を行う。 Next, since the matrix Φ is a non-normal matrix, processing equivalent to matrix normalization is performed.
Ｃn ＝Ｎ（Ｃ） （３）
さらに，Ｃに対して，量子化パラメータｑを用いた量子化が次式の通り施される。なお，ＪＭでは，正規化は量子化の中に組み込まれている。
C n = N (C) (3)
Further, quantization using the quantization parameter q is performed on C as follows. In JM, normalization is incorporated in quantization.
Ｖ＝Ｑ（Ｃn ） （４）
一方，Ｈ．２６４の復号処理では，Ｖに対して，次式のように逆量子化を施し，変換係数の復号値を得る。
V = Q (C n ) (4)
On the other hand, H. In the H.264 decoding process, V is inversely quantized as in the following equation to obtain a decoded value of the transform coefficient.
次に，＾Ｃq に対して，次式のように逆変換を施し，予測誤差の復号信号を得る。 Next, the inverse transformation is applied to ^ C q as shown in the following equation to obtain a prediction error decoded signal.
最後に，次式により，符号化対象画像の復号信号を得る。 Finally, a decoded signal of the encoding target image is obtained by the following equation.
［主観画質を考慮した歪み量への重み付け］
前述の通り，Ｈ．２６４の参照ソフトウェアＪＭで用いられている主観画質の尺度は二乗誤差である。しかし，この二乗誤差は必ずしも，主観的な画質劣化を反映した歪み量ではない。例えば，高周波数成分の変化は低周波成分の変化に比べて，視覚的には検知されにくい。しかし，こうした視覚特性を利用していない符号化器（例えば，ＪＭ）には，符号量の効率的な削減に関して，改良の余地が残る。
[Weighting distortion amount considering subjective image quality]
As described above, H.C. The measure of subjective image quality used in the H.264 reference software JM is a square error. However, this square error is not necessarily a distortion amount reflecting subjective image quality degradation. For example, a change in a high frequency component is less visually detected than a change in a low frequency component. However, an encoder (for example, JM) that does not use such visual characteristics still has room for improvement in terms of efficient code amount reduction.
そこで，時空間周波数成分に対して視覚感度に差があることを利用する検討がなされている。直交変換係数に対して，視覚感度に応じて空間周波数成分毎に歪み量の重み付けを行うことで，主観画質に対応した歪み量を定義する。さらに，時間方向の視覚感度も考慮して，上述の重み付けされた歪み量に対して，変移量に応じてさらに重み付けを行う。こうして時空間の視覚感度に基づき重み付けされた歪み量を，符号化パラメータ選択のコスト関数において用いる。このような主観画質を考慮したモード選択に関する具体的な手法は，非特許文献２で検討されている。 Therefore, studies have been made to use the difference in visual sensitivity with respect to spatio-temporal frequency components. The distortion amount corresponding to the subjective image quality is defined by weighting the orthogonal transformation coefficient for each spatial frequency component according to the visual sensitivity. Further, in consideration of the visual sensitivity in the time direction, the above-described weighted distortion amount is further weighted according to the shift amount. Thus, the distortion weight weighted based on the visual sensitivity of the space time is used in the cost function for selecting the encoding parameter. Non-patent document 2 discusses a specific method related to mode selection in consideration of such subjective image quality.
なお，本発明に関係する視覚感度関数の関数形を定めるパラメータについて記載している文献としては，以下の非特許文献３がある。
前述の非特許文献２に示されている従来法では，歪み量の重み付けには空間方向のコントラスト感度関数を用いている。時間方向の重み付けについては，変移量の大きさに応じて，空間方向のコントラスト感度関数の強度を制御する方法をとっている。これは，大きな時間変化が生じたフレームでは画質劣化が検知されにくいという時間方向のマスキング効果を利用したものであった。しかし，この従来法では，時間方向のコントラスト感度に関しては考慮されておらず，符号量の効率的な削減に関して，なお改良の余地が残る。 In the conventional method shown in Non-Patent Document 2 described above, a contrast sensitivity function in the spatial direction is used for weighting the distortion amount. For the weighting in the time direction, a method of controlling the intensity of the contrast sensitivity function in the spatial direction according to the magnitude of the shift amount is employed. This uses a masking effect in the time direction that image quality deterioration is hardly detected in a frame in which a large time change has occurred. However, in this conventional method, the contrast sensitivity in the time direction is not taken into consideration, and there is still room for improvement in terms of efficient reduction of the code amount.
さらに，上述のような時間マスキング効果を適切に利用するためには，フレーム内の真の変移量を正確に求める必要がある。Ｈ．２６４では，フレーム内のブロック毎にブロックマッチングベースの変移量推定を行い，動き補償フレーム間予測を用いる変移量を算出する。こうした符号化器で求めた変移量は，二乗誤差と符号量の加重和であるコストを最小化する意味では，適した値ではある。しかし，画像内の真の変移量とは乖離する可能性がある。推定された変移量が真の変移量と大きく乖離している場合には，画質劣化を招く可能性がある。真の変移量は小さな値であるにもかかわらず，大きな値として変移量を推定した場合，歪み量に対する重み付けが大きく設定され，大きな歪みを許容する符号化パラメータが選択される。しかし，本来，変移量は小さく，画質劣化に対する感度の低下は期待できないため，主観画質を損なうことになる。 Furthermore, in order to properly use the time masking effect as described above, it is necessary to accurately determine the true shift amount in the frame. H. In H.264, a block matching-based shift amount estimation is performed for each block in a frame, and a shift amount using motion compensation interframe prediction is calculated. The amount of shift obtained by such an encoder is a suitable value in the sense of minimizing the cost, which is a weighted sum of square error and code amount. However, there is a possibility of deviation from the true displacement in the image. When the estimated shift amount is greatly different from the true shift amount, the image quality may be deteriorated. Although the true shift amount is a small value, when the shift amount is estimated as a large value, the weight for the distortion amount is set to be large, and an encoding parameter that allows a large distortion is selected. However, since the amount of shift is small and sensitivity to image quality deterioration cannot be expected, subjective image quality is impaired.
本発明はかかる事情に鑑みてなされたものであって，推定された変移量に対する信頼度に基づき，推定された変移量と真の変移量の乖離度を考慮し，時空間コントラスト感度に基づく視覚特性により定まる主観画質を反映した歪み量を用いることにより，効率的に符号量を削減する符号化パラメータ選択方法を確立することを目的とする。 The present invention has been made in view of such circumstances, and based on the reliability with respect to the estimated amount of displacement, taking into account the degree of divergence between the estimated amount of displacement and the true amount of variation, and based on the spatio-temporal contrast sensitivity. The purpose is to establish a coding parameter selection method that efficiently reduces the code amount by using the distortion amount reflecting the subjective image quality determined by the characteristics.
上記課題を解決するため，本発明は，時空間周波数成分に対して視覚感度に差があることを利用し，直交変換係数に対して，空間方向のコントラスト感度と時間方向のコントラスト感度に基づく視覚感度に応じた感度係数を算出し，その感度係数を用いて重み付けされた歪み量を算出する。その算出された重み付き歪み量，符号量および未定乗数からなるラグランジェのレート歪みコスト関数に基づき，選択対象となる符号化パラメータ毎にレート歪みコストを算出し，選択対象の符号化パラメータの中で，レート歪みコストが最小となる符号化パラメータを選択する。 In order to solve the above problems, the present invention utilizes the difference in visual sensitivity with respect to spatio-temporal frequency components, and uses visual contrast based on spatial contrast sensitivity and temporal contrast sensitivity for orthogonal transform coefficients. A sensitivity coefficient corresponding to the sensitivity is calculated, and a weighted distortion amount is calculated using the sensitivity coefficient. Based on the calculated Lagrangian rate distortion cost function consisting of the calculated weighted distortion amount, code amount and undetermined multiplier, the rate distortion cost is calculated for each encoding parameter to be selected, and among the encoding parameters to be selected. Thus, the encoding parameter that minimizes the rate distortion cost is selected.
本発明は，非特許文献１に記載された従来法とは，モード選択で用いるコスト関数に違いがある。従来法のコスト関数が，二乗誤差（あるいは絶対値誤差）と符号量との加重和であるのに対して，本発明のコスト関数は，重み付けされた二乗誤差（あるいは絶対値誤差）と符号量との加重和となる。このとき，重み付けされた二乗誤差（あるいは絶対値誤差）は，通常の二乗誤差（あるいは絶対値誤差）よりも，小さな値をとる。つまり，予測モード等の符号化パラメータ選択のコストにおける歪み量を二乗誤差和よりも小さく見積もる。このため，本発明では，従来法よりも符号量の小さいモードを選択される確率が高くなり，発生符号量が小さくなる。例えば，ｓｋｉｐが選ばれ易くなる。 The present invention differs from the conventional method described in Non-Patent Document 1 in the cost function used for mode selection. Whereas the cost function of the conventional method is a weighted sum of square error (or absolute value error) and code amount, the cost function of the present invention has a weighted square error (or absolute value error) and code amount. And the weighted sum. At this time, the weighted square error (or absolute value error) takes a smaller value than the normal square error (or absolute value error). That is, the amount of distortion at the cost of selecting an encoding parameter such as a prediction mode is estimated to be smaller than the square error sum. For this reason, in the present invention, the probability of selecting a mode with a smaller code amount than in the conventional method increases, and the generated code amount decreases. For example, skip is easily selected.
また，本発明は，非特許文献２において検討されている従来法とは，ブロックの変移量とブロック内の空間周波数分布を引数とする所定の時空間視覚感度関数に基づき，時空間視覚感度を示す感度係数を算出し，その感度係数を用いて歪み量を重み付けする点が異なる。本発明では，時空間コントラスト感度に基づく視覚特性により定まる主観画質を反映した歪み量を用いてレート歪みコストを算出することができるので，従来法よりも符号量の効率的な削減が可能になる。 In addition, the present invention is different from the conventional method studied in Non-Patent Document 2 in that the spatiotemporal visual sensitivity is calculated based on a predetermined spatiotemporal visual sensitivity function that takes a block shift amount and a spatial frequency distribution in the block as arguments. The difference is that the sensitivity coefficient shown is calculated and the amount of distortion is weighted using the sensitivity coefficient. In the present invention, since the rate distortion cost can be calculated using the distortion amount reflecting the subjective image quality determined by the visual characteristic based on the spatio-temporal contrast sensitivity, the code amount can be reduced more efficiently than the conventional method. .
さらに，本発明では，変移量の確からしさを考慮した信頼度を導入し，同程度の信頼度を有する変移量であれば，その大きさが最小となる変移量を重み付けに用いる。例えば，符号化器の求めた変移量がｄである場合，［ｄ−δl ，ｄ＋δu ］といった区間として表現する。歪み量の重み付けには，同区間の下限値ｄ−δl を用いる。 Furthermore, in the present invention, a reliability that takes into account the certainty of the shift amount is introduced, and if the shift amount has the same degree of reliability, the shift amount having the smallest magnitude is used for weighting. For example, when the amount of shift obtained by the encoder is d, it is expressed as an interval such as [d−δ l , d + δ u ]. The weighting of the distortion amount, using a lower limit d-[delta] l of the same section.
本発明では，ブロックの変移量が大きいほど，符号量は削減される。そこで，このように変移量の下限値を用いることで過剰な重み付けによる画質劣化を回避する。 In the present invention, the larger the block shift amount, the more the code amount is reduced. Thus, by using the lower limit value of the shift amount in this way, image quality deterioration due to excessive weighting is avoided.
すなわち，本発明は，フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して，変換符号化および量子化による情報圧縮を行う画像符号化において符号化に用いる適切な符号化パラメータを選択するために，符号化対象フレームを分割したブロック毎に，画像信号の時間的な動きを示す変移量を算出し，そのブロックの変移量とブロック内の空間周波数分布を引数とする所定の時空間視覚感度関数に基づき，時空間視覚感度を示す感度係数を算出し，その感度係数を用いて重み付けされた歪み量を算出する。また，選択対象の各符号化パラメータ毎にその符号化パラメータを選択した場合に発生する符号量を算出するとともに，前記符号化パラメータを選択した場合のレート歪みコスト関数に用いられる未定乗数を算出する。それらの算出された重み付けされた歪み量，符号量および未定乗数からなるラグランジェのレート歪みコスト関数に基づき，選択対象となる符号化パラメータ毎にレート歪みコストを算出し，選択対象となる符号化パラメータの中で，レート歪みコストが最小となる符号化パラメータを，符号化に用いる符号化パラメータとして選択することを特徴とする。 That is, the present invention selects an appropriate encoding parameter used for encoding in image encoding that performs information compression by transform encoding and quantization for prediction error signals obtained by intra-frame prediction and inter-frame prediction. Therefore, for each block obtained by dividing the encoding target frame, a shift amount indicating temporal movement of the image signal is calculated, and a predetermined space-time using the block shift amount and the spatial frequency distribution in the block as arguments is calculated. Based on the visual sensitivity function, a sensitivity coefficient indicating spatio-temporal visual sensitivity is calculated, and a weighted distortion amount is calculated using the sensitivity coefficient. In addition, for each encoding parameter to be selected, a code amount generated when the encoding parameter is selected is calculated, and an undetermined multiplier used for a rate distortion cost function when the encoding parameter is selected is calculated. . Based on the calculated Lagrangian rate distortion cost function consisting of the weighted distortion amount, code amount and undetermined multiplier, the rate distortion cost is calculated for each encoding parameter to be selected, and the encoding to be selected is performed. Among the parameters, an encoding parameter that minimizes the rate distortion cost is selected as an encoding parameter used for encoding.
また，上記発明において，前記変移量を算出する際には，動き推定によって推定される変移量の信頼度を決定し，決定した信頼度をもとに該変移量の下限値を算出し，算出した変移量の下限値を前記時空間視覚感度関数の引数として用いることを特徴とする。 In the above invention, when calculating the amount of displacement, the reliability of the amount of displacement estimated by motion estimation is determined, and a lower limit value of the amount of displacement is calculated based on the determined reliability. The lower limit value of the shift amount is used as an argument of the spatiotemporal visual sensitivity function.
さらに，本発明は，前記変移量の信頼度を，フレーム間予測誤差およびブロック内の画像信号の平坦度に基づき決定することを特徴とする。 Furthermore, the present invention is characterized in that the reliability of the shift amount is determined based on the inter-frame prediction error and the flatness of the image signal in the block.
前記符号化パラメータの例としては，動画像符号化における予測モード，動き補償ブロックサイズ，スキップモード，または量子化パラメータがある。 Examples of the coding parameter include a prediction mode, a motion compensation block size, a skip mode, or a quantization parameter in moving picture coding.
本発明では，符号化歪みの主観画質への寄与の度合いを考慮して，モード選択のＲ−Ｄコストを適応的に切り替える。これにより，符号化歪みの主観画質への寄与が小さい領域に対しては，符号量削減を重視するような重み付けがＲ−Ｄコストに加えられる。この場合，視覚的には検知され難い領域に対して符号量の削減を行うため，復号画像の主観画質を保ちながら，効率的に符号量を削減できる。 In the present invention, the RD cost of mode selection is adaptively switched in consideration of the degree of contribution of coding distortion to subjective image quality. As a result, weighting that emphasizes code amount reduction is added to the RD cost for an area where the contribution of coding distortion to the subjective image quality is small. In this case, since the code amount is reduced for a region that is difficult to detect visually, the code amount can be efficiently reduced while maintaining the subjective image quality of the decoded image.
以下，本発明の具体的な実施形態を詳しく説明する。 Hereinafter, specific embodiments of the present invention will be described in detail.
［符号化パラメータ選択装置の概要］
図１は，本発明に係る符号化パラメータ選択装置の構成例を示す。図１において，１は符号化パラメータ選択装置，１０は選択対象符号化パラメータ設定部，１１は変移量下限値算出部，１２は重み付き歪み量算出部，１３は符号量算出部，１４は未定乗数算出部，１５はコスト算出部，１６は最小コスト判定部を表す。
[Outline of coding parameter selection device]
FIG. 1 shows a configuration example of an encoding parameter selection apparatus according to the present invention. In FIG. 1, 1 is an encoding parameter selection device, 10 is a selection target encoding parameter setting unit, 11 is a transition amount lower limit value calculation unit, 12 is a weighted distortion amount calculation unit, 13 is a code amount calculation unit, and 14 is undetermined. A multiplier calculation unit, 15 is a cost calculation unit, and 16 is a minimum cost determination unit.
符号化パラメータ選択装置１は，動画像の符号化にあたって，動き補償ブロックサイズ，スキップモード，量子化パラメータ，静止画像符号化における量子化パラメータ，またはイントラ予測モード等の符号化パラメータを，時空間視覚感度を考慮して選択する装置である。符号化パラメータ選択装置１において，特に従来技術と異なる部分は，重み付き歪み量算出部１２と変移量下限値算出部１１の部分である。
The coding parameter selection device 1 uses space-time visual coding for coding parameters such as a motion compensation block size, a skip mode, a quantization parameter, a quantization parameter in still image coding, or an intra prediction mode when coding a moving image. This device is selected in consideration of sensitivity. In the encoding parameter selection device 1, particularly different parts from the prior art are the weighted distortion
予測モード等の符号化パラメータの選択では，一般に歪み量，符号量，未定乗数からなるラグランジェのコスト関数に基づき，最小コストとなる符号化パラメータを選択するが，本発明では，時空間視覚感度を考慮して重み付けされた歪み量を用いてコスト関数を設定する。そのため，重み付き歪み量算出部１２は，視覚感度関数，空間周波数，変移量に基づき周波数毎に重み付けされた二乗誤差（または絶対値和）として得られる歪み量を算出する。
In the selection of a coding parameter such as a prediction mode, generally, a coding parameter having the minimum cost is selected based on a Lagrangian cost function including a distortion amount, a code amount, and an undetermined multiplier. In the present invention, spatiotemporal visual sensitivity is selected. The cost function is set using the weighted distortion amount in consideration of the above. Therefore, the weighted distortion
変移量下限値算出部１１では，重み付き歪み量算出部１２が重み付き歪み量を算出するにあたって，変移量の確からしさを考慮した信頼度を導入し，同程度の信頼度を有する変移量であれば，その大きさが最小となる変移量を選択して重み付き歪み量算出部１２へ送る。
In the transition amount lower
全体の動作は以下の通りである。選択対象符号化パラメータ設定部１０は，例えば符号化パラメータが予測モードの場合，選択対象の予測モードの一つを順次設定し，重み付き歪み量算出部１２，符号量算出部１３，未定乗数算出部１４へ送る。重み付き歪み量算出部１２は，フレーム信号と，設定された予測モードと，変移量下限値算出部１１が算出した変移量の下限値を用いて，重み付けされた歪み量を算出する。符号量算出部１３は，設定された予測モードを含む符号化パラメータのもとで発生する符号量を算出する。未定乗数算出部１４は，予測モード，量子化パラメータなど符号化パラメータを入力し，ラグランジェの未定乗数を算出する。
The overall operation is as follows. For example, when the encoding parameter is the prediction mode, the selection target encoding
コスト算出部１５は，重み付き歪み量算出部１２，符号量算出部１３，未定乗数算出部１４がそれぞれ算出した重み付き歪み量，符号量，未定乗数によって規定されるコスト関数から，選択対象符号化パラメータ設定部１０が設定した符号化パラメータを用いた場合のコストを算出する。最小コスト判定部１６は，選択対象符号化パラメータ設定部１０が順次設定した符号化パラメータの中で，コストが最も小さい符号化パラメータを選択し，その符号化パラメータを符号化パラメータ選択装置１の出力とする。
The
符号化パラメータとして予測モードを選択するのではなく，量子化ステップ幅などの量子化パラメータ，動き補償ブロックサイズ，その他の符号化パラメータの選択を，以上の予測モードの選択の例と同様に，符号化パラメータ選択装置１が行うように構成することもできる。 Rather than selecting the prediction mode as the encoding parameter, the quantization parameter such as the quantization step width, the motion compensation block size, and other encoding parameters are selected in the same way as the above prediction mode selection example. It is also possible to configure so that the optimization parameter selection device 1 performs.
時空間視覚感度を考慮して重み付けされた歪み量を用いてコスト関数を設定することによって，従来法に比べて，同等の主観画質を実現するために必要な符号量を低減することができる。特に，本発明では，ブロックの変移量が大きいほど，符号量の削減の効果が大きい。また，変移量下限値算出部１１によって変移量の下限値を算出し，同程度の信頼度を有する変移量であれば最小の変移量を重み付き歪み量の算出に用いることにより，過度の符号量の削減を抑止し，主観画質が極端に劣化することを回避することができる。
By setting the cost function using the weighted distortion amount in consideration of the spatiotemporal visual sensitivity, the amount of code required to realize the equivalent subjective image quality can be reduced as compared with the conventional method. In particular, in the present invention, the effect of reducing the code amount is greater as the amount of block shift is larger. Further, the lower limit value of the shift amount is calculated by the shift amount lower limit
次に，重み付き歪み量算出部１２における重み付き歪み量の算出方法の具体例，および変移量下限値算出部１１における変移量の下限値の算出方法の具体例を説明する。
Next, a specific example of a calculation method of the weighted distortion amount in the weighted distortion
［量子化誤差信号の重み付け］
量子化誤差信号に対する視覚感度に基づく重み付けについて，以下，説明する。本発明では，次式のＲ−Ｄコストを用いる。
[Quantization error signal weighting]
The weighting based on visual sensitivity for the quantization error signal will be described below. In the present invention, the following RD cost is used.
ここで，Ｃm はモード番号ｍを用いた場合の予測残差信号Ｒm に対する変換係数であり，＾Ｃm,q はＣm を量子化パラメータｑで量子化・逆量子化して得られる係数の復号値である。このＲ−Ｄコストの計算に用いる歪み量として，以下の重み付き歪み量を用いる。 Here, C m is a transform coefficient for the prediction residual signal R m when the mode number m is used, and ^ C m, q is a coefficient obtained by quantizing and dequantizing C m with the quantization parameter q. Is the decoded value. The following weighted distortion amount is used as the distortion amount used for the calculation of the RD cost.
ここで，１６／Ｎおよび８／Ｎを囲む記号は，小数部分の切り捨てを意味する。ＣY(i) m［ｋ，ｌ］，ＣU(i) m［ｋ，ｌ］，ＣV(i) m［ｋ，ｌ］は，Ｃm の要素であり，マクロブロック（Ｙ成分の場合，１６×１６［画素］，Ｕ，Ｖ成分の場合，８×８［画素］）内のサブブロック（Ｎ×Ｎ［画素］）のうち，ラスター走査においてｉ番目に走査されるサブブロックに含まれる変換係数である。また，＾ＣY(i) m,q［ｋ，ｌ］，＾ＣU(i) m,q［ｋ，ｌ］，＾ＣV(i) m,q［ｋ，ｌ］は＾Ｃm,q の要素であり，マクロブロック（Ｙ成分の場合，１６×１６［画素］，Ｕ，Ｖ成分の場合，８×８［画素］）内のサブブロック（Ｎ×Ｎ［画素］）のうち，ラスター走査においてｉ番目に走査されるサブブロックに含まれる復号変換係数である。 Here, symbols surrounding 16 / N and 8 / N mean that the fractional part is rounded down. C Y (i) m [k, l], C U (i) m [k, l], and C V (i) m [k, l] are elements of C m and are macroblocks (Y component In the case of 16 × 16 [pixels], U, and V components, among the subblocks (N × N [pixels]) in the 8 × 8 [pixels]), the sub-block scanned i-th in the raster scan The conversion coefficient included. ^ C Y (i) m, q [k, l], ^ C U (i) m, q [k, l], ^ C V (i) m, q [k, l] is ^ C m q of the sub-blocks (N × N [pixels]) in the macroblock (16 × 16 [pixels] for the Y component, 8 × 8 [pixels] for the U and V components) , Decoding transform coefficients included in the i-th scanned sub-block in raster scanning.
さらに，ＷY k,l ，ＷU k,l ，ＷV k,l は１以下に設定される重み係数であり，以下では，感度係数と呼ぶ。感度係数の算出については，以下で説明する［感度係数の算出］にて詳述する。上式において，ＷY k,l ，ＷU k,l ，ＷV k,l を小さな値に設定することは，量子化歪みＤ（Ｃm ，＾Ｃm,q ）を小さく見積もることに相当する。なお，直交変換の正規性より，すべてのｋ，ｌに対して，ＷY k,l ＝１，ＷU k,l ＝１，ＷV k,l ＝１とすれば，上述の重み付き歪み量は二乗誤差和と等価となる。 Furthermore, W Y k, l , W U k, l , W V k, l are weighting factors set to 1 or less, and are hereinafter referred to as sensitivity coefficients. The calculation of the sensitivity coefficient will be described in detail in [Calculation of sensitivity coefficient] described below. In the above equation, setting W Y k, l , W U k, l and W V k, l to a small value is equivalent to estimating the quantization distortion D (C m , ^ C m, q ) small. To do. From the normality of orthogonal transformation, if W Y k, l = 1, W U k, l = 1, W V k, l = 1 for all k and l , the weighted distortion described above The quantity is equivalent to the sum of squared errors.
［感度係数の算出］
本発明では，各ブロック内の歪み量に対して，時空間視覚感度関数に基づく重み付けを行う。この重み付けの係数の算出において，入力となるのは，変換行列と変移量である。なお，以下では，縦幅Ｈの画像を視距離ｒＨにおいて観測する場合を考える。ｒを視距離パラメータと呼ぶ。
[Calculation of sensitivity coefficient]
In the present invention, the distortion amount in each block is weighted based on the spatiotemporal visual sensitivity function. In calculating the weighting coefficient, the input is a transformation matrix and a shift amount. In the following, a case where an image having a vertical width H is observed at a viewing distance rH is considered. r is called a viewing distance parameter.
このマクロブロックの変移が（ｄx ，ｄy ）と推定される場合，時間周波数は，縦幅Ｈの画像を視距離ｒＨにおいて観測する場合，単位時間当たりの角度の変化量として，次式により与えられる。 When the macroblock transition is estimated to be (d x , dy ), the time frequency is expressed as the amount of change in angle per unit time when an image having a vertical width H is observed at a viewing distance rH, as follows: Given.
ここで，ｆr はフレームレートである。なお，（ｄx ，ｄy ）の推定方法については，後の［変移量の変動区間に基づく下限値の算出］の項にて詳述する。 Here, fr is a frame rate. Incidentally, it is described in detail in terms of the (d x, d y) method of estimating the [Calculation of the lower limit value based on the displacement amount of the variation interval] after.
変換行列Φ（Ｎ×Ｎ行列）の第ｋ列ベクトル（Ｎ次元ベクトル）をφk とすると，同行列に対する基底画像は，次式より得られる。なお，Ｈ．２６４の場合，Ｎとして取り得る値は４または８のいずれかである。 If the k-th column vector (N-dimensional vector) of the transformation matrix Φ (N × N matrix) is φ k , a base image for the matrix can be obtained from the following equation. H. In the case of H.264, the possible value for N is either 4 or 8.
ｆk,l （ｘ，ｙ）＝φk ［ｙ］φl ［ｘ］t （０≦ｘ，ｙ≦Ｎ−１）
ここで，φl t はφl の転置ベクトルである。各基底画像ｆk,l （ｘ，ｙ）（０≦ｘ，ｙ≦Ｎ−１）に対して，次式に示す離散フーリエ変換を施し，フーリエ係数を得る。なお，以下ではＮ＝２m とおく。
f k, l (x, y) = φ k [y] φ l [x] t (0 ≦ x, y ≦ N−1)
Here, φ l t is a transposed vector of φ l . Each base image f k, l (x, y) (0 ≦ x, y ≦ N−1) is subjected to a discrete Fourier transform represented by the following equation to obtain a Fourier coefficient. In the following, N = 2 m .
ここで，ｊは虚数単位である。 Here, j is an imaginary unit.
上記のフーリエ係数Ｆk,l （ｕ，ｖ）（０≦ｕ≦Ｎ−１，０≦ｖ≦Ｎ−１）に対して，以下の重み付けを行う。 The following weighting is performed on the Fourier coefficient F k, l (u, v) (0 ≦ u ≦ N−1, 0 ≦ v ≦ N−1).
以下，〜Ｆk,l （ｕ，ｖ，ω）〔〜はＦの上に付く記号（以下，他も同様）〕について，説明する。ここで，ｇ（η，ω）は視覚感度関数として知られる関数であり，次式のような関数形で表される。 Hereinafter, ˜F k, l (u, v, ω) [˜ is a symbol on F (hereinafter, the same applies)] will be described. Here, g (η, ω) is a function known as a visual sensitivity function, and is represented by a function form such as the following equation.
ここで，ａ，ｂ，ｃ，ｄは，視覚感度関数の関数形を定めるパラメータ（以後，モデルパラメータと呼ぶ）であり，例えば，次のような値をとる［非特許文献３参照］。 Here, a, b, c, and d are parameters (hereinafter referred to as model parameters) that define the function form of the visual sensitivity function, and take the following values, for example [see Non-Patent Document 3].
（ａ，ｂ，ｃ，ｄ）＝（６．１，７．３１，２，４５．９）
また，式（１２）において，ηは以下の値とする。
(A, b, c, d) = (6.1, 7.31, 2, 45.9)
In Equation (12), η is the following value.
η0 は，以下のようにｇ（η）が最大値をとる引数である。 η 0 is an argument in which g (η) has a maximum value as follows.
θ（ｒ，Ｈ）は，縦幅Ｈの画像を視距離ｒＨにおいて観測する場合の一画素あたりの角度であり，次式により与えられる。 θ (r, H) is an angle per pixel when an image having a vertical width H is observed at a viewing distance rH, and is given by the following equation.
基底画像ｆk,l （ｘ，ｙ）（０≦ｘ，ｙ≦Ｎ−１）に対する感度係数を，次式の電力比として定義する。 A sensitivity coefficient for the base image f k, l (x, y) (0 ≦ x, y ≦ N−1) is defined as a power ratio of the following equation.
感度係数は，変移量が与えられれば，符号化対象画像とは独立に求めることが可能である。このため，動き推定の探索範囲内の候補ベクトルに対して，符号化前に予め感度係数を求めることができる。この感度係数をルックアップテーブルに格納すれば，符号化時の感度係数算出のための演算は省略することができる。なお，ＷU k,l （ω），ＷV k,l （ω）についても同様に求めることができる。このとき，輝度成分と色差成分でモデルパラメータを変更することも可能である。 The sensitivity coefficient can be obtained independently of the encoding target image if a shift amount is given. For this reason, a sensitivity coefficient can be obtained in advance before encoding for candidate vectors within the search range of motion estimation. If this sensitivity coefficient is stored in the lookup table, the calculation for calculating the sensitivity coefficient at the time of encoding can be omitted. Note that W U k, l (ω) and W V k, l (ω) can be similarly obtained. At this time, it is also possible to change the model parameter with the luminance component and the color difference component.
［変移量の変動区間に基づく下限値の算出］
本発明では，変移量を区間で表現し，歪み量の重み付けには，同区間の下限値を用いる。推定された変移量が（ｄx ，ｄy ）である場合，［ｄx −δxl，ｄx ＋δxu］×［ｄy −δyl，ｄy ＋δyu］なる区間として表現する。以下，その区間の設定法について述べる。
[Calculation of the lower limit based on the fluctuation interval]
In the present invention, the amount of transition is expressed by a section, and the lower limit value of the section is used for weighting the distortion amount. If the estimated displacement amount is (d x, d y), expressed as [d x -δ xl, d x + δ xu] × [d y -δ yl, d y + δ yu] becomes interval. In the following, the setting method of the section is described.
本処理の入力は，符号化対象のマクロブロック内の画素値，参照フレームにおける同マクロブロックに対する動き推定の探索範囲の画素値，変移量の推定値，である。例えば，変移量の推定値としては，符号化器の出力する値を用いることができる。変移量の信頼度を２つの尺度（フレーム間予測誤差および平坦度）を用いて評価する。 The input of this process is the pixel value in the macroblock to be encoded, the pixel value in the search range of motion estimation for the macroblock in the reference frame, and the estimated value of the shift amount. For example, the value output from the encoder can be used as the estimated value of the shift amount. The reliability of the displacement is evaluated using two measures (interframe prediction error and flatness).
＜変動区間の下限値算出の尺度＞
この方法では，まず，符号化対象フレームｆt （ｘ，ｙ）（０≦ｘ≦Ｘ−１，０≦ｙ≦Ｙ−１）を複数の領域に分割し，参照フレームを直前フレームとした場合，領域毎に動き補償を用いた次のようなフレーム間予測を行う。
<Measure for calculating the lower limit of the fluctuation interval>
In this method, first, the encoding target frame f t (x, y) (0 ≦ x ≦ X−1, 0 ≦ y ≦ Y−1) is divided into a plurality of regions, and the reference frame is set as the immediately preceding frame. The following inter-frame prediction using motion compensation is performed for each region.
ここで，Ｂi は第ｉ番目の領域である。また，（ｄx ，ｄy ）は符号化器により選ばれた動きベクトルである。この動きベクトルの推定方法としては，例えば，探索範囲Ｒi において，領域Ｂi 内での予測誤差を最小化する動きベクトルを求めるのであれば，動きベクトル（〜ｄx ，〜ｄy ）は次式となる。 Here, B i is the i-th area. Further, (d x , dy ) is a motion vector selected by the encoder. As a method for estimating the motion vector, for example, if a motion vector that minimizes the prediction error in the region B i is obtained in the search range R i , the motion vector (˜d x , ˜d y ) is It becomes an expression.
探索領域内の各点における予測誤差Ｅ［ｄx ，ｄy ］，および平坦度Ｖ［ｄx ，ｄy ］を各々，以下のように表す。 The prediction error E [d x , d y ] and the flatness V [d x , d y ] at each point in the search area are respectively expressed as follows.
ここで，μt-1 （ｄx ，ｄy ）は次式とする。 Here, μ t-1 (d x , d y ) is expressed by the following equation.
ここで，｜Ｂi ｜はＢi 内の画素数である。 Here, | B i | is the number of pixels in B i .
＜下限値の設定＞
上記により求めた予測誤差を用いて，以下のように予測誤差マップＭe ［ｄx ，ｄy ］を作成する。
<Lower limit setting>
Using the prediction error obtained as described above, a prediction error map M e [d x , d y ] is created as follows.
さらに，以下のように，予測誤差マップを更新する。 Further, the prediction error map is updated as follows.
Ｍe ［ｄx ，ｄy ］＝２
（Ｍe ［ｄx ＋ｉx ，ｄy ］，Ｍe ［ｄx ，ｄy ＋ｉy ］，Ｍe ［ｄx ＋ｉx ，ｄy ＋ｉy ］のいずれかが１あるいは，２となる場合） （２２）
ここで，ｉx ，ｉy は，ベクトル（ｄx ，ｄy ）−（〜ｄx ，〜ｄy ）の水平方向，および垂直方向の単位ベクトルであり，次式のように定まる。
M e [d x , d y ] = 2
(M e [d x + i x, d y], M e [d x, d y + i y], M e [d x + i x, d y + i y] If any of which becomes 1 or 2) (22)
Here, i x and i y are horizontal and vertical unit vectors of the vector (d x , d y ) − (˜d x , ˜d y ), and are determined by the following equations.
（ｄx ＋ｉx ，ｄy ），（ｄx ，ｄy ＋ｉy ），（ｄx ＋ｉx ，ｄy ＋ｉy ）は，当該位置から静止位置（変移量が零ベクトルの位置）方向に位置する画素位置であり，以下では，静止方向隣接位置と呼ぶ。また，前記の通り求めた平坦度を用いて，以下のように平坦度マップＶe ［ｖ］を作成する。 (D x + i x , d y ), (d x , d y + i y ), (d x + i x , d y + i y ) are positions in the direction from the corresponding position to the stationary position (position where the displacement is the zero vector). In the following, it is referred to as a still position adjacent position. Further, using the flatness obtained as described above, a flatness map V e [v] is created as follows.
さらに，以下のように，平坦度マップを更新する。 Further, the flatness map is updated as follows.
Ｍv ［ｄx ，ｄy ］＝２
（Ｍv ［ｄx ＋ｉx ，ｄy ］，Ｍv ［ｄx ，ｄy ＋ｉy ］，Ｍv ［ｄx ＋ｉx ，ｄy ＋ｉy ］のいずれかが１あるいは，２となる場合） （２６）
Ｍe ［ｄx ，ｄy ］＝２および，Ｍv ［ｄx ，ｄy ］＝２を満たす（ｄx ，ｄy ）の中でノルムが最小となるベクトルを，感度関数の算出に用いる変移量（＾ｄx ，＾ｄy ）として用いる。ここで，ベクトルのノルムは，次式で定義する。
M v [d x , d y ] = 2
(M v [d x + i x, d y], M v [d x, d y + i y], M v [d x + i x, d y + i y] If any of which becomes 1 or 2) (26)
A vector having a minimum norm in (d x , d y ) satisfying Me [d x , dy ] = 2 and M v [d x , dy ] = 2 is used for calculating the sensitivity function. displacement amount (^ d x, ^ d y ) is used as a. Here, the norm of the vector is defined by the following equation.
｜ｄx ｜2 ＋｜ｄy ｜2
［実施形態（モード選択）：フローチャート］
本発明の符号化パラメータ選択処理の実施形態について，モード選択の場合を例にとり，図面（図２）を参照して説明する。
| D x | 2 + | d y | 2
[Embodiment (mode selection): flowchart]
An embodiment of the encoding parameter selection process of the present invention will be described with reference to the drawing (FIG. 2), taking the case of mode selection as an example.
ステップＳ１０：予測モードの初期値をレジスタＸに書き込む。最小コストを格納するレジスタＣ，最適モードを格納するレジスタＭを各々，初期値に設定する。 Step S10: Write the initial value of the prediction mode to the register X. A register C for storing the minimum cost and a register M for storing the optimum mode are respectively set to initial values.
ステップＳ１１：当該マクロブロックの変移量を推定する。推定手法は，外部より与えられるものとする。例えば，Ｈ．２６４の参照ソフトウェアＪＭが算出する動きベクトルを，以下で使用する変移量の推定値として用いることも可能である。あるいは，式（１７）に従って，算出することも可能である。さらに，このとき，探索領域中の各参照位置におけるフレーム間予測誤差値（式（１８）により求まる）は，別途，ルックアップテーブルに格納するものとする。 Step S11: Estimating the displacement of the macroblock. The estimation method shall be given from outside. For example, H.M. It is also possible to use the motion vector calculated by the H.264 reference software JM as an estimated value of the shift amount used below. Or it is also possible to calculate according to Formula (17). Further, at this time, the inter-frame prediction error value (obtained by the equation (18)) at each reference position in the search area is separately stored in a lookup table.
ステップＳ１２：ステップＳ１１で出力された変移量の推定値，当該マクロブロックの画素値，参照フレームにおける探索範囲内の画素値を入力として，変移量の変動区間の下限値を算出する。本処理の詳細については，図３を用いて詳述する。 Step S12: The lower limit value of the variation section of the transition amount is calculated using the estimated value of the transition amount output in step S11, the pixel value of the macroblock, and the pixel value within the search range in the reference frame as inputs. Details of this processing will be described in detail with reference to FIG.
ステップＳ１３：予測モード，量子化パラメータ，符号化対象信号，参照信号を入力とし，与えられた予測モードを用いた場合の符号量を算出し，算出した値をレジスタに書き出す。具体的な算出方法は，参照ソフトウェアＪＭの方法に従う。 Step S13: The prediction mode, the quantization parameter, the encoding target signal, and the reference signal are input, the code amount when the given prediction mode is used is calculated, and the calculated value is written to the register. A specific calculation method follows the method of the reference software JM.
ステップＳ１４：予測モード，量子化パラメータ，符号化対象信号，参照信号を入力とし，与えられた予測モードを用いた場合の重み付き歪み量を算出し，算出した値をレジスタに書き出す。本処理の詳細については図４を用いて後述する。 Step S14: The prediction mode, the quantization parameter, the encoding target signal, and the reference signal are input, the weighted distortion amount when the given prediction mode is used is calculated, and the calculated value is written to the register. Details of this processing will be described later with reference to FIG.
ステップＳ１５：予測モード，量子化パラメータを入力とし，未定乗数を算出し，算出した値をレジスタに書き出す。具体的な算出方法は，参照ソフトウェアＪＭの方法に従う。 Step S15: The prediction mode and the quantization parameter are input, the undetermined multiplier is calculated, and the calculated value is written to the register. A specific calculation method follows the method of the reference software JM.
ステップＳ１６：符号量，重み付き歪み量，未定乗数を入力とし，Ｒ−Ｄコストを算出し，算出した値をレジスタに書き出す。具体的な算出方法は，式（８）に従う。 Step S16: The code amount, the weighted distortion amount, and the undetermined multiplier are input, the RD cost is calculated, and the calculated value is written to the register. A specific calculation method follows Formula (8).
ステップＳ１７：ステップＳ１６で算出したＲ−Ｄコスト，およびレジスタＣの値を入力とし，ステップＳ１６で算出したＲ−ＤコストがレジスタＣの値よりも小さいか否かの判定を行い，判定結果である真偽値を出力する。出力が真値の場合，ステップＳ１８に進む。出力が偽値の場合，ステップＳ２１の処理に移る。 Step S17: Using the RD cost calculated in step S16 and the value of the register C as inputs, it is determined whether or not the RD cost calculated in step S16 is smaller than the value of the register C. A certain boolean value is output. If the output is a true value, the process proceeds to step S18. If the output is a false value, the process proceeds to step S21.
ステップＳ１８：ステップＳ１６で算出したＲ−ＤコストをレジスタＣに書き出す。 Step S18: The RD cost calculated in step S16 is written in the register C.
ステップＳ１９：レジスタＸに格納されているモードをレジスタＭに書き出す。 Step S19: Write the mode stored in the register X to the register M.
ステップＳ２０：全ての予測モードについて以上の処理を終えたかどうかを判定し，まだ処理が終えていなければ，ステップＳ２１へ進む。処理を終えたならば，ステップＳ１９においてレジスタＭに格納したモードを，最適な予測モードとして出力する。 Step S20: It is determined whether or not the above processing has been completed for all prediction modes. If the processing has not been completed, the process proceeds to step S21. When the processing is finished, the mode stored in the register M in step S19 is output as the optimum prediction mode.
ステップＳ２１：レジスタＸに次の予測モードを表す値を書き出す。レジスタＸに書き出す予測モードの順番は予め与えられるものとする。その後，ステップＳ１３以降の処理を同様に繰り返す。 Step S21: Write a value representing the next prediction mode in the register X. It is assumed that the order of prediction modes to be written in the register X is given in advance. Thereafter, the processing after step S13 is repeated in the same manner.
図２におけるステップＳ１２の処理，すなわち変移量の下限値を推定する処理の流れを図３に示す。 FIG. 3 shows the flow of the process of step S12 in FIG. 2, that is, the process of estimating the lower limit value of the shift amount.
ステップＳ３０：ステップＳ１１で求めた推定変移量を読み込む。 Step S30: The estimated transition amount obtained in step S11 is read.
ステップＳ３１：探索領域中の各位置におけるフレーム間予測誤差を格納したルックアップテーブル，および推定変移量を入力として，推定変移量の位置の信号を参照した場合のフレーム間予測誤差を基準予測誤差としてルックアップテーブルから読み込む。 Step S31: A lookup table storing inter-frame prediction errors at each position in the search area and an estimated shift amount as inputs, and an inter-frame prediction error when a signal at the position of the estimated shift amount is referred to as a reference prediction error Read from lookup table.
ステップＳ３２：探索領域中の各位置におけるフレーム間予測誤差を格納したルックアップテーブル，探索領域中の位置情報を入力として，同位置の信号を参照した場合のフレーム間予測誤差をルックアップテーブルから読み込む。 Step S32: A look-up table storing inter-frame prediction errors at each position in the search area, and reading inter-frame prediction errors when the position information in the search area is referenced and a signal at the same position is referenced from the look-up table. .
ステップＳ３３：バイアス項の値，ステップＳ３１で出力した基準予測誤差，およびステップＳ３２で出力した当該位置の予測誤差を入力として，基準予測誤差とバイアス項の和と当該位置の予測誤差の大小比較を行い，前者の方が小さい場合，ステップＳ３４の処理に移り，当該位置の予測誤差マップに１を格納する。そうでなければ，ステップＳ３５の処理に移り，当該位置の予測誤差マップに０を格納する。 Step S33: Using the value of the bias term, the reference prediction error output in step S31, and the prediction error of the position output in step S32 as input, the magnitude of the sum of the reference prediction error and the bias term and the prediction error of the position is compared. If the former is smaller, the process proceeds to step S34, and 1 is stored in the prediction error map of the position. Otherwise, the process proceeds to step S35, and 0 is stored in the prediction error map at the position.
ステップＳ３６：ステップＳ３２からステップＳ３５までの処理を探索領域内の全位置について繰り返す。 Step S36: The processing from step S32 to step S35 is repeated for all positions in the search area.
ステップＳ３７，Ｓ３８：予測誤差マップ，および，探索領域中の位置情報を入力として，当該位置に対する静止方向隣接位置における予測誤差マップの値が１または２であるかの判定を行い，この判定条件を満たす場合，ステップＳ３８に移り，当該位置に対する予測誤差マップの値を２に更新する。 Steps S37 and S38: Using the prediction error map and the position information in the search area as inputs, it is determined whether the value of the prediction error map at the position adjacent to the position in the stationary direction is 1 or 2, and this determination condition is If it satisfies, the process proceeds to step S38, and the value of the prediction error map for the position is updated to 2.
ステップＳ３９：ステップＳ３７，Ｓ３８の処理を探索領域内の全位置について繰り返す。 Step S39: Steps S37 and S38 are repeated for all positions in the search area.
ステップＳ４０：参照フレームの探索領域の画素値を入力として読み込み，各参照位置に対する平坦度を算出し，ルックアップテーブルに格納するものとする。なお，平坦度の算出方法は式（１９）に従うものとする。 Step S40: The pixel value of the search area of the reference frame is read as input, the flatness for each reference position is calculated, and stored in the lookup table. In addition, the calculation method of flatness shall follow Formula (19).
ステップＳ４１：ステップＳ４０で出力した探索領域中の各位置における平坦度を格納したルックアップテーブル，および推定変移量を入力として，推定変移量の位置の信号の平坦度を基準平坦度としてルックアップテーブルから読み込む。 Step S41: A lookup table storing the flatness at each position in the search region output in step S40, and an estimated shift amount as an input, and a lookup table using the flatness of the signal at the position of the estimated shift amount as a reference flatness Read from.
ステップＳ４２：ステップＳ４０で出力した探索領域中の各位置における平坦度を格納したルックアップテーブル，探索領域中の位置情報を入力として，同位置の信号を参照した場合の平坦度をルックアップテーブルから読み込む。 Step S42: A lookup table storing the flatness at each position in the search area output in step S40, and using the position information in the search area as an input, the flatness when referring to the signal at the same position is obtained from the lookup table. Read.
ステップＳ４３：バイアス項の値，ステップＳ４１で出力した基準平坦度，およびステップＳ４２で出力した当該位置の平坦度を入力として，基準平坦度とバイアス項の和と当該位置の平坦度の大小比較を行い，前者の方が小さい場合，ステップＳ４４の処理に移り，当該位置の平坦度マップに１を格納する。そうでなければ，ステップＳ４５の処理に移り，当該位置の平坦度マップに０を格納する。 Step S43: Using the value of the bias term, the reference flatness output in step S41, and the flatness of the position output in step S42 as inputs, the magnitude comparison of the sum of the reference flatness and the bias term and the flatness of the position is performed. If the former is smaller, the process proceeds to step S44, and 1 is stored in the flatness map at the position. Otherwise, the process proceeds to step S45, and 0 is stored in the flatness map at the position.
ステップＳ４６：ステップＳ４２からステップＳ４５までの処理を探索領域内の全位置について繰り返す。 Step S46: The processing from step S42 to step S45 is repeated for all positions in the search area.
ステップＳ４７：平坦度マップ，および，探索領域中の位置情報を入力として，当該位置に対する静止方向隣接位置における平坦度マップの値が１または２であるかの判定を行い，この判定条件を満たす場合，ステップＳ４８に移り，当該位置に対する平坦度マップの値を２に更新する。 Step S47: Using the flatness map and position information in the search area as input, determine whether the value of the flatness map at the position adjacent to the position in the stationary direction is 1 or 2, and satisfy this determination condition In step S48, the flatness map value for the position is updated to 2.
ステップＳ４９：ステップＳ４７，Ｓ４８の処理を探索領域内の全位置について繰り返す。 Step S49: The processes of steps S47 and S48 are repeated for all positions in the search area.
ステップＳ５０：予測誤差マップ，および平坦度マップを入力として，両マップにおいて２の値をとる位置の中で，ベクトルの二乗ノルムが最小となる位置を検出し，同位置の情報を出力する。 Step S50: Using the prediction error map and the flatness map as inputs, a position where the square norm of the vector is minimum is detected from positions having values of 2 in both maps, and information on the same position is output.
図２におけるステップＳ１４の処理，すなわち重み付き歪み量を算出する処理の流れを図４に示す。 FIG. 4 shows the flow of the process of step S14 in FIG. 2, that is, the process of calculating the weighted distortion amount.
ステップＳ６０：変換行列Φにより得られた変換係数を入力とし，正規化処理を行い，正規化後の変換係数を一次元配列としてレジスタに書き出す。なお，２次元データである変換係数を１次元データとする走査方法については外部から与えられるものとする。例えば，ＭＰＥＧ−２等で用いられているｚｉｇ−ｚａｇ走査はその一例である。これは，以下のステップＳ６１，Ｓ６３においても同様である。 Step S60: The conversion coefficient obtained from the conversion matrix Φ is input, normalization processing is performed, and the normalized conversion coefficient is written in a register as a one-dimensional array. It should be noted that a scanning method in which a conversion coefficient that is two-dimensional data is used as one-dimensional data is given from the outside. For example, zig-zag scanning used in MPEG-2 is an example. The same applies to the following steps S61 and S63.
ステップＳ６１：変換係数に対する量子化結果を入力とし，逆量子化処理を行い，変換係数の復号値を一次元配列としてレジスタに書き出す。 Step S61: The quantization result for the transform coefficient is input, inverse quantization processing is performed, and the decoded value of the transform coefficient is written to the register as a one-dimensional array.
ステップＳ６２：変移量の変動区間の下限値として，ステップＳ１２で出力した値を読み込む。 Step S62: The value output in step S12 is read as the lower limit value of the variation section of the transition amount.
ステップＳ６３：ステップＳ６２で読み込んだ値を変移量として入力し，感度係数を算出する処理を行い，算出された感度係数を一次元配列としてレジスタに書き出す。具体的な算出方法は，式（１６）に従う。 Step S63: The value read in step S62 is input as a shift amount, a sensitivity coefficient is calculated, and the calculated sensitivity coefficient is written in a register as a one-dimensional array. A specific calculation method follows Formula (16).
ステップＳ６４：繰り返し回数をカウントするために用いるカウンタｉの値を０に初期化する。レジスタＳの値を０に初期化する。 Step S64: The value of the counter i used for counting the number of repetitions is initialized to zero. The value of the register S is initialized to 0.
ステップＳ６５：ステップＳ６０で出力された正規化後の変換係数の第ｉ成分，およびステップＳ６１で出力された変換係数の復号値の第ｉ成分を入力とし，両者の差分を求め，同差分値を二乗する処理を行い，算出した二乗誤差をレジスタに書き出す。 Step S65: The i-th component of the normalized transform coefficient output in step S60 and the i-th component of the decoded value of the transform coefficient output in step S61 are input, and the difference between the two is obtained. The process of squaring is performed, and the calculated square error is written to the register.
ステップＳ６６：ステップＳ６５で出力した二乗誤差，感度係数の第ｉ成分を入力とし，二乗誤差に感度係数を乗じる処理を行い，乗算結果をレジスタに書き出す。 Step S66: The square error output at step S65 and the i-th component of the sensitivity coefficient are input, the square error is multiplied by the sensitivity coefficient, and the multiplication result is written to the register.
ステップＳ６７：ステップＳ６６で算出した値，レジスタＳの値を入力として，両者を加算し，加算結果をレジスタＳに書き出す。 Step S67: The value calculated in step S66 and the value of the register S are input, both are added, and the addition result is written to the register S.
ステップＳ６８，Ｓ６９：以上のステップＳ６５〜Ｓ６７の処理を，カウンタｉに１を加算しながら変換係数の全成分について行う。 Steps S68 and S69: The above steps S65 to S67 are performed for all components of the conversion coefficient while adding 1 to the counter i.
［実施形態（モード選択）：装置構成図］
本発明の装置構成図を図５に示す。なお，ここでは，符号化パラメータの選択例として，モード選択の例を示す。
[Embodiment (mode selection): Device configuration diagram]
FIG. 5 shows an apparatus configuration diagram of the present invention. Here, an example of mode selection is shown as an example of selection of encoding parameters.
変移量記憶部１０１：外部から読み込んだ当該マクロブロックの推定変移量を格納する。具体的な推定方法は，外部より与えられるものとする。例えば，参照ソフトウェアＪＭに実装される動きベクトルの推定方法は，その一例である。あるいは，式（１７）に従って，算出することも可能である。 Change amount storage unit 101: Stores the estimated change amount of the macroblock read from the outside. The specific estimation method shall be given from the outside. For example, a motion vector estimation method implemented in the reference software JM is an example. Or it is also possible to calculate according to Formula (17).
変移量下限値推定部１０２：変移量記憶部１０１から読み込んだ変移量の推定値，当該マクロブロックの画素値，参照フレームにおける探索範囲内の画素値を入力として，変移量の変動区間の下限値を算出し，変移量下限値記憶部１０３に格納する。本処理の詳細については，図６を用いて詳述する。
Transition amount lower limit estimation unit 102: The transition amount estimated value read from the transition
初期モード設定部１０４：予測モードの初期値をモード記憶部１０５に書き出す。
Initial mode setting unit 104: Writes the initial value of the prediction mode to the
符号量算出部１０６：予測モード，量子化パラメータ，符号化対象信号，参照信号を入力とし，符号化した場合の符号量を算出し，算出した値を符号量記憶部１０７に書き出す。具体的な算出方法は，参照ソフトウェアＪＭの方法に従う。
Code amount calculation unit 106: Inputs a prediction mode, a quantization parameter, a signal to be encoded, and a reference signal, calculates a code amount when encoding, and writes the calculated value to the code
重み付き歪み量算出部１０８：予測モード，量子化パラメータ，符号化対象信号，参照信号を入力とし，符号化した場合の重み付き歪み量を算出し，算出した値を重み付き歪み量記憶部１０９に書き出す。本処理の詳細については図７を用いて後述する。
Weighted distortion amount calculation unit 108: The prediction mode, the quantization parameter, the encoding target signal, and the reference signal are input, the weighted distortion amount when encoding is calculated, and the calculated value is used as the weighted distortion
未定乗数算出部１１０：予測モード，量子化パラメータを入力とし，未定乗数を算出し，算出した値を未定乗数記憶部１１１に書き出す。具体的な算出方法は，参照ソフトウェアＪＭの方法に従う。 Undetermined multiplier calculation unit 110: Inputs a prediction mode and a quantization parameter, calculates an undefined multiplier, and writes the calculated value to the undefined multiplier storage unit 111. A specific calculation method follows the method of the reference software JM.
コスト算出部１１２：符号量記憶部１０７，重み付き歪み量記憶部１０９，未定乗数記憶部１１１から読み出した符号量，重み付き歪み量，未定乗数を入力とし，Ｒ−Ｄコストを算出し，算出した値をコスト記憶部１１３に書き出す。具体的な算出方法は，式（８）に従う。
Cost calculation unit 112: The code
最小コスト判定部１１４：コスト記憶部１１３，最小コスト記憶部１１５から読み出したＲ−Ｄコスト，最小コストを入力とし，Ｒ−Ｄコストが最小コストよりも小さいか否かの判定を行い，判定結果である真偽値を出力する。出力が真値の場合，コスト記憶部１１３から読み出したＲ−Ｄコストを最小コスト記憶部１１５に書き出し，最適モード更新部１１６に進む。出力が偽値の場合，最終モード判定部１１８の処理に移る。
Minimum cost determination unit 114: The RD cost and the minimum cost read from the
最適モード更新部１１６：最小コスト記憶部１１５に書き出したＲ−Ｄコスト算出に用いたモードを最適モード記憶部１１７に書き出す。
Optimal mode update unit 116: Writes the mode used for RD cost calculation written in the minimum
最終モード判定部１１８，モード設定部１１９，最適モード出力部１２０：以上の処理を全ての予測モードについて行う。
Final
図５における変移量下限値推定部１０２の処理ブロックの詳細を図６に示す。
The details of the processing block of the transition amount lower
推定変移量記憶部２００：当該ブロックの推定変移量を格納する。ここで，格納されるのは，図５の変移量記憶部１０１に格納された値と同じ値である。
Estimated transition amount storage unit 200: Stores the estimated transition amount of the block. Here, what is stored is the same value as the value stored in the transition
探索範囲内予測誤差記憶部２０１：当該ブロックに対する参照フレームの探索領域中の各参照位置におけるフレーム間予測誤差値（式（１８）により求まる）を格納する。 Search range prediction error storage unit 201: Stores an inter-frame prediction error value (obtained by Expression (18)) at each reference position in the search area of the reference frame for the block.
基準予測誤差記憶部２０２：推定変移量記憶部２００の推定変移量，および探索範囲内予測誤差記憶部２０１の探索領域中の各位置におけるフレーム間予測誤差値を入力として，推定変移量の位置の信号を参照した場合のフレーム間予測誤差を基準予測誤差として読み込み，格納する。
Reference prediction error storage unit 202: The estimated shift amount of the estimated shift
加算処理部２０４：バイアス記憶部２０３のバイアス項の値，基準予測誤差記憶部２０２の基準予測誤差を入力として，基準予測誤差とバイアス項の値を加算する処理を行い，加算結果を加算値記憶部２０５に書き出す。
Addition processing unit 204: Inputs the value of the bias term of the
予測誤差記憶部２０６：探索範囲内予測誤差記憶部２０１から探索領域中の当該位置の信号を参照した場合のフレーム間予測誤差を読み込み，格納する。
Prediction error storage unit 206: Reads and stores an inter-frame prediction error when a signal at the position in the search region is referenced from the search range prediction
大小比較部２０７：加算値記憶部２０５のバイアス項と基準予測誤差の和，および予測誤差記憶部２０６の当該位置の予測誤差を入力として，両者の大小比較を行い，前者の方が小さい場合，当該位置の予測誤差マップを１として，そうでなければ，当該位置の予測誤差マップを０として，予測誤差マップ記憶部２０８に書き出す。
Size comparison unit 207: The sum of the bias term of the added
最終画素判定部２０９：予測誤差記憶部２０６から予測誤差マップ記憶部２０８までの処理を探索領域内の全位置について繰り返す。
Final pixel determination unit 209: The processing from the prediction error storage unit 206 to the prediction error
静止方向隣接位置算出部２１０：当該位置，推定変移量記憶部２００の推定変移量を入力として，静止方向隣接位置を算出し，静止方向隣接位置記憶部２１１に書き出す。
Stationary direction adjacent position calculation unit 210: With the position and the estimated shift amount of the estimated shift
予測誤差マップ更新部２１２：予測誤差マップ記憶部２０８の予測誤差マップ，および，探索領域中の位置情報を入力として，当該位置に対する静止方向隣接位置における予測誤差マップの値が１または２であるかの判定を行い，この判定条件を満たす場合，当該位置に対する予測誤差マップの値を２に更新し，予測誤差マップの値を予測誤差マップ記憶部２１３に書き出す。
Prediction error map update unit 212: With the prediction error map of the prediction error
最終画素判定部２１４：静止方向隣接位置算出部２１０から予測誤差マップ記憶部２１３の処理を探索領域内の全位置について繰り返す。
Final pixel determination unit 214: The processing of the prediction error
探索範囲内平坦度記憶部２１６：当該ブロックに対する参照フレームの探索領域中の各参照位置における平坦度（式（１９）により求まる）を格納する。 Search range flatness storage unit 216: Stores flatness at each reference position in the search area of the reference frame for the block (determined by equation (19)).
基準平坦度記憶部２１７：推定変移量記憶部２００の推定変移量，および探索範囲内平坦度記憶部２１６の探索領域中の各位置における平坦度を入力として，推定変移量の位置の信号を参照した場合の平坦度を基準平坦度として読み込み，格納する。
Reference flatness storage unit 217: With reference to the estimated shift amount in the estimated shift
加算処理部２１９：バイアス記憶部２１８のバイアス項の値，基準平坦度記憶部２１７の基準平坦度を入力として，基準平坦度とバイアス項の値を加算する処理を行い，加算結果を加算値記憶部２２０に書き出す。
Addition processing unit 219: Inputs the value of the bias term of the bias storage unit 218 and the reference flatness of the reference flatness storage unit 217, and adds the reference flatness and the value of the bias term, and stores the addition result as an addition value Write to
平坦度記憶部２２１：探索範囲内平坦度記憶部２１６から，探索領域中の当該位置の信号を参照した場合の平坦度を読み込み，格納する。
Flatness storage unit 221: The flatness when the signal at the position in the search area is referenced is read from the
大小比較部２２２：加算値記憶部２２０のバイアス項と基準平坦度の和，および平坦度記憶部２２１の当該位置の平坦度を入力として，両者の大小比較を行い，前者の方が小さい場合，当該位置の平坦度マップを１として，そうでなければ，当該位置の平坦度マップを０として，平坦度マップ記憶部２２３に書き出す。
Size comparison unit 222: The bias term of the addition
最終画素判定部２２４：平坦度記憶部２２１から平坦度マップ記憶部２２３までの処理を探索領域内の全位置について繰り返す。
Final pixel determination unit 224: The processes from the
静止方向隣接位置算出部２２５：当該位置，推定変移量記憶部２００の推定変移量を入力として，静止方向隣接位置を算出し，静止方向隣接位置記憶部２２６に書き出す。
Stationary direction adjacent position calculation unit 225: With the position and the estimated transition amount of the estimated transition
平坦度マップ更新部２２７：平坦度マップ記憶部２２３の平坦度マップ，および，探索領域中の位置情報を入力として，当該位置に対する静止方向隣接位置における平坦度マップの値が１または２であるかの判定を行い，この判定条件を満たす場合，当該位置に対する平坦度マップの値を２に更新し，平坦度マップの値を平坦度マップ記憶部２２８に書き出す。
Flatness map update unit 227: The flatness map stored in the flatness
最終画素判定部２２９：静止方向隣接位置算出部２２５から平坦度マップ記憶部２２８の処理を探索領域内の全位置について繰り返す。 Final pixel determination unit 229: The processing in the flatness map storage unit 228 from the stationary direction adjacent position calculation unit 225 is repeated for all positions in the search region.
予測誤差マップ分類処理部２３０：予測誤差マップ記憶部２１３の予測誤差マップを入力として，同マップにおいて２の値をとる位置に対応するベクトルの二乗ノルムを算出し，位置情報と共にベクトルノルム記憶部２３１に書き出す。
Prediction error map classification processing unit 230: The prediction error map of the prediction error
平坦度マップ分類処理部２３２：平坦度マップ記憶部２２８の平坦度マップを入力として，同マップにおいて２の値をとる位置に対応するベクトルの二乗ノルムを算出し，位置情報と共にベクトルノルム記憶部２３３に書き出す。
Flatness map classification processing unit 232: Using the flatness map of the flatness map storage unit 228 as an input, calculate the square norm of the vector corresponding to the position having a value of 2 in the map, and the vector
最小ノルム検出部２３４：ベクトルノルム記憶部２３１およびベクトルノルム記憶部２３３のベクトルのノルムを入力として，二乗ノルムが最小となる位置を検出し，同位置の情報を出力する。
Minimum norm detection unit 234: Using the vector norm of the vector
図５における重み付き歪み量算出部１０８の処理ブロックの詳細を図７に示す。
FIG. 7 shows details of processing blocks of the weighted distortion
変換係数正規化部３０１：変換行列Φにより得られた変換係数を入力とし，正規化処理を行い，正規化後の変換係数を正規化変換係数記憶部３０２に書き出す。
Conversion coefficient normalization unit 301: The conversion coefficient obtained from the conversion matrix Φ is input, normalization processing is performed, and the normalized conversion coefficient is written to the normalized conversion
変換係数復号部３０３：変換係数に対する量子化結果を入力とし，逆量子化処理を行い，変換係数の復号値を復号変換係数記憶部３０４に書き出す。
Transform coefficient decoding unit 303: Inputs the quantization result for the transform coefficient, performs inverse quantization processing, and writes the decoded value of the transform coefficient to the decoded transform
歪み量算出部３０５：正規化変換係数記憶部３０２，復号変換係数記憶部３０４から読み出した正規化後の変換係数および変換係数の復号値を入力とし，各成分毎に両者の差分を求め，同差分値を二乗する処理を行い，算出した二乗誤差を歪み量記憶部３０６に書き出す。
Distortion amount calculation unit 305: Normalized conversion
感度係数乗算部３０７：感度係数記憶部３１０から読み出した感度係数，歪み量記憶部３０６から読み出した二乗誤差を入力とし，成分毎に二乗誤差に感度係数を乗じる処理を行い，得られた重み付き歪み量を歪み量記憶部３１１に書き出す。
Sensitivity coefficient multiplication unit 307: The sensitivity coefficient read from the sensitivity
変移量下限値記憶部３０８：図５の変移量下限値記憶部１０３から読み出した変移量の変動区間での下限値を格納する。
Transition amount lower limit value storage unit 308: Stores the lower limit value in the variation section of the transition amount read from the transition amount lower limit
感度係数算出部３０９：変移量下限値記憶部３０８から読み出した変移量を入力として，感度係数を算出する処理を行い，算出された感度係数を感度係数記憶部３１０に書き出す。具体的な算出方法は，式（１６）に従う。
Sensitivity coefficient calculation unit 309: A process of calculating a sensitivity coefficient is performed using the shift amount read from the shift amount lower
歪み量和算出部３１２：歪み量記憶部３１１から読み出した各成分の重み付き歪み量を入力とし，全ての成分についての合計和を算出する。
Distortion amount calculation unit 312: The weighted distortion amount of each component read from the distortion
なお，上述の実施例では，モード選択の例を示しているが，本発明は，予測モードに限らず，歪み量を含むコスト関数に基づき選択される符号化パラメータ（例えば，量子化パラメータ）に対しても，同様に適用することができる。つまり，以上の実施例は，式（８）におけるｍを選択する例を示したものである。同様にして，ｑの選択にも使用できる。その場合，図２を図８に変更し，図５を図９へ変更する。以下，図８および図９に示す実施形態について説明する。 In the above-described embodiment, an example of mode selection is shown. However, the present invention is not limited to the prediction mode, and the encoding parameter (for example, quantization parameter) selected based on the cost function including the distortion amount is used. The same applies to the same. That is, the above embodiment shows an example of selecting m in the equation (8). Similarly, it can be used to select q. In that case, FIG. 2 is changed to FIG. 8, and FIG. 5 is changed to FIG. The embodiment shown in FIGS. 8 and 9 will be described below.
［実施形態（量子化パラメータ選択）：フローチャート］
本発明の符号化パラメータ選択処理の実施形態について，量子化パラメータ選択の場合を例にとり，図８に従って説明する。なお，他の符号化パラメータの場合にも同様な方法により選択することができる。
[Embodiment (Quantization Parameter Selection): Flowchart]
An embodiment of the coding parameter selection process of the present invention will be described with reference to FIG. 8 taking the case of quantization parameter selection as an example. Note that other encoding parameters can be selected by the same method.
ステップＳ１１０：量子化パラメータの初期値をレジスタＸに書き込む。最小コストを格納するレジスタＣ，最適量子化パラメータを格納するレジスタＭを各々，初期値に設定する。 Step S110: Write the initial value of the quantization parameter into the register X. A register C for storing the minimum cost and a register M for storing the optimal quantization parameter are respectively set to initial values.
ステップＳ１１１〜Ｓ１１８：図２におけるステップＳ１１〜Ｓ１８と同様の処理を行う。 Steps S111 to S118: The same processes as in steps S11 to S18 in FIG. 2 are performed.
ステップＳ１１９：レジスタＸに格納されている量子化パラメータをレジスタＭに書き出す。 Step S119: Write the quantization parameter stored in the register X to the register M.
ステップＳ１２０：全ての量子化パラメータについて以上の処理を終えたかどうかを判定し，まだ処理を終えていなければ，ステップＳ１２１へ進む。処理を終えたならば，ステップＳ１１９においてレジスタＭに格納した量子化パラメータを，最適な量子化パラメータとして出力する。 Step S120: It is determined whether or not the above processing has been completed for all the quantization parameters. If the processing has not been completed yet, the process proceeds to step S121. When the process is completed, the quantization parameter stored in the register M is output as the optimum quantization parameter in step S119.
ステップＳ１２１：レジスタＸに格納されている量子化パラメータを更新する。順次更新してレジスタＸに書き出す量子化パラメータの値の順番は，予め与えられるものとする。その後，ステップＳ１１３以降の処理を同様に繰り返す。 Step S121: The quantization parameter stored in the register X is updated. It is assumed that the order of quantization parameter values that are sequentially updated and written to the register X is given in advance. Thereafter, the processing after step S113 is repeated in the same manner.
［実施形態（量子化パラメータ選択）：装置構成図］
符号化パラメータとして，量子化パラメータを選択する場合の符号化パラメータ選択装置の例を図９に示す。なお，他の符号化パラメータの場合にも同様な装置構成により選択することができる。
[Embodiment (quantization parameter selection): Device configuration diagram]
FIG. 9 shows an example of a coding parameter selection device when a quantization parameter is selected as a coding parameter. Note that other encoding parameters can be selected by the same device configuration.
図５に示した符号化パラメータ選択装置との違いの部分について説明し，他の部分については，図５と同様であるので説明を省略する。 Differences from the coding parameter selection apparatus shown in FIG. 5 will be described, and other parts will be omitted because they are the same as those in FIG.
初期量子化パラメータ設定部５０４：量子化パラメータの初期値を量子化パラメータ記憶部５０５に書き出す。
Initial quantization parameter setting unit 504: Writes the initial value of the quantization parameter to the quantization
最適量子化パラメータ更新部５１６：最小コスト判定部５１４が最小コスト記憶部５１５に書き出したＲ−Ｄコスト算出に用いた量子化パラメータを最適量子化パラメータ記憶部５１７に書き出す。
Optimal quantization parameter update unit 516: Writes the quantization parameter used for calculating the RD cost written to the minimum
最終量子化パラメータ判定部５１８：すべての量子化パラメータについて処理を終えたかどうかを判定し，処理を終えていない場合には，量子化パラメータ設定部５１９を呼び出す。処理を終えた場合には，最適量子化パラメータ出力部５２０を呼び出す。
Final quantization parameter determination unit 518: It is determined whether or not processing has been completed for all quantization parameters. If the processing has not been completed, the quantization
量子化パラメータ設定部５１９：次の処理候補となる量子化パラメータを量子化パラメータ記憶部５０５に書き出す。
Quantization parameter setting unit 519: Writes the quantization parameter to be the next processing candidate to the quantization
最適量子化パラメータ出力部５２０：最適量子化パラメータ記憶部５１７に記憶されている量子化パラメータを最適量子化パラメータとして出力する。 Optimal quantization parameter output unit 520: Outputs the quantization parameter stored in the optimal quantization parameter storage unit 517 as the optimal quantization parameter.
以上の符号化パラメータ選択の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。 The encoding parameter selection process described above can be realized by a computer and a software program. The program can be provided by being recorded on a computer-readable recording medium or provided via a network.
１ 符号化パラメータ選択装置
１０ 選択対象符号化パラメータ設定部
１１ 変移量下限値算出部
１２ 重み付き歪み量算出部
１３ 符号量算出部
１４ 未定乗数算出部
１５ コスト算出部
１６ 最小コスト判定部
DESCRIPTION OF SYMBOLS 1 Encoding
Claims (10)
符号化対象フレームを分割したブロック毎に，画像信号の時間的な動きを示す変移量を算出する過程と，
前記ブロックの変移量とブロック内の空間周波数分布を引数とする所定の時空間視覚感度関数に基づき，時空間視覚感度を示す感度係数を算出する過程と，
前記感度係数を用いて重み付けされた歪み量を算出する過程と，
選択対象の各符号化パラメータ毎にその符号化パラメータを選択した場合に発生する符号量を算出する過程と，
前記符号化パラメータを選択した場合のレート歪みコスト関数に用いられる未定乗数を算出する過程と，
前記算出された重み付けされた歪み量，符号量および未定乗数からなるラグランジェのレート歪みコスト関数に基づき，選択対象となる符号化パラメータ毎にレート歪みコストを算出する過程と，
前記選択対象となる符号化パラメータの中で，レート歪みコストが最小となる符号化パラメータを，符号化に用いる符号化パラメータとして選択する過程とを有する
ことを特徴とする符号化パラメータ選択方法。 This is an encoding parameter selection method for selecting an encoding parameter used for encoding in image encoding in which information compression by transform encoding and quantization is performed on prediction error signals obtained by intra-frame prediction and inter-frame prediction. And
For each block obtained by dividing the encoding target frame, a process for calculating a transition amount indicating temporal movement of the image signal,
A process of calculating a sensitivity coefficient indicating spatio-temporal visual sensitivity based on a predetermined spatio-temporal visual sensitivity function having the block displacement and the spatial frequency distribution in the block as arguments;
Calculating a weighted distortion amount using the sensitivity coefficient;
A process of calculating the amount of code generated when the encoding parameter is selected for each encoding parameter to be selected;
Calculating an undetermined multiplier used for a rate distortion cost function when the encoding parameter is selected;
A step of calculating a rate distortion cost for each encoding parameter to be selected based on a Lagrangian rate distortion cost function including the calculated weighted distortion amount, code amount, and undetermined multiplier;
A coding parameter selection method comprising: selecting a coding parameter having a minimum rate distortion cost among coding parameters to be selected as a coding parameter used for coding.
前記変移量を算出する過程では，動き推定によって推定される変移量の信頼度を決定し，決定した信頼度をもとに該変移量の下限値を算出し，算出した変移量の下限値を前記時空間視覚感度関数の引数として用いる
ことを特徴とする符号化パラメータ選択方法。 The encoding parameter selection method according to claim 1,
In the process of calculating the shift amount, the reliability of the shift amount estimated by motion estimation is determined, the lower limit value of the shift amount is calculated based on the determined reliability, and the lower limit value of the calculated shift amount is calculated. An encoding parameter selection method characterized by being used as an argument of the spatiotemporal visual sensitivity function.
前記変移量の信頼度を，フレーム間予測誤差およびブロック内の画像信号の平坦度に基づき決定する
ことを特徴とする符号化パラメータ選択方法。 In the encoding parameter selection method according to claim 2,
A coding parameter selection method, wherein the reliability of the shift amount is determined based on an inter-frame prediction error and a flatness of an image signal in a block.
前記符号化パラメータは，動画像符号化における予測モード，動き補償ブロックサイズ，スキップモード，または量子化パラメータである
ことを特徴とする符号化パラメータ選択方法。 In the encoding parameter selection method according to claim 1, claim 2 or claim 3,
The encoding parameter selection method, wherein the encoding parameter is a prediction mode, a motion compensation block size, a skip mode, or a quantization parameter in moving image encoding.
符号化対象フレームを分割したブロック毎に，画像信号の時間的な動きを示す変移量を算出する手段と，
前記ブロックの変移量とブロック内の空間周波数分布を引数とする所定の時空間視覚感度関数に基づき，時空間視覚感度を示す感度係数を算出する手段と，
前記感度係数を用いて重み付けされた歪み量を算出する手段と，
選択対象の各符号化パラメータ毎にその符号化パラメータを選択した場合に発生する符号量を算出する手段と，
前記符号化パラメータを選択した場合のレート歪みコスト関数に用いられる未定乗数を算出する手段と，
前記算出された重み付けされた歪み量，符号量および未定乗数からなるラグランジェのレート歪みコスト関数に基づき，選択対象となる符号化パラメータ毎にレート歪みコストを算出する手段と，
前記選択対象となる符号化パラメータの中で，レート歪みコストが最小となる符号化パラメータを，符号化に用いる符号化パラメータとして選択する手段とを備える
ことを特徴とする符号化パラメータ選択装置。 A coding parameter selection device that selects coding parameters used for coding in image coding that performs information compression by transform coding and quantization on prediction error signals obtained by intraframe prediction and interframe prediction. And
Means for calculating a shift amount indicating temporal movement of an image signal for each block obtained by dividing the encoding target frame;
Means for calculating a sensitivity coefficient indicating spatio-temporal visual sensitivity based on a predetermined spatio-temporal visual sensitivity function that takes the amount of change of the block and the spatial frequency distribution in the block as arguments;
Means for calculating a weighted distortion amount using the sensitivity coefficient;
Means for calculating the amount of code generated when the encoding parameter is selected for each encoding parameter to be selected;
Means for calculating an undetermined multiplier used in a rate distortion cost function when the encoding parameter is selected;
Means for calculating a rate distortion cost for each encoding parameter to be selected based on a Lagrangian rate distortion cost function comprising the calculated weighted distortion amount, code amount and undetermined multiplier;
An encoding parameter selection device comprising: means for selecting, as an encoding parameter used for encoding, an encoding parameter having a minimum rate distortion cost among the encoding parameters to be selected.
前記変移量を算出する手段は，動き推定によって推定される変移量の信頼度を決定し，決定した信頼度をもとに該変移量の下限値を算出し，算出した変移量の下限値を前記時空間視覚感度関数の引数として用いる
ことを特徴とする符号化パラメータ選択装置。 In the encoding parameter selection device according to claim 5,
The means for calculating the shift amount determines the reliability of the shift amount estimated by motion estimation, calculates a lower limit value of the shift amount based on the determined reliability, and calculates the lower limit value of the calculated shift amount. An encoding parameter selection device characterized by being used as an argument of the spatiotemporal visual sensitivity function.
前記変移量を算出する手段は，前記変移量の信頼度を，フレーム間予測誤差およびブロック内の画像信号の平坦度に基づき決定する
ことを特徴とする符号化パラメータ選択装置。 In the encoding parameter selection device according to claim 6,
The encoding parameter selection apparatus characterized in that the means for calculating the shift amount determines the reliability of the shift amount based on an inter-frame prediction error and a flatness of an image signal in a block.
前記符号化パラメータは，動画像符号化における予測モード，動き補償ブロックサイズ，スキップモード，または量子化パラメータである
ことを特徴とする符号化パラメータ選択装置。 In the encoding parameter selection device according to claim 5, claim 6 or claim 7,
The coding parameter selection apparatus, wherein the coding parameter is a prediction mode, a motion compensation block size, a skip mode, or a quantization parameter in moving picture coding.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007127660A JP4709179B2 (en) | 2007-05-14 | 2007-05-14 | Encoding parameter selection method, encoding parameter selection device, encoding parameter selection program, and recording medium therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007127660A JP4709179B2 (en) | 2007-05-14 | 2007-05-14 | Encoding parameter selection method, encoding parameter selection device, encoding parameter selection program, and recording medium therefor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008283599A true JP2008283599A (en) | 2008-11-20 |
| JP4709179B2 JP4709179B2 (en) | 2011-06-22 |
Family
ID=40144020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007127660A Active JP4709179B2 (en) | 2007-05-14 | 2007-05-14 | Encoding parameter selection method, encoding parameter selection device, encoding parameter selection program, and recording medium therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4709179B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010258648A (en) * | 2009-04-23 | 2010-11-11 | Ntt Docomo Inc | Image processor, image processing method, and image processing program |
| US20120051426A1 (en) * | 2010-08-30 | 2012-03-01 | Koichi Takagi | Code amount reducing apparatus, encoder and decoder |
| JP2012525763A (en) * | 2009-04-28 | 2012-10-22 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | Distortion weighting |
| CN107409218A (en) * | 2015-03-06 | 2017-11-28 | 高通股份有限公司 | The Fast video coding method split using block |
| WO2020098751A1 (en) * | 2018-11-14 | 2020-05-22 | 深圳市中兴微电子技术有限公司 | Video data encoding processing method and computer storage medium |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10336675A (en) * | 1997-05-30 | 1998-12-18 | Toshiba Corp | Moving image encoding method and device |
| JP2006005466A (en) * | 2004-06-15 | 2006-01-05 | Toshiba Corp | Method and device of encoding image |
-
2007
- 2007-05-14 JP JP2007127660A patent/JP4709179B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10336675A (en) * | 1997-05-30 | 1998-12-18 | Toshiba Corp | Moving image encoding method and device |
| JP2006005466A (en) * | 2004-06-15 | 2006-01-05 | Toshiba Corp | Method and device of encoding image |
Non-Patent Citations (1)
| Title |
|---|
| CSNG200600977007, 坂東 幸浩、外３名, "主観画質を考慮したＨ．２６４／ＡＶＣにおけるモード選択方法の検討", 情報処理学会研究報告 ２００６−ＡＶＭ−５４ オーディオビジュアル複合情報処理, 20060929, 第２００６巻、第１０２号, ｐ．３５−３９, JP, 社団法人 情報処理学会 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010258648A (en) * | 2009-04-23 | 2010-11-11 | Ntt Docomo Inc | Image processor, image processing method, and image processing program |
| US8744199B2 (en) | 2009-04-23 | 2014-06-03 | Morpho, Inc. | Image processing device, image processing method and storage medium |
| JP2012525763A (en) * | 2009-04-28 | 2012-10-22 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | Distortion weighting |
| US20120051426A1 (en) * | 2010-08-30 | 2012-03-01 | Koichi Takagi | Code amount reducing apparatus, encoder and decoder |
| CN107409218A (en) * | 2015-03-06 | 2017-11-28 | 高通股份有限公司 | The Fast video coding method split using block |
| WO2020098751A1 (en) * | 2018-11-14 | 2020-05-22 | 深圳市中兴微电子技术有限公司 | Video data encoding processing method and computer storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4709179B2 (en) | 2011-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100716999B1 (en) | Method for intra prediction using the symmetry of video, method and apparatus for encoding and decoding video using the same | |
| US8369628B2 (en) | Video encoding device, video encoding method, video encoding program, video decoding device, video decoding method, and video decoding program | |
| US7778459B2 (en) | Image encoding/decoding method and apparatus | |
| JP4127818B2 (en) | Video coding method and apparatus | |
| US6711211B1 (en) | Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder | |
| US8149910B2 (en) | Image encoding/image decoding method and image encoding/image decoding apparatus | |
| US20050190977A1 (en) | Method and apparatus for video encoding | |
| US20110286522A1 (en) | Selecting encoding types and predictive modes for encoding video data | |
| US20070171978A1 (en) | Image encoding apparatus, image encoding method and program thereof | |
| US8189667B2 (en) | Moving picture encoding apparatus | |
| US20060018385A1 (en) | Method and apparatus for intra prediction of video data | |
| JP2007267414A (en) | In-frame image coding method, and apparatus thereof | |
| US9094687B2 (en) | Video encoder and video decoder | |
| JP4709179B2 (en) | Encoding parameter selection method, encoding parameter selection device, encoding parameter selection program, and recording medium therefor | |
| US9106917B2 (en) | Video encoding apparatus and video encoding method | |
| JP4709187B2 (en) | ENCODING PARAMETER DETERMINING METHOD, ENCODING PARAMETER DETERMINING DEVICE, ENCODING PARAMETER DETERMINING PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING THE PROGRAM | |
| JP4709074B2 (en) | Moving picture encoding method, apparatus, program thereof, and recording medium recording the program | |
| JP4884703B2 (en) | Image spatial prediction encoding method, encoding device, decoding method, and decoding device | |
| JPH05227525A (en) | Picture encoder | |
| US20050053139A1 (en) | Method and apparatus for determining reference data unit for predictive video data coding | |
| JP2006100871A (en) | Coder, coding method, program of coding method, and recording medium with the program recorded thereon | |
| US20060146183A1 (en) | Image processing apparatus, encoding device, and methods of same | |
| JP2007251996A (en) | Moving picture coding method, and apparatus adopting same | |
| JP4222274B2 (en) | Encoding mode selection device and encoding mode selection program | |
| KR20020021688A (en) | Video encoding method and video encoding apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090715 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100331 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101221 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110215 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110317 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |