JP2003219429A - Image processing device and method therefor, recording medium, and program thereof - Google Patents
Image processing device and method therefor, recording medium, and program thereofInfo
- Publication number
- JP2003219429A JP2003219429A JP2002018290A JP2002018290A JP2003219429A JP 2003219429 A JP2003219429 A JP 2003219429A JP 2002018290 A JP2002018290 A JP 2002018290A JP 2002018290 A JP2002018290 A JP 2002018290A JP 2003219429 A JP2003219429 A JP 2003219429A
- Authority
- JP
- Japan
- Prior art keywords
- correction data
- prediction
- original image
- processing
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、画像処理装置およ
び方法、記録媒体、並びにプログラムに関し、特に、原
画像とほぼ同一の復号画像が得られるように、画像を、
例えば間引くことにより符号化する場合において、より
原画像に近い画像を符号化し、復号することができるよ
うにした、画像処理装置および方法、記録媒体、並びに
プログラムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus and method, a recording medium, and a program, and more particularly, to an image so that a decoded image almost the same as the original image can be obtained.
For example, the present invention relates to an image processing apparatus and method, a recording medium, and a program that enable encoding and decoding of an image that is closer to the original image when encoding by thinning out.
【0002】[0002]
【従来の技術】従来より、画像の符号化方法について
は、種々の方法が提案されているが、そのうちの1つ
に、例えば、画像を、その画素を間引くこと(subsampl
ing)により圧縮して符号化する方法がある。2. Description of the Related Art Conventionally, various methods for encoding an image have been proposed. One of them is, for example, that an image is thinned out by subsampling its pixels.
ing), there is a method of compressing and encoding.
【0003】しかしながら、このように間引いて圧縮し
た画像を、単純に補間により伸張した場合、その結果得
られる復号画像の解像度が劣化する。However, when an image compressed and thinned in this way is simply expanded by interpolation, the resolution of the decoded image obtained as a result deteriorates.
【0004】このように復号画像の解像度が劣化する原
因として、第1に、間引いた画像には、元の画像に含ま
れる高周波数成分が含まれていないことと、第2に、間
引き後の画像を構成する画素の画素値が、元の画像を復
元するのに、必ずしも適当でないことが考えられる。The causes of the deterioration of the resolution of the decoded image are as follows. First, the thinned image does not contain the high frequency components contained in the original image, and secondly, after the thinning. It is conceivable that the pixel values of the pixels forming the image are not always suitable for restoring the original image.
【0005】そこで、本出願人は、例えば、特願平9−
208483号として、図1に示されるような画像符号
化装置を先に提案した。Therefore, the applicant of the present invention has proposed, for example, Japanese Patent Application No. 9-
As No. 208483, an image coding apparatus as shown in FIG. 1 was previously proposed.
【0006】図1の例においては、縮小画像作成部11
が、入力された画像データを、例えば9個の画素から1
つの画素だけを選択する(間引く)ことで縮小画像デー
タを生成する。補正部12は、制御部15より供給され
る制御信号に基づいて、縮小画像作成部11より供給さ
れる縮小画像データを補正して、補正データを生成す
る。ローカルデコード部13は、補正部12により生成
された補正データを、クラス分類適応処理を利用してデ
コードし、元の画像を予測する予測値を生成する。誤差
算出部14は、ローカルデコード部13により算出され
た予測値を入力画像データと比較し、その誤差を予測誤
差として算出して、制御部15に供給する。In the example of FIG. 1, the reduced image creating unit 11
Of the input image data from, for example, 9 pixels
Reduced image data is generated by selecting (thinning out) only one pixel. The correction unit 12 corrects the reduced image data supplied from the reduced image creation unit 11 based on the control signal supplied from the control unit 15 to generate correction data. The local decoding unit 13 decodes the correction data generated by the correction unit 12 using the class classification adaptive processing, and generates a prediction value that predicts the original image. The error calculation unit 14 compares the prediction value calculated by the local decoding unit 13 with the input image data, calculates the error as a prediction error, and supplies it to the control unit 15.
【0007】制御部15は、誤差算出部14により算出
された予測誤差に基づいて制御信号を生成し、補正部1
2に供給する。補正部12は、この制御信号に基づいて
縮小画像データを補正して、ローカルデコード部13に
供給する。The control unit 15 generates a control signal based on the prediction error calculated by the error calculation unit 14, and the correction unit 1
Supply to 2. The correction unit 12 corrects the reduced image data based on the control signal and supplies the corrected reduced image data to the local decoding unit 13.
【0008】以上のような処理が繰り返し実行されるこ
とで、予測誤差が所定値以下になったとき、制御部15
は、そのとき補正部12より出力される補正データを最
適圧縮データとして、そのときローカルデコード部13
により予測処理に用いられた予測係数とともに多重化部
16に供給し、多重化させ、符号化データとして出力さ
せる。When the prediction error becomes less than or equal to a predetermined value by repeatedly executing the above processing, the control unit 15
At that time, the correction data output from the correction unit 12 is set as optimum compressed data, and at that time, the local decoding unit 13
Is supplied to the multiplexing unit 16 together with the prediction coefficient used in the prediction process, multiplexed, and output as encoded data.
【0009】[0009]
【発明が解決しようとする課題】しかしながら、先の提
案においては、ローカルデコード部13において、予測
処理に用いられる補正データが同一のフレーム内の補正
データとされているため、特に、動きがある画像を正確
に元の画像により近い画像として復号することが困難で
ある課題があった。However, in the above proposal, since the correction data used in the prediction processing is the correction data in the same frame in the local decoding unit 13, it is possible to obtain an image with a motion especially. There is a problem that it is difficult to accurately decode as an image closer to the original image.
【0010】本発明はこのような状況に鑑みてなされた
ものであり、より正確に、原画像に近い画像を復号する
ことができるようにするものである。The present invention has been made in view of such a situation, and it is possible to more accurately decode an image close to the original image.
【0011】[0011]
【課題を解決するための手段】本発明の第1の画像処理
装置は、原画像の画素数を少なくすることにより圧縮
し、縮小画像データを生成する圧縮手段と、圧縮手段に
より生成された縮小画像データを、予測誤差に基づいて
補正し、補正データを生成する補正手段と、補正手段に
より生成された補正データであって、原画像のうちの第
1の原画像に対応する第1の補正データと、第1の原画
像より時間的に前の第2の原画像に対応する第2の補正
データ、または第1の原画像より時間的に後の第3の原
画像に対応する第3の補正データの少なくとも一方とを
利用して、第1の原画像の動きを推定し、動きベクトル
を生成する動き推定手段と、補正手段により生成された
第1の補正データ、および第2の補正データまたは第3
の補正データのうちの少なくとも一方、並びに動き推定
手段により生成された動きベクトルに基づいて、第1の
原画像を予測し、予測値を生成する予測手段と、予測手
段により生成された予測値の、第1の原画像に対する予
測誤差を算出する予測誤差算出手段と、予測誤差算出手
段により算出された予測誤差に基づいて、補正手段によ
り生成された補正データの適正さを判定する判定手段
と、判定手段により、補正データの適正さが判定された
場合、補正データと、対応する動きベクトルを出力する
出力手段とを備えることを特徴とする。A first image processing apparatus according to the present invention compresses an original image by reducing the number of pixels to generate reduced image data, and a reduction unit generated by the compression unit. A correction unit that corrects image data based on a prediction error to generate correction data, and a correction data generated by the correction unit, the first correction corresponding to a first original image of the original images. Data and second correction data corresponding to a second original image temporally preceding the first original image, or a third correction data corresponding to a third original image temporally subsequent to the first original image. Using at least one of the correction data of 1., the motion estimation means for estimating the motion of the first original image and generating the motion vector, the first correction data generated by the correction means, and the second correction Data or third
Of the first original image based on at least one of the correction data and the motion vector generated by the motion estimation means, and a prediction means for generating a prediction value, and a prediction value generated by the prediction means. A prediction error calculation unit that calculates a prediction error for the first original image, and a determination unit that determines the appropriateness of the correction data generated by the correction unit based on the prediction error calculated by the prediction error calculation unit. When the determination unit determines the appropriateness of the correction data, the correction data and the output unit that outputs the corresponding motion vector are provided.
【0012】前記出力手段は、予測手段が予測値を生成
するのに用いた予測係数をさらに出力することができ
る。The output means can further output the prediction coefficient used by the prediction means to generate the predicted value.
【0013】本発明の第1の画像処理方法は、原画像の
画素数を少なくすることにより圧縮し、縮小画像データ
を生成する圧縮ステップと、圧縮ステップの処理により
生成された縮小画像データを、予測誤差に基づいて補正
し、補正データを生成する補正ステップと、補正ステッ
プの処理により生成された補正データであって、原画像
のうちの第1の原画像に対応する第1の補正データと、
第1の原画像より時間的に前の第2の原画像に対応する
第2の補正データ、または第1の原画像より時間的に後
の第3の原画像に対応する第3の補正データの少なくと
も一方とを利用して、第1の原画像の動きを推定し、動
きベクトルを生成する動き推定ステップと、補正ステッ
プの処理により生成された第1の補正データ、および第
2の補正データまたは第3の補正データのうちの少なく
とも一方、並びに動き推定ステップの処理により生成さ
れた動きベクトルに基づいて、第1の原画像を予測し、
予測値を生成する予測ステップと、予測ステップの処理
により生成された予測値の、第1の原画像に対する予測
誤差を算出する予測誤差算出ステップと、予測誤差算出
ステップの処理により算出された予測誤差に基づいて、
補正ステップの処理により生成された補正データの適正
さを判定する判定ステップと、判定ステップの処理によ
り、補正データの適正さが判定された場合、補正データ
と、対応する動きベクトルを出力する出力ステップとを
含むことを特徴とする。According to the first image processing method of the present invention, the original image is compressed by reducing the number of pixels to generate reduced image data, and the reduced image data generated by the process of the compression step are A correction step of correcting based on a prediction error and generating correction data; and correction data generated by the processing of the correction step, the correction data corresponding to a first original image of the original images. ,
Second correction data corresponding to a second original image temporally preceding the first original image, or third correction data corresponding to a third original image temporally subsequent to the first original image Of the first original image by using at least one of the above, the first correction data generated by the processing of the motion estimation step of generating the motion vector and the correction step, and the second correction data. Alternatively, the first original image is predicted based on at least one of the third correction data and the motion vector generated by the process of the motion estimation step,
A prediction step of generating a prediction value, a prediction error calculation step of calculating a prediction error of the prediction value generated by the processing of the prediction step with respect to the first original image, and a prediction error calculated by the processing of the prediction error calculation step. On the basis of,
A determination step of determining the appropriateness of the correction data generated by the processing of the correction step, and an output step of outputting the correction data and the corresponding motion vector when the appropriateness of the correction data is determined by the processing of the determination step It is characterized by including and.
【0014】本発明の第1の記録媒体のプログラムは、
原画像の画素数を少なくすることにより圧縮し、縮小画
像データを生成する圧縮ステップと、圧縮ステップの処
理により生成された縮小画像データを、予測誤差に基づ
いて補正し、補正データを生成する補正ステップと、補
正ステップの処理により生成された補正データであっ
て、原画像のうちの第1の原画像に対応する第1の補正
データと、第1の原画像より時間的に前の第2の原画像
に対応する第2の補正データ、または第1の原画像より
時間的に後の第3の原画像に対応する第3の補正データ
の少なくとも一方とを利用して、第1の原画像の動きを
推定し、動きベクトルを生成する動き推定ステップと、
補正ステップの処理により生成された第1の補正デー
タ、および第2の補正データまたは第3の補正データの
うちの少なくとも一方、並びに動き推定ステップの処理
により生成された動きベクトルに基づいて、第1の原画
像を予測し、予測値を生成する予測ステップと、予測ス
テップの処理により生成された予測値の、第1の原画像
に対する予測誤差を算出する予測誤差算出ステップと、
予測誤差算出ステップの処理により算出された予測誤差
に基づいて、補正ステップの処理により生成された補正
データの適正さを判定する判定ステップと、判定ステッ
プの処理により、補正データの適正さが判定された場
合、補正データと、対応する動きベクトルを出力する出
力ステップとを含むことを特徴とする。The program of the first recording medium of the present invention is
A compression step of compressing the original image by reducing the number of pixels to generate reduced image data, and a correction step of correcting the reduced image data generated by the processing of the compression step based on a prediction error to generate correction data. Step, and correction data generated by the processing of the correction step, the first correction data corresponding to the first original image in the original image, and the second correction data temporally preceding the first original image. Second correction data corresponding to the first original image or at least one of the third correction data corresponding to the third original image temporally later than the first original image. A motion estimation step of estimating the motion of the image and generating a motion vector,
Based on the first correction data generated by the processing of the correction step, at least one of the second correction data and the third correction data, and the motion vector generated by the processing of the motion estimation step, the first correction data , A prediction step of predicting the original image and generating a prediction value; a prediction error calculating step of calculating a prediction error of the prediction value generated by the processing of the prediction step with respect to the first original image;
Based on the prediction error calculated by the processing of the prediction error calculation step, a judgment step of judging the appropriateness of the correction data generated by the processing of the correction step, and the processing of the judgment step, the appropriateness of the correction data is judged. In this case, the correction data and the output step of outputting the corresponding motion vector are included.
【0015】本発明の第1のプログラムは、原画像の画
素数を少なくすることにより圧縮し、縮小画像データを
生成する圧縮ステップと、圧縮ステップの処理により生
成された縮小画像データを、予測誤差に基づいて補正
し、補正データを生成する補正ステップと、補正ステッ
プの処理により生成された補正データであって、原画像
のうちの第1の原画像に対応する第1の補正データと、
第1の原画像より時間的に前の第2の原画像に対応する
第2の補正データ、または第1の原画像より時間的に後
の第3の原画像に対応する第3の補正データの少なくと
も一方とを利用して、第1の原画像の動きを推定し、動
きベクトルを生成する動き推定ステップと、補正ステッ
プの処理により生成された第1の補正データ、および第
2の補正データまたは第3の補正データのうちの少なく
とも一方、並びに動き推定ステップの処理により生成さ
れた動きベクトルに基づいて、第1の原画像を予測し、
予測値を生成する予測ステップと、予測ステップの処理
により生成された予測値の、第1の原画像に対する予測
誤差を算出する予測誤差算出ステップと、予測誤差算出
ステップの処理により算出された予測誤差に基づいて、
補正ステップの処理により生成された補正データの適正
さを判定する判定ステップと、判定ステップの処理によ
り、補正データの適正さが判定された場合、補正データ
と、対応する動きベクトルを出力する出力ステップとを
コンピュータに実行させることを特徴とする。The first program of the present invention compresses the original image by reducing the number of pixels to generate reduced image data, and the reduced image data generated by the process of the compressing step to predict error. A correction step of performing correction on the basis of the correction data and generating correction data; and correction data generated by the processing of the correction step, the first correction data corresponding to a first original image of the original images,
Second correction data corresponding to a second original image temporally preceding the first original image, or third correction data corresponding to a third original image temporally subsequent to the first original image Of the first original image by using at least one of the above, the first correction data generated by the processing of the motion estimation step of generating the motion vector and the correction step, and the second correction data. Alternatively, the first original image is predicted based on at least one of the third correction data and the motion vector generated by the process of the motion estimation step,
A prediction step of generating a prediction value, a prediction error calculation step of calculating a prediction error of the prediction value generated by the processing of the prediction step with respect to the first original image, and a prediction error calculated by the processing of the prediction error calculation step. On the basis of,
A determination step of determining the appropriateness of the correction data generated by the processing of the correction step, and an output step of outputting the correction data and the corresponding motion vector when the appropriateness of the correction data is determined by the processing of the determination step And causing a computer to execute.
【0016】本発明の第2の画像処理装置は、原画像の
画素数を少なくすることにより圧縮し、縮小画像データ
を生成する圧縮手段と、圧縮手段により生成された縮小
画像データを、予測誤差に基づいて補正し、補正データ
を生成する補正手段と、補正手段により生成された補正
データであって、原画像のうちの第1の原画像に対応す
る第1の補正データを保持するとともに、第1の原画像
より時間的に前の第2の原画像に対応する第2の補正デ
ータ、または第1の原画像より時間的に後の第3の原画
像に対応する第3の補正データの少なくとも一方を保持
する補正データ保持手段と、補正データ保持手段により
保持されている第1の補正データの注目ブロックを設定
する注目ブロック設定手段と、補正データ保持手段によ
り保持されている第2の補正データまたは第3の補正デ
ータから、注目ブロック設定手段により設定された注目
ブロックに対応する位置の第2の補正データまたは第3
の補正データを取得する取得手段と、注目ブロック設定
手段により設定された注目ブロックと、取得手段により
取得された第2の補正データまたは第3の補正データに
基づいて、第1の原画像を予測するのに必要な予測補正
データを抽出する抽出手段と、補正データ保持手段によ
り保持されている第1の補正データを、その性質に応じ
て所定のクラスに分類するクラス分類手段と、予測係数
を保持し、クラス分類手段により分類されたクラスに対
応する予測係数を出力する予測係数保持手段と、クラス
分類手段により分類されたクラスに対応する予測係数
と、抽出手段により抽出された予測補正データに基づい
て予測値を演算する演算手段と、第1の原画像に対する
演算手段により演算された予測値の予測誤差が最小とな
る場合における、取得手段により取得された第2の補正
データまたは第3の補正データの注目ブロックに対する
相対的位置に基づいて、それに対応する動きベクトルを
生成する生成手段と、予測値の予測誤差が最小となる場
合における、補正データと、対応する動きベクトルを出
力する出力手段とを備えることを特徴とする。The second image processing apparatus of the present invention compresses the original image by reducing the number of pixels of the original image to generate reduced image data, and the reduced image data generated by the compressing unit. And a first correction data corresponding to the first original image of the original images, which is the correction data generated by the correction unit Second correction data corresponding to a second original image temporally preceding the first original image, or third correction data corresponding to a third original image temporally subsequent to the first original image Correction data holding means for holding at least one of the above, a target block setting means for setting a target block of the first correction data held by the correction data holding means, and a correction data holding means. Second correction data or the third correction from the data, the block of interest a second position corresponding to the target blocks set by the setting means the correction data or the third
Of the first original image on the basis of the acquisition unit that acquires the correction data of the target block, the target block set by the target block setting unit, and the second correction data or the third correction data acquired by the acquisition unit. Extraction means for extracting the prediction correction data necessary for the calculation, class classification means for classifying the first correction data held by the correction data holding means into a predetermined class according to the property, and a prediction coefficient. A prediction coefficient holding unit that holds and outputs a prediction coefficient corresponding to the class classified by the class classification unit, a prediction coefficient corresponding to the class classified by the class classification unit, and prediction correction data extracted by the extraction unit. A calculation unit that calculates a prediction value based on the calculation unit and a calculation unit that calculates the prediction value of the first original image have a minimum prediction error. In the case where the prediction error of the predicted value is the minimum, the generating means for generating the corresponding motion vector based on the relative position of the second correction data or the third correction data acquired by the means with respect to the target block. , Correction data and output means for outputting a corresponding motion vector.
【0017】前記出力手段は、予測係数をさらに出力す
ることができる。The output means can further output the prediction coefficient.
【0018】本発明の第2の画像処理方法は、原画像の
画素数を少なくすることにより圧縮し、縮小画像データ
を生成する圧縮ステップと、圧縮ステップの処理により
生成された縮小画像データを、予測誤差に基づいて補正
し、補正データを生成する補正ステップと、補正ステッ
プの処理により生成された補正データであって、原画像
のうちの第1の原画像に対応する第1の補正データの保
持を制御するとともに、第1の原画像より時間的に前の
第2の原画像に対応する第2の補正データ、または第1
の原画像より時間的に後の第3の原画像に対応する第3
の補正データの少なくとも一方の保持を制御する補正デ
ータ保持制御ステップと、補正データ保持制御ステップ
の処理により保持が制御されている第1の補正データの
注目ブロックを設定する注目ブロック設定ステップと、
補正データ保持制御ステップの処理により保持が制御さ
れている第2の補正データまたは第3の補正データか
ら、注目ブロック設定ステップの処理により設定された
注目ブロックに対応する位置の第2の補正データまたは
第3の補正データを取得する取得ステップと、注目ブロ
ック設定ステップの処理により設定された注目ブロック
と、取得ステップの処理により取得された第2の補正デ
ータまたは第3の補正データに基づいて、第1の原画像
を予測するのに必要な予測補正データを抽出する抽出ス
テップと、補正データ保持制御ステップの処理により保
持が制御されている第1の補正データを、その性質に応
じて所定のクラスに分類するクラス分類ステップと、ク
ラス分類ステップの処理により分類されたクラスに対応
する予測係数を出力する予測係数出力ステップと、クラ
ス分類ステップの処理により分類されたクラスに対応す
る予測係数と、抽出ステップの処理により抽出された予
測補正データに基づいて予測値を演算する演算ステップ
と、第1の原画像に対する演算ステップの処理により演
算された予測値の予測誤差が最小となる場合における、
取得ステップの処理により取得された第2の補正データ
または第3の補正データの注目ブロックに対する相対的
位置に基づいて、それに対応する動きベクトルを生成す
る生成ステップと、予測値の予測誤差が最小となる場合
における、補正データと、対応する動きベクトルを出力
する出力ステップとを含むことを特徴とする。According to a second image processing method of the present invention, the original image is compressed by reducing the number of pixels to generate reduced image data, and the reduced image data generated by the processing of the compression step are A correction step of correcting based on the prediction error to generate correction data; and correction data generated by the processing of the correction step, which is the first correction data corresponding to the first original image of the original images. The second correction data corresponding to the second original image temporally preceding the first original image while controlling the holding, or the first correction data
Of the third original image temporally after the original image of
Correction data holding control step for controlling the holding of at least one of the correction data, and a target block setting step for setting a target block of the first correction data whose holding is controlled by the processing of the correction data holding control step,
From the second correction data or the third correction data whose holding is controlled by the correction data holding control step, the second correction data at the position corresponding to the target block set by the target block setting step or Based on the acquisition step of acquiring the third correction data, the target block set by the processing of the target block setting step, and the second correction data or the third correction data acquired by the processing of the acquisition step, The extraction step of extracting the prediction correction data necessary for predicting the original image of No. 1 and the first correction data whose holding is controlled by the processing of the correction data holding control step are classified into a predetermined class according to their properties. Output the prediction coefficient corresponding to the class classified by the class classification step and the class classification step processing A prediction coefficient output step, a prediction coefficient corresponding to the class classified by the processing of the class classification step, and a calculation step of calculating a prediction value based on the prediction correction data extracted by the processing of the extraction step; In the case where the prediction error of the prediction value calculated by the processing of the calculation step for the original image is the minimum,
A generation step of generating a motion vector corresponding to the relative position of the second correction data or the third correction data acquired by the processing of the acquisition step with respect to the target block, and a prediction error of the prediction value is minimum. In this case, the correction data and the output step of outputting the corresponding motion vector are included.
【0019】本発明の第2の記録媒体のプログラムは、
原画像の画素数を少なくすることにより圧縮し、縮小画
像データを生成する圧縮ステップと、圧縮ステップの処
理により生成された縮小画像データを、予測誤差に基づ
いて補正し、補正データを生成する補正ステップと、補
正ステップの処理により生成された補正データであっ
て、原画像のうちの第1の原画像に対応する第1の補正
データの保持を制御するとともに、第1の原画像より時
間的に前の第2の原画像に対応する第2の補正データ、
または第1の原画像より時間的に後の第3の原画像に対
応する第3の補正データの少なくとも一方の保持を制御
する補正データ保持制御ステップと、補正データ保持制
御ステップの処理により保持が制御されている第1の補
正データの注目ブロックを設定する注目ブロック設定ス
テップと、補正データ保持制御ステップの処理により保
持が制御されている第2の補正データまたは第3の補正
データから、注目ブロック設定ステップの処理により設
定された注目ブロックに対応する位置の第2の補正デー
タまたは第3の補正データを取得する取得ステップと、
注目ブロック設定ステップの処理により設定された注目
ブロックと、取得ステップの処理により取得された第2
の補正データまたは第3の補正データに基づいて、第1
の原画像を予測するのに必要な予測補正データを抽出す
る抽出ステップと、補正データ保持制御ステップの処理
により保持が制御されている第1の補正データを、その
性質に応じて所定のクラスに分類するクラス分類ステッ
プと、クラス分類ステップの処理により分類されたクラ
スに対応する予測係数を出力する予測係数出力ステップ
と、クラス分類ステップの処理により分類されたクラス
に対応する予測係数と、抽出ステップの処理により抽出
された予測補正データに基づいて予測値を演算する演算
ステップと、第1の原画像に対する演算ステップの処理
により演算された予測値の予測誤差が最小となる場合に
おける、取得ステップの処理により取得された第2の補
正データまたは第3の補正データの注目ブロックに対す
る相対的位置に基づいて、それに対応する動きベクトル
を生成する生成ステップと、予測値の予測誤差が最小と
なる場合における、補正データと、対応する動きベクト
ルを出力する出力ステップとを含むことを特徴とする。The program of the second recording medium of the present invention is
A compression step of compressing the original image by reducing the number of pixels to generate reduced image data, and a correction step of correcting the reduced image data generated by the processing of the compression step based on a prediction error to generate correction data. And the correction data generated by the processing of the correction step, the first correction data corresponding to the first original image of the original image is controlled to be held, and Second correction data corresponding to the previous second original image,
Alternatively, the correction data holding control step for controlling the holding of at least one of the third correction data corresponding to the third original image temporally after the first original image, and the correction data holding control step From the target block setting step of setting the target block of the controlled first correction data and the second correction data or the third correction data whose holding is controlled by the processing of the correction data holding control step, the target block An acquisition step of acquiring the second correction data or the third correction data at the position corresponding to the target block set by the processing of the setting step;
The target block set by the process of the target block setting step and the second block acquired by the process of the acquiring step
Based on the correction data or the third correction data of
The extraction step of extracting the prediction correction data necessary for predicting the original image of the first correction data and the first correction data whose holding is controlled by the processing of the correction data holding control step are classified into a predetermined class according to their properties. A class classification step for classifying, a prediction coefficient output step for outputting the prediction coefficient corresponding to the class classified by the processing of the class classification step, a prediction coefficient corresponding to the class classified by the processing of the class classification step, and an extraction step Of the calculation step of calculating the prediction value based on the prediction correction data extracted by the processing of step 1, and the calculation step of the acquisition step when the prediction error of the prediction value calculated by the processing of the calculation step for the first original image is minimum. Based on the relative position of the second correction data or the third correction data acquired by the processing with respect to the block of interest. There are a generation step of generating a motion vector corresponding thereto, in the case where the prediction error of the prediction value is minimized, characterized in that it comprises a correction data, and an output step of outputting the corresponding motion vector.
【0020】本発明の第2のプログラムは、原画像の画
素数を少なくすることにより圧縮し、縮小画像データを
生成する圧縮ステップと、圧縮ステップの処理により生
成された縮小画像データを、予測誤差に基づいて補正
し、補正データを生成する補正ステップと、補正ステッ
プの処理により生成された補正データであって、原画像
のうちの第1の原画像に対応する第1の補正データの保
持を制御するとともに、第1の原画像より時間的に前の
第2の原画像に対応する第2の補正データ、または第1
の原画像より時間的に後の第3の原画像に対応する第3
の補正データの少なくとも一方の保持を制御する補正デ
ータ保持制御ステップと、補正データ保持制御ステップ
の処理により保持が制御されている第1の補正データの
注目ブロックを設定する注目ブロック設定ステップと、
補正データ保持制御ステップの処理により保持が制御さ
れている第2の補正データまたは第3の補正データか
ら、注目ブロック設定ステップの処理により設定された
注目ブロックに対応する位置の第2の補正データまたは
第3の補正データを取得する取得ステップと、注目ブロ
ック設定ステップの処理により設定された注目ブロック
と、取得ステップの処理により取得された第2の補正デ
ータまたは第3の補正データに基づいて、第1の原画像
を予測するのに必要な予測補正データを抽出する抽出ス
テップと、補正データ保持制御ステップの処理により保
持が制御されている第1の補正データを、その性質に応
じて所定のクラスに分類するクラス分類ステップと、ク
ラス分類ステップの処理により分類されたクラスに対応
する予測係数を出力する予測係数出力ステップと、クラ
ス分類ステップの処理により分類されたクラスに対応す
る予測係数と、抽出ステップの処理により抽出された予
測補正データに基づいて予測値を演算する演算ステップ
と、第1の原画像に対する演算ステップの処理により演
算された予測値の予測誤差が最小となる場合における、
取得ステップの処理により取得された第2の補正データ
または第3の補正データの注目ブロックに対する相対的
位置に基づいて、それに対応する動きベクトルを生成す
る生成ステップと、予測値の予測誤差が最小となる場合
における、補正データと、対応する動きベクトルを出力
する出力ステップとをコンピュータに実行させることを
特徴とする。The second program of the present invention compresses the original image by reducing the number of pixels to generate reduced image data, and the reduced image data generated by the process of the compressing step into a prediction error. A correction step for generating correction data based on the correction data and the correction data generated by the processing of the correction step, the first correction data corresponding to the first original image among the original images. The second correction data corresponding to the second original image which is controlled and is temporally earlier than the first original image, or the first correction data
Of the third original image temporally after the original image of
Correction data holding control step for controlling the holding of at least one of the correction data, and a target block setting step for setting a target block of the first correction data whose holding is controlled by the processing of the correction data holding control step,
From the second correction data or the third correction data whose holding is controlled by the correction data holding control step, the second correction data at the position corresponding to the target block set by the target block setting step or Based on the acquisition step of acquiring the third correction data, the target block set by the processing of the target block setting step, and the second correction data or the third correction data acquired by the processing of the acquisition step, The extraction step of extracting the prediction correction data necessary for predicting the original image of No. 1 and the first correction data whose holding is controlled by the processing of the correction data holding control step are classified into a predetermined class according to their properties. Output the prediction coefficient corresponding to the class classified by the class classification step and the class classification step processing A prediction coefficient output step, a prediction coefficient corresponding to the class classified by the processing of the class classification step, and a calculation step of calculating a prediction value based on the prediction correction data extracted by the processing of the extraction step; In the case where the prediction error of the prediction value calculated by the processing of the calculation step for the original image is the minimum,
A generation step of generating a motion vector corresponding to the relative position of the second correction data or the third correction data acquired by the processing of the acquisition step with respect to the target block, and a prediction error of the prediction value is minimum. In such a case, the computer is caused to execute the correction data and the output step of outputting the corresponding motion vector.
【0021】本発明の第3の画像処理装置は、補正デー
タを含む処理対象データを取得する取得手段と、取得手
段により取得された処理対象データから補正データと動
きベクトルを分離する分離手段と、分離手段により分離
された補正データであって、原画像のうちの第1の原画
像に対応する第1の補正データと、第1の原画像より時
間的に前の第2の原画像に対応する第2の補正データ、
または第1の原画像より時間的に後の第3の原画像に対
応する第3の補正データのうちの少なくとも一方、並び
に分離手段により分離された動きベクトルに基づいて、
第1の原画像を予測するのに用いる補正データとしての
予測対象画像データを抽出する予測対象画像データ抽出
手段と、分離手段により分離された補正データを、その
性質に応じて所定のクラスに分類するクラス分類手段
と、予測係数を保持し、クラス分類手段により分類され
たクラスに対応する予測係数を出力する予測係数保持手
段と、クラス分類手段により分類されたクラスに対応す
る予測係数と、予測対象画像データに基づいて、第1の
原画像の予測値を演算する演算手段とを備えることを特
徴とする。The third image processing apparatus of the present invention comprises an acquisition means for acquiring the processing target data including the correction data, a separation means for separating the correction data and the motion vector from the processing target data acquired by the acquisition means, The correction data separated by the separating means corresponds to the first correction data corresponding to the first original image of the original images and the second original image temporally preceding the first original image. Second correction data to
Alternatively, based on at least one of the third correction data corresponding to the third original image temporally after the first original image, and the motion vector separated by the separating means,
Prediction target image data extracting means for extracting prediction target image data as correction data used for predicting the first original image, and correction data separated by the separating means are classified into a predetermined class according to their properties. A prediction coefficient holding unit for holding the prediction coefficient, which outputs the prediction coefficient corresponding to the class classified by the class classification unit, and the prediction coefficient corresponding to the class classified by the class classification unit, And a calculation unit that calculates a predicted value of the first original image based on the target image data.
【0022】前記分離手段は、処理対象データから予測
係数をさらに分離し、予測係数保持手段は、分離手段に
より分離された予測係数を保持することができる。The separation means can further separate the prediction coefficient from the data to be processed, and the prediction coefficient holding means can hold the prediction coefficient separated by the separation means.
【0023】本発明の第3の画像処理方法は、補正デー
タを含む処理対象データを取得する取得ステップと、取
得ステップの処理により取得された処理対象データから
補正データと動きベクトルを分離する分離ステップと、
分離ステップの処理により分離された補正データであっ
て、原画像のうちの第1の原画像に対応する第1の補正
データと、第1の原画像より時間的に前の第2の原画像
に対応する第2の補正データ、または第1の原画像より
時間的に後の第3の原画像に対応する第3の補正データ
のうちの少なくとも一方、並びに分離ステップの処理に
より分離された動きベクトルに基づいて、第1の原画像
を予測するのに用いる補正データとしての予測対象画像
データを抽出する予測対象画像データ抽出ステップと、
分離ステップの処理により分離された補正データを、そ
の性質に応じて所定のクラスに分類するクラス分類ステ
ップと、クラス分類ステップの処理により分類されたク
ラスに対応する予測係数を出力する予測係数出力ステッ
プと、クラス分類ステップの処理により分類されたクラ
スに対応する予測係数と、予測対象画像データに基づい
て、第1の原画像の予測値を演算する演算ステップとを
含むことを特徴とする。A third image processing method of the present invention comprises an acquisition step of acquiring processing target data including correction data, and a separation step of separating the correction data and the motion vector from the processing target data acquired by the processing of the acquisition step. When,
First correction data corresponding to the first original image of the original images, which is the correction data separated by the process of the separating step, and the second original image temporally preceding the first original image. At least one of the second correction data corresponding to, or the third correction data corresponding to the third original image that is after the first original image in time, and the motion separated by the process of the separating step. A prediction target image data extraction step of extracting prediction target image data as correction data used to predict the first original image based on the vector;
A class classification step that classifies the correction data separated by the processing of the separation step into a predetermined class according to the property, and a prediction coefficient output step that outputs the prediction coefficient corresponding to the class classified by the processing of the class classification step. And a prediction coefficient corresponding to the class classified by the processing of the class classification step, and a calculation step of calculating a prediction value of the first original image based on the prediction target image data.
【0024】本発明の第3の記録媒体のプログラムは、
原画像の画素数を少なくすることにより圧縮することで
生成された縮小画像データを、原画像との予測誤差に基
づいて補正することで生成された補正データを復号する
画像処理装置のプログラムであって、補正データを含む
処理対象データを取得する取得ステップと、取得ステッ
プの処理により取得された処理対象データから補正デー
タと動きベクトルを分離する分離ステップと、分離ステ
ップの処理により分離された補正データであって、原画
像のうちの第1の原画像に対応する第1の補正データ
と、第1の原画像より時間的に前の第2の原画像に対応
する第2の補正データ、または第1の原画像より時間的
に後の第3の原画像に対応する第3の補正データのうち
の少なくとも一方、並びに分離ステップの処理により分
離された動きベクトルに基づいて、第1の原画像を予測
するのに用いる補正データとしての予測対象画像データ
を抽出する予測対象画像データ抽出ステップと、分離ス
テップの処理により分離された補正データを、その性質
に応じて所定のクラスに分類するクラス分類ステップ
と、クラス分類ステップの処理により分類されたクラス
に対応する予測係数を出力する予測係数出力ステップ
と、クラス分類ステップの処理により分類されたクラス
に対応する予測係数と、予測対象画像データに基づい
て、第1の原画像の予測値を演算する演算ステップとを
含むことを特徴とする。The program of the third recording medium of the present invention is
A program for an image processing device that decodes the correction data generated by correcting the reduced image data generated by compressing the original image by reducing the number of pixels, based on the prediction error from the original image. The acquisition step for acquiring the processing target data including the correction data, the separation step for separating the correction data and the motion vector from the processing target data acquired by the processing of the acquisition step, and the correction data separated by the processing of the separation step. And the first correction data corresponding to the first original image of the original images and the second correction data corresponding to the second original image temporally preceding the first original image, or At least one of the third correction data corresponding to the third original image temporally after the first original image, and the motion vector separated by the process of the separating step. The prediction target image data extraction step of extracting the prediction target image data as the correction data used to predict the first original image, and the correction data separated by the processing of the separation step, according to their properties. A class classification step of classifying into a predetermined class by the following, a prediction coefficient output step of outputting a prediction coefficient corresponding to the class classified by the processing of the class classification step, and a prediction corresponding to the class classified by the processing of the class classification step It is characterized by including a coefficient and a calculation step of calculating a prediction value of the first original image based on the prediction target image data.
【0025】本発明の第3のプログラムは、原画像の画
素数を少なくすることにより圧縮することで生成された
縮小画像データを、原画像との予測誤差に基づいて補正
することで生成された補正データを復号する画像処理装
置を制御するコンピュータに、補正データを含む処理対
象データを取得する取得ステップと、取得ステップの処
理により取得された処理対象データから補正データと動
きベクトルを分離する分離ステップと、分離ステップの
処理により分離された補正データであって、原画像のう
ちの第1の原画像に対応する第1の補正データと、第1
の原画像より時間的に前の第2の原画像に対応する第2
の補正データ、または第1の原画像より時間的に後の第
3の原画像に対応する第3の補正データのうちの少なく
とも一方、並びに分離ステップの処理により分離された
動きベクトルに基づいて、第1の原画像を予測するのに
用いる補正データとしての予測対象画像データを抽出す
る予測対象画像データ抽出ステップと、分離ステップの
処理により分離された補正データを、その性質に応じて
所定のクラスに分類するクラス分類ステップと、クラス
分類ステップの処理により分類されたクラスに対応する
予測係数を出力する予測係数出力ステップと、クラス分
類ステップの処理により分類されたクラスに対応する予
測係数と、予測対象画像データに基づいて、第1の原画
像の予測値を演算する演算ステップとを実行させること
を特徴とする。The third program of the present invention is generated by correcting the reduced image data generated by compressing the original image by reducing the number of pixels, based on a prediction error from the original image. A computer for controlling an image processing apparatus that decodes the correction data, and an acquisition step of acquiring the processing target data including the correction data, and a separation step of separating the correction data and the motion vector from the processing target data acquired by the processing of the acquisition step. And correction data separated by the process of the separation step, the first correction data corresponding to the first original image of the original images, and the first correction data
2nd corresponding to the 2nd original image temporally preceding the original image of
Of at least one of the third correction data corresponding to the third original image temporally after the first original image, and the motion vector separated by the process of the separating step, A prediction target image data extraction step for extracting prediction target image data as correction data used for predicting the first original image, and correction data separated by the processing of the separation step are classified into a predetermined class according to their properties. Class classification step to classify into, the prediction coefficient output step to output the prediction coefficient corresponding to the class classified by the processing of the class classification step, the prediction coefficient corresponding to the class classified by the processing of the class classification step, and the prediction And a calculation step of calculating a predicted value of the first original image based on the target image data.
【0026】本発明の第1の画像処理装置および方法、
記録媒体、並びにプログラムにおいては、動きベクトル
が生成され、生成された動きベクトルに基づいて、第1
の原画像を予測した予測値が生成され、予測値の第1の
原画像に対する予測誤差が算出される。算出された予測
誤差に基づいて、補正データの適正差が判定された場
合、補正データと対応する動きベクトルが出力される。A first image processing apparatus and method of the present invention;
In the recording medium and the program, a motion vector is generated, and the first motion vector is generated based on the generated motion vector.
Of the original image is generated, and a prediction error of the predicted value with respect to the first original image is calculated. When the appropriate difference between the correction data is determined based on the calculated prediction error, the motion vector corresponding to the correction data is output.
【0027】本発明の第2の画像処理装置および方法、
記録媒体、並びにプログラムにおいては、分類されたク
ラスに対応する予測係数と、予測補正データに基づいて
予測値が演算され、予測値の予測誤差が最小となる場合
における動きベクトルが生成される。そして、予測誤差
が、最小となる場合における補正データと対応する動き
ベクトルが出力される。A second image processing apparatus and method of the present invention,
In the recording medium and the program, the prediction value is calculated based on the prediction coefficient corresponding to the classified class and the prediction correction data, and the motion vector when the prediction error of the prediction value is the minimum is generated. Then, the motion vector corresponding to the correction data when the prediction error is the minimum is output.
【0028】本発明の第3の画像処理装置および方法、
記録媒体、並びにプログラムにおいては、処理対象デー
タから補正データと動きベクトルが分離され、分離され
た動きベクトルに基づいて、第1の原画像を予測するの
に用いる補正データとしての予測対象画像データが抽出
され、分類されたクラスに対する予測係数と、予測対象
画像データに基づいて、第1の原画像の予測値が演算さ
れる。A third image processing apparatus and method of the present invention,
In the recording medium and the program, the correction data and the motion vector are separated from the processing target data, and the prediction target image data as the correction data used for predicting the first original image is based on the separated motion vector. The prediction value of the first original image is calculated based on the prediction coefficient for the extracted and classified class and the prediction target image data.
【0029】[0029]
【発明の実施の形態】図2は、本発明を適用した画像処
理装置の一実施の形態の構成を示している。FIG. 2 shows the configuration of an embodiment of an image processing apparatus to which the present invention is applied.
【0030】送信装置41には、ディジタル化された画
像データが供給される。送信装置41は、入力された画
像データを、例えば図3に示されるように、1/9に間
引くこと(その画素数を少なくすること)により圧縮、
符号化し、その結果得られる符号化データを、さらにク
ラス分類適応処理により予測し、例えば、光ディスク、
光磁気ディスク、磁気テープ、相変化ディスク、その他
でなる記録媒体42に記録したり、または、例えば、地
上波、衛星回線、電話回線、CATV網、インターネッ
ト、その他の伝送路43を介して伝送する。The transmitting device 41 is supplied with digitized image data. The transmission device 41 compresses the input image data by thinning out to 1/9 (reducing the number of pixels), as shown in FIG. 3, for example.
The coded data obtained as a result of the coding is further predicted by the class classification adaptive processing, and, for example, an optical disc,
It is recorded on a recording medium 42 composed of a magneto-optical disc, a magnetic tape, a phase change disc, or the like, or is transmitted via, for example, a terrestrial wave, a satellite line, a telephone line, a CATV network, the Internet, or another transmission line 43. .
【0031】受信装置44では、記録媒体42に記録さ
れた符号化データが再生され、または、伝送路43を介
して伝送されてくる符号化データが受信される。その符
号化データは、図4に示されるように、クラス分類適応
処理に基づいて、伸張、復号される。そして、その結果
得られる復号画像が、図示せぬディスプレイに供給され
て表示される。The receiving device 44 reproduces the encoded data recorded in the recording medium 42 or receives the encoded data transmitted through the transmission path 43. As shown in FIG. 4, the encoded data is decompressed and decoded based on the class classification adaptive processing. Then, the decoded image obtained as a result is supplied and displayed on a display (not shown).
【0032】なお、以上のような画像処理装置は、例え
ば、光ディスク装置や、光磁気ディスク装置、磁気テー
プ装置、その他の、画像の記録または再生を行う装置、
あるいはまた、例えば、テレビ電話装置、テレビジョン
放送システム、CATVシステム、その他の、画像の伝
送を行う装置などに適用される。また、後述するよう
に、送信装置41が出力する符号化データのデータ量が
少ないため、図2の画像処理装置は、伝送レートの低
い、例えば、携帯電話機、その他の、移動に便利な携帯
端末などにも適用可能である。The image processing apparatus as described above is, for example, an optical disk apparatus, a magneto-optical disk apparatus, a magnetic tape apparatus, or any other apparatus for recording or reproducing an image,
Alternatively, it is applied to, for example, a videophone device, a television broadcasting system, a CATV system, and other devices that transmit images. In addition, as will be described later, since the data amount of the encoded data output by the transmission device 41 is small, the image processing device of FIG. 2 has a low transmission rate, such as a mobile phone and other portable terminals that are convenient for movement. It is also applicable to
【0033】図5は、図2の送信装置41のハードウェ
アの構成例を示している。FIG. 5 shows an example of the hardware configuration of the transmitter 41 of FIG.
【0034】I/F(InterFace)61は、外部から供
給される画像データの受信処理と、送信機/記録装置6
6に対しての、符号化データの送信処理を行う。ROM(R
eadOnly Memory)62は、IPL(Initial Program Loadi
ng)用のプログラムその他を記憶している。RAM(Rando
m Access Memory)63は、外部記憶装置65に記録さ
れているシステムプログラム(OS(Operating Syste
m))やアプリケーションプログラムを記憶したり、ま
た、CPU(Central Processing Unit)64の動作上必要
なデータを記憶する。CPU64は、ROM62に記憶されて
いるIPLプログラムにしたがい、外部記憶装置65から
システムプログラムおよびアプリケーションプログラム
を、RAM63に展開し、そのシステムプログラムの制御
の下、アプリケーションプログラムを実行することで、
I/F61から供給される画像データについての、後述
するような符号化処理を行う。An I / F (InterFace) 61 is used for receiving image data supplied from the outside and for transmitting / recording device 6
The encoded data transmission processing for 6 is performed. ROM (R
eadOnly Memory) 62 is an IPL (Initial Program Loadi)
ng) and other programs are stored. RAM (Rando
The m access memory (63) is a system program (OS (Operating System) that is recorded in the external storage device 65.
m)) and application programs, and also data necessary for the operation of the CPU (Central Processing Unit) 64. The CPU 64 expands the system program and the application program from the external storage device 65 to the RAM 63 according to the IPL program stored in the ROM 62, and executes the application program under the control of the system program,
The image data supplied from the I / F 61 is subjected to an encoding process as described later.
【0035】外部記憶装置65は、例えば、磁気ディス
ク71、光ディスク72、光磁気ディスク73、または
半導体メモリ74などでなり、上述したように、CPU6
4が実行するシステムプログラムやアプリケーションプ
ログラムを記憶している他、CPU64が動作上必要とす
るデータも記憶している。送信機/記録装置66は、I
/F61から供給される符号化データを、記録媒体42
に記録したり、または伝送路43を介して伝送する。The external storage device 65 is, for example, a magnetic disk 71, an optical disk 72, a magneto-optical disk 73, a semiconductor memory 74, etc., and as described above, the CPU 6
In addition to storing system programs and application programs executed by the CPU 4, data necessary for the CPU 64 to operate are also stored. The transmitter / recorder 66 is
The encoded data supplied from the / F 61 to the recording medium 42.
Or transmitted via the transmission path 43.
【0036】なお、I/F61,ROM62,RAM63,CP
U64、および外部記憶装置65は、相互にバスを介し
て接続されている。I / F 61, ROM 62, RAM 63, CP
The U 64 and the external storage device 65 are connected to each other via a bus.
【0037】以上のように構成される送信装置41にお
いては、I/F61に画像データが供給されると、その
画像データは、CPU64に供給される。CPU64は、画像
データを符号化し、その結果得られる符号化データを、
I/F61に供給する。I/F61は、符号化データを
受信すると、それを、送信機/記録装置66に供給す
る。送信機/記録装置66は、I/F61からの符号化
データを、記録媒体42に記録したり、または伝送路4
3を介して伝送する。In the transmitting device 41 configured as described above, when image data is supplied to the I / F 61, the image data is supplied to the CPU 64. The CPU 64 encodes the image data, and the encoded data obtained as a result is
Supply to I / F 61. Upon receiving the encoded data, the I / F 61 supplies it to the transmitter / recording device 66. The transmitter / recording device 66 records the encoded data from the I / F 61 on the recording medium 42 or the transmission line 4
3 through 3.
【0038】図6は、図5の送信装置41の、送信機/
記録装置66を除く部分の機能的な構成例を示してい
る。FIG. 6 shows the transmitter / receiver of the transmitter 41 of FIG.
The functional configuration example of the part excluding the recording device 66 is shown.
【0039】符号化すべき画像データは、縮小画像作成
部111および誤差算出部115に供給される。縮小画
像生成部111は、画像データを、その画素を、例え
ば、単純に間引くことにより圧縮し、その結果得られる
圧縮データ(間引きが行われた後の縮小画像データ)を
補正部112に出力する。補正部112は、制御部11
6からの制御信号にしたがって、圧縮データを補正す
る。補正部112における補正の結果得られる補正デー
タは、動き推定部113、ローカルデコード部114、
および制御部116に供給される。動き推定部113
は、画像データと補正データから画像の動きを推定し、
動きベクトルをローカルデコード部114に出力する。The image data to be encoded is supplied to the reduced image creating section 111 and the error calculating section 115. The reduced image generation unit 111 compresses the image data by, for example, simply thinning out the pixels, and outputs the resulting compressed data (reduced image data after thinning out) to the correction unit 112. . The correction unit 112 includes the control unit 11
According to the control signal from 6, the compressed data is corrected. The correction data obtained as a result of the correction in the correction unit 112 includes the motion estimation unit 113, the local decoding unit 114,
And to the control unit 116. Motion estimation unit 113
Estimates the motion of the image from the image data and the correction data,
The motion vector is output to the local decoding unit 114.
【0040】ローカルデコード部114は、補正部11
2からの補正データと動き推定部113からの動きベク
トルに基づいて、元の画像を予測し、その予測値を、誤
差算出部115に供給する。なお、ローカルデコード部
114は、後述するように、補正データと予測係数との
線形結合により、予測値を算出する。そして、ローカル
デコード部114は、予測値を、誤差算出部115に供
給する他、そのとき求めたクラスごとの予測係数を、制
御部116に供給する。The local decoding unit 114 includes the correction unit 11
The original image is predicted based on the correction data from 2 and the motion vector from the motion estimation unit 113, and the predicted value is supplied to the error calculation unit 115. The local decoding unit 114 calculates the prediction value by linear combination of the correction data and the prediction coefficient, as described later. Then, the local decoding unit 114 supplies the prediction value to the error calculation unit 115, and also supplies the prediction coefficient for each class obtained at that time to the control unit 116.
【0041】誤差算出部115は、そこに入力される、
元の画像データ(原画像)に対する、ローカルデコード
部114からの予測値の予測誤差を算出する。この予測
誤差は、誤差情報として、制御部116に供給される。The error calculation unit 115 is input to it.
The prediction error of the prediction value from the local decoding unit 114 with respect to the original image data (original image) is calculated. This prediction error is supplied to the control unit 116 as error information.
【0042】制御部116は、誤差算出部115からの
誤差情報に基づいて、補正部112が出力した補正デー
タを、元の画像の符号化結果とすることの適正さを判定
する。そして、制御部116は、補正部112が出力し
た補正データを、元の画像の符号化結果とすることが適
正でないと判定した場合には、補正部112を制御し、
さらに、圧縮データを補正させ、その結果得られる新た
な補正データを出力させる。また、制御部116は、補
正部112が出力した補正データを、元の画像の符号化
結果とすることが適正であると判定した場合には、補正
部112から供給された補正データを、最適な圧縮デー
タ(以下、適宜、最適圧縮データという)として多重化
部117に供給するとともに、ローカルデコード部11
4から供給されたクラスごとの予測係数と、動き推定部
113から供給される動きベクトルを多重化部117に
供給する。The control unit 116 determines, based on the error information from the error calculation unit 115, whether or not the correction data output by the correction unit 112 is the encoding result of the original image. Then, the control unit 116 controls the correction unit 112 when determining that the correction data output by the correction unit 112 is not appropriate as the encoding result of the original image,
Further, the compressed data is corrected, and new correction data obtained as a result is output. In addition, when the control unit 116 determines that it is appropriate to use the correction data output by the correction unit 112 as the encoding result of the original image, the control unit 116 optimizes the correction data supplied from the correction unit 112. Compressed data (hereinafter referred to as optimum compressed data as appropriate) to the multiplexing unit 117, and the local decoding unit 11
The prediction coefficient for each class supplied from No. 4 and the motion vector supplied from the motion estimation unit 113 are supplied to the multiplexing unit 117.
【0043】多重化部117は、制御部116からの最
適圧縮データ(補正データ)と、クラスごとの予測係
数、および動きベクトルを多重化し、その多重化結果
を、符号化データとして、送信機/記録装置66(図
5)に供給する。The multiplexing unit 117 multiplexes the optimum compressed data (correction data) from the control unit 116, the prediction coefficient for each class, and the motion vector, and the multiplexing result is coded data as a transmitter / transmitter. It is supplied to the recording device 66 (FIG. 5).
【0044】次に、図7のフローチャートを参照して、
送信装置41が実行する符号化処理について説明する。
縮小画像作成部111に対して、画像データが供給され
ると、縮小画像作成部111は、ステップS11におい
て、縮小画像作成処理を実行する。Next, referring to the flowchart of FIG.
The encoding process executed by the transmission device 41 will be described.
When the image data is supplied to the reduced image creating unit 111, the reduced image creating unit 111 executes a reduced image creating process in step S11.
【0045】図8は、縮小画像作成処理の1つの例とし
ての単純間引き処理を表している。最初に、ステップS
31において、縮小画像作成部111は、圧縮される前
の画像データを、m×n個の画素データで構成されるブ
ロックに分割する。次に、ステップS32において、m
×n個の画素データの中から1つの画素データを抽出
し、その画素データをそのブロックを代表する1つの画
素データとする。FIG. 8 shows a simple thinning process as one example of the reduced image creating process. First, step S
In 31, the reduced image creating unit 111 divides the image data before being compressed into blocks composed of m × n pixel data. Next, in step S32, m
One pixel data is extracted from the × n pixel data, and the pixel data is set as one pixel data representing the block.
【0046】ステップS33において、縮小画像作成部
111は、以上の処理が、そのフレームの全てのブロッ
クについて終了したか否かを判定し、まだ処理していな
いブロックが残っている場合には、ステップS31に戻
り、それ以降の処理を繰り返し実行する。全てのブロッ
クについての処理が終了したと判定された場合、処理は
終了される。In step S33, the reduced image creating section 111 determines whether or not the above processing has been completed for all blocks of the frame, and if there is any unprocessed block, then step S33 is performed. The process returns to S31 and the subsequent processes are repeatedly executed. If it is determined that the processing has been completed for all blocks, the processing ends.
【0047】すなわち、この例においては、図9に示さ
れるように、例えば3×3個(m=n=3)の画素デー
タa1乃至a9の中から、中央の1個の画素a5が選択
される。同様にして、隣の3×3個のb1乃至b9の9
個の画素の中から、中央の画素b5が選択される。That is, in this example, as shown in FIG. 9, one central pixel a5 is selected from, for example, 3 × 3 (m = n = 3) pixel data a1 to a9. It Similarly, 9 of 3 × 3 adjacent b1 to b9
The central pixel b5 is selected from the individual pixels.
【0048】以上のような単純間引き処理が繰り返し実
行されることで、入力された画像データは、1/9の縮
小画像データに圧縮される。The input image data is compressed into 1/9 reduced image data by repeatedly executing the simple thinning processing as described above.
【0049】図10は、縮小画像作成処理の他の例を表
している。この例においては、ステップS51におい
て、縮小画像作成部111は、入力された画像データを
m×n個のブロックに分割する。ステップS52におい
て、縮小画像作成部111は、ステップS51の処理で
分割されたm×n個の画素の平均値を計算する。そし
て、その平均値をm×n個の画素で構成されるブロック
を代表する1つの画素とする。FIG. 10 shows another example of the reduced image creating process. In this example, in step S51, the reduced image creation unit 111 divides the input image data into m × n blocks. In step S52, the reduced image creation unit 111 calculates the average value of the m × n pixels divided in the process of step S51. Then, the average value is set as one pixel representing a block composed of m × n pixels.
【0050】ステップS53において、縮小画像作成部
111は、全てのブロックについて同様の処理を実行し
たか否かを判定し、まだ処理していないブロックが残っ
ている場合にはステップS51に戻り、それ以降の処理
を繰り返し実行する。全てのブロックについての処理が
終了したと判定された場合、処理は終了される。In step S53, the reduced image creation unit 111 determines whether or not the same processing has been executed for all blocks, and if there are unprocessed blocks, the process returns to step S51, Repeat the following processing. If it is determined that the processing has been completed for all blocks, the processing ends.
【0051】このようにして、例えば、図11に示され
るように、a1乃至a9の3×3個の画素の平均値A
が、次式に基づいて演算される。In this way, for example, as shown in FIG. 11, the average value A of 3 × 3 pixels a1 to a9.
Is calculated based on the following equation.
【0052】[0052]
【数1】 [Equation 1]
【0053】また、画素b1乃至b9の3×3個の画素
の平均値Bが次式に基づいて演算される。The average value B of 3 × 3 pixels of the pixels b1 to b9 is calculated based on the following equation.
【0054】[0054]
【数2】 [Equation 2]
【0055】さらに、同様に、画素c1乃至c9の3×
3個の画素の平均値Cが次式に基づいて演算される。Further, similarly, 3 × pixels c1 to c9
The average value C of the three pixels is calculated based on the following equation.
【0056】[0056]
【数3】 [Equation 3]
【0057】縮小画像作成部111で生成された縮小画
像データ(圧縮データ)は、補正部112に供給され、
最初は補正が行われずに、そのまま補正データとして、
ローカルデコード部114と動き推定部113に供給さ
れる。The reduced image data (compressed data) generated by the reduced image creation unit 111 is supplied to the correction unit 112,
At first, no correction is performed, and as it is, the correction data is
It is supplied to the local decoding unit 114 and the motion estimation unit 113.
【0058】ステップS12において、動き推定部11
3は、補正部112より供給された補正データに基づい
て画像の動きを検出し、その動きに対応する動きベクト
ルを生成して、ローカルデコード部114と制御部11
6に出力する。この動きベクトル推定処理の詳細につい
ては、図14と図15を参照して後述する。In step S12, the motion estimation unit 11
3 detects a motion of the image based on the correction data supplied from the correction unit 112, generates a motion vector corresponding to the motion, and outputs the local decoding unit 114 and the control unit 11.
Output to 6. Details of this motion vector estimation processing will be described later with reference to FIGS. 14 and 15.
【0059】次に、ステップS13において、ローカル
デコード部114は、補正部112からの補正データ
(最初は、上述したように縮小画像データそのもの)
を、クラス分類適応処理に基づいてデコードする(復号
する)。Next, in step S13, the local decoding unit 114 corrects the correction data from the correction unit 112 (initially, the reduced image data itself as described above).
Is decoded (decoded) based on the class classification adaptive processing.
【0060】この復号処理の詳細については、図16乃
至図19を参照して後述するが、ローカルデコード部1
14は、補正部112より供給される補正データから、
動き推定部113より供給される動きベクトルに基づい
て、予測処理を行うための補正データ(予測タップ)で
構成される予測値計算用ブロック(予測対象データ)を
抽出し、その抽出した予測対象データに対して、クラス
毎の予測係数を線形結合させることで、予測値を演算す
る。ローカルデコード部114で生成された予測値は、
誤差算出部115に供給され、用いられた予測係数は、
制御部116に供給される。The details of this decoding processing will be described later with reference to FIGS. 16 to 19, but the local decoding unit 1
14 is the correction data supplied from the correction unit 112,
A prediction value calculation block (prediction target data) composed of correction data (prediction tap) for performing prediction processing is extracted based on the motion vector supplied from the motion estimation unit 113, and the extracted prediction target data On the other hand, the prediction value is calculated by linearly combining the prediction coefficients for each class. The prediction value generated by the local decoding unit 114 is
The prediction coefficient supplied to the error calculation unit 115 and used is
It is supplied to the control unit 116.
【0061】ここで、ローカルデコード部114が出力
する予測値で構成される画像は、受信装置44(図2)
側において得られる復号画像と同一のものである。Here, the image composed of the predicted value output by the local decoding unit 114 is the receiving device 44 (FIG. 2).
It is the same as the decoded image obtained on the side.
【0062】ステップS14において誤差算出部115
は、ローカルデコード部114より供給された予測値と
画像データ(縮小される前の画像データ)との予測誤差
を算出し、誤差情報として制御部116に供給する。In step S14, the error calculator 115
Calculates a prediction error between the prediction value supplied from the local decoding unit 114 and the image data (image data before being reduced), and supplies it to the control unit 116 as error information.
【0063】ステップS15において、制御部116
は、誤差算出部115からの誤差情報に基づいて、最適
化処理を実行する。すなわち、制御部116は、誤差算
出部115からの予測誤差に基づいて、圧縮データを補
正させる。補正部112は、制御部116からの制御信
号に基づいて、補正量(後述する補正値Δ)を変更して
圧縮データを補正し、その結果得られる補正データを動
き推定部113、ローカルデコード部114、および制
御部116に出力する。In step S15, the control unit 116
Performs optimization processing based on the error information from the error calculation unit 115. That is, the control unit 116 corrects the compressed data based on the prediction error from the error calculation unit 115. The correction unit 112 corrects the compressed data by changing the correction amount (correction value Δ described later) based on the control signal from the control unit 116, and the resulting correction data is used as the motion estimation unit 113 and the local decoding unit. 114 and the control unit 116.
【0064】ステップS16において、動き推定部11
3は、画像の動きを再び検出し、動きベクトルを生成す
る。このとき、処理対象とされている補正データは、ス
テップS12における場合とは異なる値に補正されてい
るため、異なる動きベクトルが得られる可能性がある。In step S16, the motion estimation unit 11
3 detects the motion of the image again and generates a motion vector. At this time, since the correction data to be processed is corrected to a value different from that in step S12, a different motion vector may be obtained.
【0065】動き推定部113により生成された動きベ
クトルは、ローカルデコード部114に供給される。ロ
ーカルデコード部114は、ステップS17において、
ステップS16の処理で動き推定部113により生成さ
れた動きベクトルを利用して、補正データの中から予測
値計算用ブロックを抽出し、クラス分類適応処理を施す
ことで予測値を演算する。このとき、処理対象とされて
いる予測値計算用ブロックは、ステップS13の処理に
おける場合と異なるものとなるため、多くの場合、得ら
れる予測値も異なるものとなる。The motion vector generated by the motion estimation unit 113 is supplied to the local decoding unit 114. The local decoding unit 114, in step S17,
Using the motion vector generated by the motion estimation unit 113 in the process of step S16, a prediction value calculation block is extracted from the correction data, and a prediction value is calculated by performing a class classification adaptation process. At this time, the prediction value calculation block that is the processing target is different from that in the process of step S13, and thus, in many cases, the obtained prediction value is also different.
【0066】ステップS18において、誤差算出部11
5は、ステップS17の処理でローカルデコード部11
4により生成された予測値の元の画像(原画像)の画像
データとの差(予測誤差)を算出し、誤差情報として制
御部116に出力する。In step S18, the error calculation unit 11
5 is the local decoding unit 11 in the processing of step S17.
The difference (prediction error) between the predicted value generated in 4 and the image data of the original image (original image) is calculated and output to the control unit 116 as error information.
【0067】制御部116は、ステップS19におい
て、補正部112により生成された補正データを、原画
像の符号化結果とすることの適正さを判定する。具体的
には、例えば、予測誤差が所定の閾値εより小さいか否
か、あるいは最適化処理を行った回数が、予め設定され
た所定の回数に達したか否かが判定される。予測誤差が
所定の閾値εより大きい場合、あるいは、最適化の処理
回数がまだ所定の回数に達していない場合、ステップS
15に戻り、それ以降の処理が繰り返し実行される。In step S19, the control unit 116 determines the appropriateness of using the correction data generated by the correction unit 112 as the encoding result of the original image. Specifically, for example, it is determined whether or not the prediction error is smaller than a predetermined threshold value ε, or whether or not the number of times optimization processing has been performed reaches a predetermined number of times set in advance. If the prediction error is larger than the predetermined threshold value ε, or if the number of optimization processes has not yet reached the predetermined number, step S
Returning to 15, the subsequent processing is repeatedly executed.
【0068】ステップS19において、予測誤差が所定
の閾値εより小さくなったと判定された場合、あるいは
最適化処理が所定の回数実行されたと判定された場合、
制御部116は、補正データを原画像の符号化結果とす
ることが適正であると判定し、ステップS20におい
て、補正部112より、そのとき得られる補正データを
最適圧縮データとして多重化部117に供給するととも
に、ローカルデコード部114より、そのとき予測に用
いられていた予測係数と、動き推定部113により生成
された動きベクトルを多重化部117に出力する。多重
化部117は、制御部116より供給される最適圧縮デ
ータ、予測係数および動きベクトルを多重化し、符号化
データとして送信機/記録装置66に供給する。When it is determined in step S19 that the prediction error is smaller than the predetermined threshold value ε, or when it is determined that the optimization process has been executed a predetermined number of times,
The control unit 116 determines that it is appropriate to use the correction data as the encoding result of the original image, and in step S20, the correction unit 112 sends the correction data obtained at that time to the multiplexing unit 117 as optimum compressed data. At the same time, the local decoding unit 114 outputs the prediction coefficient used for the prediction at that time and the motion vector generated by the motion estimation unit 113 to the multiplexing unit 117. The multiplexing unit 117 multiplexes the optimum compressed data, the prediction coefficient, and the motion vector supplied from the control unit 116 and supplies the multiplexed data to the transmitter / recording device 66 as encoded data.
【0069】送信機/記録装置66は、この符号化デー
タを、記録媒体42に記録したり、伝送路43を介して
伝送する。The transmitter / recording device 66 records this encoded data on the recording medium 42 or transmits it via the transmission path 43.
【0070】以上のように、予測誤差が所定の閾値ε以
下となるか、または、最適化処理が所定回数に達したと
きにおける、縮小画像データを補正した補正データを、
原画像の符号化結果とするようにしたので、受信装置4
4側においては、その補正データに基づいて、元の画像
(原画像)とほぼ同一の画像を得ることが可能となる。As described above, the correction data obtained by correcting the reduced image data when the prediction error is equal to or less than the predetermined threshold value ε or when the optimization process reaches the predetermined number of times,
Since the result of encoding the original image is used, the receiving device 4
On the side of 4, it is possible to obtain an image substantially the same as the original image (original image) based on the correction data.
【0071】図12は、図6の補正部112の構成例を
示している。FIG. 12 shows an example of the configuration of the correction section 112 shown in FIG.
【0072】補正回路131は、制御部116(図6)
からの制御信号にしたがって、補正値ROM132にアド
レスを与え、これにより、補正値Δを読み出す。そし
て、補正回路131は、縮小画像作成部111からの縮
小画像データ(圧縮データ)に対して、補正値ROM13
2からの補正値Δを、例えば加算することで、補正デー
タを生成し、動き推定部113、ローカルデコード部1
14、および制御部116に供給する。補正値ROM13
2は、縮小画像作成部111が出力する圧縮データを補
正するための、各種の補正値Δの組合せ(例えば、1フ
レーム分の圧縮データを補正するための補正値の組合せ
など)を記憶しており、補正回路131から供給される
アドレスに対応する補正値Δの組合せを読み出して、補
正回路131に供給する。The correction circuit 131 includes a control unit 116 (FIG. 6).
An address is given to the correction value ROM 132 according to the control signal from, and thereby the correction value Δ is read. Then, the correction circuit 131 applies the correction value ROM 13 to the reduced image data (compressed data) from the reduced image creating unit 111.
The correction value Δ from 2 is added, for example, to generate correction data, and the motion estimation unit 113 and the local decoding unit 1
14 and the control unit 116. Correction value ROM13
2 stores a combination of various correction values Δ (for example, a combination of correction values for correcting one frame of compressed data) for correcting the compressed data output by the reduced image creating unit 111. Therefore, the combination of the correction values Δ corresponding to the address supplied from the correction circuit 131 is read and supplied to the correction circuit 131.
【0073】次に、図13を参照して、図12の補正部
112の処理について説明する。Next, with reference to FIG. 13, the processing of the correction unit 112 in FIG. 12 will be described.
【0074】補正回路131は、縮小画像作成部111
から圧縮データを受信すると、ステップS71におい
て、制御部116(図6)から制御信号を受信したかど
うかを判定する。ステップS71において、制御信号を
受信していないと判定された場合、ステップS72およ
びS73の処理をスキップしてステップS74に進み、
補正回路131は、縮小画像作成部111からの圧縮デ
ータを、そのまま補正データとして、動き推定部11
3、ローカルデコード部114、および制御部116に
出力し、ステップS71に戻る。The correction circuit 131 includes a reduced image creating section 111.
When the compressed data is received from, it is determined in step S71 whether the control signal is received from the control unit 116 (FIG. 6). When it is determined in step S71 that the control signal is not received, the processes of steps S72 and S73 are skipped and the process proceeds to step S74.
The correction circuit 131 uses the compressed data from the reduced image creation unit 111 as the correction data as it is, and the motion estimation unit 11
3, to the local decoding unit 114 and the control unit 116, and the process returns to step S71.
【0075】即ち、制御部116は、上述したように、
誤差情報に基づいて、補正部112(補正回路131)
を制御するようになされており、縮小画像作成部111
から圧縮データが出力された直後は、まだ、誤差情報が
得られないため(誤差情報が、誤差算出部115から出
力されないため)、制御部116からは制御信号は出力
されない。このため、縮小画像作成部111から圧縮デ
ータが出力された直後は、補正回路131は、その圧縮
データを補正せず(0を加算する補正をして)、そのま
ま補正データとして、動き推定部113、ローカルデコ
ード部114、および制御部116に出力する。That is, the control unit 116, as described above,
The correction unit 112 (correction circuit 131) based on the error information.
And the reduced image creating unit 111.
Immediately after the compressed data is output from, the control unit 116 does not output the control signal because the error information is not yet obtained (the error information is not output from the error calculation unit 115). Therefore, immediately after the compressed data is output from the reduced image creation unit 111, the correction circuit 131 does not correct the compressed data (corrects by adding 0), and the motion estimation unit 113 does not change the corrected data as it is. , Local decoding unit 114 and control unit 116.
【0076】一方、ステップS71において、制御部1
16からの制御信号を受信したと判定された場合、ステ
ップS72に進み、補正回路131は、その制御信号に
したがったアドレスを、補正値ROM132に出力する。
これにより、ステップS72では、補正値ROM132か
ら、そのアドレスに記憶されている、1フレーム分の圧
縮データを補正するための補正値Δの組合せ(集合)が
読み出され、補正回路131に供給される。補正回路1
31は、補正値ROM132から補正値Δの組合せを受信
すると、ステップS73において、1フレームの圧縮デ
ータそれぞれに、対応する補正値Δを加算し、これによ
り、圧縮データを補正した補正データを算出する。その
後は、ステップS74に進み、補正データが、補正回路
131から動き推定部113、ローカルデコード部11
4、および制御部116に出力され、ステップS71に
戻る。On the other hand, in step S71, the control unit 1
When it is determined that the control signal from 16 has been received, the correction circuit 131 proceeds to step S72 and outputs the address according to the control signal to the correction value ROM 132.
As a result, in step S72, the combination (set) of the correction values Δ for correcting the compressed data for one frame stored at that address is read from the correction value ROM 132 and supplied to the correction circuit 131. It Correction circuit 1
Upon receiving the combination of the correction values Δ from the correction value ROM 132, the 31 adds the corresponding correction value Δ to each of the compressed data of one frame in step S73, thereby calculating the corrected data in which the compressed data is corrected. . After that, the process proceeds to step S74, and the correction data is transferred from the correction circuit 131 to the motion estimation unit 113 and the local decoding unit 11.
4 and the control unit 116, and the process returns to step S71.
【0077】以上のようにして、補正部112は、制御
部116の制御にしたがって、圧縮データを、種々の値
に補正した補正データを出力することを繰り返す。As described above, the correction section 112 repeats outputting the correction data obtained by correcting the compressed data to various values under the control of the control section 116.
【0078】なお、制御部116は、例えば、1フレー
ムの画像についての符号化を終了すると、その旨を表す
制御信号を、補正部112に供給するようになされてお
り、補正部112は、ステップS71において、そのよ
うな制御信号を受信したかどうかも判定する。ステップ
S71において、1フレームの画像についての符号化を
終了した旨の制御信号を受信したと判定された場合、補
正部112は、そのフレーム(フィールド)に対する処
理を終了し、次のフレームが供給された場合、ステップ
S71乃至S74の処理を繰り返す。Note that, for example, when the encoding of one frame image is completed, the control unit 116 supplies a control signal indicating that to the correction unit 112, and the correction unit 112 executes the step. In S71, it is also determined whether such a control signal has been received. When it is determined in step S71 that the control signal indicating that the encoding of the image of one frame is completed is received, the correction unit 112 ends the process for the frame (field), and the next frame is supplied. If so, the processes of steps S71 to S74 are repeated.
【0079】図14は、動き推定部113の構成例を表
している。フレームメモリ151乃至153には、補正
部112より出力された補正データが、1フレームづつ
順次入力され、記憶される。その結果、フレームメモリ
152には、現在フレーム(後述する図19の現在フレ
ーム201)の補正データが記憶され、後段のフレーム
メモリ153には、現在フレーム201より時間的に1
フレーム分だけ前の前フレーム(図19の前フレーム2
02)の補正データが記憶され、フレームメモリ152
より前段のフレームメモリ151には、現在フレームよ
り1フレームだけ時間的に後の後フレーム(図19の後
フレーム203)の補正データが記憶される。FIG. 14 shows a configuration example of the motion estimation unit 113. The correction data output from the correction unit 112 is sequentially input and stored in the frame memories 151 to 153 frame by frame. As a result, the correction data of the current frame (current frame 201 of FIG. 19 described later) is stored in the frame memory 152, and the frame memory 153 at the subsequent stage is temporally 1
The previous frame before the frame (the previous frame 2 in FIG. 19)
02) correction data is stored, and the frame memory 152
The correction data of the subsequent frame (the subsequent frame 203 in FIG. 19) temporally after the current frame by one frame is stored in the frame memory 151 at the previous stage.
【0080】注目ブロック選択部154は、フレームメ
モリ152に記憶されている現在フレームの補正データ
の中から注目補正データ(後述する図19の注目補正デ
ータ211)を中心とする所定の範囲の注目ブロックを
選択し、予測値計算用ブロック化回路165に出力す
る。注目ブロック選択部154により選択された注目補
正データの位置情報は、相対位置変化部155と相対位
置変化部156に供給される。The block-of-interest selection unit 154 selects a block of interest within a predetermined range centered on the correction data of interest (correction data 211 of FIG. 19, which will be described later) from the correction data of the current frame stored in the frame memory 152. Is output to the prediction value calculation blocking circuit 165. The position information of the attention correction data selected by the attention block selection unit 154 is supplied to the relative position change unit 155 and the relative position change unit 156.
【0081】相対位置変化部155は、注目補正データ
211の位置に対応する後フレーム203の注目対応補
正データ231(図19)を中心として、所定の探索範
囲内において、補正データの位置を変化させた位置情報
をフレームメモリ151に供給し、その位置に対応する
補正データをフレームメモリ151から読み出し、任意
画素取得部157に出力する。The relative position changing unit 155 changes the position of the correction data within a predetermined search range with the attention corresponding correction data 231 (FIG. 19) of the rear frame 203 corresponding to the position of the attention correction data 211 as the center. The position information is supplied to the frame memory 151, the correction data corresponding to the position is read from the frame memory 151, and output to the arbitrary pixel acquisition unit 157.
【0082】同様に、相対位置変化部156は、注目補
正データ211に対応する前フレーム202の注目対応
補正データ211(図19)を中心として、所定の探索
範囲内において、補正データの位置を変化させた位置情
報をフレームメモリ153に出力し、その位置情報に対
応する補正データを読み出し、任意画素取得部158に
供給する。Similarly, the relative position changing unit 156 changes the position of the correction data within a predetermined search range with the attention corresponding correction data 211 (FIG. 19) of the previous frame 202 corresponding to the attention correction data 211 as the center. The position information thus generated is output to the frame memory 153, the correction data corresponding to the position information is read out, and supplied to the arbitrary pixel acquisition unit 158.
【0083】任意画素取得部157により取得された後
フレーム203の探索範囲内の補正データと、任意画素
取得部158により取得された前フレーム202の探索
範囲内の補正データは、予測値計算用ブロック化回路1
65に供給される。予測値計算用ブロック化回路165
は、注目ブロック選択部154より供給された補正デー
タ、並びに任意画素取得部157および任意画素取得部
158より供給された補正データに基づいて、予測値計
算用ブロックを生成し、その補正データを予測回路16
6に供給する。The correction data in the search range of the rear frame 203 acquired by the arbitrary pixel acquisition unit 157 and the correction data in the search range of the previous frame 202 acquired by the arbitrary pixel acquisition unit 158 are the prediction value calculation block. Circuit 1
65. Prediction value calculation blocking circuit 165
Generates a prediction value calculation block based on the correction data supplied from the target block selection unit 154 and the correction data supplied from the arbitrary pixel acquisition unit 157 and the arbitrary pixel acquisition unit 158, and predicts the correction data. Circuit 16
Supply to 6.
【0084】クラス分類用ブロック化回路161は、注
目ブロック選択部154を介して、フレームメモリ15
2より読み出された現在フレーム201の補正データか
らクラス分類用ブロックを抽出する。ADRC処理回路16
2は、クラス分類用ブロック化回路161より供給され
たクラス分類用ブロックの補正データを、1ビットADRC
処理する。The class classification blocking circuit 161 receives the frame memory 15 from the focused block selector 154.
A block for class classification is extracted from the correction data of the current frame 201 read from No. 2. ADRC processing circuit 16
2 is the correction data of the class classification block supplied from the class classification block formation circuit 161 and is 1-bit ADRC
To process.
【0085】クラス分類回路163は、ADRC処理回路1
62より供給されたデータに基づいて、クラスコードを
生成し、予測係数ROM164に出力する。予測係数ROM1
64は、クラス分類回路163より供給されたクラスコ
ードに対応する予測係数を読み出し、予測回路166に
出力する。The class classification circuit 163 is the ADRC processing circuit 1
A class code is generated based on the data supplied from 62 and is output to the prediction coefficient ROM 164. Prediction coefficient ROM1
64 reads the prediction coefficient corresponding to the class code supplied from the class classification circuit 163, and outputs it to the prediction circuit 166.
【0086】予測回路166は、予測値計算用ブロック
化回路165より供給された補正データ(予測値計算用
ブロック)と、予測係数ROM164より供給された予測
係数との線形1次結合を計算して、注目補正データ21
1に対応する注目画素の予測値を演算する。The prediction circuit 166 calculates a linear primary combination of the correction data (prediction value calculation block) supplied from the prediction value calculation blocking circuit 165 and the prediction coefficient supplied from the prediction coefficient ROM 164. , Attention correction data 21
The predicted value of the pixel of interest corresponding to 1 is calculated.
【0087】比較器167は、予測回路166より供給
された予測値を内蔵するメモリ167Aに記憶するとと
もに、相対位置変化部155と相対位置変化部156よ
り供給された相対アドレス情報を、メモリ167Aに記
憶する。比較器167は、予測回路166により予測さ
れた予測値と入力画像データとの差を演算し、その差に
対応する予測誤差が最小となる位置に対応する相対アド
レス情報に基づいて、前フレーム202における前フレ
ーム動きベクトルと、後フレーム203における後フレ
ーム動きベクトルとを生成する。The comparator 167 stores the predicted value supplied from the prediction circuit 166 in the built-in memory 167A, and stores the relative address information supplied from the relative position changing unit 155 and the relative position changing unit 156 in the memory 167A. Remember. The comparator 167 calculates the difference between the prediction value predicted by the prediction circuit 166 and the input image data, and based on the relative address information corresponding to the position where the prediction error corresponding to the difference is the minimum, the previous frame 202 And a rear frame motion vector in the rear frame 203 are generated.
【0088】これらのクラス分類用ブロック化回路16
1、ADRC処理回路162、クラス分類回路163、予測
係数ROM164、予測値計算用ブロック化回路165、
予測回路166、および比較器167により、クラス分
類適応処理回路159が構成されている。These class classification blocking circuits 16
1, ADRC processing circuit 162, class classification circuit 163, prediction coefficient ROM 164, prediction value calculation blocking circuit 165,
The prediction circuit 166 and the comparator 167 form a class classification adaptive processing circuit 159.
【0089】次に、図14の動き推定部113の動きベ
クトル推定処理について、図15のフローチャートを参
照して説明する。Next, the motion vector estimating process of the motion estimating unit 113 of FIG. 14 will be described with reference to the flowchart of FIG.
【0090】ステップS91において、比較器167
は、メモリ167Aに比較値をセットする。この比較値
は、後述するステップS98において、評価値と比較す
るのに用いられる。この比較値は、評価値の最小値を検
出するために用いられるので、このステップS91の処
理では、最大値に設定される。In step S91, the comparator 167
Sets a comparison value in the memory 167A. This comparison value is used for comparison with the evaluation value in step S98 described later. Since this comparison value is used to detect the minimum evaluation value, it is set to the maximum value in the process of step S91.
【0091】ステップS92において、相対位置変化部
155と相対位置変化部156は、それぞれ内蔵する相
対アドレス用メモリをクリアする。ステップS93にお
いて、注目ブロック選択部154により、現在フレーム
の予測タップ取得処理が実行される。In step S92, the relative position changing unit 155 and the relative position changing unit 156 clear the respective relative address memories. In step S93, the target block selection unit 154 executes the prediction tap acquisition process for the current frame.
【0092】すなわち、注目ブロック選択部154は、
初期設定されたアドレスに基づいて、フレームメモリ1
52に記憶されている現在フレーム201の補正データ
から注目補正データ211を中心とする所定の範囲の予
測タップ(補正データ)を読み出し、予測値計算用ブロ
ック化回路165に出力する。後述する図19の例にお
いては、注目補正データ211を中心とする5×5の予
測タップ213より構成される予測値計算用ブロック2
51が選択され、予測値計算用ブロック化回路165に
入力される。That is, the target block selection unit 154
Frame memory 1 based on the initially set address
A prediction tap (correction data) in a predetermined range centered on the correction data 211 of interest is read from the correction data of the current frame 201 stored in 52 and output to the prediction value calculation blocking circuit 165. In the example of FIG. 19 described later, the prediction value calculation block 2 including 5 × 5 prediction taps 213 centered on the attention correction data 211 is used.
51 is selected and input to the prediction value calculation blocking circuit 165.
【0093】ステップS94において、相対位置変化部
156は、前フレーム予測タップ取得処理を実行する。
すなわち、相対位置変化部156は、フレームメモリ1
53に記憶されている前フレーム202の補正データの
中から、注目対応補正データ221を中心とする所定の
探索内の1つの予測タップ222を選択し、その予測タ
ップ222をフレームメモリ153から読み出して、任
意画素取得ブロック158に出力する。任意画素取得ブ
ロック158は、この予測タップ222を予測値計算用
ブロック化回路165に出力する。In step S94, the relative position changing unit 156 executes the previous frame prediction tap acquisition process.
That is, the relative position changing unit 156 is configured so that the frame memory
From the correction data of the previous frame 202 stored in 53, one prediction tap 222 within a predetermined search centered on the attention correspondence correction data 221 is selected, and the prediction tap 222 is read from the frame memory 153. , To the arbitrary pixel acquisition block 158. The arbitrary pixel acquisition block 158 outputs this prediction tap 222 to the prediction value calculation blocking circuit 165.
【0094】ステップS95において、相対位置変化部
155は、後フレーム予測タップ取得処理を実行する。
すなわち、相対位置変化部155は、フレームメモリ1
51に記憶されている後フレーム203の補正データか
ら、注目対応補正データ231を中心とする所定の探索
範囲内の1つの予測タップ232を、フレームメモリ1
51から読み出し、任意画素取得部157に出力する。
任意画素取得部157は、この予測タップ232を予測
値計算用ブロック化回路165に出力する。In step S95, the relative position changing unit 155 executes the subsequent frame prediction tap acquisition process.
That is, the relative position changing unit 155 is
From the correction data of the rear frame 203 stored in 51, one prediction tap 232 within a predetermined search range centered on the attention correspondence correction data 231 is stored in the frame memory 1
It is read from 51 and output to the arbitrary pixel acquisition unit 157.
The arbitrary pixel acquisition unit 157 outputs this prediction tap 232 to the prediction value calculation blocking circuit 165.
【0095】予測値計算用ブロック化回路165は、ス
テップS93乃至ステップS95の処理で取得された現
在フレーム201の5×5個の補正データ、前フレーム
202の1個の予測タップ(補正データ)222、およ
び後フレーム203の1個の予測タップ(補正データ)
232を、予測値計算用ブロックとして、予測回路16
6に出力する。The prediction value calculation blocking circuit 165 has 5 × 5 pieces of correction data of the current frame 201 and one prediction tap (correction data) 222 of the previous frame 202 obtained in the processing of steps S93 to S95. , And one prediction tap of the subsequent frame 203 (correction data)
232 is used as a prediction value calculation block, and the prediction circuit 16
Output to 6.
【0096】一方、ステップS96において、クラス分
類適応処理が実行される。すなわち、クラス分類用ブロ
ック化回路161は、フレームメモリ152に記憶され
ている現在フレーム201の補正データのうち、注目ブ
ロック選択部154を介して供給される注目ブロックの
補正データから、例えば、後述する図17に示されるク
ラス分類用ブロック242を構成する3×3個の補正デ
ータを読み出して、ADRC処理回路162に出力する。On the other hand, in step S96, class classification adaptation processing is executed. That is, the class classification blocking circuit 161 will be described later, for example, from the correction data of the target block supplied via the target block selection unit 154 among the correction data of the current frame 201 stored in the frame memory 152. The 3 × 3 pieces of correction data forming the class classification block 242 shown in FIG. 17 are read out and output to the ADRC processing circuit 162.
【0097】ADRC処理回路162は、クラス分類用ブロ
ック化回路161より供給された3×3個の補正データ
を、1ビットADRC処理して、9ビットのデータとして、
クラス分類回路163に出力する。クラス分類回路16
3は、ADRC処理回路162より供給された9ビットのデ
ータに基づいて、クラスコードを生成し、予測係数ROM
164に出力する。予測係数ROM164は、クラス分類
回路163より入力されたクラスコードに対応する予測
係数を読み出し、予測回路166に出力する。なお、こ
のようなADRC処理とクラス分類を行うことの意義につい
ては、図21乃至図24を参照して後述する。The ADRC processing circuit 162 performs 1-bit ADRC processing on the 3 × 3 correction data supplied from the class classification blocking circuit 161 to obtain 9-bit data.
It outputs to the class classification circuit 163. Class classification circuit 16
3 generates a class code based on the 9-bit data supplied from the ADRC processing circuit 162, and outputs the prediction coefficient ROM
To 164. The prediction coefficient ROM 164 reads the prediction coefficient corresponding to the class code input from the class classification circuit 163 and outputs it to the prediction circuit 166. The significance of performing such ADRC processing and class classification will be described later with reference to FIGS. 21 to 24.
【0098】予測回路166は、予測値計算用ブロック
化回路165より入力された27個の補正データと、予
測係数ROM164より供給された27個の予測係数との
線形1次結合に基づいて、予測値を演算し、比較器16
7に出力する。The prediction circuit 166 performs prediction based on the linear linear combination of the 27 correction data input from the prediction value calculation blocking circuit 165 and the 27 prediction coefficients supplied from the prediction coefficient ROM 164. The value is calculated and the comparator 16
Output to 7.
【0099】ステップS97において、比較器167
は、予測残差計算処理を実行する。すなわち、比較器1
67は、予測回路166より供給された予測値と、入力
画像データとの差を予測残差として計算する。In step S97, the comparator 167
Executes prediction residual calculation processing. That is, the comparator 1
67 calculates the difference between the prediction value supplied from the prediction circuit 166 and the input image data as a prediction residual.
【0100】ステップS98において、比較器167
は、ステップS97の処理で計算した予測残差としての
評価値と、ステップS91の処理でセットされた比較値
との大きさを比較する。評価値が比較値より小さいと判
定された場合、ステップS99に進み、比較器167
は、ステップS91の処理で最大値にセットされた比較
値を、ステップS97の処理で計算された評価値(予測
残差)で書き換える(更新する)。In step S98, the comparator 167
Compares the magnitude of the evaluation value as the prediction residual calculated in the process of step S97 with the comparison value set in the process of step S91. When it is determined that the evaluation value is smaller than the comparison value, the process proceeds to step S99, and the comparator 167
Rewrites (updates) the comparison value set to the maximum value in the process of step S91 with the evaluation value (prediction residual) calculated in the process of step S97.
【0101】ステップS100において、比較器167
は、そのとき予測値計算用ブロック化回路165におい
て、予測値計算用ブロックとして構成されている後フレ
ーム203の予測タップ232の注目対応補正データ2
31からの相対アドレス情報に基づく動きベクトル23
3を、メモリ167Aに記憶する。In step S100, the comparator 167
Is the attention corresponding correction data 2 of the prediction tap 232 of the subsequent frame 203 that is configured as a prediction value calculation block in the prediction value calculation blocking circuit 165.
Motion vector 23 based on relative address information from 31
3 is stored in the memory 167A.
【0102】ステップS98において、評価値が比較値
と等しいか、それより大きいと判定された場合には、ス
テップS99とステップS100の処理がスキップされ
る。If it is determined in step S98 that the evaluation value is equal to or greater than the comparison value, the processes of steps S99 and S100 are skipped.
【0103】ステップS101において、相対位置変化
部155は、後フレーム203における所定の探索範囲
内の探索が終了したか否かを判定し、まだ探索していな
い範囲が残っている場合には、ステップS102に進
み、相対位置を変化させる。その後、ステップS95に
戻り、それ以降の処理が繰り返し実行される。In step S101, the relative position changing unit 155 determines whether or not the search within the predetermined search range in the rear frame 203 has been completed. Proceeding to S102, the relative position is changed. After that, the process returns to step S95, and the subsequent processes are repeatedly executed.
【0104】以上の処理が繰り返されることで、フレー
ムメモリ151に記憶された後フレーム203の予測タ
ップ232のうち、予測誤差が最も小さい予測タップに
対応する動きベクトル233がメモリ167Aに記憶さ
れる。By repeating the above processing, the motion vector 233 corresponding to the prediction tap having the smallest prediction error among the prediction taps 232 of the subsequent frame 203 stored in the frame memory 151 is stored in the memory 167A.
【0105】ステップS101において、後フレーム2
03の探索範囲内の処理が終了したと判定された場合、
ステップS103に進み、相対位置変化部156は、前
フレームの探索範囲の探索が全て終了したか否かを判定
する。前フレーム202の探索範囲内の探索がまだ終了
していない場合には、ステップS104に戻り、相対位
置変化部156は、前フレーム202の予測タップ22
2の位置を探索範囲内において、異なる位置に変化させ
る。In step S101, the rear frame 2
When it is determined that the processing within the search range of 03 is completed,
In step S103, the relative position change unit 156 determines whether or not the search of the search range of the previous frame is completed. When the search within the search range of the previous frame 202 is not yet completed, the process returns to step S104, and the relative position changing unit 156 causes the prediction tap 22 of the previous frame 202 to be displayed.
The position of 2 is changed to a different position within the search range.
【0106】その後、ステップS94に戻り、その変化
された相対位置の予測タップ222が任意画素取得部1
57から予測値計算用ブロック化回路165に供給され
る。Thereafter, the process returns to step S94, and the prediction tap 222 of the changed relative position is set to the arbitrary pixel acquisition unit 1.
The data is supplied from 57 to the prediction value calculation blocking circuit 165.
【0107】以下、ステップS95乃至ステップS10
3の処理が前フレームの探索範囲内の全てにおいて、探
索を終了したと判定されるまで、繰り返し実行される。Hereinafter, steps S95 to S10
The process of 3 is repeatedly executed until it is determined that the search is completed in all the search range of the previous frame.
【0108】以上の処理の結果、メモリ167Aには、
ステップS98乃至S100の処理により探索範囲内に
おいて、予測誤差が最小となる予測値に対応する前フレ
ーム動きベクトル223と、後フレーム動きベクトル2
33が記憶される。As a result of the above processing, the memory 167A is
By the processing of steps S98 to S100, the previous frame motion vector 223 and the subsequent frame motion vector 2 corresponding to the prediction value that minimizes the prediction error within the search range.
33 is stored.
【0109】ステップS105において、比較器167
は、ステップS100の処理で格納された相対アドレス
(動きベクトル)をローカルデコーダ部114に出力す
る。In step S105, the comparator 167
Outputs the relative address (motion vector) stored in the process of step S100 to the local decoder unit 114.
【0110】図16は、図6のローカルデコード部11
4の構成例を示している。FIG. 16 shows the local decoding unit 11 of FIG.
4 shows a configuration example of No. 4.
【0111】補正部112からの補正データは、クラス
分類用ブロック化回路261および予測値計算用ブロッ
ク化回路262に供給される。クラス分類用ブロック化
回路261は、現在フレームの補正データを、その性質
に応じて所定のクラスに分類するための単位である、注
目補正データを中心としたクラス分類用ブロックにブロ
ック化する。The correction data from the correction unit 112 is supplied to the class classification blocking circuit 261 and the prediction value calculating blocking circuit 262. The class classification blocking circuit 261 blocks the correction data of the current frame into blocks for class classification centering on the correction data of interest, which is a unit for classifying the correction data of the current frame into a predetermined class according to its property.
【0112】即ち、いま、図17において、上からi番
目で、左からj番目の補正データ(圧縮データ)(また
は画素)(図中、黒の円形の印で示す部分)をXijと表
すとすると、クラス分類用ブロック化回路261は、注
目補正データXijの左上、上、右上、左、右、左下、
下、右下に隣接する8つの補正データX(i-1)(j-1),X
(i-1)j,X(i-1)(j+1),Xi(j-1),Xi(j+1),X
(i-1)(j-1),X(i-1)j,X(i+1 )(j+1)に、自身を含め、
合計9個の補正データで構成されるクラス分類用ブロッ
ク242を構成する。このクラス分類用ブロック242
は、クラス分類適応処理回路263に供給される。That is, in FIG. 17, the i-th number from the top
Visually, the j-th correction data (compressed data) from the left (also
Is a pixel) (the part indicated by the black circle in the figure) is XijAnd table
If so, the block circuit 261 for class classification is
Eye correction data XijTop left, top, top right, left, right, bottom left,
Eight correction data X adjacent to the lower and lower right(i-1) (j-1), X
(i-1) j, X(i-1) (j + 1), Xi (j-1), Xi (j + 1), X
(i-1) (j-1), X(i-1) j, X(i + 1 ) (j + 1)Including myself,
Class classification block consisting of a total of 9 correction data
KU 242 is configured. This class classification block 242
Is supplied to the class classification adaptive processing circuit 263.
【0113】なお、この場合、クラス分類用ブロック2
42は、3×3画素でなる正方形状のブロックで構成さ
れることとなるが、クラス分類用ブロック242の形状
は、正方形である必要はなく、その他、例えば、図18
に示されるように菱形にしたり、長方形、十文字形、そ
の他の任意な形とすることが可能である。また、クラス
分類用ブロックを構成する画素数も、3×3の9画素に
限定されるものではない。In this case, the class classification block 2
Although 42 is composed of a square block made up of 3 × 3 pixels, the shape of the class classification block 242 does not have to be square, and in addition, for example, FIG.
It can be a rhombus, as shown in, or a rectangle, a cross, or any other shape. Further, the number of pixels forming the class classification block is not limited to 3 × 3 = 9 pixels.
【0114】予測値計算用ブロック化回路262は、動
きベクトルに基づいて、補正データを、元の画像の予測
値を計算するための単位である、注目補正データを基準
とした予測値計算用ブロックにブロック化する。即ち、
現在フレームにおいては、図17に示されるように、補
正データXij(図中、黒い円形の印で示す部分)を中心
とする、元の画像(原画像)における3×3の9画素の
画素値を、その最も左から右方向、かつ上から下方向
に、Yij(1),Yij(2),Yij(3),Y
ij(4),Yij(5),Yij(6),Yij(7),Yij
(8),Yij(9)と表すとすると、画素Yij(1)乃
至Yij(9)の予測値の計算のために、予測値計算用ブ
ロック化回路262は、例えば、注目補正データXijを
中心とする5×5の25画素X(i-2)(j-2),X
(i-2)(j-1),X(i-2)j,X(i-2)(j+1),X(i-2)(j+2),
X(i-1)(j-2),X(i-1)(j-1),X(i-1)j,
X(i-1)(j+1),X(i-1)(j+2),Xi( j-2),Xi(j-1),X
ij,Xi(j+1),Xi(j+2),X(i+1)(j-2),
X(i+1)(j-1),X (i+1)j,X(i+1)(j+1),
X(i+1)(j+2),X(i+2)(j-2),X(i+2)(j-1),
X(i+2)j,X(i+2)(j+1),X(i+2)(j+2)で構成される正
方形状の予測値計算用ブロック251を構成する。The prediction value calculation blocking circuit 262 operates as follows.
Correction data based on the
Based on the correction data of interest, which is the unit for calculating the value
The prediction value calculation block is divided into blocks. That is,
In the current frame, as shown in FIG.
Positive data XijCentered on (the part indicated by the black circle in the figure)
Of 3 × 3 9 pixels in the original image (original image)
Pixel values are moved from left to right and from top to bottom
To Yij(1), Yij(2), Yij(3), Y
ij(4), Yij(5), Yij(6), Yij(7), Yij
(8), YijIf it is expressed as (9), the pixel Yij(1) No
To YijFor calculating the predicted value in (9), the predicted value calculation block
The locking circuit 262 may, for example, focus correction data XijTo
5 × 5 25 pixels X centered(i-2) (j-2), X
(i-2) (j-1), X(i-2) j, X(i-2) (j + 1), X(i-2) (j + 2),
X(i-1) (j-2), X(i-1) (j-1), X(i-1) j,
X(i-1) (j + 1), X(i-1) (j + 2), Xi ( j-2), Xi (j-1), X
ij, Xi (j + 1), Xi (j + 2), X(i + 1) (j-2),
X(i + 1) (j-1), X (i + 1) j, X(i + 1) (j + 1),
X(i + 1) (j + 2), X(i + 2) (j-2), X(i + 2) (j-1),
X(i + 2) j, X(i + 2) (j + 1), X(i + 2) (j + 2)Positive composed of
A square predictive value calculation block 251 is configured.
【0115】具体的には、例えば、図17において四角
形で囲む、元の画像における画素Y 33(1)乃至Y
33(9)の9画素の予測値の計算のために、現在フレー
ムにおいては、画素X11,X12,X13,X14,X15,X
21,X22,X23,X24,X25,X 31,X32,X33,
X34,X35,X41,X42,X43,X44,X45,X51,X
52,X 53,X54,X55により、予測値計算用ブロックが
構成される(この場合の注目補正データは、X33とな
る)。Specifically, for example, a square in FIG.
Pixel Y in the original image, surrounded by a shape 33(1) to Y
33For the calculation of the predicted value of 9 pixels in (9), the current frame
Pixel, pixel X11, X12, X13, X14, X15, X
twenty one, Xtwenty two, Xtwenty three, Xtwenty four, Xtwenty five, X 31, X32, X33,
X34, X35, X41, X42, X43, X44, X45, X51, X
52, X 53, X54, X55The prediction value calculation block
Configured (the correction data of interest in this case is X33Tona
).
【0116】予測値計算用ブロック化回路262は、さ
らに、動き推定部113より供給される動きベクトルに
基づいて、図19に示されるように、現在フレーム20
1より時間的に前の前フレーム202と、時間的に後の
後フレーム203の補正データからも、予測値計算用ブ
ロック部251を構成する補正データを抽出する。The prediction value calculation blocking circuit 262 further, based on the motion vector supplied from the motion estimation unit 113, as shown in FIG.
The correction data forming the prediction value calculation block unit 251 is also extracted from the correction data of the previous frame 202 that is temporally earlier than 1 and the subsequent frame 203 that is temporally later.
【0117】図19の現在フレーム201は、図17に
示されるフレームである。図19には、図17に黒い丸
印で示される補正データのみが示されている。すなわ
ち、図19においては、図17における白い丸印で示さ
れる原画像の画素は、その図示が省略されている。The current frame 201 in FIG. 19 is the frame shown in FIG. FIG. 19 shows only the correction data indicated by the black circles in FIG. That is, in FIG. 19, the pixels of the original image indicated by the white circles in FIG. 17 are not shown.
【0118】現在フレーム201の注目補正データ21
1は、図17の注目補正データX33に対応し、注目補正
データ211より左側に2個、かつ上側に2個移動した
位置の補正データ212は、図17の補正データX11に
対応し、注目補正データ211のすぐ上の補正データと
しての予測タップ213は、図17の補正データX23に
対応する。Attention correction data 21 of the current frame 201
17 corresponds to the correction data X 33 in FIG. 17, and the correction data 212 at a position moved two to the left and two to the upper side of the correction data 211 corresponds to the correction data X 11 in FIG. The prediction tap 213 as the correction data immediately above the correction data 211 of interest corresponds to the correction data X 23 in FIG.
【0119】現在フレーム(t=Tのフレーム)201
より時間的に1フレーム前の前フレーム(t=T−1の
フレーム)202における注目対応補正データ221
は、現在フレーム201の注目補正データ211に対応
する位置の補正データである。予測タップ222を構成
する補正データは、動き推定部113の動きベクトル検
出部155により検出された前フレーム動きベクトル2
23に基づいて、注目補正データ221を移動した位置
の補正データである。予測値計算用ブロック化回路26
2は、この予測タップ222も、予測値計算用ブロック
251を構成する補正データとして抽出する。Current frame (frame of t = T) 201
Attention corresponding correction data 221 in the previous frame (frame of t = T−1) 202 that is one frame earlier in time
Is the correction data of the position corresponding to the attention correction data 211 of the current frame 201. The correction data forming the prediction tap 222 is the previous frame motion vector 2 detected by the motion vector detection unit 155 of the motion estimation unit 113.
It is correction data of the position to which the correction data 221 of interest is moved based on 23. Prediction value calculation blocking circuit 26
2 also extracts this prediction tap 222 as correction data forming the prediction value calculation block 251.
【0120】同様に、予測値計算用ブロック化回路26
2は、現在フレーム201より時間的に後の後フレーム
(t=T+1のフレーム)203における、現在フレー
ム201の注目補正データ211に対応する位置の補正
データである注目対応補正データ231を、動きベクト
ル検出部154により検出された後フレーム動きベクト
ル233に基づいて移動した位置の補正データである予
測タップ232を、予測値計算用ブロック251を構成
する補正データとして抽出する。Similarly, the prediction value calculation blocking circuit 26
2 is the motion vector of the attention corresponding correction data 231 which is the correction data of the position corresponding to the attention correction data 211 of the current frame 201 in the subsequent frame (frame of t = T + 1) 203 which is after the current frame 201 in time. The prediction tap 232, which is the correction data of the position moved based on the post-frame motion vector 233 detected by the detection unit 154, is extracted as the correction data forming the prediction value calculation block 251.
【0121】このように、この例においては、現在フレ
ーム内の補正データだけでなく、現在フレームより時間
的に前、または後のフレームの補正データが、予測値計
算用ブロック25を構成する補正データとされるため、
特に、原画像が動画像である場合においても、正確に原
画像を復元することが可能となる。As described above, in this example, not only the correction data in the current frame but also the correction data in the frame temporally before or after the current frame are the correction data forming the prediction value calculation block 25. Because,
Particularly, even when the original image is a moving image, the original image can be accurately restored.
【0122】図20は、横軸を時間軸方向とし、縦軸を
フレームの水平方向または垂直方向として、図19の前
フレーム262、現在フレーム201、および後フレー
ム203の注目補正データと予測タップの位置関係を表
している。In FIG. 20, the horizontal axis is the time axis direction and the vertical axis is the horizontal direction or the vertical direction of the frame, and the target correction data and prediction taps of the previous frame 262, the current frame 201, and the subsequent frame 203 of FIG. It shows the positional relationship.
【0123】予測値計算用ブロック化回路262におい
て得られた予測値計算用ブロック251の補正データ
は、クラス分類適応処理回路263に供給される。The correction data of the prediction value calculation block 251 obtained in the prediction value calculation blocking circuit 262 is supplied to the class classification adaptive processing circuit 263.
【0124】なお、予測値計算用ブロック251につい
ても、クラス分類用ブロック242における場合と同様
に、その画素数および形状は、上述したものに限定され
るものではない。但し、予測値計算用ブロック251を
構成する画素数は、クラス分類用ブロック242を構成
する画素数よりも多くするのが望ましい。As with the class classification block 242, the number of pixels and shape of the prediction value calculation block 251 are not limited to those described above. However, it is desirable that the number of pixels forming the prediction value calculation block 251 be larger than the number of pixels forming the class classification block 242.
【0125】また、上述のようなブロック化を行う場合
において(ブロック化以外の処理についても同様)、画
像の画枠付近では、対応する画素(補正データ)が存在
しないことがあるが、この場合には、例えば、画枠を構
成する画素と同一の画素が、その外側に存在するものと
して処理を行う。In the case where the above-described block formation is performed (the same applies to processes other than the block formation), there may be no corresponding pixel (correction data) near the image frame of the image. For example, the processing is performed assuming that the same pixel as the pixel forming the image frame exists outside the pixel.
【0126】クラス分類適応処理回路263は、ADRC
(Adaptive Dynamic Range Coding)処理回路244、
クラス分類回路265、予測係数ROM266、および予
測回路267で構成され、クラス分類適応処理を行う。The class classification adaptive processing circuit 263 uses the ADRC
(Adaptive Dynamic Range Coding) processing circuit 244,
It is composed of a class classification circuit 265, a prediction coefficient ROM 266, and a prediction circuit 267, and performs class classification adaptation processing.
【0127】クラス分類適応処理とは、入力信号を、そ
の特徴に基づいて幾つかのクラスに分類し、各クラスの
入力信号に、そのクラスに適切な適応処理を施すもの
で、大きく、クラス分類処理と適応処理とに分かれてい
る。The class classification adaptive process is a process of classifying an input signal into several classes based on its characteristics, and subjecting the input signal of each class to an appropriate adaptive process for that class. It is divided into processing and adaptive processing.
【0128】ここで、クラス分類処理および適応処理に
ついて簡単に説明する。Here, the class classification process and the adaptation process will be briefly described.
【0129】まず、クラス分類処理について説明する。First, the class classification process will be described.
【0130】いま、例えば、図21に示されるように、
ある注目画素と、それに隣接する3つの画素により、2
×2画素でなるブロック(クラス分類用ブロック)を構
成し、また、各画素は、1ビットで表現される(0また
は1のうちのいずれかのレベルをとる)ものとする。こ
の場合、注目画素を含む2×2の4画素のブロックは、
各画素のレベル分布により、図22に示されるように、
16(=(21)4)パターンに分類することができる。
従って、いまの場合、注目画素は、16のパターンに分
類することができ、このようなパターン分けが、クラス
分類処理であり、クラス分類回路265において行われ
る。Now, for example, as shown in FIG.
2 by a certain pixel of interest and three adjacent pixels
It is assumed that a block (class classification block) composed of × 2 pixels is formed, and each pixel is represented by 1 bit (takes one level of 0 or 1). In this case, the 2 × 2 4-pixel block including the target pixel is
According to the level distribution of each pixel, as shown in FIG.
It can be classified into 16 (= (2 1 ) 4 ) patterns.
Therefore, in the present case, the pixel of interest can be classified into 16 patterns, and such pattern classification is a class classification process, which is performed in the class classification circuit 265.
【0131】なお、クラス分類処理は、画像(ブロック
内の画像)のアクティビティ(画像の複雑さ)(変化の
激しさ)などをも考慮して行うようにすることが可能で
ある。The class classification process can be performed in consideration of the activity (complexity of the image) (the intensity of change) of the image (the image within the block).
【0132】ところで、通常、各画素には、例えば8ビ
ット程度が割り当てられる。また、本実施の形態におい
ては、上述したように、クラス分類用ブロック242
は、3×3の9個の補正データで構成される。従って、
このようなクラス分類用ブロック242を対象にクラス
分類処理を行うものとすると、(28)9という膨大な数
のクラスが発生することになる。By the way, normally, for example, about 8 bits are assigned to each pixel. Further, in the present embodiment, as described above, the class classification block 242.
Is composed of 3 × 3 9 pieces of correction data. Therefore,
If the class classification processing is performed on such a class classification block 242, a huge number of classes (2 8 ) 9 will be generated.
【0133】そこで、本実施の形態においては、ADRC処
理回路264において、クラス分類用ブロック242に
対して、ADRC処理が施され、これにより、クラス分類用
ブロック242を構成する補正データのビット数を小さ
くすることで、クラス数が削減される。Therefore, in the present embodiment, in the ADRC processing circuit 264, the ADRC processing is performed on the class classification block 242, whereby the number of bits of the correction data forming the class classification block 242 is changed. By making it smaller, the number of classes is reduced.
【0134】即ち、例えば、いま、説明を簡単にするた
め、図23に示されるように、4個の画素(補正デー
タ)で構成されるブロックを考えると、ADRC処理におい
ては、その画素値の最大値MAXと最小値MINが検出
される。そして、DR=MAX−MINが、そのブロッ
クの局所的なダイナミックレンジとされ、このダイナミ
ックレンジDRに基づいて、ブロックを構成する画素の
画素値がKビットに再量子化される。That is, for example, to simplify the explanation, consider a block composed of four pixels (correction data) as shown in FIG. 23. The maximum value MAX and the minimum value MIN are detected. Then, DR = MAX-MIN is set as the local dynamic range of the block, and the pixel value of the pixels forming the block is requantized into K bits based on the dynamic range DR.
【0135】即ち、ブロック内の各画素値から、最小値
MINが減算され、その減算された値がDR/2Kで除
算される。そして、各画素値は、その結果得られる除算
値に対応するコード(ADRCコード)に変換される。具体
的には、例えば、K=2とした場合、図24に示される
ように、除算値が、ダイナミックレンジDRを4(=2
2)等分して得られるいずれの範囲に属するかが判定さ
れ、除算値が、最も下のレベルの範囲、下から2番目の
レベルの範囲、下から3番目のレベルの範囲、または最
も上のレベルの範囲に属する場合には、それぞれ、例え
ば、00B,01B,10B、または11Bなどの2ビ
ットにコード化される(Bは2進数であることを表
す)。そして、復号側(受信装置44)において、ADRC
コード00B,01B,10B、または11Bは、ダイ
ナミックレンジDRを4等分して得られる最も下のレベ
ルの範囲の中心値L00、下から2番目のレベルの範囲の
中心値L01、下から3番目のレベルの範囲の中心値
L10、または最も上のレベルの範囲の中心値L11にそれ
ぞれ変換され、その値に、最小値MINが加算されるこ
とで復号が行われる。That is, the minimum value MIN is subtracted from each pixel value in the block, and the subtracted value is divided by DR / 2 K. Then, each pixel value is converted into a code (ADRC code) corresponding to the division value obtained as a result. Specifically, for example, when K = 2, as shown in FIG. 24, the divided value has a dynamic range DR of 4 (= 2).
2 ) It is determined which of the ranges obtained by dividing into equal parts, and the division value is the range of the lowest level, the range of the second lowest level, the range of the third lowest level, or the highest level. In the range of the level of, each is coded into 2 bits such as 00B, 01B, 10B, or 11B (B represents a binary number). Then, on the decoding side (receiving device 44), ADRC
The code 00B, 01B, 10B, or 11B is the center value L 00 of the range of the lowest level obtained by dividing the dynamic range DR into four, the center value L 01 of the range of the second lowest level, and the bottom Decoding is performed by converting the value to the central value L 10 of the range of the third level or the central value L 11 of the range of the uppermost level, and adding the minimum value MIN to the value.
【0136】このようなADRC処理はノンエッジマッチン
グと呼ばれる。Such ADRC processing is called non-edge matching.
【0137】なお、ADRC処理については、本件出願人が
先に出願した、例えば、特開平3−53778号公報な
どに、その詳細が開示されている。Details of the ADRC processing are disclosed in, for example, Japanese Patent Application Laid-Open No. 3-53778 filed by the applicant of the present application.
【0138】ブロックを構成する画素に割り当てられて
いるビット数より少ないビット数で再量子化を行うADRC
処理を施すことにより、上述したように、クラス数を削
減することができ、このようなADRC処理が、ADRC処理回
路264において行われる。ADRC for performing requantization with the number of bits smaller than the number of bits assigned to pixels forming a block
By performing the processing, the number of classes can be reduced as described above, and such ADRC processing is performed in the ADRC processing circuit 264.
【0139】なお、本実施の形態では、クラス分類回路
265において、ADRC処理回路264から出力されるAD
RCコードに基づいて、クラス分類処理が行われるが、ク
ラス分類処理は、その他、例えば、DPCM(予測符号
化)や、BTC(Block Truncation Coding)、VQ
(ベクトル量子化)、DCT(離散コサイン変換)、ア
ダマール変換などを施したデータを対象に行うようにす
ることも可能である。In this embodiment, in the class classification circuit 265, the AD output from the ADRC processing circuit 264 is output.
Although the class classification process is performed based on the RC code, the class classification process may be performed by other methods such as DPCM (Predictive Coding), BTC (Block Truncation Coding), and VQ.
(Vector quantization), DCT (discrete cosine transform), Hadamard transform, or other data may be performed as a target.
【0140】次に、適応処理について説明する。Next, the adaptive processing will be described.
【0141】例えば、いま、元の画像の画素値yの予測
値E[y]を、その周辺の幾つかの画素の画素値(補正
データの値)(以下、適宜、学習データという)x1,
x2,・・・と、所定の予測係数w1,w2,・・・の線
形結合により規定される線形1次結合モデルにより求め
ることを考える。この場合、予測値E[y]は、次式で
表すことができる。For example, now, the predicted value E [y] of the pixel value y of the original image is set to the pixel values (correction data values) (hereinafter, referred to as learning data) x 1 of some pixels around it. ,
It is considered that a linear linear combination model defined by a linear combination of x 2 , ... And predetermined prediction coefficients w 1 , w 2 ,. In this case, the predicted value E [y] can be expressed by the following equation.
【0142】 E[y]=w1x1+w2x2+・・・ ・・・(1)E [y] = w 1 x 1 + w 2 x 2 + ... (1)
【0143】そこで、一般化するために、予測係数wの
集合でなる行列W、学習データの集合でなる行列X、お
よび予測値E[y]の集合でなる行列Y’を、Therefore, for generalization, a matrix W made up of a set of prediction coefficients w, a matrix X made up of a set of learning data, and a matrix Y ′ made up of a set of prediction values E [y] are
【数4】 で定義すると、次のような観測方程式が成立する。[Equation 4] , The following observation equation holds.
【0144】 XW=Y’ ・・・(2)[0144] XW = Y ' ... (2)
【0145】そして、この観測方程式に最小自乗法を適
用して、元の画像の画素値yに近い予測値E[y]を求
めることを考える。この場合、元の画像の画素値(以
下、適宜、教師データという)yの集合でなる行列Y、
および元の画像の画素値yに対する予測値E[y]の残
差eの集合でなる行列Eを、Then, it is considered that the least squares method is applied to this observation equation to obtain the prediction value E [y] close to the pixel value y of the original image. In this case, a matrix Y composed of a set of pixel values (hereinafter, appropriately referred to as teacher data) y of the original image,
And a matrix E consisting of a set of residuals e of the prediction value E [y] with respect to the pixel value y of the original image,
【数5】
で定義すると、式(2)から、次のような残差方程式が
成立する。[Equation 5] , The following residual equation is established from the equation (2).
【0146】 XW=Y+E ・・・(3)[0146] XW = Y + E ... (3)
【0147】この場合、元の画像の画素値yに近い予測
値E[y]を求めるための予測係数wiは、自乗誤差In this case, the prediction coefficient w i for obtaining the prediction value E [y] close to the pixel value y of the original image is the squared error.
【数6】 を最小にすることで求めることができる。[Equation 6] Can be obtained by minimizing.
【0148】従って、上述の自乗誤差を予測係数wiで
微分したものが0になる場合、即ち、次式を満たす予測
係数wiが、元の画像の画素値yに近い予測値E[y]
を求めるため最適値ということになる。Therefore, when the above-mentioned squared error is differentiated by the prediction coefficient w i to be 0, that is, the prediction coefficient w i satisfying the following equation is close to the pixel value y of the original image. ]
Therefore, the optimum value is obtained.
【0149】[0149]
【数7】 ・・・(4)[Equation 7] ... (4)
【0150】そこで、まず、式(3)を、予測係数wi
で微分することにより、次式が成立する。Therefore, first, the prediction coefficient w i is calculated according to the equation (3).
The following formula is established by differentiating with.
【0151】[0151]
【数8】 ・・・(5)[Equation 8] ... (5)
【0152】式(4)および(5)より、式(6)が得
られる。From equations (4) and (5), equation (6) is obtained.
【0153】[0153]
【数9】 ・・・(6)[Equation 9] ... (6)
【0154】さらに、式(3)の残差方程式における学
習データx、予測係数w、教師データy、および残差e
の関係を考慮すると、式(6)から、次のような正規方
程式を得ることができる。Furthermore, the learning data x, the prediction coefficient w, the teacher data y, and the residual e in the residual equation of the equation (3).
Considering the relationship of, the following normal equation can be obtained from the equation (6).
【0155】[0155]
【数10】 ・・・(7)[Equation 10] ... (7)
【0156】式(7)の正規方程式は、求めるべき予測
係数wの数と同じ数だけたてることができ、従って、式
(7)を解くことで、最適な予測係数wを求めることが
できる。なお、式(7)を解くにあたっては、例えば、
掃き出し法(Gauss-Jordanの消去法)などを適用するこ
とが可能である。The normal equation of equation (7) can be set up in the same number as the number of prediction coefficients w to be obtained. Therefore, by solving equation (7), the optimum prediction coefficient w can be obtained. . In solving equation (7), for example,
A sweeping method (Gauss-Jordan elimination method) or the like can be applied.
【0157】以上のようにして、クラスごとに最適な予
測係数wを求め、さらに、その予測係数wを用い、式
(1)により、元の画像の画素値yに近い予測値E
[y]を求めるのが適応処理であり、この適応処理に基
づく予測処理が、予測回路267において行われる。As described above, the optimum prediction coefficient w is obtained for each class, and using the prediction coefficient w, the prediction value E close to the pixel value y of the original image is calculated by the equation (1).
The adaptive process determines [y], and the prediction circuit 267 performs the prediction process based on this adaptive process.
【0158】なお、適応処理は、間引かれた画像(圧縮
データ)には含まれていない、元の画像に含まれる成分
が再現される点で、単なる補間処理とは異なる。即ち、
適応処理は、式(1)だけを見る限りは、いわゆる補間
フィルタを用いての補間処理と同一であるが、その補間
フィルタのタップ係数に相当する予測係数wが、教師デ
ータyを用いての、いわば学習により求められるため、
元の画像に含まれる成分を再現することができる。この
ことから、適応処理は、いわば画像の創造作用がある処
理ということができる。The adaptive process differs from the simple interpolation process in that the components included in the original image, which are not included in the thinned image (compressed data), are reproduced. That is,
The adaptive process is the same as the interpolation process using a so-called interpolation filter as far as only the equation (1) is seen, but the prediction coefficient w corresponding to the tap coefficient of the interpolation filter is calculated using the teacher data y. , So to speak, because it is required by learning,
The components contained in the original image can be reproduced. From this, it can be said that the adaptive process is, so to speak, a process having an image creating action.
【0159】次に、図25のフローチャートを参照し
て、図16のローカルデコード部114の処理について
説明する。Next, the processing of the local decoding unit 114 of FIG. 16 will be described with reference to the flowchart of FIG.
【0160】ローカルデコード部114においては、ま
ず最初に、ステップS121において、補正部112か
らの補正データがブロック化される。即ち、クラス分類
用ブロック化回路261において、補正データが、注目
補正データ(図17の補正データX33)を中心とする3
×3画素のクラス分類用ブロック242(図17)にブ
ロック化され、クラス分類適応処理回路263に供給さ
れるとともに、予測値計算用ブロック化回路262にお
いて、現在フレームの補正データが、注目補正データ2
11(X33)を中心とする5×5画素の予測値計算用ブ
ロック251(図17、図19)にブロック化される。In the local decoding unit 114, first, in step S121, the correction data from the correction unit 112 is divided into blocks. That is, in the class classification block circuit 261, the correction data is 3 with the correction data of interest (correction data X 33 in FIG. 17) as the center.
The blocks are divided into 3 × 3 pixel class classification blocks 242 (FIG. 17) and supplied to the class classification adaptive processing circuit 263. At the same time, in the prediction value calculation blocking circuit 262, the correction data of the current frame is the correction data of interest. Two
The blocks are divided into prediction value calculation blocks 251 (FIGS. 17 and 19) of 5 × 5 pixels centered on 11 (X 33 ).
【0161】さらにまた、予測値計算用ブロック化回路
262は、動き推定部113より供給される前フレーム
動きベクトル223に対応して求められる前フレーム2
02の補正データである予測タップ222と、後フレー
ム動きベクトル233に対応して求められる後フレーム
203の補正データである予測タップ232を、それぞ
れ予測値計算用ブロック251を構成する補正データと
する(図19)。従って、この例の場合、結局、合計2
7個(=5×5+1+1)の補正データが予測値計算用
ブロック251の補正データとしてクラス分類適応処理
回路263に供給される。Furthermore, the prediction value calculation blocking circuit 262 determines the previous frame 2 obtained in correspondence with the previous frame motion vector 223 supplied from the motion estimation unit 113.
The prediction tap 222, which is the correction data of No. 02, and the prediction tap 232, which is the correction data of the rear frame 203 that is obtained corresponding to the rear frame motion vector 233, are the correction data that configures the prediction value calculation block 251 ( (Fig. 19). Therefore, in the case of this example, the total is 2
Seven pieces (= 5 × 5 + 1 + 1) of correction data are supplied to the class classification adaptive processing circuit 263 as the correction data of the prediction value calculation block 251.
【0162】クラス分類適応処理回路263において、
クラス分類用ブロック242はADRC処理回路264に供
給され、予測値計算用ブロック251は予測回路267
に供給される。In the class classification adaptive processing circuit 263,
The class classification block 242 is supplied to the ADRC processing circuit 264, and the prediction value calculation block 251 is supplied to the prediction circuit 267.
Is supplied to.
【0163】ADRC処理回路264は、クラス分類用ブロ
ック242を受信すると、ステップS122において、
そのクラス分類用ブロック242に対して、例えば、1
ビットのADRC(1ビットで再量子化を行うADRC)処理を
施し、これにより、補正データを、1ビットに変換(符
号化)して、クラス分類回路265に出力する。クラス
分類回路265は、ステップS123において、ADRC処
理が施されたクラス分類用ブロック242に基づいて、
クラス分類処理を実行する。即ち、ADRC処理が施された
クラス分類用ブロック242を構成する各補正データの
レベル分布の状態を検出し、そのクラス分類用ブロック
が属するクラス(そのクラス分類用ブロック242を構
成する注目補正データ211(中心に配置された補正デ
ータ)のクラス)を判定する。このクラスの判定結果
は、クラス情報として、予測係数ROM266に供給され
る。When the ADRC processing circuit 264 receives the class classification block 242, in step S122,
For the class classification block 242, for example, 1
A bit ADRC (ADRC in which requantization is performed by 1 bit) processing is performed, and thereby the correction data is converted (encoded) into 1 bit and output to the class classification circuit 265. In step S123, the class classification circuit 265 determines, based on the class classification block 242 that has been subjected to the ADRC processing,
Perform class classification processing. That is, the state of the level distribution of each correction data that constitutes the ADRC-processed class classification block 242 is detected, and the class to which the class classification block belongs (the target correction data 211 that constitutes the class classification block 242). (Correction data located in the center) class) is determined. The determination result of this class is supplied to the prediction coefficient ROM 266 as class information.
【0164】なお、本実施の形態においては、1ビット
のADRC処理が施された3×3の9個の補正データで構成
されるクラス分類用ブロック242に対して、クラス分
類処理が施されるので、各クラス分類用ブロック242
は、512(=(21)9)のクラスのうちのいずれかに
分類されることになる。In the present embodiment, the class classification process is performed on the class classification block 242 composed of 9 3 × 3 pieces of correction data which has been subjected to the 1-bit ADRC process. Therefore, each class classification block 242
Will be classified into one of the 512 (= (2 1 ) 9 ) classes.
【0165】そして、ステップS124に進み、予測係
数ROM266において、クラス分類回路265からのク
ラス情報に基づいて、予測係数が読み出され、予測回路
267に供給される。予測回路267は、ステップS1
25において、各クラスごとに適応処理を施し、これに
より、1フレームの元の画像データ(原画像データ)の
予測値を算出する。Then, in step S124, the prediction coefficient is read out from the prediction coefficient ROM 266 based on the class information from the class classification circuit 265 and supplied to the prediction circuit 267. The prediction circuit 267 uses the step S1.
In 25, adaptive processing is performed for each class, and thereby the predicted value of the original image data (original image data) of one frame is calculated.
【0166】即ち、本実施の形態においては、例えば、
クラスごとに27×9個の予測係数が読み出される。さ
らに、ある1つの補正データに注目した場合に、その注
目補正データに対応する元画像の画素と、その画素の周
りに隣接する8個の元画像の画素の、合計9個の画素に
ついての予測値が、注目補正データのクラス情報に対応
する27×9個の予測係数と、その注目補正データを中
心とする5×5画素でなる予測値計算用ブロックとを用
いて、適応処理が行われることにより算出される。That is, in the present embodiment, for example,
27 × 9 prediction coefficients are read out for each class. Furthermore, when attention is paid to a certain correction data, a prediction of a total of 9 pixels of the pixel of the original image corresponding to the correction data of interest and the pixels of 8 original images adjacent to the pixel Adaptive processing is performed using 27 × 9 prediction coefficients whose values correspond to the class information of the attention correction data and a prediction value calculation block composed of 5 × 5 pixels centered on the attention correction data. It is calculated by
【0167】具体的には、例えば、いま、図17に示し
た補正データ(注目補正データ)X 33を中心とする3×
3の補正データX22,X23,X24,X32,X33,X34,
X42,X43,X44でなるクラス分類用ブロック242に
ついてのクラス情報Cが、クラス分類回路265から出
力され、また、そのクラス分類用ブロック242に対応
する予測値計算用ブロック251として、現在フレーム
の補正データX33を中心とする5×5画素の補正データ
X11,X12,X13,X14,X15,X21,X22,X23,X
24,X25,X31,X32,X33,X34,X35,X41,
X42,X43,X44,X45,X51,X52,X53,X54,X
55と、前フレームの予測タップ222としての対応する
補正データXmv1と、後フレームの予測タップ232と
しての補正データXmv2でなる予測値計算用ブロック2
51が、予測値計算用ブロック化回路262から出力さ
れる。Specifically, for example, as shown in FIG.
Corrected data (corrected correction data) X 33Centered on 3 ×
Correction data X of 3twenty two, Xtwenty three, Xtwenty four, X32, X33, X34,
X42, X43, X44In the class classification block 242 consisting of
The class information C about the class information is output from the class classification circuit 265.
And also corresponds to the classification block 242.
As the prediction value calculation block 251
Correction data X335 × 5 pixel correction data centered on
X11, X12, X13, X14, X15, Xtwenty one, Xtwenty two, Xtwenty three, X
twenty four, Xtwenty five, X31, X32, X33, X34, X35, X41,
X42, X43, X44, X45, X51, X52, X53, X54, X
55Corresponds to the prediction tap 222 of the previous frame.
Correction data Xmv1And the prediction tap 232 of the subsequent frame
Correction data Xmv2Prediction value calculation block 2 consisting of
51 is output from the prediction value calculation blocking circuit 262.
Be done.
【0168】そして、クラス情報Cについての予測係数
w1乃至w27と、予測値計算用ブロック251とを用
い、式(1)に対応する次式にしたがって、予測値E
[Y33(k)]が求められる。Then, using the prediction coefficients w 1 to w 27 for the class information C and the prediction value calculation block 251, the prediction value E is calculated according to the following equation corresponding to the equation (1).
[Y 33 (k)] is required.
【0169】 E[Y33(k)]=w1(k)X11+w2(k)X12+w3(k)X13 +w4(k)X14+w5(k)X15+w6(k)X21 +w7(k)X22+w8(k)X23+w9(k)X24 +w10(k)X25+w11(k)X31 +w12(k)X32+w13(k)X33 +w14(k)X34+w15(k)X35 +w16(k)X41+w17(k)X42 +w18(k)X43+w19(k)X44 +w20(k)X45+w21(k)X51 +w22(k)X52+w23(k)X53 +w24(k)X54+w25(k)X55 +w26(k)Xmv1 +w27(k)Xmv2 ・・・(8)[0169] E [Y33(K)] = w1(K) X11+ W2(K) X12+ W3(K) X13 + WFour(K) X14+ WFive(K) X15+ W6(K) Xtwenty one + W7(K) Xtwenty two+ W8(K) Xtwenty three+ W9(K) Xtwenty four + WTen(K) Xtwenty five+ W11(K) X31 + W12(K) X32+ W13(K) X33 + W14(K) X34+ W15(K) X35 + W16(K) X41+ W17(K) X42 + W18(K) X43+ W19(K) X44 + W20(K) X45+ Wtwenty one(K) X51 + Wtwenty two(K) X52+ Wtwenty three(K) X53 + Wtwenty four(K) X54+ Wtwenty five(K) X55 + W26(K) Xmv1 + W27(K) Xmv2 ... (8)
【0170】ステップS125では、以上のようにし
て、27×9個のクラスごとの予測係数を用いて、注目
補正データを中心とする3×3個の原画像の画素の予測
値が求められる。In step S125, as described above, the prediction values of the pixels of 3 × 3 original images centering on the correction data of interest are obtained using the prediction coefficients of 27 × 9 classes.
【0171】その後、ステップS126に進み、クラス
ごとの27×9個の予測係数は制御部116に供給さ
れ、3×3個の予測値は誤差算出部115に供給され
る。そして、ステップS121に戻り、以下同様の処理
が、例えば、上述したように1フレーム単位で繰り返さ
れる。After that, the process proceeds to step S126, where 27 × 9 prediction coefficients for each class are supplied to the control unit 116, and 3 × 3 prediction values are supplied to the error calculation unit 115. Then, the process returns to step S121, and the same process is repeated, for example, on a frame-by-frame basis as described above.
【0172】図26は、図6の誤差算出部115の構成
例を示している。FIG. 26 shows an example of the configuration of the error calculating section 115 shown in FIG.
【0173】ブロック化回路351には、元の画像デー
タ(縮小される前の原画像の画像データ)が供給されて
いる。ブロック化回路351は、その画像データを、ロ
ーカルデコード部114から出力される予測値に対応す
る9個単位でブロック化し、その結果得られる3×3画
素のブロック(例えば、図17に四角形で囲んで示すよ
うな3×3画素のブロック)を、自乗誤差算出回路35
2に出力する。自乗誤差算出回路352には、上述した
ように、ブロック化回路351から元の画像データのブ
ロックが供給される他、ローカルデコード部114から
予測値が、9個単位(3×3画素のブロック単位)で供
給される。自乗誤差算出回路352は、原画像に対す
る、予測値の予測誤差としての自乗誤差を算出し、積算
部355に供給する。The original image data (image data of the original image before being reduced) is supplied to the blocking circuit 351. The blocking circuit 351 blocks the image data in units of 9 units corresponding to the prediction value output from the local decoding unit 114, and a block of 3 × 3 pixels obtained as a result (for example, surrounded by a rectangle in FIG. 17). (3 × 3 pixel block) as shown in FIG.
Output to 2. As described above, the square error calculation circuit 352 is supplied with the block of the original image data from the block formation circuit 351, and the local decoding unit 114 outputs the prediction value in units of 9 units (3 × 3 pixel block unit). ). The squared error calculation circuit 352 calculates a squared error as a prediction error of a prediction value for the original image, and supplies the squared error to the integration unit 355.
【0174】即ち、自乗誤差算出回路は352は、演算
器353および354で構成されている。演算器353
は、ブロック化回路351からのブロック化された画像
データそれぞれから、対応する予測値を減算し、その減
算値を、演算器354に供給する。演算器354は、演
算器353の出力(元の画像データと予測値との差分)
を自乗し、積算部355に供給する。That is, the squared error calculation circuit 352 is composed of arithmetic units 353 and 354. Calculator 353
Subtracts the corresponding predicted value from each of the blocked image data from the blocking circuit 351 and supplies the subtracted value to the calculator 354. The calculator 354 outputs the difference from the calculator 353 (difference between the original image data and the predicted value).
Is squared and supplied to the integrating unit 355.
【0175】積算部355は、自乗誤差算出回路352
から自乗誤差を受信すると、メモリ356の記憶値を読
み出し、その記憶値と自乗誤差とを加算して、再び、メ
モリ356に供給して記憶させることを繰り返すこと
で、自乗誤差の積算値(誤差分散)を求める。さらに、
積算部355は、所定量(例えば、1フレーム分など)
についての自乗誤差の積算が終了すると、その積算値
を、メモリ356から読み出し、誤差情報として、制御
部116に供給する。メモリ356は、1フレームにつ
いての処理が終了するごとに、その記憶値をクリアしな
がら、積算部355の出力値を記憶する。The accumulator 355 has a squared error calculation circuit 352.
When the squared error is received from the memory 356, the stored value in the memory 356 is read, the stored value is added to the squared error, and the summed value of the squared error (error Variance). further,
The integration unit 355 has a predetermined amount (for example, one frame)
When the integration of the squared error of is completed, the integrated value is read from the memory 356 and supplied to the control unit 116 as error information. The memory 356 stores the output value of the integrating unit 355 while clearing the stored value each time the processing for one frame is completed.
【0176】次に、その動作について、図27のフロー
チャートを参照して説明する。誤差算出部115では、
まず最初に、ステップS131において、メモリ356
の記憶値が、例えば0にクリア(初期化)され、ステッ
プS132に進み、ブロック化回路351において、画
像データが、上述したようにブロック化され、その結果
得られるブロックが、自乗誤差算出回路352に供給さ
れる。自乗誤差算出回路352では、ステップS133
において、ブロック化回路351から供給されるブロッ
クを構成する、元の画像(原画像)の画像データと、ロ
ーカルデコード部114から供給される予測値との自乗
誤差が算出される。Next, the operation will be described with reference to the flowchart in FIG. In the error calculation unit 115,
First, in step S131, the memory 356
Of the image data is cleared (initialized) to 0, for example, and the process proceeds to step S132. The blocking circuit 351 blocks the image data as described above, and the resulting block is the square error calculation circuit 352. Is supplied to. In the squared error calculation circuit 352, step S133
At, the square error between the image data of the original image (original image) forming the block supplied from the blocking circuit 351 and the predicted value supplied from the local decoding unit 114 is calculated.
【0177】即ち、ステップS133では、演算器35
3において、ブロック化回路351より供給されたブロ
ック化された画像データそれぞれから、対応する予測値
が減算され、演算器354に供給される。演算器354
は、演算器353の出力を自乗し、積算部355に供給
する。That is, in step S133, the calculator 35
In 3, the corresponding prediction value is subtracted from each of the blocked image data supplied from the blocking circuit 351 and supplied to the calculator 354. Calculator 354
Outputs the square of the output of the computing unit 353 and supplies it to the integrating unit 355.
【0178】積算部355は、自乗誤差算出回路352
から自乗誤差を受信すると、ステップS134におい
て、メモリ356の記憶値を読み出し、その記憶値と自
乗誤差とを加算することで、自乗誤差の積算値を求め
る。積算部355において算出された自乗誤差の積算値
は、メモリ356に供給され、前回の記憶値に上書きさ
れることで記憶される。The accumulator 355 has a squared error calculation circuit 352.
When the squared error is received from, the stored value of the memory 356 is read out in step S134, and the stored value and the squared error are added to obtain the integrated value of the squared error. The integrated value of the squared error calculated by the integration unit 355 is supplied to the memory 356 and is stored by overwriting the previously stored value.
【0179】そして、積算部355では、ステップS1
35において、所定量としての、例えば、1フレーム分
についての自乗誤差の積算が終了したかどうかが判定さ
れる。ステップS135において、1フレーム分につい
ての自乗誤差の積算が終了していないと判定された場
合、ステップS132に戻り、再び、ステップS132
からの処理が繰り返される。また、ステップS135に
おいて、1フレーム分についての自乗誤差の積算が終了
したと判定された場合、ステップS136に進み、積算
部355は、メモリ356に記憶された1フレーム分に
ついての自乗誤差の積算値を読み出し、誤差情報とし
て、制御部116に出力する。そして、ステップS13
1に戻り、次のフレームについての原画像および予測値
が供給されるのを待って、再び、ステップS131から
の処理が繰り返される。Then, in the integrating unit 355, step S1
At 35, it is determined whether or not the accumulation of the squared error for one frame, for example, as a predetermined amount has been completed. If it is determined in step S135 that the sum of squared errors for one frame has not been completed, the process returns to step S132, and again step S132.
The process from is repeated. If it is determined in step S135 that the sum of squared errors for one frame has ended, the process proceeds to step S136, and the accumulator 355 stores the sum of squared errors for one frame stored in the memory 356. Is read out and is output to the control unit 116 as error information. Then, step S13
Returning to 1, waiting for the original image and the predicted value for the next frame to be supplied, the processing from step S131 is repeated again.
【0180】従って、誤差算出部115では、元の画像
データをYij(k)とするとともに、その予測値をE
[Yij(k)]とするとき、次式にしたがった演算が行
われることで、誤差情報Qが算出される。Therefore, the error calculation unit 115 sets the original image data as Y ij (k) and the predicted value thereof as E ij (k).
When [Y ij (k)] is set, the error information Q is calculated by performing an operation according to the following equation.
【0181】
Q=Σ(Yij(k)−E[Yij(k)])2
但し、Σは、1フレーム分についてのサメーションを意
味する。Q = Σ (Y ij (k) -E [Y ij (k)]) 2 However, Σ means the summation for one frame.
【0182】図28は、図6の制御部116の構成例を
示している。FIG. 28 shows a configuration example of the control unit 116 shown in FIG.
【0183】動きベクトルメモリ360は、動き推定部
113から供給された動きベクトルを記憶する。予測係
数メモリ361は、ローカルデコード部114から供給
される予測係数を記憶する。補正データメモリ362
は、補正部112から供給される補正データを記憶す
る。The motion vector memory 360 stores the motion vector supplied from the motion estimator 113. The prediction coefficient memory 361 stores the prediction coefficient supplied from the local decoding unit 114. Correction data memory 362
Stores the correction data supplied from the correction unit 112.
【0184】なお、補正データメモリ362は、補正部
112において、圧縮データが新たに補正され、これに
より、新たな補正データが供給された場合には、既に記
憶している補正データ(前回の補正データ)に代えて、
新たな補正データを記憶する。また、このように補正デ
ータが、新たなものに更新されるタイミングで、ローカ
ルデコード部114からは、その新たな補正データに対
応する、新たなクラスごとの予測係数のセットが出力さ
れるが、予測係数メモリ361も、このように新たなク
ラスごとの予測係数が供給された場合には、既に記憶し
ているクラスごとの予測係数(前回のクラスごとの予測
係数)に代えて、その新たなクラスごとの予測係数を記
憶する。動きベクトルメモリ360も同様に、最初の動
きベクトルに順次更新する処理を行う。In the correction data memory 362, when the correction data is newly corrected by the correction unit 112, and thus new correction data is supplied, the correction data already stored (previous correction Data),
Store new correction data. Further, at this timing when the correction data is updated to a new one, the local decoding unit 114 outputs a new set of prediction coefficients for each class, which corresponds to the new correction data. When the prediction coefficient for each new class is supplied in this way, the prediction coefficient memory 361 also replaces the prediction coefficient for each class (prediction coefficient for the previous class) that has already been stored with the new prediction coefficient. The prediction coefficient for each class is stored. Similarly, the motion vector memory 360 also performs processing for sequentially updating to the first motion vector.
【0185】誤差情報メモリ363は、誤差算出部11
5から供給される誤差情報を記憶する。なお、誤差情報
メモリ363は、誤差算出部115から、今回供給され
た誤差情報の他に、前回供給された誤差情報も記憶する
(新たな誤差情報が供給されても、さらに新たな誤差情
報が供給されるまでは、既に記憶している誤差情報を保
持する)。また、誤差情報メモリ363は、新たなフレ
ームについての処理が開始されるごとにクリアされる。The error information memory 363 is used by the error calculation unit 11
The error information supplied from 5 is stored. The error information memory 363 also stores the error information supplied last time in addition to the error information supplied this time from the error calculation unit 115 (even if new error information is supplied, new error information is Until it is supplied, the previously stored error information is retained). Further, the error information memory 363 is cleared each time the processing for a new frame is started.
【0186】比較回路364は、誤差情報メモリ363
に記憶された今回の誤差情報と、予め設定されている所
定の閾値εとを比較し、さらに、必要に応じて、今回の
誤差情報と前回の誤差情報との比較も行う。比較回路3
64における比較結果は、制御回路365に供給され
る。The comparison circuit 364 has an error information memory 363.
This time's error information is compared with the preset predetermined threshold value ε, and, if necessary, this time's error information is compared with the previous error information. Comparison circuit 3
The comparison result at 64 is supplied to the control circuit 365.
【0187】制御回路365は、比較回路364におけ
る比較結果に基づいて、補正データメモリ362に記憶
された補正データを、元の画像の符号化結果とすること
の適正(最適)さを判定し、最適でないと認識(判定)
した場合には、新たな補正データの出力を要求する制御
信号を、補正部112(補正回路131)(図12)に
供給する。また、制御回路365は、補正データメモリ
362に記憶された補正データを、元の画像の符号化結
果とすることが最適であると認識した場合には、予測係
数メモリ361に記憶されているクラスごとの予測係数
を読み出し、多重化部117に出力するとともに、補正
データメモリ362に記憶されている補正データを読み
出し、最適圧縮データとして、やはり多重化部117に
供給する。さらに、この場合、制御回路365は、1フ
レームの画像についての符号化を終了した旨を表す制御
信号を、補正部112に出力し、これにより、上述した
ように、補正部112に、次のフレームについての処理
を開始させる。The control circuit 365 determines, based on the comparison result in the comparison circuit 364, whether the correction data stored in the correction data memory 362 is the encoding result of the original image (appropriate). Recognized as not optimal (judgment)
In that case, the control signal requesting the output of new correction data is supplied to the correction unit 112 (correction circuit 131) (FIG. 12). Further, when the control circuit 365 recognizes that it is optimal to use the correction data stored in the correction data memory 362 as the encoding result of the original image, the class stored in the prediction coefficient memory 361. The prediction coefficient for each is read and output to the multiplexing unit 117, and the correction data stored in the correction data memory 362 is read and is also supplied to the multiplexing unit 117 as optimum compressed data. Further, in this case, the control circuit 365 outputs a control signal indicating that the encoding of the image of one frame is completed to the correction unit 112, which causes the correction unit 112 to perform the following operation as described above. Start processing for a frame.
【0188】次に、図29を参照して、制御部116が
実行する最適化処理について説明する。Next, with reference to FIG. 29, the optimization processing executed by the control unit 116 will be described.
【0189】制御部116では、まず最初に、ステップ
S141において、誤差算出部115から誤差情報を受
信したかどうかが、比較回路364によって判定され、
誤差情報を受信していないと判定された場合、ステップ
S141に戻る。また、ステップS141において、誤
差情報を受信したと判定された場合、即ち、誤差情報メ
モリ363に誤差情報が記憶された場合、ステップS1
42に進み、比較回路364において、誤差情報メモリ
363に、いま記憶された誤差情報(今回の誤差情報)
と、所定の閾値εとが比較され、いずれが大きいかが判
定される。In the control section 116, first, in step S141, the comparison circuit 364 determines whether or not the error information is received from the error calculation section 115.
If it is determined that the error information has not been received, the process returns to step S141. If it is determined in step S141 that the error information is received, that is, if the error information is stored in the error information memory 363, step S1
In step 42, in the comparison circuit 364, the error information currently stored in the error information memory 363 (current error information).
And a predetermined threshold value ε are compared to determine which is larger.
【0190】ステップS142において、今回の誤差情
報が、所定の閾値ε以上であると判定された場合、比較
回路364において、誤差情報メモリ363に記憶され
ている前回の誤差情報が読み出される。そして、比較回
路364は、ステップS143において、前回の誤差情
報と、今回の誤差情報とを比較し、いずれが大きいかを
判定する。If it is determined in step S142 that the current error information is greater than or equal to the predetermined threshold value ε, the comparison circuit 364 reads the previous error information stored in the error information memory 363. Then, in step S143, the comparison circuit 364 compares the previous error information with the current error information to determine which is larger.
【0191】なお、1フレームについての処理が開始さ
れ、最初に誤差情報が供給された場合には、誤差情報メ
モリ363には、前回の誤差情報は記憶されていない。
そこで、この場合には、制御部116においては、ステ
ップS143以降の処理は行われず、制御回路365に
おいて、所定の初期アドレスを補正値ROM132に出力
するように、補正回路131(図12)を制御する制御
信号が出力される。When the processing for one frame is started and the error information is first supplied, the error information memory 363 does not store the previous error information.
Therefore, in this case, the control unit 116 does not perform the processing of step S143 and thereafter, and controls the correction circuit 131 (FIG. 12) so that the control circuit 365 outputs a predetermined initial address to the correction value ROM 132. A control signal to output is output.
【0192】ステップS143において、今回の誤差情
報が、前回の誤差情報以下であると判定された場合、即
ち、圧縮データの補正を行うことにより誤差情報が減少
した場合、ステップS144に進み、制御回路365
は、補正値Δを、前回と同様に変化させるように指示す
る制御信号を、補正回路131に出力し、ステップS1
41に戻る。また、ステップS143において、今回の
誤差情報が、前回の誤差情報より大きいと判定された場
合、即ち、圧縮データの補正を行うことにより誤差情報
が増加した場合、ステップS145に進み、制御回路3
65は、補正値Δを、前回と逆に変化させるように指示
する制御信号を、補正回路131に出力し、ステップS
141に戻る。If it is determined in step S143 that the current error information is less than or equal to the previous error information, that is, if the error information is reduced by correcting the compressed data, the process proceeds to step S144, and the control circuit 365
Outputs to the correction circuit 131 a control signal for instructing to change the correction value Δ in the same manner as in the previous time, and step S1
Return to 41. If it is determined in step S143 that the current error information is larger than the previous error information, that is, if the error information is increased by correcting the compressed data, the process proceeds to step S145, and the control circuit 3
65 outputs a control signal for instructing to change the correction value Δ in the opposite manner to the previous time to the correction circuit 131, and the step S
Return to 141.
【0193】なお、減少し続けていた誤差情報が、ある
タイミングで上昇するようになったときは、制御回路3
65は、補正値Δを、いままでの場合の、例えば1/2
の大きさで、前回と逆に変化させるように指示する制御
信号を出力する。When the error information which has been decreasing continues to increase at a certain timing, the control circuit 3
65 is the correction value Δ,
Output a control signal instructing to change the value in the opposite manner.
【0194】そして、ステップS141乃至S145の
処理を繰り返すことにより、誤差情報が減少し、これに
より、ステップS142において、今回の誤差情報が、
所定の閾値εより小さくなったと判定された場合、ステ
ップS146に進み、制御回路365は、予測係数メモ
リ361に記憶されているクラスごとの予測係数を読み
出すとともに、補正データメモリ362に記憶されてい
る1フレームの補正データを、最適圧縮データとして読
み出し、多重化部117に供給される。また、動きベク
トルメモリ360に記憶されている最適圧縮データに対
応する動きベクトルも、読み出され、多重化部117に
供給され、処理を終了する。Then, by repeating the processing of steps S141 to S145, the error information is reduced, so that in step S142, the current error information is
When it is determined that the value is smaller than the predetermined threshold value ε, the process proceeds to step S146, and the control circuit 365 reads out the prediction coefficient for each class stored in the prediction coefficient memory 361 and also stores it in the correction data memory 362. The correction data of one frame is read out as optimum compressed data and supplied to the multiplexing unit 117. In addition, the motion vector corresponding to the optimum compressed data stored in the motion vector memory 360 is also read out and supplied to the multiplexing unit 117, and the process ends.
【0195】その後は、次のフレームについての誤差情
報が供給されるのを待って、再び、図29に示すフロー
チャートにしたがった処理が繰り返される。After that, after waiting for the supply of the error information for the next frame, the processing according to the flowchart shown in FIG. 29 is repeated.
【0196】なお、補正回路131には、圧縮データの
補正は、1フレームすべての圧縮データについて行わせ
るようにすることもできるし、その一部の圧縮データに
ついてだけ行わせるようにすることもできる。一部の圧
縮データについてだけ補正を行う場合においては、制御
回路365に、例えば、誤差情報に対する影響の強い画
素を検出させ、そのような画素についての圧縮データだ
けを補正するようにすることができる。誤差情報に対す
る影響の強い画素は、例えば、次のようにして検出する
ことができる。即ち、まず最初に、例えば、間引き後に
残った画素についての圧縮データをそのまま用いて処理
を行うことにより、その誤差情報を得る。そして、間引
き後に残った画素についての圧縮データを、1つずつ、
同一の補正値Δだけ補正するような処理を行わせる制御
信号を、制御回路365から補正回路131に出力し、
その結果得られる誤差情報を、圧縮データをそのまま用
いた場合に得られた誤差情報と比較し、その差が、所定
値以上となる画素を、誤差情報に対する影響の強い画素
として検出すれば良い。It should be noted that the correction circuit 131 can be made to correct the compressed data for all of the compressed data of one frame, or only for a part of the compressed data. . In the case of correcting only some of the compressed data, the control circuit 365 may be made to detect, for example, a pixel having a strong influence on the error information and correct only the compressed data of such a pixel. . Pixels having a strong influence on the error information can be detected, for example, as follows. That is, first, for example, the error information is obtained by performing the processing using the compressed data of the pixels remaining after the thinning as it is. Then, the compressed data of the pixels remaining after thinning out
The control circuit 365 outputs a control signal for performing a process of correcting the same correction value Δ to the correction circuit 131,
The error information obtained as a result may be compared with the error information obtained when the compressed data is used as it is, and a pixel having a difference of a predetermined value or more may be detected as a pixel having a strong influence on the error information.
【0197】以上のように、誤差情報を所定の閾値εよ
り小さくする(以下にする)まで、圧縮データの補正が
繰り返され、誤差情報が所定の閾値εより小さくなった
ときにおける補正データが、画像の符号化結果として出
力されるので、受信装置44(図2)においては、間引
き後の画像を構成する画素の画素値を、元の画像を復元
するのに最も適当な値にした補正データから、原画像と
同一(ほぼ同一)の復号画像を得ることが可能となる。As described above, the correction of the compressed data is repeated until the error information is made smaller (below) the predetermined threshold value ε, and the correction data when the error information becomes smaller than the predetermined threshold value ε is Since it is output as a result of image encoding, in the receiving device 44 (FIG. 2), the correction data in which the pixel values of the pixels forming the image after thinning are set to the most appropriate values for restoring the original image. Therefore, it is possible to obtain a decoded image that is the same as (or almost the same as) the original image.
【0198】また、画像は、間引き処理により圧縮され
る他、ADRC処理およびクラス分類適応処理などによって
も圧縮されるため、非常に高圧縮率の符号化データを得
ることができる。なお、送信装置41における、以上の
ような符号化処理は、間引きによる圧縮処理と、クラス
分類適応処理とを、いわば有機的に統合して用いること
により、高能率圧縮を実現するものであり、このことか
ら統合符号化処理ということができる。Since the image is compressed not only by the thinning process but also by the ADRC process and the class classification adaptive process, it is possible to obtain encoded data with a very high compression rate. Note that the above-described encoding processing in the transmission device 41 realizes high-efficiency compression by organically integrating and using the compression processing by thinning and the class classification adaptation processing. From this, it can be said that it is an integrated encoding process.
【0199】図30は、図2の受信装置44のハードウ
ェアの構成例を表している。FIG. 30 shows a hardware configuration example of the receiving apparatus 44 of FIG.
【0200】受信機/再生装置466は、送信装置41
が符号化データを記録した記録媒体42を再生したり、
送信装置41が伝送路43を介して伝送した符号化デー
タを受信する。I/F461は、受信機/再生装置466
に対しての符号化データの受信処理を行うとともに、復
号された画像データを図示せぬ装置に出力する処理を実
行する。The receiver / reproducer 466 is connected to the transmitter 41.
Reproduces the recording medium 42 on which the encoded data is recorded,
The transmitter 41 receives the encoded data transmitted via the transmission path 43. The I / F 461 is a receiver / playback device 466.
The receiving process of the encoded data is performed, and the process of outputting the decoded image data to a device (not shown) is performed.
【0201】ROM(Read Only Memory)462は、IPL
(Initial Program Loading)用のプログラムその他を
記憶している。RAM(Random Access Memory)463
は、外部記憶装置465に記録されているシステムプロ
グラム(OS(Operating System))やアプリケーション
プログラムを記憶したり、また、CPU(Central Process
ing Unit)464の動作上必要なデータを記憶する。CP
U464は、ROM462に記憶されているIPLプログラム
にしたがい、外部記憶装置465からシステムプログラ
ムおよびアプリケーションプログラムを、RAM463に
展開し、そのシステムプログラムの制御の下、アプリケ
ーションプログラムを実行することで、I/F461か
ら供給される符号化データについての、後述するような
復号処理を行う。ROM (Read Only Memory) 462 is an IPL
It stores the program for (Initial Program Loading) and others. RAM (Random Access Memory) 463
Stores a system program (OS (Operating System)) and application programs recorded in the external storage device 465, and a CPU (Central Process).
ing unit) 464 stores data necessary for operation. CP
The U464 expands the system program and the application program from the external storage device 465 to the RAM463 according to the IPL program stored in the ROM462, and executes the application program under the control of the system program to execute the I / F461. Decoding processing as described later is performed on the encoded data supplied from.
【0202】外部記憶装置465は、例えば、磁気ディ
スク471、光ディスク472、光磁気ディスク47
3、または半導体メモリ474などでなり、上述したよ
うに、CPU464が実行するシステムプログラムやアプ
リケーションプログラムを記憶している他、CPU464
の動作上必要なデータも記憶している。The external storage device 465 is, for example, a magnetic disk 471, an optical disk 472, a magneto-optical disk 47.
3 or a semiconductor memory 474, etc., which stores the system programs and application programs executed by the CPU 464 as described above, and the CPU 464.
It also stores data necessary for the operation of.
【0203】なお、I/F461,ROM462,RAM46
3,CPU464、および外部記憶装置465は、相互に
バスを介して接続されている。The I / F 461, the ROM 462, and the RAM 46
3, the CPU 464 and the external storage device 465 are mutually connected via a bus.
【0204】以上のように構成される受信装置44にお
いては、I/F461に受信機/再生装置466から符
号化データが供給されると、その符号化データは、CPU
464に供給される。CPU464は、符号化データを復
号し、その結果得られる復号データを、I/F461に
供給する。I/F461は、復号データ(画像データ)
を受信すると、それを、図示せぬディスプレイ等に出力
し、表示させる。In the receiving device 44 configured as described above, when the I / F 461 is supplied with the encoded data from the receiver / reproducing device 466, the encoded data is sent to the CPU.
464 is supplied. The CPU 464 decodes the encoded data and supplies the decoded data obtained as a result to the I / F 461. The I / F 461 is decoded data (image data)
When it receives, it outputs it to a display (not shown) or the like and displays it.
【0205】図31は、図30の受信装置44の受信機
/再生装置466を除く部分の機能的な構成例を示して
いる。FIG. 31 shows an example of the functional configuration of a part of the receiver 44 of FIG. 30 excluding the receiver / reproducer 466.
【0206】受信機/再生装置466においては、記録
媒体42に記録された符号化データが再生されるか、ま
たは伝送路43を介して伝送されてくる符号化データ
(処理対象データ)が受信されるか、分離部572に供
給される。分離部572では、符号化データから、補正
データ(最適圧縮データ)、クラスごとの予測係数、お
よび動きベクトルが抽出される。補正データは、クラス
分類用ブロック化回路573、および予測値計算用ブロ
ック化回路577に供給され、クラスごとの予測係数
は、予測回路576に供給されて、その内蔵するメモリ
576Aに記憶される。また、動きベクトルは、予測値
計算用ブロック化回路577に供給される。In the receiver / reproducing device 466, the encoded data recorded on the recording medium 42 is reproduced or the encoded data (data to be processed) transmitted via the transmission path 43 is received. Or supplied to the separation unit 572. The separation unit 572 extracts the correction data (optimal compression data), the prediction coefficient for each class, and the motion vector from the encoded data. The correction data is supplied to the class classification blocking circuit 573 and the prediction value calculation blocking circuit 577, and the prediction coefficient for each class is supplied to the prediction circuit 576 and stored in the built-in memory 576A thereof. The motion vector is also supplied to the prediction value calculation blocking circuit 577.
【0207】クラス分類用ブロック化回路573、ADRC
処理回路574、クラス分類回路575、予測回路57
6、または予測値計算用ブロック化回路577は、図1
6におけるクラス分類用ブロック化回路261、ADRC処
理回路264、クラス分類回路265、予測回路26
7、または予測値計算用ブロック化回路262と、それ
ぞれ同様に構成されている。従って、これらのブロック
においては、図14と図16における場合と同様の処理
が行われ、これにより、予測値計算用ブロック化回路5
77からは予測値計算用ブロックが出力され、また、ク
ラス分類回路575からはクラス情報が出力される。こ
れらの予測値計算用ブロックおよびクラス情報は、予測
回路576に供給される。Class classification blocking circuit 573, ADRC
Processing circuit 574, class classification circuit 575, prediction circuit 57
6 or the prediction value calculation blocking circuit 577 is shown in FIG.
6. Class classification blocking circuit 261, ADRC processing circuit 264, class classification circuit 265, prediction circuit 26
7 or the prediction value calculation blocking circuit 262, respectively. Therefore, in these blocks, the same processing as in the case of FIG. 14 and FIG. 16 is performed, whereby the prediction value calculation blocking circuit 5
The prediction value calculation block is output from 77, and the class information is output from the class classification circuit 575. The prediction value calculation block and class information are supplied to the prediction circuit 576.
【0208】予測回路576は、クラス分類回路575
から供給されるクラス情報に対応した27×9個の予測
係数を、メモリ576Aから読み出し、その27×9個
の予測係数と、予測値計算用ブロック化回路577から
供給される5×5画素の予測値計算用ブロック251を
構成する補正データとを用い、式(1)にしたがって、
原画像の3×3画素の予測値を算出し、そのような予測
値で構成される画像を、復号画像として、例えば、1フ
レーム単位で出力する。この復号画像は、上述したよう
に、元の画像とほぼ同一の画像となる。The prediction circuit 576 is the class classification circuit 575.
27 × 9 prediction coefficients corresponding to the class information supplied from the memory 576A, and the 27 × 9 prediction coefficients and 5 × 5 pixels supplied from the prediction value calculation blocking circuit 577. Using the correction data forming the prediction value calculation block 251, according to the equation (1),
A prediction value of 3 × 3 pixels of the original image is calculated, and an image configured with such a prediction value is output as a decoded image in, for example, one frame unit. As described above, this decoded image is almost the same as the original image.
【0209】次に、図31の受信装置44の復号処理に
ついて、図32のフローチャートを参照して説明する。Next, the decoding process of the receiving apparatus 44 of FIG. 31 will be described with reference to the flowchart of FIG.
【0210】最初に、ステップS160において、受信
機/再生装置466は、符号化データを取得し、ステッ
プS161において、分離部572は、受信機/再生装
置466より供給された符号化データから、補正データ
と予測係数を分離し、補正データをクラス分類用ブロッ
ク化回路573、動き推定部577、および予測値計算
用ブロック化回路577に供給するとともに、予測係数
を予測回路576のメモリ576Aに供給する。First, in step S160, the receiver / reproducer 466 acquires encoded data, and in step S161, the separation unit 572 corrects the encoded data supplied from the receiver / reproducer 466. The data and the prediction coefficient are separated, and the correction data is supplied to the class classification blocking circuit 573, the motion estimation unit 577, and the prediction value calculation blocking circuit 577, and the prediction coefficient is supplied to the memory 576A of the prediction circuit 576. .
【0211】ステップS162において、クラス分類用
ブロック化回路573は、クラス分類用ブロック化処理
を行い、クラス分類用ブロックをADRC処理回路574に
供給する。In step S162, the class classification blocking circuit 573 performs class classification blocking processing and supplies the class classification block to the ADRC processing circuit 574.
【0212】ステップS163において、ADRC処理回路
574は、クラス分類用ブロック化回路573より供給
されたクラス分類用ブロックの補正データを1ビットAD
RC処理し、クラス分類回路575に出力する。In step S163, the ADRC processing circuit 574 uses the 1-bit AD of the correction data of the class classification block supplied from the class classification blocking circuit 573.
RC process and output to class classification circuit 575.
【0213】クラス分類回路575は、ステップS16
4において、ADRC処理回路574より供給されたデータ
に基づいて、クラス分類処理を行い、クラスコードを予
測回路576に出力する。The class classification circuit 575 has the step S16.
In 4, the class classification processing is performed based on the data supplied from the ADRC processing circuit 574, and the class code is output to the prediction circuit 576.
【0214】ステップS165において、予測回路57
6は、メモリ576Aに記憶されている、クラスコード
に対応する予測係数を読み出す。In step S165, the prediction circuit 57 is used.
6 reads the prediction coefficient corresponding to the class code stored in the memory 576A.
【0215】予測値計算用ブロック化回路577は、ス
テップS166において、分離部572より供給される
前フレーム動きベクトルと後フレーム動きベクトルに基
づいて、やはり分離部572より供給される補正データ
の中から、予測値計算用ブロックを構成する補正データ
を抽出する。The prediction value calculation blocking circuit 577, based on the previous frame motion vector and the subsequent frame motion vector supplied from the separation unit 572, also selects from the correction data supplied from the separation unit 572 in step S166. , Correction data forming a prediction value calculation block is extracted.
【0216】ステップS167において、予測回路57
6は、ステップS165の処理で読み出した、クラス分
類回路575から供給されるクラス情報に対応した27
×9個の予測係数と、予測値計算用ブロック化回路57
7から供給される27個の予測値計算用ブロックを構成
する補正データとを用い、式(1)に従って、原画像の
3×3画素の予測値を算出する。In step S167, the prediction circuit 57 is used.
6 is 27 corresponding to the class information supplied from the class classification circuit 575 read in the process of step S165.
× 9 prediction coefficients and prediction value calculation blocking circuit 57
Using the correction data forming 27 prediction value calculation blocks supplied from No. 7, the prediction value of 3 × 3 pixels of the original image is calculated according to the equation (1).
【0217】その後、ステップS168に進み、予測回
路576は、ステップS167の処理で算出した予測値
を復号結果として出力する。Thereafter, the processing proceeds to step S168, and the prediction circuit 576 outputs the prediction value calculated in the processing of step S167 as the decoding result.
【0218】なお、受信側においては、図31に示すよ
うな受信装置44でなくても、間引きされた画像を単純
な補間により復号する装置により、予測係数を用いず
に、復号画像を得ることができる。但し、この場合に得
られる復号画像は、画質(解像度)が劣化したものとな
る。On the receiving side, even if the receiving device 44 as shown in FIG. 31 is not used, a device for decoding a thinned image by simple interpolation can be used to obtain a decoded image without using prediction coefficients. You can However, the decoded image obtained in this case has deteriorated image quality (resolution).
【0219】図33は、図16の予測係数ROM266に
記憶されている予測係数を得るための学習を行う画像処
理装置の構成例を示している。FIG. 33 shows an example of the configuration of an image processing apparatus which performs learning for obtaining the prediction coefficient stored in the prediction coefficient ROM 266 of FIG.
【0220】この画像処理装置には、あらゆる画像に適
応可能な予測係数を得るための学習用の画像データ(学
習用画像)が供給される。図14に示される動き推定部
113と同様に構成される動き推定部590は、入力さ
れた画像データから、前フレーム動きベクトルと後フレ
ーム動きベクトルを検出し、学習用ブロック化回路59
1に供給する。This image processing apparatus is supplied with learning image data (learning image) for obtaining prediction coefficients applicable to all images. The motion estimation unit 590 configured similarly to the motion estimation unit 113 illustrated in FIG. 14 detects the preceding frame motion vector and the following frame motion vector from the input image data, and uses the learning blocking circuit 59.
Supply to 1.
【0221】学習用ブロック化回路591は、動き推定
部590から供給される動きベクトルに基づいて、画像
データから学習用ブロックを抽出し、ADRC処理回路59
3と学習データメモリ596に供給する。ADRC処理回路
593は、学習用ブロック化回路591より供給される
学習用ブロックを1ビットADRC処理し、処理した結果を
クラス分類回路594に出力する。The learning blocking circuit 591 extracts a learning block from the image data based on the motion vector supplied from the motion estimation unit 590, and the ADRC processing circuit 59.
3 and learning data memory 596. The ADRC processing circuit 593 performs 1-bit ADRC processing on the learning block supplied from the learning blocking circuit 591 and outputs the processed result to the class classification circuit 594.
【0222】クラス分類回路594は、ADRC処理回路5
93より供給されたデータをクラス分類し、得られた結
果をスイッチ595の端子aを介して学習データメモリ
596のアドレス端子に供給する。The class classification circuit 594 is the ADRC processing circuit 5.
The data supplied from 93 is classified, and the obtained result is supplied to the address terminal of the learning data memory 596 via the terminal a of the switch 595.
【0223】スイッチ595はまた、端子bからカウン
タ597の出力を学習データメモリ596のアドレス端
子に供給する。The switch 595 also supplies the output of the counter 597 from the terminal b to the address terminal of the learning data memory 596.
【0224】教師用ブロック化回路592は、画像デー
タから教師用ブロックを抽出し、教師データメモリ59
8に出力する。教師データメモリ598のアドレス端子
には、スイッチ595により、端子aから取り込まれた
クラス分類回路594の出力、または端子bから取り込
まれたカウンタ597の出力が供給されている。The teacher block formation circuit 592 extracts a teacher block from the image data and outputs it to the teacher data memory 59.
Output to 8. To the address terminal of the teacher data memory 598, the output of the class classification circuit 594 fetched from the terminal a or the output of the counter 597 fetched from the terminal b is supplied by the switch 595.
【0225】演算回路599は、学習データメモリ59
6の出力と、教師データメモリ598の出力とを演算
し、演算して得られた結果をメモリ600に供給する。
メモリ600のアドレス端子には、カウンタ597の出
力が供給されている。The arithmetic circuit 599 has a learning data memory 59.
6 and the output of the teacher data memory 598 are calculated, and the result obtained by the calculation is supplied to the memory 600.
The output of the counter 597 is supplied to the address terminal of the memory 600.
【0226】次に、図34のフローチャートを参照し
て、図33の画像処理装置の学習処理について説明す
る。Next, the learning process of the image processing apparatus of FIG. 33 will be described with reference to the flowchart of FIG.
【0227】ステップS181において、動き推定部5
90は、入力された画像データから前フレーム動きベク
トルと後フレーム動きベクトルを抽出し、学習量ブロッ
ク化回路591に出力する。In step S181, the motion estimation unit 5
90 extracts a front frame motion vector and a rear frame motion vector from the input image data, and outputs them to the learning amount blocking circuit 591.
【0228】学習用ブロック化回路591は、ステップ
S182において、入力される画像データから、例え
ば、図17に黒い円形の印で示した位置関係の25画素
(5×5画素)、並びに、図19に示される前フレーム
の予測タップ222と後フレームの予測タップ232に
対応する2個の画素を抽出し、この27画素で構成され
るブロックを、学習用ブロックとして、ADRC処理593
および学習データメモリ596に供給する。In step S182, the learning blocking circuit 591 selects from the input image data, for example, 25 pixels (5 × 5 pixels) in the positional relationship indicated by black circles in FIG. 17, and FIG. Two pixels corresponding to the prediction tap 222 of the previous frame and the prediction tap 232 of the subsequent frame shown in are extracted, and the block composed of these 27 pixels is used as a learning block, and the ADRC processing 593 is performed.
And the learning data memory 596.
【0229】また、教師用ブロック化回路592は、ス
テップS183において、入力される画像データから、
例えば、3×3個の9画素で構成されるブロックを生成
し、この9画素で構成されるブロックを、教師用ブロッ
クとして、教師データメモリ598に供給する。Further, the teacher blocking circuit 592 determines from the input image data in step S183 that
For example, a block composed of 3 × 3 9 pixels is generated, and this block composed of 9 pixels is supplied to the teacher data memory 598 as a teacher block.
【0230】なお、学習用ブロック化回路591におい
て、例えば、図17と図19に黒い円形の印で示した位
置関係の27画素を含む学習用ブロックが生成されると
き、教師用ブロック化回路592では、図17に四角形
で囲んで示される3×3画素の教師用ブロックが生成さ
れる。When the learning block forming circuit 591 generates a learning block including 27 pixels in the positional relationship shown by the black circles in FIGS. 17 and 19, for example, the teacher block forming circuit 592. Then, a teacher block of 3 × 3 pixels surrounded by a rectangle in FIG. 17 is generated.
【0231】ADRC処理回路593は、ステップS184
において、学習用ブロックを構成する27画素から、例
えば、その中心の9画素(3×3画素)を抽出し、この
9画素でなるブロックに対して、図16のADRC処理回路
264における場合と同様に、1ビットのADRC処理を施
す。ADRC処理の施された3×3画素のブロックは、クラ
ス分類回路594に供給される。クラス分類回路594
は、ステップS185において、図16のクラス分類回
路265における場合と同様に、ADRC処理回路593か
らのブロックをクラス分類処理し、それにより得られる
クラス情報を、スイッチ595の端子aを介して、学習
データメモリ596および教師データメモリ598に供
給する。The ADRC processing circuit 593 is in step S184.
In, for example, from the 27 pixels forming the learning block, for example, the central 9 pixels (3 × 3 pixels) are extracted, and for the block of 9 pixels, the same as in the case of the ADRC processing circuit 264 of FIG. Then, 1-bit ADRC processing is performed. The block of 3 × 3 pixels that has been subjected to ADRC processing is supplied to the class classification circuit 594. Class classification circuit 594
In step S185, the block from the ADRC processing circuit 593 is subjected to the class classification process in the same manner as in the class classification circuit 265 of FIG. It is supplied to the data memory 596 and the teacher data memory 598.
【0232】学習データメモリ596または教師データ
メモリ598は、それぞれステップS186,S187
において、そこに供給されるクラス情報に対応するアド
レスに、学習用ブロック化回路591からの学習用ブロ
ックまたは教師用ブロック化回路592からの教師用ブ
ロックを、それぞれ記憶する。The learning data memory 596 and the teacher data memory 598 are respectively stored in steps S186 and S187.
In, the learning block from the learning blocking circuit 591 or the teacher block from the teacher blocking circuit 592 is stored at the address corresponding to the class information supplied thereto.
【0233】従って、学習データメモリ596におい
て、例えば、図17と図19に黒い円形の印で示した2
7(=5×5+2)個の画素でなるブロックが学習用ブ
ロックとして、あるアドレスに記憶されたとすると、教
師データメモリ598においては、そのアドレスと同一
のアドレスに、図17において、四角形で囲んで示す3
×3画素のブロックが、教師用ブロックとして記憶され
る。Therefore, in the learning data memory 596, for example, 2 indicated by a black circle mark in FIGS.
If a block consisting of 7 (= 5 × 5 + 2) pixels is stored at a certain address as a learning block, in the teacher data memory 598, the same address as that address is surrounded by a rectangle in FIG. Showing 3
A block of × 3 pixels is stored as a teacher block.
【0234】以下、同様の処理が、あらかじめ用意され
たすべての学習用の画像について繰り返され、これによ
り、学習用ブロックと、図16のローカルデコード部1
14において、その学習用ブロックを構成する27画素
と同一の位置関係を有する27個の補正データで構成さ
れる予測値計算用ブロックを用いて予測値が求められる
9画素で構成される教師用ブロックとが、学習用データ
メモリ596と、教師用データメモリ598とにおい
て、同一のアドレスに記憶される。Thereafter, the same processing is repeated for all the learning images prepared in advance, whereby the learning block and the local decoding unit 1 of FIG.
14, a teacher block composed of 9 pixels whose prediction value is obtained using a prediction value calculation block composed of 27 pieces of correction data having the same positional relationship as the 27 pixels forming the learning block And are stored at the same address in the learning data memory 596 and the teacher data memory 598.
【0235】なお、学習用データメモリ596と教師用
データメモリ598においては、同一アドレスに複数の
情報を記憶することができるようになされており、これ
により、同一アドレスには、複数の学習用ブロックと教
師用ブロックを記憶することができるようになされてい
る。It should be noted that the learning data memory 596 and the teacher data memory 598 can store a plurality of information at the same address, whereby a plurality of learning blocks can be stored at the same address. And is designed to be able to remember the teacher block.
【0236】学習用画像すべてについての学習用ブロッ
クと教師用ブロックとが、学習データメモリ596と教
師データメモリ598に記憶されると、ステップS18
8において、端子aを選択していたスイッチ595が、
端子bに切り替わり、これにより、カウンタ597の出
力が、アドレスとして、学習データメモリ596および
教師データメモリ598に供給される。カウンタ597
は、所定のクロックをカウントし、そのカウント値を出
力しており、学習データメモリ596または教師データ
メモリ598では、そのカウント値に対応するアドレス
に記憶された学習用ブロックまたは教師用ブロックが読
み出され、演算回路599に供給される。When the learning block and the teacher block for all the learning images are stored in the learning data memory 596 and the teacher data memory 598, step S18 is performed.
8, the switch 595 selecting the terminal a is
The terminal is switched to the terminal b, whereby the output of the counter 597 is supplied to the learning data memory 596 and the teacher data memory 598 as an address. Counter 597
Counts a predetermined clock and outputs the count value. In the learning data memory 596 or the teacher data memory 598, the learning block or the teacher block stored at the address corresponding to the count value is read out. And is supplied to the arithmetic circuit 599.
【0237】従って、演算回路599には、カウンタ5
97のカウント値に対応するクラスの学習用ブロックの
セットと、教師用ブロックのセットとが供給される。Therefore, the arithmetic circuit 599 includes the counter 5
A set of learning blocks of a class corresponding to the count value of 97 and a set of teacher blocks are supplied.
【0238】演算回路599は、あるクラスについての
学習用ブロックのセットと、教師用ブロックのセットと
を受信すると、それらを用いて、最小自乗法により、誤
差を最小とする予測係数を算出する。Upon receiving the set of learning blocks and the set of teacher blocks for a certain class, the arithmetic circuit 599 uses them to calculate a prediction coefficient that minimizes the error by the least square method.
【0239】即ち、例えば、いま、学習用ブロックを構
成する画素の画素値を、x1,x2,x3,・・・とし、
求めるべき予測係数をw1,w2,w3,・・・とすると
き、これらの線形1次結合により、教師用ブロックを構
成する、ある画素の画素値yを求めるには、予測係数w
1,w2,w3,・・・は、次式を満たす必要がある。That is, for example, the pixel values of the pixels forming the learning block are now set to x 1 , x 2 , x 3 , ...
When the prediction coefficients to be obtained are w 1 , w 2 , w 3 , ..., To obtain the pixel value y of a certain pixel forming the teacher block by linear linear combination of these, the prediction coefficient w
1 , w 2 , w 3 , ... Must satisfy the following equation.
【0240】y=w1x1+w2x2+w3x3+・・・Y = w 1 x 1 + w 2 x 2 + w 3 x 3 + ...
【0241】そこで、演算回路599では、同一クラス
の学習用ブロックと、対応する教師用ブロックとから、
真値yに対する、予測値w1x1+w2x2+w3x3+・・
・の自乗誤差を最小とする予測係数w1,w2,w3,・
・・が、上述した式(7)に示す正規方程式をたてて解
くことにより求められる。従って、この処理をクラスご
とに行うことにより、各クラスごとに、27×9個の予
測係数が生成される。Therefore, in the arithmetic circuit 599, from the learning block of the same class and the corresponding teacher block,
Predicted value w 1 x 1 + w 2 x 2 + w 3 x 3 + ... for the true value y
・ Prediction coefficients w 1 , w 2 , w 3 , that minimize the square error of
.. is obtained by creating and solving the normal equation shown in the above equation (7). Therefore, by performing this process for each class, 27 × 9 prediction coefficients are generated for each class.
【0242】演算回路599において求められた、クラ
スごとの予測係数は、ステップS189において、メモ
リ600に供給される。メモリ600には、演算回路5
99からの予測係数の他、カウンタ597からカウント
値が供給されており、これにより、メモリ600におい
ては、演算回路599からの予測係数が、カウンタ59
7からのカウント値に対応するアドレスに記憶される。The prediction coefficient for each class obtained by the arithmetic circuit 599 is supplied to the memory 600 in step S189. The memory 600 includes an arithmetic circuit 5
The count value is supplied from the counter 597 in addition to the prediction coefficient from the counter 99. Therefore, in the memory 600, the prediction coefficient from the arithmetic circuit 599 is stored in the counter 59.
It is stored in the address corresponding to the count value from 7.
【0243】以上のようにして、メモリ600には、各
クラスに対応するアドレスに、そのクラスのブロックの
3×3画素を予測するのに最適な27×9個の予測係数
が記憶される。As described above, the memory 600 stores 27 × 9 prediction coefficients optimum for predicting the 3 × 3 pixels of the block of the class at the address corresponding to each class.
【0244】図16の予測係数ROM266には、以上の
ようにしてメモリ600に記憶されたクラスごとの予測
係数が記憶される。The prediction coefficient ROM 266 of FIG. 16 stores the prediction coefficient for each class stored in the memory 600 as described above.
【0245】なお、図19の例においては、現在フレー
ム201の1フレーム前の前フレーム202と、1フレ
ーム後の後フレーム203からも予測タップを抽出する
ようにしたが、例えば、図35に示されるように、前フ
レーム202よりさらに1フレーム前の前フレーム20
4において、注目補正データ451に対して動きベクト
ル453に対応する位置の補正データを予測タップ45
2として抽出し、さらに、後フレーム203よりさらに
1フレームだけ後の後フレーム205における注目対応
補正データ461に対して動きベクトル463に対応す
る位置の補正データで構成される予測タップ462を抽
出し、それらも予測値計算用ブロックの補正データとす
ることができる。In the example of FIG. 19, prediction taps are also extracted from the previous frame 202 one frame before the current frame 201 and the subsequent frame 203 one frame after the current frame 201. As shown in FIG.
4, the correction data at the position corresponding to the motion vector 453 with respect to the correction data 451 of interest is predicted by the prediction tap 45.
2, and a prediction tap 462 composed of correction data at a position corresponding to the motion vector 463 with respect to the attention corresponding correction data 461 in the rear frame 205 that is one frame further behind the rear frame 203, These can also be used as the correction data of the prediction value calculation block.
【0246】また、以上においては、現在フレームより
前のフレームと後のフレームの両方から予測タップを抽
出するようにしたが、少なくとも一方からだけ予測タッ
プを抽出するようにしてもよい。In the above, the prediction taps are extracted from both the frame before the current frame and the frame after the current frame, but the prediction taps may be extracted from at least one of the frames.
【0247】但し、時間的により広い範囲から予測タッ
プを抽出するようにした方が、動きが速い動画像が原画
像である場合においても、より、原画像に近い画像を復
号することが可能となる。However, it is possible to decode an image closer to the original image by extracting the prediction taps from a wider range in terms of time, even when the moving image with fast motion is the original image. Become.
【0248】以上においては、動き推定部113、ロー
カルデコード部114、および誤差算出部115を別の
構成としたが、これらを一体に構成することも可能であ
る。図36は、この場合における動き推定部113(ロ
ーカルデコード部114および誤差算出部115)の構
成例を表している。すなわち、この例においては、比較
器167より予測誤差に基づく誤差情報が制御部116
に供給される。また、予測係数ROM164から読み出さ
れた予測係数が、制御部116に供給される。In the above, the motion estimating unit 113, the local decoding unit 114, and the error calculating unit 115 have different configurations, but they may be integrated. FIG. 36 shows a configuration example of the motion estimation unit 113 (local decoding unit 114 and error calculation unit 115) in this case. That is, in this example, the error information based on the prediction error is output from the comparator 167 to the controller 116.
Is supplied to. Further, the prediction coefficient read from the prediction coefficient ROM 164 is supplied to the control unit 116.
【0249】従って、図6における動き推定部113、
ローカルデコード部114、および誤差算出部115を
一体化した構成とすることができる。Therefore, the motion estimation unit 113 in FIG.
The local decoding unit 114 and the error calculating unit 115 can be integrated.
【0250】図37は、動き推定部113の他の構成例
を表している。FIG. 37 shows another configuration example of the motion estimation unit 113.
【0251】この動き推定部113においては、フレー
ムメモリ720乃至722に、補正データが1フレーム
分づつ順次転送され、保持される。従って、フレームメ
モリ721には現在フレームの補正データが、フレーム
メモリ722には前フレームの補正データが、そして、
フレームメモリ720には後フレームの補正データが、
それぞれ保持される。In the motion estimation unit 113, the correction data is sequentially transferred and held in the frame memories 720 to 722 for each frame. Therefore, the correction data of the current frame is stored in the frame memory 721, the correction data of the previous frame is stored in the frame memory 722, and
The correction data of the subsequent frame is stored in the frame memory 720,
Retained respectively.
【0252】アドレス設定部723−1は、フレームメ
モリ720,722に記憶されている補正データのう
ち、所定の探索範囲(フレームメモリ721に記憶され
ている現在フレーム201の注目補正データ211に対
応する探索範囲)内の第1の位置(動きベクトルv0に
対応する位置)の予測タップを構成する任意の数の補正
データのアドレスを設定し、そのアドレスに対応する補
正データ、すなわち、予測タップを構成する補正データ
を読み出し、クラス分類適応処理回路724−1に供給
する。アドレス設定部723−1は、また、フレームメ
モリ721に記憶されている補正データのうち、注目補
正データ211を中心とする所定の範囲の予測タップを
構成する補正データを読み出し、クラス分類適応処理回
路724−1に供給する。さらに、また、アドレス設定
部723−1は、フレームメモリ721に記憶されてい
る現在フレームから、クラスタップを構成する補正デー
タを読み出し、クラス分類適応処理回路724−1に供
給する。The address setting unit 723-1 corresponds to a predetermined search range (correction data 211 of interest of the current frame 201 stored in the frame memory 721 among the correction data stored in the frame memories 720 and 722). An address of an arbitrary number of correction data forming a prediction tap at a first position (position corresponding to the motion vector v0) within a search range) is set, and correction data corresponding to the address, that is, a prediction tap is formed. The correction data to be read is read and supplied to the class classification adaptive processing circuit 724-1. The address setting unit 723-1 also reads, out of the correction data stored in the frame memory 721, the correction data forming the prediction taps in a predetermined range centered on the correction data 211 of interest, and the class classification adaptive processing circuit. 724-1. Furthermore, the address setting unit 723-1 reads the correction data forming the class tap from the current frame stored in the frame memory 721, and supplies it to the class classification adaptive processing circuit 724-1.
【0253】クラス分類適応処理回路724−1は、ア
ドレス設定部723−1より供給された予測タップとク
ラスタップの補正データに基づいて、クラス分類適応処
理を行い、注目補正データ211に対応する注目画素の
予測値を演算する。The class classification adaptation processing circuit 724-1 performs class classification adaptation processing on the basis of the correction data of the prediction tap and the class tap supplied from the address setting section 723-1, and pays attention to the attention correction data 211. Calculate the predicted value of the pixel.
【0254】アドレス設定部723−2は、探索範囲内
の第2の位置(第2の動きベクトルv1に対応する位
置)の予測タップとクラスタップの画素データを抽出
し、クラス分類適応処理回路724−2に供給する。ク
ラス分類適応処理回路724−2は、アドレス設定部7
23−2より供給された予測タップとクラスタップの補
正データに基づいて、クラス分類適応処理を行い、予測
値を演算する。The address setting section 723-2 extracts the pixel data of the prediction tap and the class tap at the second position (the position corresponding to the second motion vector v1) within the search range, and the class classification adaptive processing circuit 724. -2. The class classification adaptive processing circuit 724-2 includes the address setting unit 7
Based on the correction data of the prediction tap and the class tap supplied from 23-2, class classification adaptation processing is performed and a prediction value is calculated.
【0255】同様の構成が、探索範囲内を探索して得ら
れる動きベクトルの数(n個)だけ設けられている。す
なわち、アドレス設定部とクラス分類適応処理部の組み
合わせがn組用意されている。例えば、探索範囲が水平
方向と垂直方向ともにマイナス8からプラス8までであ
るとすると、nの数は289(=17×17)となる。Similar configurations are provided for the number (n) of motion vectors obtained by searching the search range. That is, n sets of combinations of the address setting unit and the class classification adaptive processing unit are prepared. For example, if the search range is from minus 8 to plus 8 in both the horizontal and vertical directions, the number of n is 289 (= 17 × 17).
【0256】比較器725は、クラス分類適応処理回路
724−1乃至724−nから供給されるn個の予測値
を、入力画像データの注目画素と比較し、その差を予測
残差として検出するとともに、予測残差のうちの最初の
予測残差を評価値として選択する。The comparator 725 compares the n prediction values supplied from the class classification adaptive processing circuits 724-1 to 724-n with the target pixel of the input image data, and detects the difference as a prediction residual. At the same time, the first prediction residual among the prediction residuals is selected as the evaluation value.
【0257】閾値判定部726は、比較器725より供
給される最小の予測残差(評価値)を閾値と比較する。
評価値が閾値と等しいか、それより小さい場合には、閾
値判定部726は、動きベクトルを出力する。閾値判定
部726は、予測残差が閾値よりも大きい場合には、予
測残差そのものを出力する。The threshold judgment unit 726 compares the minimum prediction residual (evaluation value) supplied from the comparator 725 with the threshold.
When the evaluation value is equal to or smaller than the threshold value, the threshold value determination unit 726 outputs the motion vector. The threshold determination unit 726 outputs the prediction residual itself when the prediction residual is larger than the threshold.
【0258】次に、図37の動き推定部113の処理に
ついて、図38と図39のフローチャートを参照して説
明する。Next, the processing of the motion estimation unit 113 in FIG. 37 will be described with reference to the flowcharts in FIGS. 38 and 39.
【0259】なお、アドレス設定部723−1乃至72
3−nは、例えば、図16におけるクラス分類用ブロッ
ク化回路261と予測値計算用ブロック化回路742を
内蔵しており、クラス分類適応処理回路724−1乃至
724−nは、それぞれ図16のクラス分類適応処理回
路263と同様に、ADRC処理回路、クラス分類回路、予
測係数ROM、および予測回路を内蔵している。The address setting sections 723-1 to 72-2
3-n incorporates, for example, the class classification blocking circuit 261 and the prediction value calculation blocking circuit 742 in FIG. 16, and the class classification adaptive processing circuits 724-1 to 724-n are respectively shown in FIG. Like the class classification adaptive processing circuit 263, it includes an ADRC processing circuit, a class classification circuit, a prediction coefficient ROM, and a prediction circuit.
【0260】最初に、ステップS210において、閾値
判定部26は、伝送判定閾値をセットする。この伝送判
定閾値は、後述するステップS226の処理で利用され
る。First, in step S210, the threshold judgment unit 26 sets a transmission judgment threshold. This transmission determination threshold value is used in the process of step S226 described later.
【0261】ステップS211において、前フレームデ
ータを蓄積する処理が実行され、ステップS212にお
いて、現在フレームデータを蓄積する処理が実行され、
ステップS213において、後フレームデータを蓄積す
る処理が実行される。すなわち、例えば、1フレーム分
の画像データが、フレームメモリ720に記憶された
後、再びそこから読み出され、フレームメモリ721に
転送され、そこからさらにフレームメモリ722に転送
され、記憶される。そして、フレームメモリ721に
は、それに続く新たな1フレーム分の補正データが記憶
され、さらにフレームメモリ720には、その後の1フ
レーム分の補正データが記憶される。このようにして、
フレームメモリ722には、前フレームの補正データが
記憶され、フレームメモリ721には、現在フレーム
(前フレームより時間的に1フレームだけ後のフレー
ム)の補正データが蓄積され、フレームメモリ720に
は、後フレーム(現在フレームより時間的に1フレーム
だけ後のフレーム)の補正データが蓄積される。In step S211, the process of accumulating the previous frame data is executed, and in step S212, the process of accumulating the current frame data is executed.
In step S213, a process of accumulating the subsequent frame data is executed. That is, for example, the image data for one frame is stored in the frame memory 720, then read again therefrom, transferred to the frame memory 721, further transferred to the frame memory 722, and stored therein. Then, the frame memory 721 stores new one-frame correction data subsequent thereto, and the frame memory 720 further stores the subsequent one-frame correction data. In this way
The frame memory 722 stores the correction data of the previous frame, the frame memory 721 stores the correction data of the current frame (the frame that is one frame after the previous frame in time), and the frame memory 720 stores the correction data. The correction data of the subsequent frame (frame that is one frame later than the current frame in time) is accumulated.
【0262】ステップS214において、フレームメモ
リ721は、アドレス設定部723−1乃至723−n
の制御に基づいて、記憶している現在フレームの補正デ
ータの中から注目補正データを抽出し、比較器725と
閾値判定部726に供給する。In step S214, the frame memory 721 determines whether the address setting units 723-1 to 723-n are available.
Based on the control of 1), the correction data of interest is extracted from the stored correction data of the current frame, and is supplied to the comparator 725 and the threshold value determination unit 726.
【0263】ステップS215において、比較器725
は、比較値をセットする。この比較値は、最小の予測残
差としての評価値を求めるために、ステップS224の
処理で、より小さい予測残差の値に更新されるものであ
り、初期値としては、最大値がセットされる。この比較
値は、ステップS223の処理で利用される。In step S215, the comparator 725
Sets the comparison value. This comparison value is updated to a smaller value of the prediction residual in the process of step S224 in order to obtain the evaluation value as the minimum prediction residual, and the maximum value is set as the initial value. It This comparison value is used in the process of step S223.
【0264】次に、ステップS216において、アドレ
ス設定部723−1乃至723−nは、それぞれステッ
プS214の処理で抽出された注目補正データに対応す
るアドレスを設定する。これにより、アドレス設定部7
23−1乃至723−nから、注目補正データに対応す
る探索範囲内における、各探索位置(動きベクトル)に
対応するクラスタップと予測タップを含む補正データ
が、対応するクラス分類適応処理回路724−1乃至7
24−nに取り込み可能となる。Next, in step S216, the address setting sections 723-1 to 723-n respectively set the addresses corresponding to the correction data of interest extracted in the processing of step S214. As a result, the address setting unit 7
23-1 to 723-n, correction data including a class tap and a prediction tap corresponding to each search position (motion vector) in the search range corresponding to the correction data of interest corresponds to the corresponding class classification adaptive processing circuit 724-. 1 to 7
24-n can be taken in.
【0265】そこで、ステップS217において、アド
レス設定部723−1乃至723−nのクラス分類用ブ
ロック化回路は、供給された補正データの中からクラス
タップを抽出する。Therefore, in step S217, the class classification blocking circuits of the address setting sections 723-1 to 723-n extract class taps from the supplied correction data.
【0266】クラス分類適応処理回路724−1乃至7
24−nのADRC処理回路は、ステップS218におい
て、クラスタップを構成する9個の補正データに対し
て、1ビットADRC処理を施す。これにより、9個の補正
データがそれぞれ0または1の値に変換されて、9ビッ
トのデータがクラス分類適応処理回路724−1乃至7
24−nのクラス分類回路に供給される。クラス分類回
路は、ADRC処理回路より供給される9ビットのデータに
基づいて、その9個の補正データで構成されるクラスタ
ップに対応するクラスコードを決定し、クラス分類適応
処理回路724−1乃至724−nの予測係数ROMに出
力する。Class classification adaptive processing circuits 724-1 to 72-7
In step S218, the 24-n ADRC processing circuit performs 1-bit ADRC processing on the nine pieces of correction data that form the class tap. As a result, the nine pieces of correction data are each converted into a value of 0 or 1, and the 9-bit data is converted into the class classification adaptive processing circuits 724-1 to 72-7.
It is supplied to a 24-n class classification circuit. The class classification circuit determines the class code corresponding to the class tap composed of the nine correction data based on the 9-bit data supplied from the ADRC processing circuit, and the class classification adaptive processing circuits 724-1 to 724-1. It outputs to the prediction coefficient ROM of 724-n.
【0267】クラス分類適応処理回路724−1乃至7
24−nの予測係数ROMは、ステップS219におい
て、クラス分類回路より供給されたクラスコードに対す
る予測係数を読み出し、クラス分類適応処理回路724
−1乃至724−nの予測回路に出力する。Class classification adaptive processing circuits 724-1 to 72-7
In step S219, the 24-n prediction coefficient ROM reads the prediction coefficient for the class code supplied from the class classification circuit, and the class classification adaptive processing circuit 724.
-1 to 724-n of prediction circuits.
【0268】ステップS220において、予測回路は、
アドレス設定部723−1乃至723−nより供給され
る補正データから、クラスタップを構成する補正データ
を取得する。In step S220, the prediction circuit
The correction data forming the class tap is acquired from the correction data supplied from the address setting units 723-1 to 723-n.
【0269】予測回路は、ステップS221において、
予測値計算処理を実行する。すなわち、予測回路は、予
測値計算用ブロック化回路より供給された予測タップを
構成する補正データと、予測係数ROMより供給される予
測係数の線形1次結合を演算して、予測値を算出し、比
較器725に出力する。The predicting circuit, in step S221,
Prediction value calculation processing is executed. That is, the prediction circuit calculates the prediction value by calculating the linear linear combination of the correction data supplied from the prediction value calculation blocking circuit and forming the prediction tap and the prediction coefficient supplied from the prediction coefficient ROM. , To the comparator 725.
【0270】比較器725は、ステップS222におい
て、予測残差計算処理を実行する。すなわち、比較器7
25は、クラス分類適応処理回路724(いまの場合、
クラス分類適応処理回路724−1)より供給される予
測値と、入力画像データを構成する注目画素(真値)と
の差を演算することで、予測残差を計算する。The comparator 725 executes the prediction residual calculation process in step S222. That is, the comparator 7
25 is a class classification adaptive processing circuit 724 (in this case,
The prediction residual is calculated by calculating the difference between the predicted value supplied from the class classification adaptive processing circuit 724-1) and the target pixel (true value) forming the input image data.
【0271】ステップS223において、比較器725
は、ステップS222の処理で求めた予測残差(評価
値)を比較値と比較する。この比較値は、いまの場合、
ステップS215の処理で最大値に設定されている。従
って、評価値は、比較値より小さいと判定され、ステッ
プS224に進み、比較器725は、ステップS215
の処理で最大値にセットされた比較値の値を、ステップ
S222の処理で計算された予測残差(評価値)に更新
する。すなわち、比較値として、より小さい値が設定さ
れる。In step S223, the comparator 725
Compares the prediction residual (evaluation value) obtained in the process of step S222 with the comparison value. This comparison value is now
It is set to the maximum value in the process of step S215. Therefore, it is determined that the evaluation value is smaller than the comparison value, the process proceeds to step S224, and the comparator 725 determines that the step S215.
The value of the comparison value set to the maximum value in the process of is updated to the prediction residual (evaluation value) calculated in the process of step S222. That is, a smaller value is set as the comparison value.
【0272】ステップS225において、閾値判定部7
26は、ステップS222の処理で求められた評価値に
対応する動きベクトルを内蔵するメモリに保持する(既
に保持されている動きベクトルがある場合には、更新す
る)。いまの場合、クラス分類適応処理回路724−1
の出力が処理されているので、この動きベクトルは、v
0となる。In step S225, the threshold judgment unit 7
In step 26, the motion vector corresponding to the evaluation value obtained in the process of step S222 is held in the built-in memory (if there is already held motion vector, it is updated). In the present case, the class classification adaptive processing circuit 724-1
, The motion vector is v
It becomes 0.
【0273】ステップS226において、閾値判定部7
26は、ステップS222の処理で得られた予測残差
(評価値)と、ステップS211の処理でセットされた
伝送判定閾値とを比較する。予測残差(評価値)が伝送
判定閾値と等しいか、それより大きいと判定された場
合、ステップS227において、閾値判定部726は、
ステップS222の処理で計算された予測残差を評価値
として保持する。At step S226, the threshold value judging section 7
26 compares the prediction residual (evaluation value) obtained in the process of step S222 with the transmission determination threshold value set in the process of step S211. When it is determined that the prediction residual (evaluation value) is equal to or larger than the transmission determination threshold value, the threshold value determination unit 726 determines in step S227.
The prediction residual calculated in the process of step S222 is held as an evaluation value.
【0274】予測残差(評価値)が伝送判定閾値より小
さいと判定された場合には、ステップS227の処理は
スキップされる。If it is determined that the prediction residual (evaluation value) is smaller than the transmission determination threshold value, the process of step S227 is skipped.
【0275】ステップS223において、予測残差(評
価値)が比較値と等しいか、それより大きいと判定され
た場合には、ステップS224乃至ステップS227の
処理はスキップされる。If it is determined in step S223 that the prediction residual (evaluation value) is equal to or greater than the comparison value, the processes of steps S224 to S227 are skipped.
【0276】ステップS228において、閾値判定部7
26は、探索範囲内の全ての位置の処理を終了したか否
かを判定する。すなわち、クラス分類適応処理回路72
4−1乃至724−nの全ての出力に対する処理を完了
したか否かがここで判定される。クラス分類適応処理回
路24−1乃至24−nの出力のうち、まだ処理してい
ないものが残っている場合には、ステップS216に戻
り、それ以降の処理が繰り返し実行される。In step S228, the threshold value judgment section 7
26 determines whether or not the processing for all the positions within the search range has been completed. That is, the class classification adaptive processing circuit 72
Here, it is determined whether the processing for all the outputs 4-1 to 724-n is completed. If some of the outputs of the class classification adaptive processing circuits 24-1 to 24-n have not been processed yet, the process returns to step S216, and the subsequent processes are repeatedly executed.
【0277】以上のようにして、ステップS216乃至
ステップS228の処理がクラス分類適応処理回路72
4−1乃至724−nが出力するn個の予測値の全てに
対して実行される。As described above, the processing of steps S216 to S228 is performed by the class classification adaptive processing circuit 72.
It is executed for all of the n prediction values output from 4-1 to 724-n.
【0278】ステップS228で探索範囲内の全ての位
置の処理が終了したと判定された場合、ステップS22
9に進み、閾値判定部726は、伝送判定閾値より小さ
い予測残差(評価値)が保存されているか否かを判定す
る。すなわち、探索範囲内の全ての位置の処理により、
n個の予測残差(評価値)が得られることになるが、そ
のn個の予測残差のうち、少なくとも1つ伝送判定閾値
より小さいものがある場合には、その中で最小のものに
対応する動きベクトルがステップS225の処理で保持
されている。そこで、その場合には、ステップS230
において、閾値判定部726は、ステップS225の処
理で保持した動きベクトルを読み出し、出力する。If it is determined in step S228 that the processing has been completed for all the positions within the search range, step S22
9, the threshold determination unit 726 determines whether the prediction residual (evaluation value) smaller than the transmission determination threshold is stored. That is, by processing all the positions within the search range,
Although n prediction residuals (evaluation values) will be obtained, if at least one of the n prediction residuals is smaller than the transmission determination threshold, the smallest prediction residual is selected. The corresponding motion vector is held in the process of step S225. Therefore, in that case, step S230
In, the threshold determination unit 726 reads out and outputs the motion vector held in the process of step S225.
【0279】ステップS229において、伝送判定閾値
より小さい評価値が存在しないと判定された場合、閾値
判定部726、ステップS231において、ステップS
227の処理により保持されている予測残差(評価値)
を出力する処理を実行する。If it is determined in step S229 that there is no evaluation value smaller than the transmission determination threshold value, the threshold value determining unit 726 in step S231 performs step S231.
Prediction residuals (evaluation values) held by the processing of 227
Execute the process to output.
【0280】すなわち、n個の予測残差(評価値)が全
て伝送判定閾値と等しいか、それより大きい場合には、
そのうちの最小の値に対応する予測残差がステップS2
27の処理で保持されている。そこで、閾値判定部22
6は、その予測残差を、いま対象とされている検索範囲
の評価値(最小の予測残差)として、出力する。That is, when all n prediction residuals (evaluation values) are equal to or larger than the transmission determination threshold value,
The prediction residual corresponding to the smallest value is the step S2.
It is held in the process of 27. Therefore, the threshold determination unit 22
6 outputs the prediction residual as an evaluation value (minimum prediction residual) of the search range currently targeted.
【0281】ステップS230,S231の処理の後、
ステップS232において、閾値判定部726は、1フ
レーム内の全ての探索範囲の処理が終了したか否かを判
定し、まだ終了していない探索範囲が残っている場合に
は、ステップS214に戻り、それ以降の処理が繰り返
し実行される。After the processing of steps S230 and S231,
In step S232, the threshold determination unit 726 determines whether or not the processing of all the search ranges in one frame has ended. If there are any search ranges that have not ended, the process returns to step S214. The subsequent processing is repeatedly executed.
【0282】ステップS232において、全ての探索範
囲の処理が終了したと判定された場合、処理は終了され
る。If it is determined in step S232 that the processing of all search ranges is completed, the processing is completed.
【0283】この例の場合、制御部116は、閾値判定
部726より動きベクトルが供給されてきた場合には、
その動きベクトルに、伝送するデータが、動きベクトル
であることを表すフラグを付加し、閾値判定部726よ
り供給されてきたのが、予測残差(評価値)である場合
には、伝送するデータが動きベクトルではないことを表
す(予測残差であることを表す)フラグを付加する。In the case of this example, when the motion vector is supplied from the threshold value judgment unit 726, the control unit 116
If a flag indicating that the data to be transmitted is a motion vector is added to the motion vector and the prediction residual (evaluation value) is supplied from the threshold determination unit 726, the data to be transmitted is A flag indicating that is not a motion vector (representing a prediction residual) is added.
【0284】図7のステップS20において、制御部1
16は、閾値判定部726より供給された動きベクトル
とフラグ、または予測残差(評価値)とフラグを多重化
部117に供給して量子化し、伝送路に伝させる。At step S20 in FIG. 7, the control unit 1
16 supplies the motion vector and the flag, or the prediction residual (evaluation value) and the flag, which are supplied from the threshold determination unit 726, to the multiplexing unit 117, quantizes them, and transmits them to the transmission path.
【0285】図40は、以上の処理のうち、前フレーム
に対する処理を表している。同図に示されるように、フ
レームメモリ721に記憶されている現在フレーム20
1において、所定の補正データが注目補正データ211
として選択される。そして、フレームメモリ722に記
憶されている前フレーム202の注目補正データ211
に対応する補正データが注目対応補正データ221とし
て選択され、注目対応補正データ221を中心とする所
定の範囲が、探索範囲781として設定される。FIG. 40 shows the processing for the previous frame among the above processing. As shown in the figure, the current frame 20 stored in the frame memory 721
1, the predetermined correction data is the correction data 211 of interest.
Is selected as. Then, the attention correction data 211 of the previous frame 202 stored in the frame memory 722
The correction data corresponding to is selected as the attention correspondence correction data 221, and a predetermined range centered on the attention correspondence correction data 221 is set as the search range 781.
【0286】探索範囲781内において、所定の範囲の
補正データが予測タップ782として選択され、予測タ
ップ782を構成する補正データに基づいて、上述した
ように、予測値が演算される。そして、その予測値と注
目画素との差が予測残差として算出される。Within the search range 781, correction data within a predetermined range is selected as the prediction tap 782, and the prediction value is calculated as described above based on the correction data forming the prediction tap 782. Then, the difference between the predicted value and the pixel of interest is calculated as the prediction residual.
【0287】予測タップ782は、探索範囲781内
を、予測タップ782−1乃至782−nとして示され
るように、n個の位置に、順次移動される。そして、n
個の予測タップのそれぞれに対応して得られるn個の予
測残差の中から最小のものがその探索範囲781の評価
値として選択される。The prediction taps 782 are sequentially moved to n positions within the search range 781, as indicated by the prediction taps 782-1 to 782-n. And n
From the n prediction residuals obtained corresponding to each of the prediction taps, the smallest one is selected as the evaluation value of the search range 781.
【0288】以上のような処理が、現在フレーム201
の中の全ての補正データを注目補正データ211として
順次選択することで実行される。The above-mentioned processing is performed by the current frame 201.
This is executed by sequentially selecting all the correction data in the above as the correction data 211 of interest.
【0289】以上においては、簡単のため、現在フレー
ム201と前フレーム202との間の処理についてのみ
説明したが、実際には、同様の処理が後フレーム203
と組み合わされて、同時に行われる。In the above, for simplification, only the processing between the current frame 201 and the previous frame 202 has been described, but in reality, the same processing is performed in the subsequent frame 203.
Combined with and done at the same time.
【0290】このように、この実施の形態においては、
動きベクトルは、予測残差が閾値より小さい場合にのみ
伝送され、予測残差が閾値より大きい場合には、予測残
差そのものが伝送される。Thus, in this embodiment,
The motion vector is transmitted only when the prediction residual is smaller than the threshold, and when the prediction residual is larger than the threshold, the prediction residual itself is transmitted.
【0291】以上、本発明を適用した画像処理装置につ
いて説明したが、このような画像処理装置は、例えば、
NTSC方式などの標準方式のテレビジョン信号を符号
化する場合の他、データ量の多い、いわゆるハイビジョ
ン方式のテレビジョン信号などを符号化する場合に、特
に有効である。The image processing apparatus to which the present invention is applied has been described above.
It is particularly effective for encoding a television signal of a standard system such as the NTSC system and for encoding a so-called high-definition system television signal having a large amount of data.
【0292】なお、本実施の形態においては、誤差情報
として、誤差の自乗和を用いるようにしたが、誤差情報
としては、その他、例えば、誤差の絶対値和や、その3
乗以上したものの和などを用いるようにすることが可能
である。いずれを誤差情報として用いるかは、例えば、
その収束性などに基づいて決定するようにすることが可
能である。In this embodiment, the error sum of squares is used as the error information. However, as the error information, for example, the sum of the absolute values of the errors or its 3
It is possible to use the sum of the products that have been raised or multiplied. Which is used as the error information is, for example,
It is possible to make the determination based on the convergence and the like.
【0293】また、本実施の形態では、誤差情報が、所
定の閾値ε以下になるまで、圧縮データの補正を繰り返
し行うようする場合において、圧縮データの補正の回数
に、上限を設けるようにすることも可能である。即ち、
例えば、リアルタイムで画像の伝送を行う場合などにお
いては、1フレームについての処理が、所定の期間内に
終了することが必要であるが、誤差情報は、そのような
所定の期間内に収束するとは限らない。そこで、補正の
回数に上限を設けることにより、所定の期間内に、誤差
情報が閾値ε以下に収束しないときは、そのフレームに
ついての処理を終了し(そのときにおける補正データ
を、符号化結果とし)、次のフレームについての処理を
開始するようにすることが可能である。Further, in the present embodiment, when the correction of the compressed data is repeatedly performed until the error information becomes equal to or less than the predetermined threshold value ε, the upper limit is set for the number of times of the correction of the compressed data. It is also possible. That is,
For example, in the case of transmitting an image in real time, the processing for one frame needs to be completed within a predetermined period, but the error information may not converge within such a predetermined period. Not exclusively. Therefore, by setting an upper limit on the number of corrections, if the error information does not converge to the threshold value ε or less within a predetermined period, the process for that frame is terminated (the correction data at that time is set as the encoding result). ), It is possible to start processing for the next frame.
【0294】上述した一連の処理は、ハードウェアによ
り実行させることもできるが、ソフトウエアにより実行
させることもできる。一連の処理をソフトウエアにより
実行させる場合には、そのソフトウエアを構成するプロ
グラムが、専用のハードウェアに組み込まれているコン
ピュータ、または、各種のプログラムをインストールす
ることで、各種の機能を実行することが可能な、例えば
汎用のパーソナルコンピュータなどに、ネットワークや
記録媒体からインストールされる。The series of processes described above can be executed by hardware, but can also be executed by software. When a series of processes is executed by software, a program constituting the software executes a variety of functions by installing a computer in which dedicated hardware is installed or various programs. It is installed from a network or a recording medium into a general-purpose personal computer or the like capable of performing the above.
【0295】この記録媒体は、図5と図30に示される
ように、装置本体とは別に、ユーザにプログラムを提供
するために配布される、プログラムが記録されている磁
気ディスク71,471(フロッピディスクを含む)、
光ディスク72,472(CD-ROM(Compact Disk-Read O
nly Memory),DVD(Digital Versatile Disk)を含む)、
光磁気ディスク73,473(MD(Mini-Disk)を含
む)、もしくは半導体メモリ74,474などよりなる
パッケージメディアにより構成されるだけでなく、装置
本体に予め組み込まれた状態でユーザに提供される、プ
ログラムが記録されているROM62,462や、ハード
ディスクなどで構成される。As shown in FIGS. 5 and 30, this recording medium is distributed in order to provide the program to the user separately from the main body of the apparatus, and the magnetic disks 71 and 471 (the floppy disk) in which the program is recorded. (Including disk),
Optical disks 72, 472 (CD-ROM (Compact Disk-Read O
nly Memory), DVD (including Digital Versatile Disk)),
The magneto-optical disks 73 and 473 (including MD (Mini-Disk)) or the package media including the semiconductor memories 74 and 474 are provided, and are provided to the user in a state of being pre-installed in the apparatus body. , ROMs 62 and 462 in which programs are recorded, a hard disk, and the like.
【0296】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。In the present specification, the steps for writing the program recorded on the recording medium are not limited to the processing performed in time series according to the order described, but need not necessarily be performed in time series. It also includes processing executed in parallel or individually.
【0297】また、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものであ
る。In this specification, the system means
It represents the entire apparatus composed of a plurality of devices.
【0298】[0298]
【発明の効果】本発明によれば、より適正に補正された
補正データを得ることができ、より原画像に近い復号画
像を得ることが可能となる。According to the present invention, it is possible to obtain correction data that has been corrected more properly, and it is possible to obtain a decoded image that is closer to the original image.
【図1】従来の画像圧縮処理を行う装置の構成例を示す
ブロック図である。FIG. 1 is a block diagram illustrating a configuration example of a device that performs conventional image compression processing.
【図2】本発明を適用した画像処理装置の一実施の形態
の構成を示すブロック図である。FIG. 2 is a block diagram showing the configuration of an embodiment of an image processing apparatus to which the present invention has been applied.
【図3】図2の送信装置における圧縮処理を説明する図
である。FIG. 3 is a diagram illustrating compression processing in the transmission device of FIG.
【図4】図2における受信装置の復号処理を説明する図
である。FIG. 4 is a diagram illustrating a decoding process of the receiving device in FIG.
【図5】図2の送信装置の構成例を示すブロック図であ
る。5 is a block diagram illustrating a configuration example of the transmission device of FIG.
【図6】図2の送信装置の機能的構成例を示すブロック
図である。FIG. 6 is a block diagram showing a functional configuration example of the transmission device of FIG.
【図7】図6の送信装置の動作を説明するフローチャー
トである。FIG. 7 is a flowchart illustrating an operation of the transmission device of FIG.
【図8】単純間引き処理を説明するフローチャートであ
る。FIG. 8 is a flowchart illustrating a simple thinning process.
【図9】単純間引き処理を説明する図である。FIG. 9 is a diagram illustrating a simple thinning process.
【図10】画像平均処理を説明するフローチャートであ
る。FIG. 10 is a flowchart illustrating an image averaging process.
【図11】画像平均処理を説明する図である。FIG. 11 is a diagram illustrating image averaging processing.
【図12】図6の補正部の構成例を示すブロック図であ
る。12 is a block diagram illustrating a configuration example of a correction unit in FIG.
【図13】図12の補正部の動作を説明するフローチャ
ートである。13 is a flowchart illustrating the operation of the correction unit in FIG.
【図14】図6の送信装置の動き推定部の構成例を示す
ブロック図である。14 is a block diagram illustrating a configuration example of a motion estimation unit of the transmission device in FIG.
【図15】図14の動き推定部の処理を説明するフロー
チャートである。FIG. 15 is a flowchart illustrating a process of a motion estimation unit in FIG.
【図16】図6のローカルデコード部の構成例を示すブ
ロック図である。16 is a block diagram illustrating a configuration example of a local decoding unit in FIG.
【図17】クラス分類用ブロックを説明する図である。FIG. 17 is a diagram illustrating a class classification block.
【図18】クラス分類用ブロックの他の例を説明する図
である。FIG. 18 is a diagram illustrating another example of a class classification block.
【図19】予測値計算用ブロックを説明する図である。FIG. 19 is a diagram illustrating a predictive value calculation block.
【図20】予測値計算用ブロックを説明する他の図であ
る。FIG. 20 is another diagram for explaining a predictive value calculation block.
【図21】クラス分類処理を説明するための図である。FIG. 21 is a diagram for explaining a class classification process.
【図22】クラス分類処理を説明するための図である。FIG. 22 is a diagram illustrating a class classification process.
【図23】ADRC処理を説明するための図である。FIG. 23 is a diagram for explaining ADRC processing.
【図24】ADRC処理を説明するための図である。FIG. 24 is a diagram for explaining ADRC processing.
【図25】図16のローカルデコード部の動作を説明す
るフローチャートである。25 is a flowchart illustrating the operation of the local decoding unit in FIG.
【図26】図6の誤差算出部の構成例を示すブロック図
である。FIG. 26 is a block diagram showing a configuration example of an error calculation unit in FIG.
【図27】図26の誤差算出部の動作を説明するフロー
チャートである。FIG. 27 is a flowchart illustrating an operation of the error calculator of FIG. 26.
【図28】図6の制御部の構成例を示すブロック図であ
る。28 is a block diagram illustrating a configuration example of a control unit in FIG.
【図29】図28の制御部の動作を説明するフローチャ
ートである。FIG. 29 is a flowchart illustrating an operation of the control unit of FIG. 28.
【図30】図2の受信装置の構成例を示すブロック図で
ある。30 is a block diagram illustrating a configuration example of the receiving device in FIG.
【図31】図2の受信装置の機能的構成例を示すブロッ
ク図である。FIG. 31 is a block diagram showing an example of a functional configuration of the receiving device in FIG. 2.
【図32】図31の受信装置の動作を説明するフローチ
ャートである。32 is a flowchart illustrating an operation of the receiving device in FIG. 31. FIG.
【図33】図16の予測係数ROMに記憶されている予測
係数を算出する画像処理装置の一実施の形態の構成を示
すブロック図である。33 is a block diagram showing a configuration of an embodiment of an image processing apparatus for calculating a prediction coefficient stored in the prediction coefficient ROM of FIG. 16.
【図34】図33の画像処理装置の動作を説明するフロ
ーチャートである。34 is a flowchart illustrating the operation of the image processing apparatus in FIG.
【図35】予測タップを説明する図である。FIG. 35 is a diagram illustrating a prediction tap.
【図36】動き推定部の他の構成例を示すブロック図で
ある。[Fig. 36] Fig. 36 is a block diagram illustrating another configuration example of the motion estimation unit.
【図37】動き推定部のさらに他の構成例を示すブロッ
ク図である。[Fig. 37] Fig. 37 is a block diagram illustrating still another configuration example of the motion estimation unit.
【図38】図37の動き推定部の処理を説明するフロー
チャートである。FIG. 38 is a flowchart illustrating the processing of the motion estimation unit in FIG. 37.
【図39】図37の動き推定部の処理を説明するフロー
チャートである。[Fig. 39] Fig. 39 is a flowchart illustrating the process of the motion estimation unit in Fig. 37.
【図40】図37の動き推定部の処理を説明する図であ
る。[Fig. 40] Fig. 40 is a diagram for describing the processing of the motion estimation unit in Fig. 37.
41 送信装置, 42 記録媒体, 43 伝送路,
44 受信装置,111 縮小画像生成部, 112
補正部, 113 動き推定部, 114ローカルデ
コード部, 115 誤差算出部, 116 制御部,
117多重化部, 131 補正回路, 132 補
正値ROM, 151,152,153 フレームメモ
リ, 261 クラス分類用ブロック化回路, 262
予測値計算用ブロック化回路, 263 クラス分類
適応処理回路, 264 ADRC処理回路, 265 ク
ラス分類回路, 266 予測係数ROM, 267予測
回路, 351 ブロック化回路, 352 自乗誤差
算出回路, 353,354 演算器, 355 積算
部, 356 メモリ, 361 予測係数メモリ,
362 補正データメモリ, 363 誤差情報メモ
リ, 364比較回路, 365 制御回路, 572
分離部, 573 クラス分類用ブロック化回路,
574 ADRC処理回路, 575 クラス分類回路,
576予測回路, 576A メモリ, 577 予測
値計算用ブロック化回路,590 動き推定部, 59
1 学習用ブロック化回路, 592 教師用ブロック
化回路, 593 ADRC処理回路, 594 クラス分
類回路, 595スイッチ, 596 学習データメモ
リ, 597 カウンタ, 598 教師データメモ
リ, 599 演算回路, 600 メモリ41 transmitter, 42 recording medium, 43 transmission line,
44 receiver, 111 reduced image generation unit, 112
Correction unit, 113 motion estimation unit, 114 local decoding unit, 115 error calculation unit, 116 control unit,
117 Multiplexing Unit, 131 Correction Circuit, 132 Correction Value ROM, 151, 152, 153 Frame Memory, 261 Class Classification Blocking Circuit, 262
Prediction value calculation block circuit, 263 class classification adaptive processing circuit, 264 ADRC processing circuit, 265 class classification circuit, 266 prediction coefficient ROM, 267 prediction circuit, 351 blocking circuit, 352 square error calculation circuit, 353, 354 computing unit , 355 integration unit, 356 memory, 361 prediction coefficient memory,
362 correction data memory, 363 error information memory, 364 comparison circuit, 365 control circuit, 572
Separation unit, 573 class classification blocking circuit,
574 ADRC processing circuit, 575 class classification circuit,
576 prediction circuit, 576A memory, 577 prediction value calculation blocking circuit, 590 motion estimation unit, 59
1 learning block circuit, 592 teacher block circuit, 593 ADRC processing circuit, 594 class classification circuit, 595 switch, 596 learning data memory, 597 counter, 598 teacher data memory, 599 arithmetic circuit, 600 memory
フロントページの続き (72)発明者 中西 崇 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5C059 KK01 LB05 NN01 NN03 NN21 NN28 SS01 SS08 SS11 TA06 TA29 TB08 TC03 TC10 TC12 TC42 TD03 TD11 TD13 UA02 UA33 UA39 5J064 AA01 BA04 BB03 BB12 BC01 BC02 BC14 BC25 BC26 BC29 BD02 BD03 BD04 Continued front page (72) Inventor Takashi Nakanishi 6-735 Kita-Shinagawa, Shinagawa-ku, Tokyo Soni -Inside the corporation F-term (reference) 5C059 KK01 LB05 NN01 NN03 NN21 NN28 SS01 SS08 SS11 TA06 TA29 TB08 TC03 TC10 TC12 TC42 TD03 TD11 TD13 UA02 UA33 UA39 5J064 AA01 BA04 BB03 BB12 BC01 BC02 BC14 BC25 BC26 BC29 BD02 BD03 BD04
Claims (15)
圧縮し、縮小画像データを生成する圧縮手段と、 前記圧縮手段により生成された前記縮小画像データを、
予測誤差に基づいて補正し、補正データを生成する補正
手段と、 前記補正手段により生成された前記補正データであっ
て、前記原画像のうちの第1の原画像に対応する第1の
補正データと、前記第1の原画像より時間的に前の第2
の原画像に対応する第2の補正データ、または前記第1
の原画像より時間的に後の第3の原画像に対応する第3
の補正データの少なくとも一方とを利用して、前記第1
の原画像の動きを推定し、動きベクトルを生成する動き
推定手段と、 前記補正手段により生成された前記第1の補正データ、
および前記第2の補正データまたは前記第3の補正デー
タのうちの少なくとも一方、並びに前記動き推定手段に
より生成された前記動きベクトルに基づいて、前記第1
の原画像を予測し、予測値を生成する予測手段と、 前記予測手段により生成された前記予測値の、前記第1
の原画像に対する前記予測誤差を算出する予測誤差算出
手段と、 前記予測誤差算出手段により算出された前記予測誤差に
基づいて、前記補正手段により生成された前記補正デー
タの適正さを判定する判定手段と、 前記判定手段により、前記補正データの適正さが判定さ
れた場合、前記補正データと、対応する前記動きベクト
ルを出力する出力手段とを備えることを特徴とする画像
処理装置。1. A compression unit that compresses an original image by reducing the number of pixels to generate reduced image data; and the reduced image data generated by the compression unit,
A correction unit that corrects based on a prediction error and generates correction data, and the correction data generated by the correction unit that corresponds to a first original image of the original images. And a second image temporally preceding the first original image.
Second correction data corresponding to the original image of the
Of the third original image temporally after the original image of
Using at least one of the correction data of
Motion estimation means for estimating the motion of the original image and generating a motion vector; and the first correction data generated by the correction means,
Based on at least one of the second correction data and the third correction data, and the motion vector generated by the motion estimating means, the first
Of the original image of the prediction image, and a prediction unit that generates a prediction value;
Prediction error calculation means for calculating the prediction error for the original image, and determination means for determining the appropriateness of the correction data generated by the correction means based on the prediction error calculated by the prediction error calculation means. And an output unit that outputs the correction data and the corresponding motion vector when the determination unit determines the appropriateness of the correction data.
測値を生成するのに用いた予測係数をさらに出力するこ
とを特徴とする請求項1に記載の画像処理装置。2. The image processing apparatus according to claim 1, wherein the output unit further outputs the prediction coefficient used by the prediction unit to generate the predicted value.
圧縮し、縮小画像データを生成する圧縮ステップと、 前記圧縮ステップの処理により生成された前記縮小画像
データを、予測誤差に基づいて補正し、補正データを生
成する補正ステップと、 前記補正ステップの処理により生成された前記補正デー
タであって、前記原画像のうちの第1の原画像に対応す
る第1の補正データと、前記第1の原画像より時間的に
前の第2の原画像に対応する第2の補正データ、または
前記第1の原画像より時間的に後の第3の原画像に対応
する第3の補正データの少なくとも一方とを利用して、
前記第1の原画像の動きを推定し、動きベクトルを生成
する動き推定ステップと、 前記補正ステップの処理により生成された前記第1の補
正データ、および前記第2の補正データまたは前記第3
の補正データのうちの少なくとも一方、並びに前記動き
推定ステップの処理により生成された前記動きベクトル
に基づいて、前記第1の原画像を予測し、予測値を生成
する予測ステップと、 前記予測ステップの処理により生成された前記予測値
の、前記第1の原画像に対する前記予測誤差を算出する
予測誤差算出ステップと、 前記予測誤差算出ステップの処理により算出された前記
予測誤差に基づいて、前記補正ステップの処理により生
成された前記補正データの適正さを判定する判定ステッ
プと、 前記判定ステップの処理により、前記補正データの適正
さが判定された場合、前記補正データと、対応する前記
動きベクトルを出力する出力ステップとを含むことを特
徴とする画像処理方法。3. An original image is compressed by reducing the number of pixels to generate reduced image data, and the reduced image data generated by the process of the compressing step is corrected based on a prediction error. A correction step for generating correction data, first correction data corresponding to a first original image of the original images, which is the correction data generated by the processing of the correction step, Second correction data corresponding to the second original image temporally before the first original image or third correction data corresponding to the third original image temporally later than the first original image. Using at least one
A motion estimation step of estimating a motion of the first original image and generating a motion vector; the first correction data generated by the processing of the correction step; and the second correction data or the third correction data.
Of at least one of the correction data and the motion vector generated by the process of the motion estimation step, the prediction step of predicting the first original image and generating a prediction value; A prediction error calculation step of calculating the prediction error of the prediction value generated by the processing with respect to the first original image; and the correction step based on the prediction error calculated by the processing of the prediction error calculation step. A determination step of determining the appropriateness of the correction data generated by the processing of step (a), and when the appropriateness of the correction data is determined by the processing of the determination step, the correction data and the corresponding motion vector are output. An image processing method comprising:
圧縮し、縮小画像データを生成する圧縮ステップと、 前記圧縮ステップの処理により生成された前記縮小画像
データを、予測誤差に基づいて補正し、補正データを生
成する補正ステップと、 前記補正ステップの処理により生成された前記補正デー
タであって、前記原画像のうちの第1の原画像に対応す
る第1の補正データと、前記第1の原画像より時間的に
前の第2の原画像に対応する第2の補正データ、または
前記第1の原画像より時間的に後の第3の原画像に対応
する第3の補正データの少なくとも一方とを利用して、
前記第1の原画像の動きを推定し、動きベクトルを生成
する動き推定ステップと、 前記補正ステップの処理により生成された前記第1の補
正データ、および前記第2の補正データまたは前記第3
の補正データのうちの少なくとも一方、並びに前記動き
推定ステップの処理により生成された前記動きベクトル
に基づいて、前記第1の原画像を予測し、予測値を生成
する予測ステップと、 前記予測ステップの処理により生成された前記予測値
の、前記第1の原画像に対する前記予測誤差を算出する
予測誤差算出ステップと、 前記予測誤差算出ステップの処理により算出された前記
予測誤差に基づいて、前記補正ステップの処理により生
成された前記補正データの適正さを判定する判定ステッ
プと、 前記判定ステップの処理により、前記補正データの適正
さが判定された場合、前記補正データと、対応する前記
動きベクトルを出力する出力ステップとを含むことを特
徴とするコンピュータが読み取り可能なプログラムが記
録されている記録媒体。4. A compression step of generating reduced image data by compressing an original image by reducing the number of pixels, and correcting the reduced image data generated by the processing of the compression step based on a prediction error. A correction step for generating correction data, first correction data corresponding to a first original image of the original images, which is the correction data generated by the processing of the correction step, Second correction data corresponding to the second original image temporally before the first original image or third correction data corresponding to the third original image temporally later than the first original image. Using at least one
A motion estimation step of estimating a motion of the first original image and generating a motion vector; the first correction data generated by the processing of the correction step; and the second correction data or the third correction data.
Of at least one of the correction data and the motion vector generated by the process of the motion estimation step, the prediction step of predicting the first original image and generating a prediction value; A prediction error calculation step of calculating the prediction error of the prediction value generated by the processing with respect to the first original image; and the correction step based on the prediction error calculated by the processing of the prediction error calculation step. A determination step of determining the appropriateness of the correction data generated by the processing of step (a), and when the appropriateness of the correction data is determined by the processing of the determination step, the correction data and the corresponding motion vector are output. And a computer-readable program recorded thereon, comprising: Body.
圧縮し、縮小画像データを生成する圧縮ステップと、 前記圧縮ステップの処理により生成された前記縮小画像
データを、予測誤差に基づいて補正し、補正データを生
成する補正ステップと、 前記補正ステップの処理により生成された前記補正デー
タであって、前記原画像のうちの第1の原画像に対応す
る第1の補正データと、前記第1の原画像より時間的に
前の第2の原画像に対応する第2の補正データ、または
前記第1の原画像より時間的に後の第3の原画像に対応
する第3の補正データの少なくとも一方とを利用して、
前記第1の原画像の動きを推定し、動きベクトルを生成
する動き推定ステップと、 前記補正ステップの処理により生成された前記第1の補
正データ、および前記第2の補正データまたは前記第3
の補正データのうちの少なくとも一方、並びに前記動き
推定ステップの処理により生成された前記動きベクトル
に基づいて、前記第1の原画像を予測し、予測値を生成
する予測ステップと、 前記予測ステップの処理により生成された前記予測値
の、前記第1の原画像に対する前記予測誤差を算出する
予測誤差算出ステップと、 前記予測誤差算出ステップの処理により算出された前記
予測誤差に基づいて、前記補正ステップの処理により生
成された前記補正データの適正さを判定する判定ステッ
プと、 前記判定ステップの処理により、前記補正データの適正
さが判定された場合、前記補正データと、対応する前記
動きベクトルを出力する出力ステップとをコンピュータ
に実行させるプログラム。5. An original image is compressed by reducing the number of pixels to generate reduced image data, and the reduced image data generated by the process of the compressing step is corrected based on a prediction error. A correction step for generating correction data, first correction data corresponding to a first original image of the original images, which is the correction data generated by the processing of the correction step, Second correction data corresponding to the second original image temporally before the first original image or third correction data corresponding to the third original image temporally later than the first original image. Using at least one
A motion estimation step of estimating a motion of the first original image and generating a motion vector; the first correction data generated by the processing of the correction step; and the second correction data or the third correction data.
Of at least one of the correction data and the motion vector generated by the process of the motion estimation step, the prediction step of predicting the first original image and generating a prediction value; A prediction error calculation step of calculating the prediction error of the prediction value generated by the processing with respect to the first original image; and the correction step based on the prediction error calculated by the processing of the prediction error calculation step. A determination step of determining the appropriateness of the correction data generated by the processing of step (a), and when the appropriateness of the correction data is determined by the processing of the determination step, the correction data and the corresponding motion vector are output. A program that causes a computer to execute the output steps to be performed.
圧縮し、縮小画像データを生成する圧縮手段と、 前記圧縮手段により生成された前記縮小画像データを、
予測誤差に基づいて補正し、補正データを生成する補正
手段と、 前記補正手段により生成された前記補正データであっ
て、前記原画像のうちの第1の原画像に対応する第1の
補正データを保持するとともに、前記第1の原画像より
時間的に前の第2の原画像に対応する第2の補正デー
タ、または前記第1の原画像より時間的に後の第3の原
画像に対応する第3の補正データの少なくとも一方を保
持する補正データ保持手段と、 前記補正データ保持手段により保持されている前記第1
の補正データの注目ブロックを設定する注目ブロック設
定手段と、 前記補正データ保持手段により保持されている前記第2
の補正データまたは前記第3の補正データから、前記注
目ブロック設定手段により設定された前記注目ブロック
に対応する位置の前記第2の補正データまたは前記第3
の補正データを取得する取得手段と、 前記注目ブロック設定手段により設定された前記注目ブ
ロックと、前記取得手段により取得された前記第2の補
正データまたは前記第3の補正データに基づいて、前記
第1の原画像を予測するのに必要な予測補正データを抽
出する抽出手段と、 前記補正データ保持手段により保持されている前記第1
の補正データを、その性質に応じて所定のクラスに分類
するクラス分類手段と、 予測係数を保持し、前記クラス分類手段により分類され
た前記クラスに対応する予測係数を出力する予測係数保
持手段と、 前記クラス分類手段により分類された前記クラスに対応
する前記予測係数と、前記抽出手段により抽出された前
記予測補正データに基づいて予測値を演算する演算手段
と、 前記第1の原画像に対する前記演算手段により演算され
た前記予測値の予測誤差が最小となる場合における、前
記取得手段により取得された前記第2の補正データまた
は前記第3の補正データの前記注目ブロックに対する相
対的位置に基づいて、それに対応する動きベクトルを生
成する生成手段と、 前記予測値の予測誤差が最小となる場合における、前記
補正データと、対応する前記動きベクトルを出力する出
力手段とを備えることを特徴とする画像処理装置。6. A compression unit that compresses an original image by reducing the number of pixels to generate reduced image data, and the reduced image data generated by the compression unit.
A correction unit that corrects based on a prediction error and generates correction data, and the correction data generated by the correction unit that corresponds to a first original image of the original images. And second correction data corresponding to a second original image temporally preceding the first original image, or a third original image temporally later than the first original image. Correction data holding means for holding at least one of the corresponding third correction data, and the first data held by the correction data holding means.
Block of interest setting means for setting the block of interest of the correction data, and the second data held by the correction data holding means.
Correction data or the third correction data, the second correction data or the third correction data at a position corresponding to the target block set by the target block setting means.
Acquisition unit for acquiring the correction data, the attention block set by the attention block setting unit, and the second correction data or the third correction data obtained by the acquisition unit, based on the third correction data. Extraction means for extracting prediction correction data necessary for predicting one original image, and the first correction data holding means holds the correction data.
Classifying means for classifying the correction data of the above into a predetermined class according to the property, and prediction coefficient holding means for holding the prediction coefficient and outputting the prediction coefficient corresponding to the class classified by the class classification means, The prediction coefficient corresponding to the class classified by the class classification means, a calculation means for calculating a prediction value based on the prediction correction data extracted by the extraction means, and the first original image Based on the relative position of the second correction data or the third correction data acquired by the acquisition unit with respect to the target block when the prediction error of the prediction value calculated by the calculation unit is minimum. , A generation unit that generates a motion vector corresponding thereto, and the correction data when the prediction error of the prediction value is minimum. And an output unit that outputs the corresponding motion vector.
出力することを特徴とする請求項6に記載の画像処理装
置。7. The image processing apparatus according to claim 6, wherein the output unit further outputs the prediction coefficient.
圧縮し、縮小画像データを生成する圧縮ステップと、 前記圧縮ステップの処理により生成された前記縮小画像
データを、予測誤差に基づいて補正し、補正データを生
成する補正ステップと、 前記補正ステップの処理により生成された前記補正デー
タであって、前記原画像のうちの第1の原画像に対応す
る第1の補正データの保持を制御するとともに、前記第
1の原画像より時間的に前の第2の原画像に対応する第
2の補正データ、または前記第1の原画像より時間的に
後の第3の原画像に対応する第3の補正データの少なく
とも一方の保持を制御する補正データ保持制御ステップ
と、 前記補正データ保持制御ステップの処理により保持が制
御されている前記第1の補正データの注目ブロックを設
定する注目ブロック設定ステップと、 前記補正データ保持制御ステップの処理により保持が制
御されている前記第2の補正データまたは前記第3の補
正データから、前記注目ブロック設定ステップの処理に
より設定された前記注目ブロックに対応する位置の前記
第2の補正データまたは前記第3の補正データを取得す
る取得ステップと、 前記注目ブロック設定ステップの処理により設定された
前記注目ブロックと、前記取得ステップの処理により取
得された前記第2の補正データまたは前記第3の補正デ
ータに基づいて、前記第1の原画像を予測するのに必要
な予測補正データを抽出する抽出ステップと、 前記補正データ保持制御ステップの処理により保持が制
御されている前記第1の補正データを、その性質に応じ
て所定のクラスに分類するクラス分類ステップと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する予測係数を出力する予測係数出力ステッ
プと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する前記予測係数と、前記抽出ステップの処
理により抽出された前記予測補正データに基づいて予測
値を演算する演算ステップと、 前記第1の原画像に対する前記演算ステップの処理によ
り演算された前記予測値の予測誤差が最小となる場合に
おける、前記取得ステップの処理により取得された前記
第2の補正データまたは前記第3の補正データの前記注
目ブロックに対する相対的位置に基づいて、それに対応
する動きベクトルを生成する生成ステップと、 前記予測値の予測誤差が最小となる場合における、前記
補正データと、対応する前記動きベクトルを出力する出
力ステップとを含むことを特徴とする画像処理方法。8. A compression step of generating reduced image data by compressing the original image by reducing the number of pixels, and correcting the reduced image data generated by the processing of the compression step based on a prediction error. A correction step of generating correction data, and controlling holding of the first correction data which is the correction data generated by the processing of the correction step and which corresponds to a first original image of the original images. At the same time, second correction data corresponding to a second original image temporally preceding the first original image, or a second correction data corresponding to a third original image temporally subsequent to the first original image. Correction data holding control step for controlling holding of at least one of the correction data of No. 3, and the attention block of the first correction data whose holding is controlled by the processing of the correction data holding control step. Block from the target block setting step, and the second correction data or the third correction data whose holding is controlled by the processing of the correction data holding control step, set by the processing of the target block setting step. An acquisition step of acquiring the second correction data or the third correction data at a position corresponding to the noted block of interest; a block of interest set by the process of the block of interest setting step; An extraction step of extracting predictive correction data necessary for predicting the first original image based on the second correction data or the third correction data acquired by processing; and the correction data holding control. The first correction data, the retention of which is controlled by the processing of the step, is stored in a predetermined class according to its property. A class classification step of classifying into a class, a prediction coefficient output step of outputting a prediction coefficient corresponding to the class classified by the processing of the class classification step, and a prediction coefficient output step of outputting the prediction coefficient corresponding to the class classified by the processing of the class classification step. A calculation step for calculating a prediction value based on the prediction coefficient and the prediction correction data extracted by the processing of the extraction step; and a prediction of the prediction value calculated by the processing of the calculation step for the first original image. Based on the relative position of the second correction data or the third correction data acquired by the processing of the acquisition step with respect to the block of interest when the error is the minimum, a motion vector corresponding thereto is generated. Generating step, and the correction in the case where the prediction error of the prediction value is the minimum An image processing method which comprises a chromatography data, and an output step of outputting said corresponding motion vector.
圧縮し、縮小画像データを生成する圧縮ステップと、 前記圧縮ステップの処理により生成された前記縮小画像
データを、予測誤差に基づいて補正し、補正データを生
成する補正ステップと、 前記補正ステップの処理により生成された前記補正デー
タであって、前記原画像のうちの第1の原画像に対応す
る第1の補正データの保持を制御するとともに、前記第
1の原画像より時間的に前の第2の原画像に対応する第
2の補正データ、または前記第1の原画像より時間的に
後の第3の原画像に対応する第3の補正データの少なく
とも一方の保持を制御する補正データ保持制御ステップ
と、 前記補正データ保持制御ステップの処理により保持が制
御されている前記第1の補正データの注目ブロックを設
定する注目ブロック設定ステップと、 前記補正データ保持制御ステップの処理により保持が制
御されている前記第2の補正データまたは前記第3の補
正データから、前記注目ブロック設定ステップの処理に
より設定された前記注目ブロックに対応する位置の前記
第2の補正データまたは前記第3の補正データを取得す
る取得ステップと、 前記注目ブロック設定ステップの処理により設定された
前記注目ブロックと、前記取得ステップの処理により取
得された前記第2の補正データまたは前記第3の補正デ
ータに基づいて、前記第1の原画像を予測するのに必要
な予測補正データを抽出する抽出ステップと、 前記補正データ保持制御ステップの処理により保持が制
御されている前記第1の補正データを、その性質に応じ
て所定のクラスに分類するクラス分類ステップと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する予測係数を出力する予測係数出力ステッ
プと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する前記予測係数と、前記抽出ステップの処
理により抽出された前記予測補正データに基づいて予測
値を演算する演算ステップと、 前記第1の原画像に対する前記演算ステップの処理によ
り演算された前記予測値の予測誤差が最小となる場合に
おける、前記取得ステップの処理により取得された前記
第2の補正データまたは前記第3の補正データの前記注
目ブロックに対する相対的位置に基づいて、それに対応
する動きベクトルを生成する生成ステップと、 前記予測値の予測誤差が最小となる場合における、前記
補正データと、対応する前記動きベクトルを出力する出
力ステップとを含むことを特徴とするコンピュータが読
み取り可能なプログラムが記録されている記録媒体。9. A compression step of generating reduced image data by compressing the original image by reducing the number of pixels, and correcting the reduced image data generated by the processing of the compression step based on a prediction error. A correction step of generating correction data, and controlling holding of the first correction data which is the correction data generated by the processing of the correction step and which corresponds to a first original image of the original images. At the same time, second correction data corresponding to a second original image temporally preceding the first original image, or a second correction data corresponding to a third original image temporally subsequent to the first original image. Correction data holding control step for controlling holding of at least one of the correction data of No. 3, and the attention block of the first correction data whose holding is controlled by the processing of the correction data holding control step. Block from the target block setting step, and the second correction data or the third correction data whose holding is controlled by the processing of the correction data holding control step, set by the processing of the target block setting step. An acquisition step of acquiring the second correction data or the third correction data at a position corresponding to the noted block of interest; a block of interest set by the process of the block of interest setting step; An extraction step of extracting predictive correction data necessary for predicting the first original image based on the second correction data or the third correction data acquired by processing; and the correction data holding control. The first correction data, the retention of which is controlled by the processing of the step, is stored in a predetermined class according to its property. A class classification step of classifying into a class, a prediction coefficient output step of outputting a prediction coefficient corresponding to the class classified by the processing of the class classification step, and a prediction coefficient output step of outputting the prediction coefficient corresponding to the class classified by the processing of the class classification step. A calculation step for calculating a prediction value based on the prediction coefficient and the prediction correction data extracted by the processing of the extraction step; and a prediction of the prediction value calculated by the processing of the calculation step for the first original image. Based on the relative position of the second correction data or the third correction data acquired by the processing of the acquisition step with respect to the block of interest when the error is the minimum, a motion vector corresponding thereto is generated. Generating step, and the correction in the case where the prediction error of the prediction value is the minimum Over data and the corresponding recording medium, wherein the computer-readable program characterized by comprising an output step of outputting the motion vector are recorded.
り圧縮し、縮小画像データを生成する圧縮ステップと、 前記圧縮ステップの処理により生成された前記縮小画像
データを、予測誤差に基づいて補正し、補正データを生
成する補正ステップと、 前記補正ステップの処理により生成された前記補正デー
タであって、前記原画像のうちの第1の原画像に対応す
る第1の補正データの保持を制御するとともに、前記第
1の原画像より時間的に前の第2の原画像に対応する第
2の補正データ、または前記第1の原画像より時間的に
後の第3の原画像に対応する第3の補正データの少なく
とも一方の保持を制御する補正データ保持制御ステップ
と、 前記補正データ保持制御ステップの処理により保持が制
御されている前記第1の補正データの注目ブロックを設
定する注目ブロック設定ステップと、 前記補正データ保持制御ステップの処理により保持が制
御されている前記第2の補正データまたは前記第3の補
正データから、前記注目ブロック設定ステップの処理に
より設定された前記注目ブロックに対応する位置の前記
第2の補正データまたは前記第3の補正データを取得す
る取得ステップと、 前記注目ブロック設定ステップの処理により設定された
前記注目ブロックと、前記取得ステップの処理により取
得された前記第2の補正データまたは前記第3の補正デ
ータに基づいて、前記第1の原画像を予測するのに必要
な予測補正データを抽出する抽出ステップと、 前記補正データ保持制御ステップの処理により保持が制
御されている前記第1の補正データを、その性質に応じ
て所定のクラスに分類するクラス分類ステップと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する予測係数を出力する予測係数出力ステッ
プと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する前記予測係数と、前記抽出ステップの処
理により抽出された前記予測補正データに基づいて予測
値を演算する演算ステップと、 前記第1の原画像に対する前記演算ステップの処理によ
り演算された前記予測値の予測誤差が最小となる場合に
おける、前記取得ステップの処理により取得された前記
第2の補正データまたは前記第3の補正データの前記注
目ブロックに対する相対的位置に基づいて、それに対応
する動きベクトルを生成する生成ステップと、 前記予測値の予測誤差が最小となる場合における、前記
補正データと、対応する前記動きベクトルを出力する出
力ステップとをコンピュータに実行させるプログラム。10. An original image is compressed by reducing the number of pixels to generate reduced image data, and the reduced image data generated by the process of the compressing step is corrected based on a prediction error. A correction step of generating correction data, and controlling holding of the first correction data which is the correction data generated by the processing of the correction step and which corresponds to a first original image of the original images. At the same time, second correction data corresponding to a second original image temporally preceding the first original image, or a second correction data corresponding to a third original image temporally subsequent to the first original image. Correction data holding control step for controlling holding of at least one of the correction data of No. 3, and the first correction data of which holding is controlled by the processing of the correction data holding control step. The target block setting step of setting a lock, and the second correction data or the third correction data whose holding is controlled by the processing of the correction data holding control step, are set by the processing of the target block setting step. An acquisition step of acquiring the second correction data or the third correction data at a position corresponding to the target block, the target block set by the processing of the target block setting step, and the processing of the acquisition step An extraction step of extracting prediction correction data necessary for predicting the first original image based on the second correction data or the third correction data acquired by The first correction data, the retention of which is controlled by Corresponding to the class classified by the processing of the class classification step; a prediction coefficient output step of outputting a prediction coefficient corresponding to the class classified by the processing of the class classification step; A calculation step for calculating a prediction value based on the prediction coefficient and the prediction correction data extracted by the processing of the extraction step; and a prediction value calculated by the processing of the calculation step for the first original image. A motion vector corresponding to the second correction data or the third correction data acquired by the process of the acquisition step is generated based on the relative position with respect to the target block when the prediction error is minimum. And a correction step in the case where the prediction error of the prediction value is minimized. Data and the corresponding said program to execute an output step for outputting the motion vector to the computer.
り圧縮することで生成された縮小画像データを、前記原
画像との予測誤差に基づいて補正することで生成された
補正データを復号する画像処理装置において、 前記補正データを含む処理対象データを取得する取得手
段と、 前記取得手段により取得された前記処理対象データから
前記補正データと動きベクトルを分離する分離手段と、 前記分離手段により分離された前記補正データであっ
て、前記原画像のうちの第1の原画像に対応する第1の
補正データと、前記第1の原画像より時間的に前の第2
の原画像に対応する第2の補正データ、または前記第1
の原画像より時間的に後の第3の原画像に対応する第3
の補正データのうちの少なくとも一方、並びに前記分離
手段により分離された前記動きベクトルに基づいて、前
記第1の原画像を予測するのに用いる前記補正データと
しての予測対象画像データを抽出する予測対象画像デー
タ抽出手段と、 前記分離手段により分離された前記補正データを、その
性質に応じて所定のクラスに分類するクラス分類手段
と、 予測係数を保持し、前記クラス分類手段により分類され
た前記クラスに対応する予測係数を出力する予測係数保
持手段と、 前記クラス分類手段により分類された前記クラスに対応
する前記予測係数と、前記予測対象画像データに基づい
て、前記第1の原画像の予測値を演算する演算手段とを
備えることを特徴とする画像処理装置。11. An image for decoding correction data generated by correcting reduced image data generated by compressing an original image by reducing the number of pixels of the original image, based on a prediction error from the original image. In the processing device, an acquisition unit that acquires processing target data including the correction data, a separation unit that separates the correction data and the motion vector from the processing target data acquired by the acquisition unit, and a separation unit that separates the correction data and the motion vector. The first correction data corresponding to the first original image of the original images, and the second correction data that is before the first original image in time.
Second correction data corresponding to the original image of the
Of the third original image temporally after the original image of
Prediction target for extracting the prediction target image data as the correction data used for predicting the first original image based on at least one of the correction data and the motion vector separated by the separation unit. An image data extraction unit, a class classification unit that classifies the correction data separated by the separation unit into a predetermined class according to the property, and a class that holds a prediction coefficient and is classified by the class classification unit. Prediction coefficient holding means for outputting a prediction coefficient corresponding to, the prediction coefficient corresponding to the class classified by the class classification means, and the prediction value of the first original image based on the prediction target image data. An image processing apparatus comprising: a calculation unit that calculates
から前記予測係数をさらに分離し、 前記予測係数保持手段は、前記分離手段により分離され
た前記予測係数を保持することを特徴とする請求項11
に記載の画像処理装置。12. The separation means further separates the prediction coefficient from the processing target data, and the prediction coefficient holding means holds the prediction coefficient separated by the separation means. 11
The image processing device according to item 1.
り圧縮することで生成された縮小画像データを、前記原
画像との予測誤差に基づいて補正することで生成された
補正データを復号する画像処理装置の画像処理方法にお
いて、 前記補正データを含む処理対象データを取得する取得ス
テップと、 前記取得ステップの処理により取得された前記処理対象
データから前記補正データと動きベクトルを分離する分
離ステップと、 前記分離ステップの処理により分離された前記補正デー
タであって、前記原画像のうちの第1の原画像に対応す
る第1の補正データと、前記第1の原画像より時間的に
前の第2の原画像に対応する第2の補正データ、または
前記第1の原画像より時間的に後の第3の原画像に対応
する第3の補正データのうちの少なくとも一方、並びに
前記分離ステップの処理により分離された前記動きベク
トルに基づいて、前記第1の原画像を予測するのに用い
る前記補正データとしての予測対象画像データを抽出す
る予測対象画像データ抽出ステップと、 前記分離ステップの処理により分離された前記補正デー
タを、その性質に応じて所定のクラスに分類するクラス
分類ステップと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する予測係数を出力する予測係数出力ステッ
プと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する前記予測係数と、前記予測対象画像デー
タに基づいて、前記第1の原画像の予測値を演算する演
算ステップとを含むことを特徴とする画像処理方法。13. An image for decoding correction data generated by correcting reduced image data generated by compressing an original image by reducing the number of pixels, based on a prediction error from the original image. In the image processing method of the processing device, an acquisition step of acquiring processing target data including the correction data, a separation step of separating the correction data and the motion vector from the processing target data acquired by the processing of the acquisition step, The correction data separated by the process of the separation step, the first correction data corresponding to the first original image of the original images, and the first correction data temporally preceding the first original image. At least the second correction data corresponding to the second original image or the third correction data corresponding to the third original image temporally later than the first original image. On the other hand, a prediction target image data extraction step of extracting prediction target image data as the correction data used for predicting the first original image based on the motion vector separated by the processing of the separation step A class classification step of classifying the correction data separated by the processing of the separation step into a predetermined class according to the property, and a prediction coefficient corresponding to the class classified by the processing of the class classification step. Calculation of calculating a prediction value of the first original image based on the prediction coefficient output step of outputting, the prediction coefficient corresponding to the class classified by the processing of the class classification step, and the prediction target image data. An image processing method comprising:
り圧縮することで生成された縮小画像データを、前記原
画像との予測誤差に基づいて補正することで生成された
補正データを復号する画像処理装置のプログラムであっ
て、 前記補正データを含む処理対象データを取得する取得ス
テップと、 前記取得ステップの処理により取得された前記処理対象
データから前記補正データと動きベクトルを分離する分
離ステップと、 前記分離ステップの処理により分離された前記補正デー
タであって、前記原画像のうちの第1の原画像に対応す
る第1の補正データと、前記第1の原画像より時間的に
前の第2の原画像に対応する第2の補正データ、または
前記第1の原画像より時間的に後の第3の原画像に対応
する第3の補正データのうちの少なくとも一方、並びに
前記分離ステップの処理により分離された前記動きベク
トルに基づいて、前記第1の原画像を予測するのに用い
る前記補正データとしての予測対象画像データを抽出す
る予測対象画像データ抽出ステップと、 前記分離ステップの処理により分離された前記補正デー
タを、その性質に応じて所定のクラスに分類するクラス
分類ステップと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する予測係数を出力する予測係数出力ステッ
プと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する前記予測係数と、前記予測対象画像デー
タに基づいて、前記第1の原画像の予測値を演算する演
算ステップとを含むことを特徴とするコンピュータが読
み取り可能なプログラムが記録されている記録媒体。14. An image for decoding correction data generated by correcting reduced image data generated by compressing an original image by reducing the number of pixels of the original image, based on a prediction error from the original image. A program of a processing device, an acquisition step of acquiring processing target data including the correction data, a separation step of separating the correction data and the motion vector from the processing target data acquired by the processing of the acquisition step, The correction data separated by the process of the separation step, the first correction data corresponding to the first original image of the original images, and the first correction data temporally preceding the first original image. At least the second correction data corresponding to the second original image, or the third correction data corresponding to the third original image temporally after the first original image. On the other hand, a prediction target image data extraction step of extracting prediction target image data as the correction data used for predicting the first original image based on the motion vector separated by the processing of the separation step. A class classification step of classifying the correction data separated by the processing of the separation step into a predetermined class according to the property, and outputting a prediction coefficient corresponding to the class classified by the processing of the class classification step. A prediction coefficient output step, a calculation step of calculating a prediction value of the first original image based on the prediction coefficient corresponding to the class classified by the processing of the class classification step and the prediction target image data. And a recording medium having a computer-readable program recorded thereon. .
り圧縮することで生成された縮小画像データを、前記原
画像との予測誤差に基づいて補正することで生成された
補正データを復号する画像処理装置を制御するコンピュ
ータに、 前記補正データを含む処理対象データを取得する取得ス
テップと、 前記取得ステップの処理により取得された前記処理対象
データから前記補正データと動きベクトルを分離する分
離ステップと、 前記分離ステップの処理により分離された前記補正デー
タであって、前記原画像のうちの第1の原画像に対応す
る第1の補正データと、前記第1の原画像より時間的に
前の第2の原画像に対応する第2の補正データ、または
前記第1の原画像より時間的に後の第3の原画像に対応
する第3の補正データのうちの少なくとも一方、並びに
前記分離ステップの処理により分離された前記動きベク
トルに基づいて、前記第1の原画像を予測するのに用い
る前記補正データとしての予測対象画像データを抽出す
る予測対象画像データ抽出ステップと、 前記分離ステップの処理により分離された前記補正デー
タを、その性質に応じて所定のクラスに分類するクラス
分類ステップと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する予測係数を出力する予測係数出力ステッ
プと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する前記予測係数と、前記予測対象画像デー
タに基づいて、前記第1の原画像の予測値を演算する演
算ステップとを実行させることを特徴とするプログラ
ム。15. An image for decoding correction data generated by correcting reduced image data generated by compressing an original image by reducing the number of pixels of the original image, based on a prediction error from the original image. In the computer controlling the processing device, an acquisition step of acquiring the processing target data including the correction data, a separation step of separating the correction data and the motion vector from the processing target data acquired by the processing of the acquisition step, The correction data separated by the process of the separation step, the first correction data corresponding to the first original image of the original images, and the first correction data temporally preceding the first original image. The second correction data corresponding to the second original image or the third correction data corresponding to the third original image temporally later than the first original image, whichever is less. On the other hand, a prediction target image data extraction step of extracting prediction target image data as the correction data used for predicting the first original image based on the motion vector separated by the process of the separation step. A class classification step of classifying the correction data separated by the processing of the separation step into a predetermined class according to the property, and a prediction coefficient corresponding to the class classified by the processing of the class classification step. Calculation of calculating a prediction value of the first original image based on the prediction coefficient output step of outputting, the prediction coefficient corresponding to the class classified by the processing of the class classification step, and the prediction target image data. A program for executing steps and.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002018290A JP4554138B2 (en) | 2002-01-28 | 2002-01-28 | Image encoding apparatus and method, image decoding apparatus and method, image processing system, recording medium, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002018290A JP4554138B2 (en) | 2002-01-28 | 2002-01-28 | Image encoding apparatus and method, image decoding apparatus and method, image processing system, recording medium, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003219429A true JP2003219429A (en) | 2003-07-31 |
JP4554138B2 JP4554138B2 (en) | 2010-09-29 |
Family
ID=27653702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002018290A Expired - Fee Related JP4554138B2 (en) | 2002-01-28 | 2002-01-28 | Image encoding apparatus and method, image decoding apparatus and method, image processing system, recording medium, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4554138B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004010706A1 (en) * | 2002-07-19 | 2004-01-29 | Sony Corporation | Information signal processing device, information signal processing method, image signal processing device, image displaying device, device and method for producing correction data used in them, device and method for producing coefficient data, programs for executing these methods, and computer-readable medium in which thos |
-
2002
- 2002-01-28 JP JP2002018290A patent/JP4554138B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004010706A1 (en) * | 2002-07-19 | 2004-01-29 | Sony Corporation | Information signal processing device, information signal processing method, image signal processing device, image displaying device, device and method for producing correction data used in them, device and method for producing coefficient data, programs for executing these methods, and computer-readable medium in which thos |
US7991054B2 (en) | 2002-07-19 | 2011-08-02 | Sony Corporation | Information signal processing device, information signal processing method, image signal processing device, image displaying device, device and method for producing correction data used in them, device and method for producing coefficient data, programs for executing these methods, and computer-readable medium for storing the program |
Also Published As
Publication number | Publication date |
---|---|
JP4554138B2 (en) | 2010-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8208551B2 (en) | Method and system for hierarchically layered adaptive median motion vector smoothing | |
JP4697500B2 (en) | TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEPTION DEVICE, RECEPTION METHOD, AND RECORDING MEDIUM | |
JP5288214B2 (en) | Data processing apparatus, data processing method, and program | |
JP5263565B2 (en) | Image processing apparatus, image processing method, and program | |
JPH1032837A (en) | Image processing device and method and image encoding device and method | |
JP2001086507A (en) | Image coder, image coding method, image decoder, image decoding method, medium and image processor | |
WO2017191749A1 (en) | Image processing device, and image processing method | |
US20220101123A1 (en) | Video quality assessment method and apparatus | |
JP4362895B2 (en) | Data processing apparatus, data processing method, and recording medium | |
WO2018131524A1 (en) | Image processing device and image processing method | |
JP2004173011A (en) | Apparatus and method for processing image signal, apparatus and method for generating coefficient data used therefor, and program for implementing each method | |
WO2018173873A1 (en) | Coding device and coding method, and decoding device and decoding method | |
WO2018168484A1 (en) | Coding device, coding method, decoding device, and decoding method | |
KR100574732B1 (en) | Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium | |
JPH11187407A (en) | Image coder, and image coding method therefor, served medium, image decoder and image decoding method therefor, and system and method of learning | |
JP4554138B2 (en) | Image encoding apparatus and method, image decoding apparatus and method, image processing system, recording medium, and program | |
JP4518727B2 (en) | Image encoding apparatus and method, recording medium, and program | |
JPH1011583A (en) | Class classification adaptation processor and learning device/method for class classification adaptation processing | |
JP3747970B2 (en) | Image encoding device, image encoding method, image decoding device, and image decoding method | |
JP3844031B2 (en) | Image coding apparatus and image coding method, and image decoding apparatus and image decoding method | |
JP4016249B2 (en) | Image encoding apparatus and encoding method, image decoding apparatus and decoding method, recording medium, program, and image processing system | |
JP4120916B2 (en) | Information processing apparatus and method, recording medium, and program | |
JP3912558B2 (en) | Image encoding apparatus, image encoding method, and recording medium | |
JP4240674B2 (en) | Motion detection device, motion detection method, and recording medium | |
JP3912628B2 (en) | Image encoding device, image encoding method, image encoding and decoding system, image encoding and decoding method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070525 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070723 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070822 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100714 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |