JP2003219429A - Image processing device and method therefor, recording medium, and program thereof - Google Patents
Image processing device and method therefor, recording medium, and program thereofInfo
- Publication number
- JP2003219429A JP2003219429A JP2002018290A JP2002018290A JP2003219429A JP 2003219429 A JP2003219429 A JP 2003219429A JP 2002018290 A JP2002018290 A JP 2002018290A JP 2002018290 A JP2002018290 A JP 2002018290A JP 2003219429 A JP2003219429 A JP 2003219429A
- Authority
- JP
- Japan
- Prior art keywords
- correction data
- prediction
- original image
- processing
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、画像処理装置およ
び方法、記録媒体、並びにプログラムに関し、特に、原
画像とほぼ同一の復号画像が得られるように、画像を、
例えば間引くことにより符号化する場合において、より
原画像に近い画像を符号化し、復号することができるよ
うにした、画像処理装置および方法、記録媒体、並びに
プログラムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus and method, a recording medium, and a program, and more particularly, to an image so that a decoded image almost the same as the original image can be obtained.
For example, the present invention relates to an image processing apparatus and method, a recording medium, and a program that enable encoding and decoding of an image that is closer to the original image when encoding by thinning out.
【０００２】[0002]
【従来の技術】従来より、画像の符号化方法について
は、種々の方法が提案されているが、そのうちの１つ
に、例えば、画像を、その画素を間引くこと（subsampl
ing）により圧縮して符号化する方法がある。2. Description of the Related Art Conventionally, various methods for encoding an image have been proposed. One of them is, for example, that an image is thinned out by subsampling its pixels.
ing), there is a method of compressing and encoding.
【０００３】しかしながら、このように間引いて圧縮し
た画像を、単純に補間により伸張した場合、その結果得
られる復号画像の解像度が劣化する。However, when an image compressed and thinned in this way is simply expanded by interpolation, the resolution of the decoded image obtained as a result deteriorates.
【０００４】このように復号画像の解像度が劣化する原
因として、第１に、間引いた画像には、元の画像に含ま
れる高周波数成分が含まれていないことと、第２に、間
引き後の画像を構成する画素の画素値が、元の画像を復
元するのに、必ずしも適当でないことが考えられる。The causes of the deterioration of the resolution of the decoded image are as follows. First, the thinned image does not contain the high frequency components contained in the original image, and secondly, after the thinning. It is conceivable that the pixel values of the pixels forming the image are not always suitable for restoring the original image.
【０００５】そこで、本出願人は、例えば、特願平９−
２０８４８３号として、図１に示されるような画像符号
化装置を先に提案した。Therefore, the applicant of the present invention has proposed, for example, Japanese Patent Application No. 9-
As No. 208483, an image coding apparatus as shown in FIG. 1 was previously proposed.
【０００６】図１の例においては、縮小画像作成部１１
が、入力された画像データを、例えば９個の画素から１
つの画素だけを選択する（間引く）ことで縮小画像デー
タを生成する。補正部１２は、制御部１５より供給され
る制御信号に基づいて、縮小画像作成部１１より供給さ
れる縮小画像データを補正して、補正データを生成す
る。ローカルデコード部１３は、補正部１２により生成
された補正データを、クラス分類適応処理を利用してデ
コードし、元の画像を予測する予測値を生成する。誤差
算出部１４は、ローカルデコード部１３により算出され
た予測値を入力画像データと比較し、その誤差を予測誤
差として算出して、制御部１５に供給する。In the example of FIG. 1, the reduced image creating unit 11
Of the input image data from, for example, 9 pixels
Reduced image data is generated by selecting (thinning out) only one pixel. The correction unit 12 corrects the reduced image data supplied from the reduced image creation unit 11 based on the control signal supplied from the control unit 15 to generate correction data. The local decoding unit 13 decodes the correction data generated by the correction unit 12 using the class classification adaptive processing, and generates a prediction value that predicts the original image. The error calculation unit 14 compares the prediction value calculated by the local decoding unit 13 with the input image data, calculates the error as a prediction error, and supplies it to the control unit 15.
【０００７】制御部１５は、誤差算出部１４により算出
された予測誤差に基づいて制御信号を生成し、補正部１
２に供給する。補正部１２は、この制御信号に基づいて
縮小画像データを補正して、ローカルデコード部１３に
供給する。The control unit 15 generates a control signal based on the prediction error calculated by the error calculation unit 14, and the correction unit 1
Supply to 2. The correction unit 12 corrects the reduced image data based on the control signal and supplies the corrected reduced image data to the local decoding unit 13.
【０００８】以上のような処理が繰り返し実行されるこ
とで、予測誤差が所定値以下になったとき、制御部１５
は、そのとき補正部１２より出力される補正データを最
適圧縮データとして、そのときローカルデコード部１３
により予測処理に用いられた予測係数とともに多重化部
１６に供給し、多重化させ、符号化データとして出力さ
せる。When the prediction error becomes less than or equal to a predetermined value by repeatedly executing the above processing, the control unit 15
At that time, the correction data output from the correction unit 12 is set as optimum compressed data, and at that time, the local decoding unit 13
Is supplied to the multiplexing unit 16 together with the prediction coefficient used in the prediction process, multiplexed, and output as encoded data.
【０００９】[0009]
【発明が解決しようとする課題】しかしながら、先の提
案においては、ローカルデコード部１３において、予測
処理に用いられる補正データが同一のフレーム内の補正
データとされているため、特に、動きがある画像を正確
に元の画像により近い画像として復号することが困難で
ある課題があった。However, in the above proposal, since the correction data used in the prediction processing is the correction data in the same frame in the local decoding unit 13, it is possible to obtain an image with a motion especially. There is a problem that it is difficult to accurately decode as an image closer to the original image.
【００１０】本発明はこのような状況に鑑みてなされた
ものであり、より正確に、原画像に近い画像を復号する
ことができるようにするものである。The present invention has been made in view of such a situation, and it is possible to more accurately decode an image close to the original image.
【００１１】[0011]
【課題を解決するための手段】本発明の第１の画像処理
装置は、原画像の画素数を少なくすることにより圧縮
し、縮小画像データを生成する圧縮手段と、圧縮手段に
より生成された縮小画像データを、予測誤差に基づいて
補正し、補正データを生成する補正手段と、補正手段に
より生成された補正データであって、原画像のうちの第
１の原画像に対応する第１の補正データと、第１の原画
像より時間的に前の第２の原画像に対応する第２の補正
データ、または第１の原画像より時間的に後の第３の原
画像に対応する第３の補正データの少なくとも一方とを
利用して、第１の原画像の動きを推定し、動きベクトル
を生成する動き推定手段と、補正手段により生成された
第１の補正データ、および第２の補正データまたは第３
の補正データのうちの少なくとも一方、並びに動き推定
手段により生成された動きベクトルに基づいて、第１の
原画像を予測し、予測値を生成する予測手段と、予測手
段により生成された予測値の、第１の原画像に対する予
測誤差を算出する予測誤差算出手段と、予測誤差算出手
段により算出された予測誤差に基づいて、補正手段によ
り生成された補正データの適正さを判定する判定手段
と、判定手段により、補正データの適正さが判定された
場合、補正データと、対応する動きベクトルを出力する
出力手段とを備えることを特徴とする。A first image processing apparatus according to the present invention compresses an original image by reducing the number of pixels to generate reduced image data, and a reduction unit generated by the compression unit. A correction unit that corrects image data based on a prediction error to generate correction data, and a correction data generated by the correction unit, the first correction corresponding to a first original image of the original images. Data and second correction data corresponding to a second original image temporally preceding the first original image, or a third correction data corresponding to a third original image temporally subsequent to the first original image. Using at least one of the correction data of 1., the motion estimation means for estimating the motion of the first original image and generating the motion vector, the first correction data generated by the correction means, and the second correction Data or third
Of the first original image based on at least one of the correction data and the motion vector generated by the motion estimation means, and a prediction means for generating a prediction value, and a prediction value generated by the prediction means. A prediction error calculation unit that calculates a prediction error for the first original image, and a determination unit that determines the appropriateness of the correction data generated by the correction unit based on the prediction error calculated by the prediction error calculation unit. When the determination unit determines the appropriateness of the correction data, the correction data and the output unit that outputs the corresponding motion vector are provided.
【００１２】前記出力手段は、予測手段が予測値を生成
するのに用いた予測係数をさらに出力することができ
る。The output means can further output the prediction coefficient used by the prediction means to generate the predicted value.
【００１３】本発明の第１の画像処理方法は、原画像の
画素数を少なくすることにより圧縮し、縮小画像データ
を生成する圧縮ステップと、圧縮ステップの処理により
生成された縮小画像データを、予測誤差に基づいて補正
し、補正データを生成する補正ステップと、補正ステッ
プの処理により生成された補正データであって、原画像
のうちの第１の原画像に対応する第１の補正データと、
第１の原画像より時間的に前の第２の原画像に対応する
第２の補正データ、または第１の原画像より時間的に後
の第３の原画像に対応する第３の補正データの少なくと
も一方とを利用して、第１の原画像の動きを推定し、動
きベクトルを生成する動き推定ステップと、補正ステッ
プの処理により生成された第１の補正データ、および第
２の補正データまたは第３の補正データのうちの少なく
とも一方、並びに動き推定ステップの処理により生成さ
れた動きベクトルに基づいて、第１の原画像を予測し、
予測値を生成する予測ステップと、予測ステップの処理
により生成された予測値の、第１の原画像に対する予測
誤差を算出する予測誤差算出ステップと、予測誤差算出
ステップの処理により算出された予測誤差に基づいて、
補正ステップの処理により生成された補正データの適正
さを判定する判定ステップと、判定ステップの処理によ
り、補正データの適正さが判定された場合、補正データ
と、対応する動きベクトルを出力する出力ステップとを
含むことを特徴とする。According to the first image processing method of the present invention, the original image is compressed by reducing the number of pixels to generate reduced image data, and the reduced image data generated by the process of the compression step are A correction step of correcting based on a prediction error and generating correction data; and correction data generated by the processing of the correction step, the correction data corresponding to a first original image of the original images. ,
Second correction data corresponding to a second original image temporally preceding the first original image, or third correction data corresponding to a third original image temporally subsequent to the first original image Of the first original image by using at least one of the above, the first correction data generated by the processing of the motion estimation step of generating the motion vector and the correction step, and the second correction data. Alternatively, the first original image is predicted based on at least one of the third correction data and the motion vector generated by the process of the motion estimation step,
A prediction step of generating a prediction value, a prediction error calculation step of calculating a prediction error of the prediction value generated by the processing of the prediction step with respect to the first original image, and a prediction error calculated by the processing of the prediction error calculation step. On the basis of,
A determination step of determining the appropriateness of the correction data generated by the processing of the correction step, and an output step of outputting the correction data and the corresponding motion vector when the appropriateness of the correction data is determined by the processing of the determination step It is characterized by including and.
【００１４】本発明の第１の記録媒体のプログラムは、
原画像の画素数を少なくすることにより圧縮し、縮小画
像データを生成する圧縮ステップと、圧縮ステップの処
理により生成された縮小画像データを、予測誤差に基づ
いて補正し、補正データを生成する補正ステップと、補
正ステップの処理により生成された補正データであっ
て、原画像のうちの第１の原画像に対応する第１の補正
データと、第１の原画像より時間的に前の第２の原画像
に対応する第２の補正データ、または第１の原画像より
時間的に後の第３の原画像に対応する第３の補正データ
の少なくとも一方とを利用して、第１の原画像の動きを
推定し、動きベクトルを生成する動き推定ステップと、
補正ステップの処理により生成された第１の補正デー
タ、および第２の補正データまたは第３の補正データの
うちの少なくとも一方、並びに動き推定ステップの処理
により生成された動きベクトルに基づいて、第１の原画
像を予測し、予測値を生成する予測ステップと、予測ス
テップの処理により生成された予測値の、第１の原画像
に対する予測誤差を算出する予測誤差算出ステップと、
予測誤差算出ステップの処理により算出された予測誤差
に基づいて、補正ステップの処理により生成された補正
データの適正さを判定する判定ステップと、判定ステッ
プの処理により、補正データの適正さが判定された場
合、補正データと、対応する動きベクトルを出力する出
力ステップとを含むことを特徴とする。The program of the first recording medium of the present invention is
A compression step of compressing the original image by reducing the number of pixels to generate reduced image data, and a correction step of correcting the reduced image data generated by the processing of the compression step based on a prediction error to generate correction data. Step, and correction data generated by the processing of the correction step, the first correction data corresponding to the first original image in the original image, and the second correction data temporally preceding the first original image. Second correction data corresponding to the first original image or at least one of the third correction data corresponding to the third original image temporally later than the first original image. A motion estimation step of estimating the motion of the image and generating a motion vector,
Based on the first correction data generated by the processing of the correction step, at least one of the second correction data and the third correction data, and the motion vector generated by the processing of the motion estimation step, the first correction data , A prediction step of predicting the original image and generating a prediction value; a prediction error calculating step of calculating a prediction error of the prediction value generated by the processing of the prediction step with respect to the first original image;
Based on the prediction error calculated by the processing of the prediction error calculation step, a judgment step of judging the appropriateness of the correction data generated by the processing of the correction step, and the processing of the judgment step, the appropriateness of the correction data is judged. In this case, the correction data and the output step of outputting the corresponding motion vector are included.
【００１５】本発明の第１のプログラムは、原画像の画
素数を少なくすることにより圧縮し、縮小画像データを
生成する圧縮ステップと、圧縮ステップの処理により生
成された縮小画像データを、予測誤差に基づいて補正
し、補正データを生成する補正ステップと、補正ステッ
プの処理により生成された補正データであって、原画像
のうちの第１の原画像に対応する第１の補正データと、
第１の原画像より時間的に前の第２の原画像に対応する
第２の補正データ、または第１の原画像より時間的に後
の第３の原画像に対応する第３の補正データの少なくと
も一方とを利用して、第１の原画像の動きを推定し、動
きベクトルを生成する動き推定ステップと、補正ステッ
プの処理により生成された第１の補正データ、および第
２の補正データまたは第３の補正データのうちの少なく
とも一方、並びに動き推定ステップの処理により生成さ
れた動きベクトルに基づいて、第１の原画像を予測し、
予測値を生成する予測ステップと、予測ステップの処理
により生成された予測値の、第１の原画像に対する予測
誤差を算出する予測誤差算出ステップと、予測誤差算出
ステップの処理により算出された予測誤差に基づいて、
補正ステップの処理により生成された補正データの適正
さを判定する判定ステップと、判定ステップの処理によ
り、補正データの適正さが判定された場合、補正データ
と、対応する動きベクトルを出力する出力ステップとを
コンピュータに実行させることを特徴とする。The first program of the present invention compresses the original image by reducing the number of pixels to generate reduced image data, and the reduced image data generated by the process of the compressing step to predict error. A correction step of performing correction on the basis of the correction data and generating correction data; and correction data generated by the processing of the correction step, the first correction data corresponding to a first original image of the original images,
Second correction data corresponding to a second original image temporally preceding the first original image, or third correction data corresponding to a third original image temporally subsequent to the first original image Of the first original image by using at least one of the above, the first correction data generated by the processing of the motion estimation step of generating the motion vector and the correction step, and the second correction data. Alternatively, the first original image is predicted based on at least one of the third correction data and the motion vector generated by the process of the motion estimation step,
A prediction step of generating a prediction value, a prediction error calculation step of calculating a prediction error of the prediction value generated by the processing of the prediction step with respect to the first original image, and a prediction error calculated by the processing of the prediction error calculation step. On the basis of,
A determination step of determining the appropriateness of the correction data generated by the processing of the correction step, and an output step of outputting the correction data and the corresponding motion vector when the appropriateness of the correction data is determined by the processing of the determination step And causing a computer to execute.
【００１６】本発明の第２の画像処理装置は、原画像の
画素数を少なくすることにより圧縮し、縮小画像データ
を生成する圧縮手段と、圧縮手段により生成された縮小
画像データを、予測誤差に基づいて補正し、補正データ
を生成する補正手段と、補正手段により生成された補正
データであって、原画像のうちの第１の原画像に対応す
る第１の補正データを保持するとともに、第１の原画像
より時間的に前の第２の原画像に対応する第２の補正デ
ータ、または第１の原画像より時間的に後の第３の原画
像に対応する第３の補正データの少なくとも一方を保持
する補正データ保持手段と、補正データ保持手段により
保持されている第１の補正データの注目ブロックを設定
する注目ブロック設定手段と、補正データ保持手段によ
り保持されている第２の補正データまたは第３の補正デ
ータから、注目ブロック設定手段により設定された注目
ブロックに対応する位置の第２の補正データまたは第３
の補正データを取得する取得手段と、注目ブロック設定
手段により設定された注目ブロックと、取得手段により
取得された第２の補正データまたは第３の補正データに
基づいて、第１の原画像を予測するのに必要な予測補正
データを抽出する抽出手段と、補正データ保持手段によ
り保持されている第１の補正データを、その性質に応じ
て所定のクラスに分類するクラス分類手段と、予測係数
を保持し、クラス分類手段により分類されたクラスに対
応する予測係数を出力する予測係数保持手段と、クラス
分類手段により分類されたクラスに対応する予測係数
と、抽出手段により抽出された予測補正データに基づい
て予測値を演算する演算手段と、第１の原画像に対する
演算手段により演算された予測値の予測誤差が最小とな
る場合における、取得手段により取得された第２の補正
データまたは第３の補正データの注目ブロックに対する
相対的位置に基づいて、それに対応する動きベクトルを
生成する生成手段と、予測値の予測誤差が最小となる場
合における、補正データと、対応する動きベクトルを出
力する出力手段とを備えることを特徴とする。The second image processing apparatus of the present invention compresses the original image by reducing the number of pixels of the original image to generate reduced image data, and the reduced image data generated by the compressing unit. And a first correction data corresponding to the first original image of the original images, which is the correction data generated by the correction unit Second correction data corresponding to a second original image temporally preceding the first original image, or third correction data corresponding to a third original image temporally subsequent to the first original image Correction data holding means for holding at least one of the above, a target block setting means for setting a target block of the first correction data held by the correction data holding means, and a correction data holding means. Second correction data or the third correction from the data, the block of interest a second position corresponding to the target blocks set by the setting means the correction data or the third
Of the first original image on the basis of the acquisition unit that acquires the correction data of the target block, the target block set by the target block setting unit, and the second correction data or the third correction data acquired by the acquisition unit. Extraction means for extracting the prediction correction data necessary for the calculation, class classification means for classifying the first correction data held by the correction data holding means into a predetermined class according to the property, and a prediction coefficient. A prediction coefficient holding unit that holds and outputs a prediction coefficient corresponding to the class classified by the class classification unit, a prediction coefficient corresponding to the class classified by the class classification unit, and prediction correction data extracted by the extraction unit. A calculation unit that calculates a prediction value based on the calculation unit and a calculation unit that calculates the prediction value of the first original image have a minimum prediction error. In the case where the prediction error of the predicted value is the minimum, the generating means for generating the corresponding motion vector based on the relative position of the second correction data or the third correction data acquired by the means with respect to the target block. , Correction data and output means for outputting a corresponding motion vector.
【００１７】前記出力手段は、予測係数をさらに出力す
ることができる。The output means can further output the prediction coefficient.
【００１８】本発明の第２の画像処理方法は、原画像の
画素数を少なくすることにより圧縮し、縮小画像データ
を生成する圧縮ステップと、圧縮ステップの処理により
生成された縮小画像データを、予測誤差に基づいて補正
し、補正データを生成する補正ステップと、補正ステッ
プの処理により生成された補正データであって、原画像
のうちの第１の原画像に対応する第１の補正データの保
持を制御するとともに、第１の原画像より時間的に前の
第２の原画像に対応する第２の補正データ、または第１
の原画像より時間的に後の第３の原画像に対応する第３
の補正データの少なくとも一方の保持を制御する補正デ
ータ保持制御ステップと、補正データ保持制御ステップ
の処理により保持が制御されている第１の補正データの
注目ブロックを設定する注目ブロック設定ステップと、
補正データ保持制御ステップの処理により保持が制御さ
れている第２の補正データまたは第３の補正データか
ら、注目ブロック設定ステップの処理により設定された
注目ブロックに対応する位置の第２の補正データまたは
第３の補正データを取得する取得ステップと、注目ブロ
ック設定ステップの処理により設定された注目ブロック
と、取得ステップの処理により取得された第２の補正デ
ータまたは第３の補正データに基づいて、第１の原画像
を予測するのに必要な予測補正データを抽出する抽出ス
テップと、補正データ保持制御ステップの処理により保
持が制御されている第１の補正データを、その性質に応
じて所定のクラスに分類するクラス分類ステップと、ク
ラス分類ステップの処理により分類されたクラスに対応
する予測係数を出力する予測係数出力ステップと、クラ
ス分類ステップの処理により分類されたクラスに対応す
る予測係数と、抽出ステップの処理により抽出された予
測補正データに基づいて予測値を演算する演算ステップ
と、第１の原画像に対する演算ステップの処理により演
算された予測値の予測誤差が最小となる場合における、
取得ステップの処理により取得された第２の補正データ
または第３の補正データの注目ブロックに対する相対的
位置に基づいて、それに対応する動きベクトルを生成す
る生成ステップと、予測値の予測誤差が最小となる場合
における、補正データと、対応する動きベクトルを出力
する出力ステップとを含むことを特徴とする。According to a second image processing method of the present invention, the original image is compressed by reducing the number of pixels to generate reduced image data, and the reduced image data generated by the processing of the compression step are A correction step of correcting based on the prediction error to generate correction data; and correction data generated by the processing of the correction step, which is the first correction data corresponding to the first original image of the original images. The second correction data corresponding to the second original image temporally preceding the first original image while controlling the holding, or the first correction data
Of the third original image temporally after the original image of
Correction data holding control step for controlling the holding of at least one of the correction data, and a target block setting step for setting a target block of the first correction data whose holding is controlled by the processing of the correction data holding control step,
From the second correction data or the third correction data whose holding is controlled by the correction data holding control step, the second correction data at the position corresponding to the target block set by the target block setting step or Based on the acquisition step of acquiring the third correction data, the target block set by the processing of the target block setting step, and the second correction data or the third correction data acquired by the processing of the acquisition step, The extraction step of extracting the prediction correction data necessary for predicting the original image of No. 1 and the first correction data whose holding is controlled by the processing of the correction data holding control step are classified into a predetermined class according to their properties. Output the prediction coefficient corresponding to the class classified by the class classification step and the class classification step processing A prediction coefficient output step, a prediction coefficient corresponding to the class classified by the processing of the class classification step, and a calculation step of calculating a prediction value based on the prediction correction data extracted by the processing of the extraction step; In the case where the prediction error of the prediction value calculated by the processing of the calculation step for the original image is the minimum,
A generation step of generating a motion vector corresponding to the relative position of the second correction data or the third correction data acquired by the processing of the acquisition step with respect to the target block, and a prediction error of the prediction value is minimum. In this case, the correction data and the output step of outputting the corresponding motion vector are included.
【００１９】本発明の第２の記録媒体のプログラムは、
原画像の画素数を少なくすることにより圧縮し、縮小画
像データを生成する圧縮ステップと、圧縮ステップの処
理により生成された縮小画像データを、予測誤差に基づ
いて補正し、補正データを生成する補正ステップと、補
正ステップの処理により生成された補正データであっ
て、原画像のうちの第１の原画像に対応する第１の補正
データの保持を制御するとともに、第１の原画像より時
間的に前の第２の原画像に対応する第２の補正データ、
または第１の原画像より時間的に後の第３の原画像に対
応する第３の補正データの少なくとも一方の保持を制御
する補正データ保持制御ステップと、補正データ保持制
御ステップの処理により保持が制御されている第１の補
正データの注目ブロックを設定する注目ブロック設定ス
テップと、補正データ保持制御ステップの処理により保
持が制御されている第２の補正データまたは第３の補正
データから、注目ブロック設定ステップの処理により設
定された注目ブロックに対応する位置の第２の補正デー
タまたは第３の補正データを取得する取得ステップと、
注目ブロック設定ステップの処理により設定された注目
ブロックと、取得ステップの処理により取得された第２
の補正データまたは第３の補正データに基づいて、第１
の原画像を予測するのに必要な予測補正データを抽出す
る抽出ステップと、補正データ保持制御ステップの処理
により保持が制御されている第１の補正データを、その
性質に応じて所定のクラスに分類するクラス分類ステッ
プと、クラス分類ステップの処理により分類されたクラ
スに対応する予測係数を出力する予測係数出力ステップ
と、クラス分類ステップの処理により分類されたクラス
に対応する予測係数と、抽出ステップの処理により抽出
された予測補正データに基づいて予測値を演算する演算
ステップと、第１の原画像に対する演算ステップの処理
により演算された予測値の予測誤差が最小となる場合に
おける、取得ステップの処理により取得された第２の補
正データまたは第３の補正データの注目ブロックに対す
る相対的位置に基づいて、それに対応する動きベクトル
を生成する生成ステップと、予測値の予測誤差が最小と
なる場合における、補正データと、対応する動きベクト
ルを出力する出力ステップとを含むことを特徴とする。The program of the second recording medium of the present invention is
A compression step of compressing the original image by reducing the number of pixels to generate reduced image data, and a correction step of correcting the reduced image data generated by the processing of the compression step based on a prediction error to generate correction data. And the correction data generated by the processing of the correction step, the first correction data corresponding to the first original image of the original image is controlled to be held, and Second correction data corresponding to the previous second original image,
Alternatively, the correction data holding control step for controlling the holding of at least one of the third correction data corresponding to the third original image temporally after the first original image, and the correction data holding control step From the target block setting step of setting the target block of the controlled first correction data and the second correction data or the third correction data whose holding is controlled by the processing of the correction data holding control step, the target block An acquisition step of acquiring the second correction data or the third correction data at the position corresponding to the target block set by the processing of the setting step;
The target block set by the process of the target block setting step and the second block acquired by the process of the acquiring step
Based on the correction data or the third correction data of
The extraction step of extracting the prediction correction data necessary for predicting the original image of the first correction data and the first correction data whose holding is controlled by the processing of the correction data holding control step are classified into a predetermined class according to their properties. A class classification step for classifying, a prediction coefficient output step for outputting the prediction coefficient corresponding to the class classified by the processing of the class classification step, a prediction coefficient corresponding to the class classified by the processing of the class classification step, and an extraction step Of the calculation step of calculating the prediction value based on the prediction correction data extracted by the processing of step 1, and the calculation step of the acquisition step when the prediction error of the prediction value calculated by the processing of the calculation step for the first original image is minimum. Based on the relative position of the second correction data or the third correction data acquired by the processing with respect to the block of interest. There are a generation step of generating a motion vector corresponding thereto, in the case where the prediction error of the prediction value is minimized, characterized in that it comprises a correction data, and an output step of outputting the corresponding motion vector.
【００２０】本発明の第２のプログラムは、原画像の画
素数を少なくすることにより圧縮し、縮小画像データを
生成する圧縮ステップと、圧縮ステップの処理により生
成された縮小画像データを、予測誤差に基づいて補正
し、補正データを生成する補正ステップと、補正ステッ
プの処理により生成された補正データであって、原画像
のうちの第１の原画像に対応する第１の補正データの保
持を制御するとともに、第１の原画像より時間的に前の
第２の原画像に対応する第２の補正データ、または第１
の原画像より時間的に後の第３の原画像に対応する第３
の補正データの少なくとも一方の保持を制御する補正デ
ータ保持制御ステップと、補正データ保持制御ステップ
の処理により保持が制御されている第１の補正データの
注目ブロックを設定する注目ブロック設定ステップと、
補正データ保持制御ステップの処理により保持が制御さ
れている第２の補正データまたは第３の補正データか
ら、注目ブロック設定ステップの処理により設定された
注目ブロックに対応する位置の第２の補正データまたは
第３の補正データを取得する取得ステップと、注目ブロ
ック設定ステップの処理により設定された注目ブロック
と、取得ステップの処理により取得された第２の補正デ
ータまたは第３の補正データに基づいて、第１の原画像
を予測するのに必要な予測補正データを抽出する抽出ス
テップと、補正データ保持制御ステップの処理により保
持が制御されている第１の補正データを、その性質に応
じて所定のクラスに分類するクラス分類ステップと、ク
ラス分類ステップの処理により分類されたクラスに対応
する予測係数を出力する予測係数出力ステップと、クラ
ス分類ステップの処理により分類されたクラスに対応す
る予測係数と、抽出ステップの処理により抽出された予
測補正データに基づいて予測値を演算する演算ステップ
と、第１の原画像に対する演算ステップの処理により演
算された予測値の予測誤差が最小となる場合における、
取得ステップの処理により取得された第２の補正データ
または第３の補正データの注目ブロックに対する相対的
位置に基づいて、それに対応する動きベクトルを生成す
る生成ステップと、予測値の予測誤差が最小となる場合
における、補正データと、対応する動きベクトルを出力
する出力ステップとをコンピュータに実行させることを
特徴とする。The second program of the present invention compresses the original image by reducing the number of pixels to generate reduced image data, and the reduced image data generated by the process of the compressing step into a prediction error. A correction step for generating correction data based on the correction data and the correction data generated by the processing of the correction step, the first correction data corresponding to the first original image among the original images. The second correction data corresponding to the second original image which is controlled and is temporally earlier than the first original image, or the first correction data
Of the third original image temporally after the original image of
Correction data holding control step for controlling the holding of at least one of the correction data, and a target block setting step for setting a target block of the first correction data whose holding is controlled by the processing of the correction data holding control step,
From the second correction data or the third correction data whose holding is controlled by the correction data holding control step, the second correction data at the position corresponding to the target block set by the target block setting step or Based on the acquisition step of acquiring the third correction data, the target block set by the processing of the target block setting step, and the second correction data or the third correction data acquired by the processing of the acquisition step, The extraction step of extracting the prediction correction data necessary for predicting the original image of No. 1 and the first correction data whose holding is controlled by the processing of the correction data holding control step are classified into a predetermined class according to their properties. Output the prediction coefficient corresponding to the class classified by the class classification step and the class classification step processing A prediction coefficient output step, a prediction coefficient corresponding to the class classified by the processing of the class classification step, and a calculation step of calculating a prediction value based on the prediction correction data extracted by the processing of the extraction step; In the case where the prediction error of the prediction value calculated by the processing of the calculation step for the original image is the minimum,
A generation step of generating a motion vector corresponding to the relative position of the second correction data or the third correction data acquired by the processing of the acquisition step with respect to the target block, and a prediction error of the prediction value is minimum. In such a case, the computer is caused to execute the correction data and the output step of outputting the corresponding motion vector.
【００２１】本発明の第３の画像処理装置は、補正デー
タを含む処理対象データを取得する取得手段と、取得手
段により取得された処理対象データから補正データと動
きベクトルを分離する分離手段と、分離手段により分離
された補正データであって、原画像のうちの第１の原画
像に対応する第１の補正データと、第１の原画像より時
間的に前の第２の原画像に対応する第２の補正データ、
または第１の原画像より時間的に後の第３の原画像に対
応する第３の補正データのうちの少なくとも一方、並び
に分離手段により分離された動きベクトルに基づいて、
第１の原画像を予測するのに用いる補正データとしての
予測対象画像データを抽出する予測対象画像データ抽出
手段と、分離手段により分離された補正データを、その
性質に応じて所定のクラスに分類するクラス分類手段
と、予測係数を保持し、クラス分類手段により分類され
たクラスに対応する予測係数を出力する予測係数保持手
段と、クラス分類手段により分類されたクラスに対応す
る予測係数と、予測対象画像データに基づいて、第１の
原画像の予測値を演算する演算手段とを備えることを特
徴とする。The third image processing apparatus of the present invention comprises an acquisition means for acquiring the processing target data including the correction data, a separation means for separating the correction data and the motion vector from the processing target data acquired by the acquisition means, The correction data separated by the separating means corresponds to the first correction data corresponding to the first original image of the original images and the second original image temporally preceding the first original image. Second correction data to
Alternatively, based on at least one of the third correction data corresponding to the third original image temporally after the first original image, and the motion vector separated by the separating means,
Prediction target image data extracting means for extracting prediction target image data as correction data used for predicting the first original image, and correction data separated by the separating means are classified into a predetermined class according to their properties. A prediction coefficient holding unit for holding the prediction coefficient, which outputs the prediction coefficient corresponding to the class classified by the class classification unit, and the prediction coefficient corresponding to the class classified by the class classification unit, And a calculation unit that calculates a predicted value of the first original image based on the target image data.
【００２２】前記分離手段は、処理対象データから予測
係数をさらに分離し、予測係数保持手段は、分離手段に
より分離された予測係数を保持することができる。The separation means can further separate the prediction coefficient from the data to be processed, and the prediction coefficient holding means can hold the prediction coefficient separated by the separation means.
【００２３】本発明の第３の画像処理方法は、補正デー
タを含む処理対象データを取得する取得ステップと、取
得ステップの処理により取得された処理対象データから
補正データと動きベクトルを分離する分離ステップと、
分離ステップの処理により分離された補正データであっ
て、原画像のうちの第１の原画像に対応する第１の補正
データと、第１の原画像より時間的に前の第２の原画像
に対応する第２の補正データ、または第１の原画像より
時間的に後の第３の原画像に対応する第３の補正データ
のうちの少なくとも一方、並びに分離ステップの処理に
より分離された動きベクトルに基づいて、第１の原画像
を予測するのに用いる補正データとしての予測対象画像
データを抽出する予測対象画像データ抽出ステップと、
分離ステップの処理により分離された補正データを、そ
の性質に応じて所定のクラスに分類するクラス分類ステ
ップと、クラス分類ステップの処理により分類されたク
ラスに対応する予測係数を出力する予測係数出力ステッ
プと、クラス分類ステップの処理により分類されたクラ
スに対応する予測係数と、予測対象画像データに基づい
て、第１の原画像の予測値を演算する演算ステップとを
含むことを特徴とする。A third image processing method of the present invention comprises an acquisition step of acquiring processing target data including correction data, and a separation step of separating the correction data and the motion vector from the processing target data acquired by the processing of the acquisition step. When,
First correction data corresponding to the first original image of the original images, which is the correction data separated by the process of the separating step, and the second original image temporally preceding the first original image. At least one of the second correction data corresponding to, or the third correction data corresponding to the third original image that is after the first original image in time, and the motion separated by the process of the separating step. A prediction target image data extraction step of extracting prediction target image data as correction data used to predict the first original image based on the vector;
A class classification step that classifies the correction data separated by the processing of the separation step into a predetermined class according to the property, and a prediction coefficient output step that outputs the prediction coefficient corresponding to the class classified by the processing of the class classification step. And a prediction coefficient corresponding to the class classified by the processing of the class classification step, and a calculation step of calculating a prediction value of the first original image based on the prediction target image data.
【００２４】本発明の第３の記録媒体のプログラムは、
原画像の画素数を少なくすることにより圧縮することで
生成された縮小画像データを、原画像との予測誤差に基
づいて補正することで生成された補正データを復号する
画像処理装置のプログラムであって、補正データを含む
処理対象データを取得する取得ステップと、取得ステッ
プの処理により取得された処理対象データから補正デー
タと動きベクトルを分離する分離ステップと、分離ステ
ップの処理により分離された補正データであって、原画
像のうちの第１の原画像に対応する第１の補正データ
と、第１の原画像より時間的に前の第２の原画像に対応
する第２の補正データ、または第１の原画像より時間的
に後の第３の原画像に対応する第３の補正データのうち
の少なくとも一方、並びに分離ステップの処理により分
離された動きベクトルに基づいて、第１の原画像を予測
するのに用いる補正データとしての予測対象画像データ
を抽出する予測対象画像データ抽出ステップと、分離ス
テップの処理により分離された補正データを、その性質
に応じて所定のクラスに分類するクラス分類ステップ
と、クラス分類ステップの処理により分類されたクラス
に対応する予測係数を出力する予測係数出力ステップ
と、クラス分類ステップの処理により分類されたクラス
に対応する予測係数と、予測対象画像データに基づい
て、第１の原画像の予測値を演算する演算ステップとを
含むことを特徴とする。The program of the third recording medium of the present invention is
A program for an image processing device that decodes the correction data generated by correcting the reduced image data generated by compressing the original image by reducing the number of pixels, based on the prediction error from the original image. The acquisition step for acquiring the processing target data including the correction data, the separation step for separating the correction data and the motion vector from the processing target data acquired by the processing of the acquisition step, and the correction data separated by the processing of the separation step. And the first correction data corresponding to the first original image of the original images and the second correction data corresponding to the second original image temporally preceding the first original image, or At least one of the third correction data corresponding to the third original image temporally after the first original image, and the motion vector separated by the process of the separating step. The prediction target image data extraction step of extracting the prediction target image data as the correction data used to predict the first original image, and the correction data separated by the processing of the separation step, according to their properties. A class classification step of classifying into a predetermined class by the following, a prediction coefficient output step of outputting a prediction coefficient corresponding to the class classified by the processing of the class classification step, and a prediction corresponding to the class classified by the processing of the class classification step It is characterized by including a coefficient and a calculation step of calculating a prediction value of the first original image based on the prediction target image data.
【００２５】本発明の第３のプログラムは、原画像の画
素数を少なくすることにより圧縮することで生成された
縮小画像データを、原画像との予測誤差に基づいて補正
することで生成された補正データを復号する画像処理装
置を制御するコンピュータに、補正データを含む処理対
象データを取得する取得ステップと、取得ステップの処
理により取得された処理対象データから補正データと動
きベクトルを分離する分離ステップと、分離ステップの
処理により分離された補正データであって、原画像のう
ちの第１の原画像に対応する第１の補正データと、第１
の原画像より時間的に前の第２の原画像に対応する第２
の補正データ、または第１の原画像より時間的に後の第
３の原画像に対応する第３の補正データのうちの少なく
とも一方、並びに分離ステップの処理により分離された
動きベクトルに基づいて、第１の原画像を予測するのに
用いる補正データとしての予測対象画像データを抽出す
る予測対象画像データ抽出ステップと、分離ステップの
処理により分離された補正データを、その性質に応じて
所定のクラスに分類するクラス分類ステップと、クラス
分類ステップの処理により分類されたクラスに対応する
予測係数を出力する予測係数出力ステップと、クラス分
類ステップの処理により分類されたクラスに対応する予
測係数と、予測対象画像データに基づいて、第１の原画
像の予測値を演算する演算ステップとを実行させること
を特徴とする。The third program of the present invention is generated by correcting the reduced image data generated by compressing the original image by reducing the number of pixels, based on a prediction error from the original image. A computer for controlling an image processing apparatus that decodes the correction data, and an acquisition step of acquiring the processing target data including the correction data, and a separation step of separating the correction data and the motion vector from the processing target data acquired by the processing of the acquisition step. And correction data separated by the process of the separation step, the first correction data corresponding to the first original image of the original images, and the first correction data
2nd corresponding to the 2nd original image temporally preceding the original image of
Of at least one of the third correction data corresponding to the third original image temporally after the first original image, and the motion vector separated by the process of the separating step, A prediction target image data extraction step for extracting prediction target image data as correction data used for predicting the first original image, and correction data separated by the processing of the separation step are classified into a predetermined class according to their properties. Class classification step to classify into, the prediction coefficient output step to output the prediction coefficient corresponding to the class classified by the processing of the class classification step, the prediction coefficient corresponding to the class classified by the processing of the class classification step, and the prediction And a calculation step of calculating a predicted value of the first original image based on the target image data.
【００２６】本発明の第１の画像処理装置および方法、
記録媒体、並びにプログラムにおいては、動きベクトル
が生成され、生成された動きベクトルに基づいて、第１
の原画像を予測した予測値が生成され、予測値の第１の
原画像に対する予測誤差が算出される。算出された予測
誤差に基づいて、補正データの適正差が判定された場
合、補正データと対応する動きベクトルが出力される。A first image processing apparatus and method of the present invention;
In the recording medium and the program, a motion vector is generated, and the first motion vector is generated based on the generated motion vector.
Of the original image is generated, and a prediction error of the predicted value with respect to the first original image is calculated. When the appropriate difference between the correction data is determined based on the calculated prediction error, the motion vector corresponding to the correction data is output.
【００２７】本発明の第２の画像処理装置および方法、
記録媒体、並びにプログラムにおいては、分類されたク
ラスに対応する予測係数と、予測補正データに基づいて
予測値が演算され、予測値の予測誤差が最小となる場合
における動きベクトルが生成される。そして、予測誤差
が、最小となる場合における補正データと対応する動き
ベクトルが出力される。A second image processing apparatus and method of the present invention,
In the recording medium and the program, the prediction value is calculated based on the prediction coefficient corresponding to the classified class and the prediction correction data, and the motion vector when the prediction error of the prediction value is the minimum is generated. Then, the motion vector corresponding to the correction data when the prediction error is the minimum is output.
【００２８】本発明の第３の画像処理装置および方法、
記録媒体、並びにプログラムにおいては、処理対象デー
タから補正データと動きベクトルが分離され、分離され
た動きベクトルに基づいて、第１の原画像を予測するの
に用いる補正データとしての予測対象画像データが抽出
され、分類されたクラスに対する予測係数と、予測対象
画像データに基づいて、第１の原画像の予測値が演算さ
れる。A third image processing apparatus and method of the present invention,
In the recording medium and the program, the correction data and the motion vector are separated from the processing target data, and the prediction target image data as the correction data used for predicting the first original image is based on the separated motion vector. The prediction value of the first original image is calculated based on the prediction coefficient for the extracted and classified class and the prediction target image data.
【００２９】[0029]
【発明の実施の形態】図２は、本発明を適用した画像処
理装置の一実施の形態の構成を示している。FIG. 2 shows the configuration of an embodiment of an image processing apparatus to which the present invention is applied.
【００３０】送信装置４１には、ディジタル化された画
像データが供給される。送信装置４１は、入力された画
像データを、例えば図３に示されるように、１／９に間
引くこと（その画素数を少なくすること）により圧縮、
符号化し、その結果得られる符号化データを、さらにク
ラス分類適応処理により予測し、例えば、光ディスク、
光磁気ディスク、磁気テープ、相変化ディスク、その他
でなる記録媒体４２に記録したり、または、例えば、地
上波、衛星回線、電話回線、ＣＡＴＶ網、インターネッ
ト、その他の伝送路４３を介して伝送する。The transmitting device 41 is supplied with digitized image data. The transmission device 41 compresses the input image data by thinning out to 1/9 (reducing the number of pixels), as shown in FIG. 3, for example.
The coded data obtained as a result of the coding is further predicted by the class classification adaptive processing, and, for example, an optical disc,
It is recorded on a recording medium 42 composed of a magneto-optical disc, a magnetic tape, a phase change disc, or the like, or is transmitted via, for example, a terrestrial wave, a satellite line, a telephone line, a CATV network, the Internet, or another transmission line 43. .
【００３１】受信装置４４では、記録媒体４２に記録さ
れた符号化データが再生され、または、伝送路４３を介
して伝送されてくる符号化データが受信される。その符
号化データは、図４に示されるように、クラス分類適応
処理に基づいて、伸張、復号される。そして、その結果
得られる復号画像が、図示せぬディスプレイに供給され
て表示される。The receiving device 44 reproduces the encoded data recorded in the recording medium 42 or receives the encoded data transmitted through the transmission path 43. As shown in FIG. 4, the encoded data is decompressed and decoded based on the class classification adaptive processing. Then, the decoded image obtained as a result is supplied and displayed on a display (not shown).
【００３２】なお、以上のような画像処理装置は、例え
ば、光ディスク装置や、光磁気ディスク装置、磁気テー
プ装置、その他の、画像の記録または再生を行う装置、
あるいはまた、例えば、テレビ電話装置、テレビジョン
放送システム、ＣＡＴＶシステム、その他の、画像の伝
送を行う装置などに適用される。また、後述するよう
に、送信装置４１が出力する符号化データのデータ量が
少ないため、図２の画像処理装置は、伝送レートの低
い、例えば、携帯電話機、その他の、移動に便利な携帯
端末などにも適用可能である。The image processing apparatus as described above is, for example, an optical disk apparatus, a magneto-optical disk apparatus, a magnetic tape apparatus, or any other apparatus for recording or reproducing an image,
Alternatively, it is applied to, for example, a videophone device, a television broadcasting system, a CATV system, and other devices that transmit images. In addition, as will be described later, since the data amount of the encoded data output by the transmission device 41 is small, the image processing device of FIG. 2 has a low transmission rate, such as a mobile phone and other portable terminals that are convenient for movement. It is also applicable to
【００３３】図５は、図２の送信装置４１のハードウェ
アの構成例を示している。FIG. 5 shows an example of the hardware configuration of the transmitter 41 of FIG.
【００３４】Ｉ／Ｆ（InterFace）６１は、外部から供
給される画像データの受信処理と、送信機／記録装置６
６に対しての、符号化データの送信処理を行う。ROM（R
eadOnly Memory）６２は、IPL（Initial Program Loadi
ng）用のプログラムその他を記憶している。RAM（Rando
m Access Memory）６３は、外部記憶装置６５に記録さ
れているシステムプログラム（OS（Operating Syste
m））やアプリケーションプログラムを記憶したり、ま
た、CPU（Central Processing Unit）６４の動作上必要
なデータを記憶する。CPU６４は、ROM６２に記憶されて
いるIPLプログラムにしたがい、外部記憶装置６５から
システムプログラムおよびアプリケーションプログラム
を、RAM６３に展開し、そのシステムプログラムの制御
の下、アプリケーションプログラムを実行することで、
Ｉ／Ｆ６１から供給される画像データについての、後述
するような符号化処理を行う。An I / F (InterFace) 61 is used for receiving image data supplied from the outside and for transmitting / recording device 6
The encoded data transmission processing for 6 is performed. ROM (R
eadOnly Memory) 62 is an IPL (Initial Program Loadi)
ng) and other programs are stored. RAM (Rando
The m access memory (63) is a system program (OS (Operating System) that is recorded in the external storage device 65.
m)) and application programs, and also data necessary for the operation of the CPU (Central Processing Unit) 64. The CPU 64 expands the system program and the application program from the external storage device 65 to the RAM 63 according to the IPL program stored in the ROM 62, and executes the application program under the control of the system program,
The image data supplied from the I / F 61 is subjected to an encoding process as described later.
【００３５】外部記憶装置６５は、例えば、磁気ディス
ク７１、光ディスク７２、光磁気ディスク７３、または
半導体メモリ７４などでなり、上述したように、CPU６
４が実行するシステムプログラムやアプリケーションプ
ログラムを記憶している他、CPU６４が動作上必要とす
るデータも記憶している。送信機／記録装置６６は、Ｉ
／Ｆ６１から供給される符号化データを、記録媒体４２
に記録したり、または伝送路４３を介して伝送する。The external storage device 65 is, for example, a magnetic disk 71, an optical disk 72, a magneto-optical disk 73, a semiconductor memory 74, etc., and as described above, the CPU 6
In addition to storing system programs and application programs executed by the CPU 4, data necessary for the CPU 64 to operate are also stored. The transmitter / recorder 66 is
The encoded data supplied from the / F 61 to the recording medium 42.
Or transmitted via the transmission path 43.
【００３６】なお、Ｉ／Ｆ６１，ROM６２，RAM６３，CP
U６４、および外部記憶装置６５は、相互にバスを介し
て接続されている。I / F 61, ROM 62, RAM 63, CP
The U 64 and the external storage device 65 are connected to each other via a bus.
【００３７】以上のように構成される送信装置４１にお
いては、Ｉ／Ｆ６１に画像データが供給されると、その
画像データは、CPU６４に供給される。CPU６４は、画像
データを符号化し、その結果得られる符号化データを、
Ｉ／Ｆ６１に供給する。Ｉ／Ｆ６１は、符号化データを
受信すると、それを、送信機／記録装置６６に供給す
る。送信機／記録装置６６は、Ｉ／Ｆ６１からの符号化
データを、記録媒体４２に記録したり、または伝送路４
３を介して伝送する。In the transmitting device 41 configured as described above, when image data is supplied to the I / F 61, the image data is supplied to the CPU 64. The CPU 64 encodes the image data, and the encoded data obtained as a result is
Supply to I / F 61. Upon receiving the encoded data, the I / F 61 supplies it to the transmitter / recording device 66. The transmitter / recording device 66 records the encoded data from the I / F 61 on the recording medium 42 or the transmission line 4
3 through 3.
【００３８】図６は、図５の送信装置４１の、送信機／
記録装置６６を除く部分の機能的な構成例を示してい
る。FIG. 6 shows the transmitter / receiver of the transmitter 41 of FIG.
The functional configuration example of the part excluding the recording device 66 is shown.
【００３９】符号化すべき画像データは、縮小画像作成
部１１１および誤差算出部１１５に供給される。縮小画
像生成部１１１は、画像データを、その画素を、例え
ば、単純に間引くことにより圧縮し、その結果得られる
圧縮データ（間引きが行われた後の縮小画像データ）を
補正部１１２に出力する。補正部１１２は、制御部１１
６からの制御信号にしたがって、圧縮データを補正す
る。補正部１１２における補正の結果得られる補正デー
タは、動き推定部１１３、ローカルデコード部１１４、
および制御部１１６に供給される。動き推定部１１３
は、画像データと補正データから画像の動きを推定し、
動きベクトルをローカルデコード部１１４に出力する。The image data to be encoded is supplied to the reduced image creating section 111 and the error calculating section 115. The reduced image generation unit 111 compresses the image data by, for example, simply thinning out the pixels, and outputs the resulting compressed data (reduced image data after thinning out) to the correction unit 112. . The correction unit 112 includes the control unit 11
According to the control signal from 6, the compressed data is corrected. The correction data obtained as a result of the correction in the correction unit 112 includes the motion estimation unit 113, the local decoding unit 114,
And to the control unit 116. Motion estimation unit 113
Estimates the motion of the image from the image data and the correction data,
The motion vector is output to the local decoding unit 114.
【００４０】ローカルデコード部１１４は、補正部１１
２からの補正データと動き推定部１１３からの動きベク
トルに基づいて、元の画像を予測し、その予測値を、誤
差算出部１１５に供給する。なお、ローカルデコード部
１１４は、後述するように、補正データと予測係数との
線形結合により、予測値を算出する。そして、ローカル
デコード部１１４は、予測値を、誤差算出部１１５に供
給する他、そのとき求めたクラスごとの予測係数を、制
御部１１６に供給する。The local decoding unit 114 includes the correction unit 11
The original image is predicted based on the correction data from 2 and the motion vector from the motion estimation unit 113, and the predicted value is supplied to the error calculation unit 115. The local decoding unit 114 calculates the prediction value by linear combination of the correction data and the prediction coefficient, as described later. Then, the local decoding unit 114 supplies the prediction value to the error calculation unit 115, and also supplies the prediction coefficient for each class obtained at that time to the control unit 116.
【００４１】誤差算出部１１５は、そこに入力される、
元の画像データ（原画像）に対する、ローカルデコード
部１１４からの予測値の予測誤差を算出する。この予測
誤差は、誤差情報として、制御部１１６に供給される。The error calculation unit 115 is input to it.
The prediction error of the prediction value from the local decoding unit 114 with respect to the original image data (original image) is calculated. This prediction error is supplied to the control unit 116 as error information.
【００４２】制御部１１６は、誤差算出部１１５からの
誤差情報に基づいて、補正部１１２が出力した補正デー
タを、元の画像の符号化結果とすることの適正さを判定
する。そして、制御部１１６は、補正部１１２が出力し
た補正データを、元の画像の符号化結果とすることが適
正でないと判定した場合には、補正部１１２を制御し、
さらに、圧縮データを補正させ、その結果得られる新た
な補正データを出力させる。また、制御部１１６は、補
正部１１２が出力した補正データを、元の画像の符号化
結果とすることが適正であると判定した場合には、補正
部１１２から供給された補正データを、最適な圧縮デー
タ（以下、適宜、最適圧縮データという）として多重化
部１１７に供給するとともに、ローカルデコード部１１
４から供給されたクラスごとの予測係数と、動き推定部
１１３から供給される動きベクトルを多重化部１１７に
供給する。The control unit 116 determines, based on the error information from the error calculation unit 115, whether or not the correction data output by the correction unit 112 is the encoding result of the original image. Then, the control unit 116 controls the correction unit 112 when determining that the correction data output by the correction unit 112 is not appropriate as the encoding result of the original image,
Further, the compressed data is corrected, and new correction data obtained as a result is output. In addition, when the control unit 116 determines that it is appropriate to use the correction data output by the correction unit 112 as the encoding result of the original image, the control unit 116 optimizes the correction data supplied from the correction unit 112. Compressed data (hereinafter referred to as optimum compressed data as appropriate) to the multiplexing unit 117, and the local decoding unit 11
The prediction coefficient for each class supplied from No. 4 and the motion vector supplied from the motion estimation unit 113 are supplied to the multiplexing unit 117.
【００４３】多重化部１１７は、制御部１１６からの最
適圧縮データ（補正データ）と、クラスごとの予測係
数、および動きベクトルを多重化し、その多重化結果
を、符号化データとして、送信機／記録装置６６（図
５）に供給する。The multiplexing unit 117 multiplexes the optimum compressed data (correction data) from the control unit 116, the prediction coefficient for each class, and the motion vector, and the multiplexing result is coded data as a transmitter / transmitter. It is supplied to the recording device 66 (FIG. 5).
【００４４】次に、図７のフローチャートを参照して、
送信装置４１が実行する符号化処理について説明する。
縮小画像作成部１１１に対して、画像データが供給され
ると、縮小画像作成部１１１は、ステップＳ１１におい
て、縮小画像作成処理を実行する。Next, referring to the flowchart of FIG.
The encoding process executed by the transmission device 41 will be described.
When the image data is supplied to the reduced image creating unit 111, the reduced image creating unit 111 executes a reduced image creating process in step S11.
【００４５】図８は、縮小画像作成処理の１つの例とし
ての単純間引き処理を表している。最初に、ステップＳ
３１において、縮小画像作成部１１１は、圧縮される前
の画像データを、ｍ×ｎ個の画素データで構成されるブ
ロックに分割する。次に、ステップＳ３２において、ｍ
×ｎ個の画素データの中から１つの画素データを抽出
し、その画素データをそのブロックを代表する１つの画
素データとする。FIG. 8 shows a simple thinning process as one example of the reduced image creating process. First, step S
In 31, the reduced image creating unit 111 divides the image data before being compressed into blocks composed of m × n pixel data. Next, in step S32, m
One pixel data is extracted from the × n pixel data, and the pixel data is set as one pixel data representing the block.
【００４６】ステップＳ３３において、縮小画像作成部
１１１は、以上の処理が、そのフレームの全てのブロッ
クについて終了したか否かを判定し、まだ処理していな
いブロックが残っている場合には、ステップＳ３１に戻
り、それ以降の処理を繰り返し実行する。全てのブロッ
クについての処理が終了したと判定された場合、処理は
終了される。In step S33, the reduced image creating section 111 determines whether or not the above processing has been completed for all blocks of the frame, and if there is any unprocessed block, then step S33 is performed. The process returns to S31 and the subsequent processes are repeatedly executed. If it is determined that the processing has been completed for all blocks, the processing ends.
【００４７】すなわち、この例においては、図９に示さ
れるように、例えば３×３個（ｍ＝ｎ＝３）の画素デー
タａ１乃至ａ９の中から、中央の１個の画素ａ５が選択
される。同様にして、隣の３×３個のｂ１乃至ｂ９の９
個の画素の中から、中央の画素ｂ５が選択される。That is, in this example, as shown in FIG. 9, one central pixel a5 is selected from, for example, 3 × 3 (m = n = 3) pixel data a1 to a9. It Similarly, 9 of 3 × 3 adjacent b1 to b9
The central pixel b5 is selected from the individual pixels.
【００４８】以上のような単純間引き処理が繰り返し実
行されることで、入力された画像データは、１／９の縮
小画像データに圧縮される。The input image data is compressed into 1/9 reduced image data by repeatedly executing the simple thinning processing as described above.
【００４９】図１０は、縮小画像作成処理の他の例を表
している。この例においては、ステップＳ５１におい
て、縮小画像作成部１１１は、入力された画像データを
ｍ×ｎ個のブロックに分割する。ステップＳ５２におい
て、縮小画像作成部１１１は、ステップＳ５１の処理で
分割されたｍ×ｎ個の画素の平均値を計算する。そし
て、その平均値をｍ×ｎ個の画素で構成されるブロック
を代表する１つの画素とする。FIG. 10 shows another example of the reduced image creating process. In this example, in step S51, the reduced image creation unit 111 divides the input image data into m × n blocks. In step S52, the reduced image creation unit 111 calculates the average value of the m × n pixels divided in the process of step S51. Then, the average value is set as one pixel representing a block composed of m × n pixels.
【００５０】ステップＳ５３において、縮小画像作成部
１１１は、全てのブロックについて同様の処理を実行し
たか否かを判定し、まだ処理していないブロックが残っ
ている場合にはステップＳ５１に戻り、それ以降の処理
を繰り返し実行する。全てのブロックについての処理が
終了したと判定された場合、処理は終了される。In step S53, the reduced image creation unit 111 determines whether or not the same processing has been executed for all blocks, and if there are unprocessed blocks, the process returns to step S51, Repeat the following processing. If it is determined that the processing has been completed for all blocks, the processing ends.
【００５１】このようにして、例えば、図１１に示され
るように、ａ１乃至ａ９の３×３個の画素の平均値Ａ
が、次式に基づいて演算される。In this way, for example, as shown in FIG. 11, the average value A of 3 × 3 pixels a1 to a9.
Is calculated based on the following equation.
【００５２】[0052]
【数１】 [Equation 1]
【００５３】また、画素ｂ１乃至ｂ９の３×３個の画素
の平均値Ｂが次式に基づいて演算される。The average value B of 3 × 3 pixels of the pixels b1 to b9 is calculated based on the following equation.
【００５４】[0054]
【数２】 [Equation 2]
【００５５】さらに、同様に、画素ｃ１乃至ｃ９の３×
３個の画素の平均値Ｃが次式に基づいて演算される。Further, similarly, 3 × pixels c1 to c9
The average value C of the three pixels is calculated based on the following equation.
【００５６】[0056]
【数３】 [Equation 3]
【００５７】縮小画像作成部１１１で生成された縮小画
像データ（圧縮データ）は、補正部１１２に供給され、
最初は補正が行われずに、そのまま補正データとして、
ローカルデコード部１１４と動き推定部１１３に供給さ
れる。The reduced image data (compressed data) generated by the reduced image creation unit 111 is supplied to the correction unit 112,
At first, no correction is performed, and as it is, the correction data is
It is supplied to the local decoding unit 114 and the motion estimation unit 113.
【００５８】ステップＳ１２において、動き推定部１１
３は、補正部１１２より供給された補正データに基づい
て画像の動きを検出し、その動きに対応する動きベクト
ルを生成して、ローカルデコード部１１４と制御部１１
６に出力する。この動きベクトル推定処理の詳細につい
ては、図１４と図１５を参照して後述する。In step S12, the motion estimation unit 11
3 detects a motion of the image based on the correction data supplied from the correction unit 112, generates a motion vector corresponding to the motion, and outputs the local decoding unit 114 and the control unit 11.
Output to 6. Details of this motion vector estimation processing will be described later with reference to FIGS. 14 and 15.
【００５９】次に、ステップＳ１３において、ローカル
デコード部１１４は、補正部１１２からの補正データ
（最初は、上述したように縮小画像データそのもの）
を、クラス分類適応処理に基づいてデコードする（復号
する）。Next, in step S13, the local decoding unit 114 corrects the correction data from the correction unit 112 (initially, the reduced image data itself as described above).
Is decoded (decoded) based on the class classification adaptive processing.
【００６０】この復号処理の詳細については、図１６乃
至図１９を参照して後述するが、ローカルデコード部１
１４は、補正部１１２より供給される補正データから、
動き推定部１１３より供給される動きベクトルに基づい
て、予測処理を行うための補正データ（予測タップ）で
構成される予測値計算用ブロック（予測対象データ）を
抽出し、その抽出した予測対象データに対して、クラス
毎の予測係数を線形結合させることで、予測値を演算す
る。ローカルデコード部１１４で生成された予測値は、
誤差算出部１１５に供給され、用いられた予測係数は、
制御部１１６に供給される。The details of this decoding processing will be described later with reference to FIGS. 16 to 19, but the local decoding unit 1
14 is the correction data supplied from the correction unit 112,
A prediction value calculation block (prediction target data) composed of correction data (prediction tap) for performing prediction processing is extracted based on the motion vector supplied from the motion estimation unit 113, and the extracted prediction target data On the other hand, the prediction value is calculated by linearly combining the prediction coefficients for each class. The prediction value generated by the local decoding unit 114 is
The prediction coefficient supplied to the error calculation unit 115 and used is
It is supplied to the control unit 116.
【００６１】ここで、ローカルデコード部１１４が出力
する予測値で構成される画像は、受信装置４４（図２）
側において得られる復号画像と同一のものである。Here, the image composed of the predicted value output by the local decoding unit 114 is the receiving device 44 (FIG. 2).
It is the same as the decoded image obtained on the side.
【００６２】ステップＳ１４において誤差算出部１１５
は、ローカルデコード部１１４より供給された予測値と
画像データ（縮小される前の画像データ）との予測誤差
を算出し、誤差情報として制御部１１６に供給する。In step S14, the error calculator 115
Calculates a prediction error between the prediction value supplied from the local decoding unit 114 and the image data (image data before being reduced), and supplies it to the control unit 116 as error information.
【００６３】ステップＳ１５において、制御部１１６
は、誤差算出部１１５からの誤差情報に基づいて、最適
化処理を実行する。すなわち、制御部１１６は、誤差算
出部１１５からの予測誤差に基づいて、圧縮データを補
正させる。補正部１１２は、制御部１１６からの制御信
号に基づいて、補正量（後述する補正値Δ）を変更して
圧縮データを補正し、その結果得られる補正データを動
き推定部１１３、ローカルデコード部１１４、および制
御部１１６に出力する。In step S15, the control unit 116
Performs optimization processing based on the error information from the error calculation unit 115. That is, the control unit 116 corrects the compressed data based on the prediction error from the error calculation unit 115. The correction unit 112 corrects the compressed data by changing the correction amount (correction value Δ described later) based on the control signal from the control unit 116, and the resulting correction data is used as the motion estimation unit 113 and the local decoding unit. 114 and the control unit 116.
【００６４】ステップＳ１６において、動き推定部１１
３は、画像の動きを再び検出し、動きベクトルを生成す
る。このとき、処理対象とされている補正データは、ス
テップＳ１２における場合とは異なる値に補正されてい
るため、異なる動きベクトルが得られる可能性がある。In step S16, the motion estimation unit 11
3 detects the motion of the image again and generates a motion vector. At this time, since the correction data to be processed is corrected to a value different from that in step S12, a different motion vector may be obtained.
【００６５】動き推定部１１３により生成された動きベ
クトルは、ローカルデコード部１１４に供給される。ロ
ーカルデコード部１１４は、ステップＳ１７において、
ステップＳ１６の処理で動き推定部１１３により生成さ
れた動きベクトルを利用して、補正データの中から予測
値計算用ブロックを抽出し、クラス分類適応処理を施す
ことで予測値を演算する。このとき、処理対象とされて
いる予測値計算用ブロックは、ステップＳ１３の処理に
おける場合と異なるものとなるため、多くの場合、得ら
れる予測値も異なるものとなる。The motion vector generated by the motion estimation unit 113 is supplied to the local decoding unit 114. The local decoding unit 114, in step S17,
Using the motion vector generated by the motion estimation unit 113 in the process of step S16, a prediction value calculation block is extracted from the correction data, and a prediction value is calculated by performing a class classification adaptation process. At this time, the prediction value calculation block that is the processing target is different from that in the process of step S13, and thus, in many cases, the obtained prediction value is also different.
【００６６】ステップＳ１８において、誤差算出部１１
５は、ステップＳ１７の処理でローカルデコード部１１
４により生成された予測値の元の画像（原画像）の画像
データとの差（予測誤差）を算出し、誤差情報として制
御部１１６に出力する。In step S18, the error calculation unit 11
5 is the local decoding unit 11 in the processing of step S17.
The difference (prediction error) between the predicted value generated in 4 and the image data of the original image (original image) is calculated and output to the control unit 116 as error information.
【００６７】制御部１１６は、ステップＳ１９におい
て、補正部１１２により生成された補正データを、原画
像の符号化結果とすることの適正さを判定する。具体的
には、例えば、予測誤差が所定の閾値εより小さいか否
か、あるいは最適化処理を行った回数が、予め設定され
た所定の回数に達したか否かが判定される。予測誤差が
所定の閾値εより大きい場合、あるいは、最適化の処理
回数がまだ所定の回数に達していない場合、ステップＳ
１５に戻り、それ以降の処理が繰り返し実行される。In step S19, the control unit 116 determines the appropriateness of using the correction data generated by the correction unit 112 as the encoding result of the original image. Specifically, for example, it is determined whether or not the prediction error is smaller than a predetermined threshold value ε, or whether or not the number of times optimization processing has been performed reaches a predetermined number of times set in advance. If the prediction error is larger than the predetermined threshold value ε, or if the number of optimization processes has not yet reached the predetermined number, step S
Returning to 15, the subsequent processing is repeatedly executed.
【００６８】ステップＳ１９において、予測誤差が所定
の閾値εより小さくなったと判定された場合、あるいは
最適化処理が所定の回数実行されたと判定された場合、
制御部１１６は、補正データを原画像の符号化結果とす
ることが適正であると判定し、ステップＳ２０におい
て、補正部１１２より、そのとき得られる補正データを
最適圧縮データとして多重化部１１７に供給するととも
に、ローカルデコード部１１４より、そのとき予測に用
いられていた予測係数と、動き推定部１１３により生成
された動きベクトルを多重化部１１７に出力する。多重
化部１１７は、制御部１１６より供給される最適圧縮デ
ータ、予測係数および動きベクトルを多重化し、符号化
データとして送信機／記録装置６６に供給する。When it is determined in step S19 that the prediction error is smaller than the predetermined threshold value ε, or when it is determined that the optimization process has been executed a predetermined number of times,
The control unit 116 determines that it is appropriate to use the correction data as the encoding result of the original image, and in step S20, the correction unit 112 sends the correction data obtained at that time to the multiplexing unit 117 as optimum compressed data. At the same time, the local decoding unit 114 outputs the prediction coefficient used for the prediction at that time and the motion vector generated by the motion estimation unit 113 to the multiplexing unit 117. The multiplexing unit 117 multiplexes the optimum compressed data, the prediction coefficient, and the motion vector supplied from the control unit 116 and supplies the multiplexed data to the transmitter / recording device 66 as encoded data.
【００６９】送信機／記録装置６６は、この符号化デー
タを、記録媒体４２に記録したり、伝送路４３を介して
伝送する。The transmitter / recording device 66 records this encoded data on the recording medium 42 or transmits it via the transmission path 43.
【００７０】以上のように、予測誤差が所定の閾値ε以
下となるか、または、最適化処理が所定回数に達したと
きにおける、縮小画像データを補正した補正データを、
原画像の符号化結果とするようにしたので、受信装置４
４側においては、その補正データに基づいて、元の画像
（原画像）とほぼ同一の画像を得ることが可能となる。As described above, the correction data obtained by correcting the reduced image data when the prediction error is equal to or less than the predetermined threshold value ε or when the optimization process reaches the predetermined number of times,
Since the result of encoding the original image is used, the receiving device 4
On the side of 4, it is possible to obtain an image substantially the same as the original image (original image) based on the correction data.
【００７１】図１２は、図６の補正部１１２の構成例を
示している。FIG. 12 shows an example of the configuration of the correction section 112 shown in FIG.
【００７２】補正回路１３１は、制御部１１６（図６）
からの制御信号にしたがって、補正値ROM１３２にアド
レスを与え、これにより、補正値Δを読み出す。そし
て、補正回路１３１は、縮小画像作成部１１１からの縮
小画像データ（圧縮データ）に対して、補正値ROM１３
２からの補正値Δを、例えば加算することで、補正デー
タを生成し、動き推定部１１３、ローカルデコード部１
１４、および制御部１１６に供給する。補正値ROM１３
２は、縮小画像作成部１１１が出力する圧縮データを補
正するための、各種の補正値Δの組合せ（例えば、１フ
レーム分の圧縮データを補正するための補正値の組合せ
など）を記憶しており、補正回路１３１から供給される
アドレスに対応する補正値Δの組合せを読み出して、補
正回路１３１に供給する。The correction circuit 131 includes a control unit 116 (FIG. 6).
An address is given to the correction value ROM 132 according to the control signal from, and thereby the correction value Δ is read. Then, the correction circuit 131 applies the correction value ROM 13 to the reduced image data (compressed data) from the reduced image creating unit 111.
The correction value Δ from 2 is added, for example, to generate correction data, and the motion estimation unit 113 and the local decoding unit 1
14 and the control unit 116. Correction value ROM13
2 stores a combination of various correction values Δ (for example, a combination of correction values for correcting one frame of compressed data) for correcting the compressed data output by the reduced image creating unit 111. Therefore, the combination of the correction values Δ corresponding to the address supplied from the correction circuit 131 is read and supplied to the correction circuit 131.
【００７３】次に、図１３を参照して、図１２の補正部
１１２の処理について説明する。Next, with reference to FIG. 13, the processing of the correction unit 112 in FIG. 12 will be described.
【００７４】補正回路１３１は、縮小画像作成部１１１
から圧縮データを受信すると、ステップＳ７１におい
て、制御部１１６（図６）から制御信号を受信したかど
うかを判定する。ステップＳ７１において、制御信号を
受信していないと判定された場合、ステップＳ７２およ
びＳ７３の処理をスキップしてステップＳ７４に進み、
補正回路１３１は、縮小画像作成部１１１からの圧縮デ
ータを、そのまま補正データとして、動き推定部１１
３、ローカルデコード部１１４、および制御部１１６に
出力し、ステップＳ７１に戻る。The correction circuit 131 includes a reduced image creating section 111.
When the compressed data is received from, it is determined in step S71 whether the control signal is received from the control unit 116 (FIG. 6). When it is determined in step S71 that the control signal is not received, the processes of steps S72 and S73 are skipped and the process proceeds to step S74.
The correction circuit 131 uses the compressed data from the reduced image creation unit 111 as the correction data as it is, and the motion estimation unit 11
3, to the local decoding unit 114 and the control unit 116, and the process returns to step S71.
【００７５】即ち、制御部１１６は、上述したように、
誤差情報に基づいて、補正部１１２（補正回路１３１）
を制御するようになされており、縮小画像作成部１１１
から圧縮データが出力された直後は、まだ、誤差情報が
得られないため（誤差情報が、誤差算出部１１５から出
力されないため）、制御部１１６からは制御信号は出力
されない。このため、縮小画像作成部１１１から圧縮デ
ータが出力された直後は、補正回路１３１は、その圧縮
データを補正せず（０を加算する補正をして）、そのま
ま補正データとして、動き推定部１１３、ローカルデコ
ード部１１４、および制御部１１６に出力する。That is, the control unit 116, as described above,
The correction unit 112 (correction circuit 131) based on the error information.
And the reduced image creating unit 111.
Immediately after the compressed data is output from, the control unit 116 does not output the control signal because the error information is not yet obtained (the error information is not output from the error calculation unit 115). Therefore, immediately after the compressed data is output from the reduced image creation unit 111, the correction circuit 131 does not correct the compressed data (corrects by adding 0), and the motion estimation unit 113 does not change the corrected data as it is. , Local decoding unit 114 and control unit 116.
【００７６】一方、ステップＳ７１において、制御部１
１６からの制御信号を受信したと判定された場合、ステ
ップＳ７２に進み、補正回路１３１は、その制御信号に
したがったアドレスを、補正値ROM１３２に出力する。
これにより、ステップＳ７２では、補正値ROM１３２か
ら、そのアドレスに記憶されている、１フレーム分の圧
縮データを補正するための補正値Δの組合せ（集合）が
読み出され、補正回路１３１に供給される。補正回路１
３１は、補正値ROM１３２から補正値Δの組合せを受信
すると、ステップＳ７３において、１フレームの圧縮デ
ータそれぞれに、対応する補正値Δを加算し、これによ
り、圧縮データを補正した補正データを算出する。その
後は、ステップＳ７４に進み、補正データが、補正回路
１３１から動き推定部１１３、ローカルデコード部１１
４、および制御部１１６に出力され、ステップＳ７１に
戻る。On the other hand, in step S71, the control unit 1
When it is determined that the control signal from 16 has been received, the correction circuit 131 proceeds to step S72 and outputs the address according to the control signal to the correction value ROM 132.
As a result, in step S72, the combination (set) of the correction values Δ for correcting the compressed data for one frame stored at that address is read from the correction value ROM 132 and supplied to the correction circuit 131. It Correction circuit 1
Upon receiving the combination of the correction values Δ from the correction value ROM 132, the 31 adds the corresponding correction value Δ to each of the compressed data of one frame in step S73, thereby calculating the corrected data in which the compressed data is corrected. . After that, the process proceeds to step S74, and the correction data is transferred from the correction circuit 131 to the motion estimation unit 113 and the local decoding unit 11.
4 and the control unit 116, and the process returns to step S71.
【００７７】以上のようにして、補正部１１２は、制御
部１１６の制御にしたがって、圧縮データを、種々の値
に補正した補正データを出力することを繰り返す。As described above, the correction section 112 repeats outputting the correction data obtained by correcting the compressed data to various values under the control of the control section 116.
【００７８】なお、制御部１１６は、例えば、１フレー
ムの画像についての符号化を終了すると、その旨を表す
制御信号を、補正部１１２に供給するようになされてお
り、補正部１１２は、ステップＳ７１において、そのよ
うな制御信号を受信したかどうかも判定する。ステップ
Ｓ７１において、１フレームの画像についての符号化を
終了した旨の制御信号を受信したと判定された場合、補
正部１１２は、そのフレーム（フィールド）に対する処
理を終了し、次のフレームが供給された場合、ステップ
Ｓ７１乃至Ｓ７４の処理を繰り返す。Note that, for example, when the encoding of one frame image is completed, the control unit 116 supplies a control signal indicating that to the correction unit 112, and the correction unit 112 executes the step. In S71, it is also determined whether such a control signal has been received. When it is determined in step S71 that the control signal indicating that the encoding of the image of one frame is completed is received, the correction unit 112 ends the process for the frame (field), and the next frame is supplied. If so, the processes of steps S71 to S74 are repeated.
【００７９】図１４は、動き推定部１１３の構成例を表
している。フレームメモリ１５１乃至１５３には、補正
部１１２より出力された補正データが、１フレームづつ
順次入力され、記憶される。その結果、フレームメモリ
１５２には、現在フレーム（後述する図１９の現在フレ
ーム２０１）の補正データが記憶され、後段のフレーム
メモリ１５３には、現在フレーム２０１より時間的に１
フレーム分だけ前の前フレーム（図１９の前フレーム２
０２）の補正データが記憶され、フレームメモリ１５２
より前段のフレームメモリ１５１には、現在フレームよ
り１フレームだけ時間的に後の後フレーム（図１９の後
フレーム２０３）の補正データが記憶される。FIG. 14 shows a configuration example of the motion estimation unit 113. The correction data output from the correction unit 112 is sequentially input and stored in the frame memories 151 to 153 frame by frame. As a result, the correction data of the current frame (current frame 201 of FIG. 19 described later) is stored in the frame memory 152, and the frame memory 153 at the subsequent stage is temporally 1
The previous frame before the frame (the previous frame 2 in FIG. 19)
02) correction data is stored, and the frame memory 152
The correction data of the subsequent frame (the subsequent frame 203 in FIG. 19) temporally after the current frame by one frame is stored in the frame memory 151 at the previous stage.
【００８０】注目ブロック選択部１５４は、フレームメ
モリ１５２に記憶されている現在フレームの補正データ
の中から注目補正データ（後述する図１９の注目補正デ
ータ２１１）を中心とする所定の範囲の注目ブロックを
選択し、予測値計算用ブロック化回路１６５に出力す
る。注目ブロック選択部１５４により選択された注目補
正データの位置情報は、相対位置変化部１５５と相対位
置変化部１５６に供給される。The block-of-interest selection unit 154 selects a block of interest within a predetermined range centered on the correction data of interest (correction data 211 of FIG. 19, which will be described later) from the correction data of the current frame stored in the frame memory 152. Is output to the prediction value calculation blocking circuit 165. The position information of the attention correction data selected by the attention block selection unit 154 is supplied to the relative position change unit 155 and the relative position change unit 156.
【００８１】相対位置変化部１５５は、注目補正データ
２１１の位置に対応する後フレーム２０３の注目対応補
正データ２３１（図１９）を中心として、所定の探索範
囲内において、補正データの位置を変化させた位置情報
をフレームメモリ１５１に供給し、その位置に対応する
補正データをフレームメモリ１５１から読み出し、任意
画素取得部１５７に出力する。The relative position changing unit 155 changes the position of the correction data within a predetermined search range with the attention corresponding correction data 231 (FIG. 19) of the rear frame 203 corresponding to the position of the attention correction data 211 as the center. The position information is supplied to the frame memory 151, the correction data corresponding to the position is read from the frame memory 151, and output to the arbitrary pixel acquisition unit 157.
【００８２】同様に、相対位置変化部１５６は、注目補
正データ２１１に対応する前フレーム２０２の注目対応
補正データ２１１（図１９）を中心として、所定の探索
範囲内において、補正データの位置を変化させた位置情
報をフレームメモリ１５３に出力し、その位置情報に対
応する補正データを読み出し、任意画素取得部１５８に
供給する。Similarly, the relative position changing unit 156 changes the position of the correction data within a predetermined search range with the attention corresponding correction data 211 (FIG. 19) of the previous frame 202 corresponding to the attention correction data 211 as the center. The position information thus generated is output to the frame memory 153, the correction data corresponding to the position information is read out, and supplied to the arbitrary pixel acquisition unit 158.
【００８３】任意画素取得部１５７により取得された後
フレーム２０３の探索範囲内の補正データと、任意画素
取得部１５８により取得された前フレーム２０２の探索
範囲内の補正データは、予測値計算用ブロック化回路１
６５に供給される。予測値計算用ブロック化回路１６５
は、注目ブロック選択部１５４より供給された補正デー
タ、並びに任意画素取得部１５７および任意画素取得部
１５８より供給された補正データに基づいて、予測値計
算用ブロックを生成し、その補正データを予測回路１６
６に供給する。The correction data in the search range of the rear frame 203 acquired by the arbitrary pixel acquisition unit 157 and the correction data in the search range of the previous frame 202 acquired by the arbitrary pixel acquisition unit 158 are the prediction value calculation block. Circuit 1
65. Prediction value calculation blocking circuit 165
Generates a prediction value calculation block based on the correction data supplied from the target block selection unit 154 and the correction data supplied from the arbitrary pixel acquisition unit 157 and the arbitrary pixel acquisition unit 158, and predicts the correction data. Circuit 16
Supply to 6.
【００８４】クラス分類用ブロック化回路１６１は、注
目ブロック選択部１５４を介して、フレームメモリ１５
２より読み出された現在フレーム２０１の補正データか
らクラス分類用ブロックを抽出する。ADRC処理回路１６
２は、クラス分類用ブロック化回路１６１より供給され
たクラス分類用ブロックの補正データを、１ビットADRC
処理する。The class classification blocking circuit 161 receives the frame memory 15 from the focused block selector 154.
A block for class classification is extracted from the correction data of the current frame 201 read from No. 2. ADRC processing circuit 16
2 is the correction data of the class classification block supplied from the class classification block formation circuit 161 and is 1-bit ADRC
To process.
【００８５】クラス分類回路１６３は、ADRC処理回路１
６２より供給されたデータに基づいて、クラスコードを
生成し、予測係数ROM１６４に出力する。予測係数ROM１
６４は、クラス分類回路１６３より供給されたクラスコ
ードに対応する予測係数を読み出し、予測回路１６６に
出力する。The class classification circuit 163 is the ADRC processing circuit 1
A class code is generated based on the data supplied from 62 and is output to the prediction coefficient ROM 164. Prediction coefficient ROM1
64 reads the prediction coefficient corresponding to the class code supplied from the class classification circuit 163, and outputs it to the prediction circuit 166.
【００８６】予測回路１６６は、予測値計算用ブロック
化回路１６５より供給された補正データ（予測値計算用
ブロック）と、予測係数ROM１６４より供給された予測
係数との線形１次結合を計算して、注目補正データ２１
１に対応する注目画素の予測値を演算する。The prediction circuit 166 calculates a linear primary combination of the correction data (prediction value calculation block) supplied from the prediction value calculation blocking circuit 165 and the prediction coefficient supplied from the prediction coefficient ROM 164. , Attention correction data 21
The predicted value of the pixel of interest corresponding to 1 is calculated.
【００８７】比較器１６７は、予測回路１６６より供給
された予測値を内蔵するメモリ１６７Ａに記憶するとと
もに、相対位置変化部１５５と相対位置変化部１５６よ
り供給された相対アドレス情報を、メモリ１６７Ａに記
憶する。比較器１６７は、予測回路１６６により予測さ
れた予測値と入力画像データとの差を演算し、その差に
対応する予測誤差が最小となる位置に対応する相対アド
レス情報に基づいて、前フレーム２０２における前フレ
ーム動きベクトルと、後フレーム２０３における後フレ
ーム動きベクトルとを生成する。The comparator 167 stores the predicted value supplied from the prediction circuit 166 in the built-in memory 167A, and stores the relative address information supplied from the relative position changing unit 155 and the relative position changing unit 156 in the memory 167A. Remember. The comparator 167 calculates the difference between the prediction value predicted by the prediction circuit 166 and the input image data, and based on the relative address information corresponding to the position where the prediction error corresponding to the difference is the minimum, the previous frame 202 And a rear frame motion vector in the rear frame 203 are generated.
【００８８】これらのクラス分類用ブロック化回路１６
１、ADRC処理回路１６２、クラス分類回路１６３、予測
係数ROM１６４、予測値計算用ブロック化回路１６５、
予測回路１６６、および比較器１６７により、クラス分
類適応処理回路１５９が構成されている。These class classification blocking circuits 16
1, ADRC processing circuit 162, class classification circuit 163, prediction coefficient ROM 164, prediction value calculation blocking circuit 165,
The prediction circuit 166 and the comparator 167 form a class classification adaptive processing circuit 159.
【００８９】次に、図１４の動き推定部１１３の動きベ
クトル推定処理について、図１５のフローチャートを参
照して説明する。Next, the motion vector estimating process of the motion estimating unit 113 of FIG. 14 will be described with reference to the flowchart of FIG.
【００９０】ステップＳ９１において、比較器１６７
は、メモリ１６７Ａに比較値をセットする。この比較値
は、後述するステップＳ９８において、評価値と比較す
るのに用いられる。この比較値は、評価値の最小値を検
出するために用いられるので、このステップＳ９１の処
理では、最大値に設定される。In step S91, the comparator 167
Sets a comparison value in the memory 167A. This comparison value is used for comparison with the evaluation value in step S98 described later. Since this comparison value is used to detect the minimum evaluation value, it is set to the maximum value in the process of step S91.
【００９１】ステップＳ９２において、相対位置変化部
１５５と相対位置変化部１５６は、それぞれ内蔵する相
対アドレス用メモリをクリアする。ステップＳ９３にお
いて、注目ブロック選択部１５４により、現在フレーム
の予測タップ取得処理が実行される。In step S92, the relative position changing unit 155 and the relative position changing unit 156 clear the respective relative address memories. In step S93, the target block selection unit 154 executes the prediction tap acquisition process for the current frame.
【００９２】すなわち、注目ブロック選択部１５４は、
初期設定されたアドレスに基づいて、フレームメモリ１
５２に記憶されている現在フレーム２０１の補正データ
から注目補正データ２１１を中心とする所定の範囲の予
測タップ（補正データ）を読み出し、予測値計算用ブロ
ック化回路１６５に出力する。後述する図１９の例にお
いては、注目補正データ２１１を中心とする５×５の予
測タップ２１３より構成される予測値計算用ブロック２
５１が選択され、予測値計算用ブロック化回路１６５に
入力される。That is, the target block selection unit 154
Frame memory 1 based on the initially set address
A prediction tap (correction data) in a predetermined range centered on the correction data 211 of interest is read from the correction data of the current frame 201 stored in 52 and output to the prediction value calculation blocking circuit 165. In the example of FIG. 19 described later, the prediction value calculation block 2 including 5 × 5 prediction taps 213 centered on the attention correction data 211 is used.
51 is selected and input to the prediction value calculation blocking circuit 165.
【００９３】ステップＳ９４において、相対位置変化部
１５６は、前フレーム予測タップ取得処理を実行する。
すなわち、相対位置変化部１５６は、フレームメモリ１
５３に記憶されている前フレーム２０２の補正データの
中から、注目対応補正データ２２１を中心とする所定の
探索内の１つの予測タップ２２２を選択し、その予測タ
ップ２２２をフレームメモリ１５３から読み出して、任
意画素取得ブロック１５８に出力する。任意画素取得ブ
ロック１５８は、この予測タップ２２２を予測値計算用
ブロック化回路１６５に出力する。In step S94, the relative position changing unit 156 executes the previous frame prediction tap acquisition process.
That is, the relative position changing unit 156 is configured so that the frame memory
From the correction data of the previous frame 202 stored in 53, one prediction tap 222 within a predetermined search centered on the attention correspondence correction data 221 is selected, and the prediction tap 222 is read from the frame memory 153. , To the arbitrary pixel acquisition block 158. The arbitrary pixel acquisition block 158 outputs this prediction tap 222 to the prediction value calculation blocking circuit 165.
【００９４】ステップＳ９５において、相対位置変化部
１５５は、後フレーム予測タップ取得処理を実行する。
すなわち、相対位置変化部１５５は、フレームメモリ１
５１に記憶されている後フレーム２０３の補正データか
ら、注目対応補正データ２３１を中心とする所定の探索
範囲内の１つの予測タップ２３２を、フレームメモリ１
５１から読み出し、任意画素取得部１５７に出力する。
任意画素取得部１５７は、この予測タップ２３２を予測
値計算用ブロック化回路１６５に出力する。In step S95, the relative position changing unit 155 executes the subsequent frame prediction tap acquisition process.
That is, the relative position changing unit 155 is
From the correction data of the rear frame 203 stored in 51, one prediction tap 232 within a predetermined search range centered on the attention correspondence correction data 231 is stored in the frame memory 1
It is read from 51 and output to the arbitrary pixel acquisition unit 157.
The arbitrary pixel acquisition unit 157 outputs this prediction tap 232 to the prediction value calculation blocking circuit 165.
【００９５】予測値計算用ブロック化回路１６５は、ス
テップＳ９３乃至ステップＳ９５の処理で取得された現
在フレーム２０１の５×５個の補正データ、前フレーム
２０２の１個の予測タップ（補正データ）２２２、およ
び後フレーム２０３の１個の予測タップ（補正データ）
２３２を、予測値計算用ブロックとして、予測回路１６
６に出力する。The prediction value calculation blocking circuit 165 has 5 × 5 pieces of correction data of the current frame 201 and one prediction tap (correction data) 222 of the previous frame 202 obtained in the processing of steps S93 to S95. , And one prediction tap of the subsequent frame 203 (correction data)
232 is used as a prediction value calculation block, and the prediction circuit 16
Output to 6.
【００９６】一方、ステップＳ９６において、クラス分
類適応処理が実行される。すなわち、クラス分類用ブロ
ック化回路１６１は、フレームメモリ１５２に記憶され
ている現在フレーム２０１の補正データのうち、注目ブ
ロック選択部１５４を介して供給される注目ブロックの
補正データから、例えば、後述する図１７に示されるク
ラス分類用ブロック２４２を構成する３×３個の補正デ
ータを読み出して、ADRC処理回路１６２に出力する。On the other hand, in step S96, class classification adaptation processing is executed. That is, the class classification blocking circuit 161 will be described later, for example, from the correction data of the target block supplied via the target block selection unit 154 among the correction data of the current frame 201 stored in the frame memory 152. The 3 × 3 pieces of correction data forming the class classification block 242 shown in FIG. 17 are read out and output to the ADRC processing circuit 162.
【００９７】ADRC処理回路１６２は、クラス分類用ブロ
ック化回路１６１より供給された３×３個の補正データ
を、１ビットADRC処理して、９ビットのデータとして、
クラス分類回路１６３に出力する。クラス分類回路１６
３は、ADRC処理回路１６２より供給された９ビットのデ
ータに基づいて、クラスコードを生成し、予測係数ROM
１６４に出力する。予測係数ROM１６４は、クラス分類
回路１６３より入力されたクラスコードに対応する予測
係数を読み出し、予測回路１６６に出力する。なお、こ
のようなADRC処理とクラス分類を行うことの意義につい
ては、図２１乃至図２４を参照して後述する。The ADRC processing circuit 162 performs 1-bit ADRC processing on the 3 × 3 correction data supplied from the class classification blocking circuit 161 to obtain 9-bit data.
It outputs to the class classification circuit 163. Class classification circuit 16
3 generates a class code based on the 9-bit data supplied from the ADRC processing circuit 162, and outputs the prediction coefficient ROM
To 164. The prediction coefficient ROM 164 reads the prediction coefficient corresponding to the class code input from the class classification circuit 163 and outputs it to the prediction circuit 166. The significance of performing such ADRC processing and class classification will be described later with reference to FIGS. 21 to 24.
【００９８】予測回路１６６は、予測値計算用ブロック
化回路１６５より入力された２７個の補正データと、予
測係数ROM１６４より供給された２７個の予測係数との
線形１次結合に基づいて、予測値を演算し、比較器１６
７に出力する。The prediction circuit 166 performs prediction based on the linear linear combination of the 27 correction data input from the prediction value calculation blocking circuit 165 and the 27 prediction coefficients supplied from the prediction coefficient ROM 164. The value is calculated and the comparator 16
Output to 7.
【００９９】ステップＳ９７において、比較器１６７
は、予測残差計算処理を実行する。すなわち、比較器１
６７は、予測回路１６６より供給された予測値と、入力
画像データとの差を予測残差として計算する。In step S97, the comparator 167
Executes prediction residual calculation processing. That is, the comparator 1
67 calculates the difference between the prediction value supplied from the prediction circuit 166 and the input image data as a prediction residual.
【０１００】ステップＳ９８において、比較器１６７
は、ステップＳ９７の処理で計算した予測残差としての
評価値と、ステップＳ９１の処理でセットされた比較値
との大きさを比較する。評価値が比較値より小さいと判
定された場合、ステップＳ９９に進み、比較器１６７
は、ステップＳ９１の処理で最大値にセットされた比較
値を、ステップＳ９７の処理で計算された評価値（予測
残差）で書き換える（更新する）。In step S98, the comparator 167
Compares the magnitude of the evaluation value as the prediction residual calculated in the process of step S97 with the comparison value set in the process of step S91. When it is determined that the evaluation value is smaller than the comparison value, the process proceeds to step S99, and the comparator 167
Rewrites (updates) the comparison value set to the maximum value in the process of step S91 with the evaluation value (prediction residual) calculated in the process of step S97.
【０１０１】ステップＳ１００において、比較器１６７
は、そのとき予測値計算用ブロック化回路１６５におい
て、予測値計算用ブロックとして構成されている後フレ
ーム２０３の予測タップ２３２の注目対応補正データ２
３１からの相対アドレス情報に基づく動きベクトル２３
３を、メモリ１６７Ａに記憶する。In step S100, the comparator 167
Is the attention corresponding correction data 2 of the prediction tap 232 of the subsequent frame 203 that is configured as a prediction value calculation block in the prediction value calculation blocking circuit 165.
Motion vector 23 based on relative address information from 31
3 is stored in the memory 167A.
【０１０２】ステップＳ９８において、評価値が比較値
と等しいか、それより大きいと判定された場合には、ス
テップＳ９９とステップＳ１００の処理がスキップされ
る。If it is determined in step S98 that the evaluation value is equal to or greater than the comparison value, the processes of steps S99 and S100 are skipped.
【０１０３】ステップＳ１０１において、相対位置変化
部１５５は、後フレーム２０３における所定の探索範囲
内の探索が終了したか否かを判定し、まだ探索していな
い範囲が残っている場合には、ステップＳ１０２に進
み、相対位置を変化させる。その後、ステップＳ９５に
戻り、それ以降の処理が繰り返し実行される。In step S101, the relative position changing unit 155 determines whether or not the search within the predetermined search range in the rear frame 203 has been completed. Proceeding to S102, the relative position is changed. After that, the process returns to step S95, and the subsequent processes are repeatedly executed.
【０１０４】以上の処理が繰り返されることで、フレー
ムメモリ１５１に記憶された後フレーム２０３の予測タ
ップ２３２のうち、予測誤差が最も小さい予測タップに
対応する動きベクトル２３３がメモリ１６７Ａに記憶さ
れる。By repeating the above processing, the motion vector 233 corresponding to the prediction tap having the smallest prediction error among the prediction taps 232 of the subsequent frame 203 stored in the frame memory 151 is stored in the memory 167A.
【０１０５】ステップＳ１０１において、後フレーム２
０３の探索範囲内の処理が終了したと判定された場合、
ステップＳ１０３に進み、相対位置変化部１５６は、前
フレームの探索範囲の探索が全て終了したか否かを判定
する。前フレーム２０２の探索範囲内の探索がまだ終了
していない場合には、ステップＳ１０４に戻り、相対位
置変化部１５６は、前フレーム２０２の予測タップ２２
２の位置を探索範囲内において、異なる位置に変化させ
る。In step S101, the rear frame 2
When it is determined that the processing within the search range of 03 is completed,
In step S103, the relative position change unit 156 determines whether or not the search of the search range of the previous frame is completed. When the search within the search range of the previous frame 202 is not yet completed, the process returns to step S104, and the relative position changing unit 156 causes the prediction tap 22 of the previous frame 202 to be displayed.
The position of 2 is changed to a different position within the search range.
【０１０６】その後、ステップＳ９４に戻り、その変化
された相対位置の予測タップ２２２が任意画素取得部１
５７から予測値計算用ブロック化回路１６５に供給され
る。Thereafter, the process returns to step S94, and the prediction tap 222 of the changed relative position is set to the arbitrary pixel acquisition unit 1.
The data is supplied from 57 to the prediction value calculation blocking circuit 165.
【０１０７】以下、ステップＳ９５乃至ステップＳ１０
３の処理が前フレームの探索範囲内の全てにおいて、探
索を終了したと判定されるまで、繰り返し実行される。Hereinafter, steps S95 to S10
The process of 3 is repeatedly executed until it is determined that the search is completed in all the search range of the previous frame.
【０１０８】以上の処理の結果、メモリ１６７Ａには、
ステップＳ９８乃至Ｓ１００の処理により探索範囲内に
おいて、予測誤差が最小となる予測値に対応する前フレ
ーム動きベクトル２２３と、後フレーム動きベクトル２
３３が記憶される。As a result of the above processing, the memory 167A is
By the processing of steps S98 to S100, the previous frame motion vector 223 and the subsequent frame motion vector 2 corresponding to the prediction value that minimizes the prediction error within the search range.
33 is stored.
【０１０９】ステップＳ１０５において、比較器１６７
は、ステップＳ１００の処理で格納された相対アドレス
（動きベクトル）をローカルデコーダ部１１４に出力す
る。In step S105, the comparator 167
Outputs the relative address (motion vector) stored in the process of step S100 to the local decoder unit 114.
【０１１０】図１６は、図６のローカルデコード部１１
４の構成例を示している。FIG. 16 shows the local decoding unit 11 of FIG.
4 shows a configuration example of No. 4.
【０１１１】補正部１１２からの補正データは、クラス
分類用ブロック化回路２６１および予測値計算用ブロッ
ク化回路２６２に供給される。クラス分類用ブロック化
回路２６１は、現在フレームの補正データを、その性質
に応じて所定のクラスに分類するための単位である、注
目補正データを中心としたクラス分類用ブロックにブロ
ック化する。The correction data from the correction unit 112 is supplied to the class classification blocking circuit 261 and the prediction value calculating blocking circuit 262. The class classification blocking circuit 261 blocks the correction data of the current frame into blocks for class classification centering on the correction data of interest, which is a unit for classifying the correction data of the current frame into a predetermined class according to its property.
【０１１２】即ち、いま、図１７において、上からｉ番
目で、左からｊ番目の補正データ（圧縮データ）（また
は画素）（図中、黒の円形の印で示す部分）をＸijと表
すとすると、クラス分類用ブロック化回路２６１は、注
目補正データＸijの左上、上、右上、左、右、左下、
下、右下に隣接する８つの補正データＸ(i-1)(j-1)，Ｘ
(i-1)j，Ｘ(i-1)(j+1)，Ｘi(j-1)，Ｘi(j+1)，Ｘ
(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i+1 )(j+1)に、自身を含め、
合計９個の補正データで構成されるクラス分類用ブロッ
ク２４２を構成する。このクラス分類用ブロック２４２
は、クラス分類適応処理回路２６３に供給される。That is, in FIG. 17, the i-th number from the top
Visually, the j-th correction data (compressed data) from the left (also
Is a pixel) (the part indicated by the black circle in the figure) is XijAnd table
If so, the block circuit 261 for class classification is
Eye correction data XijTop left, top, top right, left, right, bottom left,
Eight correction data X adjacent to the lower and lower right(i-1) (j-1), X
(i-1) j, X(i-1) (j + 1), Xi (j-1), Xi (j + 1), X
(i-1) (j-1), X(i-1) j, X(i + 1 ) (j + 1)Including myself,
Class classification block consisting of a total of 9 correction data
KU 242 is configured. This class classification block 242
Is supplied to the class classification adaptive processing circuit 263.
【０１１３】なお、この場合、クラス分類用ブロック２
４２は、３×３画素でなる正方形状のブロックで構成さ
れることとなるが、クラス分類用ブロック２４２の形状
は、正方形である必要はなく、その他、例えば、図１８
に示されるように菱形にしたり、長方形、十文字形、そ
の他の任意な形とすることが可能である。また、クラス
分類用ブロックを構成する画素数も、３×３の９画素に
限定されるものではない。In this case, the class classification block 2
Although 42 is composed of a square block made up of 3 × 3 pixels, the shape of the class classification block 242 does not have to be square, and in addition, for example, FIG.
It can be a rhombus, as shown in, or a rectangle, a cross, or any other shape. Further, the number of pixels forming the class classification block is not limited to 3 × 3 = 9 pixels.
【０１１４】予測値計算用ブロック化回路２６２は、動
きベクトルに基づいて、補正データを、元の画像の予測
値を計算するための単位である、注目補正データを基準
とした予測値計算用ブロックにブロック化する。即ち、
現在フレームにおいては、図１７に示されるように、補
正データＸij（図中、黒い円形の印で示す部分）を中心
とする、元の画像（原画像）における３×３の９画素の
画素値を、その最も左から右方向、かつ上から下方向
に、Ｙij（１），Ｙij（２），Ｙij（３），Ｙ
ij（４），Ｙij（５），Ｙij（６），Ｙij（７），Ｙij
（８），Ｙij（９）と表すとすると、画素Ｙij（１）乃
至Ｙij（９）の予測値の計算のために、予測値計算用ブ
ロック化回路２６２は、例えば、注目補正データＸijを
中心とする５×５の２５画素Ｘ(i-2)(j-2)，Ｘ
(i-2)(j-1)，Ｘ(i-2)j，Ｘ(i-2)(j+1)，Ｘ(i-2)(j+2)，
Ｘ(i-1)(j-2)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，
Ｘ(i-1)(j+1)，Ｘ(i-1)(j+2)，Ｘi( j-2)，Ｘi(j-1)，Ｘ
ij，Ｘi(j+1)，Ｘi(j+2)，Ｘ(i+1)(j-2)，
Ｘ(i+1)(j-1)，Ｘ (i+1)j，Ｘ(i+1)(j+1)，
Ｘ(i+1)(j+2)，Ｘ(i+2)(j-2)，Ｘ(i+2)(j-1)，
Ｘ(i+2)j，Ｘ(i+2)(j+1)，Ｘ(i+2)(j+2)で構成される正
方形状の予測値計算用ブロック２５１を構成する。The prediction value calculation blocking circuit 262 operates as follows.
Correction data based on the
Based on the correction data of interest, which is the unit for calculating the value
The prediction value calculation block is divided into blocks. That is,
In the current frame, as shown in FIG.
Positive data XijCentered on (the part indicated by the black circle in the figure)
Of 3 × 3 9 pixels in the original image (original image)
Pixel values are moved from left to right and from top to bottom
To Yij(1), Yij(2), Yij(3), Y
ij(4), Yij(5), Yij(6), Yij(7), Yij
(8), YijIf it is expressed as (9), the pixel Yij(1) No
To YijFor calculating the predicted value in (9), the predicted value calculation block
The locking circuit 262 may, for example, focus correction data XijTo
5 × 5 25 pixels X centered(i-2) (j-2), X
(i-2) (j-1), X(i-2) j, X(i-2) (j + 1), X(i-2) (j + 2)，
X(i-1) (j-2), X(i-1) (j-1), X(i-1) j，
X(i-1) (j + 1), X(i-1) (j + 2), Xi ( j-2), Xi (j-1), X
ij, Xi (j + 1), Xi (j + 2), X(i + 1) (j-2)，
X(i + 1) (j-1), X (i + 1) j, X(i + 1) (j + 1)，
X(i + 1) (j + 2), X(i + 2) (j-2), X(i + 2) (j-1)，
X(i + 2) j, X(i + 2) (j + 1), X(i + 2) (j + 2)Positive composed of
A square predictive value calculation block 251 is configured.
【０１１５】具体的には、例えば、図１７において四角
形で囲む、元の画像における画素Ｙ 33（１）乃至Ｙ
33（９）の９画素の予測値の計算のために、現在フレー
ムにおいては、画素Ｘ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ
21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ 31，Ｘ32，Ｘ33，
Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ
52，Ｘ 53，Ｘ54，Ｘ55により、予測値計算用ブロックが
構成される（この場合の注目補正データは、Ｘ33とな
る）。Specifically, for example, a square in FIG.
Pixel Y in the original image, surrounded by a shape 33(1) to Y
33For the calculation of the predicted value of 9 pixels in (9), the current frame
Pixel, pixel X11, X12, X13, X14, X15, X
twenty one, Xtwenty two, Xtwenty three, Xtwenty four, Xtwenty five, X 31, X32, X33，
X34, X35, X41, X42, X43, X44, X45, X51, X
52, X 53, X54, X55The prediction value calculation block
Configured (the correction data of interest in this case is X33Tona
).
【０１１６】予測値計算用ブロック化回路２６２は、さ
らに、動き推定部１１３より供給される動きベクトルに
基づいて、図１９に示されるように、現在フレーム２０
１より時間的に前の前フレーム２０２と、時間的に後の
後フレーム２０３の補正データからも、予測値計算用ブ
ロック部２５１を構成する補正データを抽出する。The prediction value calculation blocking circuit 262 further, based on the motion vector supplied from the motion estimation unit 113, as shown in FIG.
The correction data forming the prediction value calculation block unit 251 is also extracted from the correction data of the previous frame 202 that is temporally earlier than 1 and the subsequent frame 203 that is temporally later.
【０１１７】図１９の現在フレーム２０１は、図１７に
示されるフレームである。図１９には、図１７に黒い丸
印で示される補正データのみが示されている。すなわ
ち、図１９においては、図１７における白い丸印で示さ
れる原画像の画素は、その図示が省略されている。The current frame 201 in FIG. 19 is the frame shown in FIG. FIG. 19 shows only the correction data indicated by the black circles in FIG. That is, in FIG. 19, the pixels of the original image indicated by the white circles in FIG. 17 are not shown.
【０１１８】現在フレーム２０１の注目補正データ２１
１は、図１７の注目補正データＸ33に対応し、注目補正
データ２１１より左側に２個、かつ上側に２個移動した
位置の補正データ２１２は、図１７の補正データＸ11に
対応し、注目補正データ２１１のすぐ上の補正データと
しての予測タップ２１３は、図１７の補正データＸ23に
対応する。Attention correction data 21 of the current frame 201
17 corresponds to the correction data X 33 in FIG. 17, and the correction data 212 at a position moved two to the left and two to the upper side of the correction data 211 corresponds to the correction data X 11 in FIG. The prediction tap 213 as the correction data immediately above the correction data 211 of interest corresponds to the correction data X 23 in FIG.
【０１１９】現在フレーム（ｔ＝Ｔのフレーム）２０１
より時間的に１フレーム前の前フレーム（ｔ＝Ｔ−１の
フレーム）２０２における注目対応補正データ２２１
は、現在フレーム２０１の注目補正データ２１１に対応
する位置の補正データである。予測タップ２２２を構成
する補正データは、動き推定部１１３の動きベクトル検
出部１５５により検出された前フレーム動きベクトル２
２３に基づいて、注目補正データ２２１を移動した位置
の補正データである。予測値計算用ブロック化回路２６
２は、この予測タップ２２２も、予測値計算用ブロック
２５１を構成する補正データとして抽出する。Current frame (frame of t = T) 201
Attention corresponding correction data 221 in the previous frame (frame of t = T−1) 202 that is one frame earlier in time
Is the correction data of the position corresponding to the attention correction data 211 of the current frame 201. The correction data forming the prediction tap 222 is the previous frame motion vector 2 detected by the motion vector detection unit 155 of the motion estimation unit 113.
It is correction data of the position to which the correction data 221 of interest is moved based on 23. Prediction value calculation blocking circuit 26
2 also extracts this prediction tap 222 as correction data forming the prediction value calculation block 251.
【０１２０】同様に、予測値計算用ブロック化回路２６
２は、現在フレーム２０１より時間的に後の後フレーム
（ｔ＝Ｔ＋１のフレーム）２０３における、現在フレー
ム２０１の注目補正データ２１１に対応する位置の補正
データである注目対応補正データ２３１を、動きベクト
ル検出部１５４により検出された後フレーム動きベクト
ル２３３に基づいて移動した位置の補正データである予
測タップ２３２を、予測値計算用ブロック２５１を構成
する補正データとして抽出する。Similarly, the prediction value calculation blocking circuit 26
2 is the motion vector of the attention corresponding correction data 231 which is the correction data of the position corresponding to the attention correction data 211 of the current frame 201 in the subsequent frame (frame of t = T + 1) 203 which is after the current frame 201 in time. The prediction tap 232, which is the correction data of the position moved based on the post-frame motion vector 233 detected by the detection unit 154, is extracted as the correction data forming the prediction value calculation block 251.
【０１２１】このように、この例においては、現在フレ
ーム内の補正データだけでなく、現在フレームより時間
的に前、または後のフレームの補正データが、予測値計
算用ブロック２５を構成する補正データとされるため、
特に、原画像が動画像である場合においても、正確に原
画像を復元することが可能となる。As described above, in this example, not only the correction data in the current frame but also the correction data in the frame temporally before or after the current frame are the correction data forming the prediction value calculation block 25. Because,
Particularly, even when the original image is a moving image, the original image can be accurately restored.
【０１２２】図２０は、横軸を時間軸方向とし、縦軸を
フレームの水平方向または垂直方向として、図１９の前
フレーム２６２、現在フレーム２０１、および後フレー
ム２０３の注目補正データと予測タップの位置関係を表
している。In FIG. 20, the horizontal axis is the time axis direction and the vertical axis is the horizontal direction or the vertical direction of the frame, and the target correction data and prediction taps of the previous frame 262, the current frame 201, and the subsequent frame 203 of FIG. It shows the positional relationship.
【０１２３】予測値計算用ブロック化回路２６２におい
て得られた予測値計算用ブロック２５１の補正データ
は、クラス分類適応処理回路２６３に供給される。The correction data of the prediction value calculation block 251 obtained in the prediction value calculation blocking circuit 262 is supplied to the class classification adaptive processing circuit 263.
【０１２４】なお、予測値計算用ブロック２５１につい
ても、クラス分類用ブロック２４２における場合と同様
に、その画素数および形状は、上述したものに限定され
るものではない。但し、予測値計算用ブロック２５１を
構成する画素数は、クラス分類用ブロック２４２を構成
する画素数よりも多くするのが望ましい。As with the class classification block 242, the number of pixels and shape of the prediction value calculation block 251 are not limited to those described above. However, it is desirable that the number of pixels forming the prediction value calculation block 251 be larger than the number of pixels forming the class classification block 242.
【０１２５】また、上述のようなブロック化を行う場合
において（ブロック化以外の処理についても同様）、画
像の画枠付近では、対応する画素（補正データ）が存在
しないことがあるが、この場合には、例えば、画枠を構
成する画素と同一の画素が、その外側に存在するものと
して処理を行う。In the case where the above-described block formation is performed (the same applies to processes other than the block formation), there may be no corresponding pixel (correction data) near the image frame of the image. For example, the processing is performed assuming that the same pixel as the pixel forming the image frame exists outside the pixel.
【０１２６】クラス分類適応処理回路２６３は、ADRC
（Adaptive Dynamic Range Coding）処理回路２４４、
クラス分類回路２６５、予測係数ROM２６６、および予
測回路２６７で構成され、クラス分類適応処理を行う。The class classification adaptive processing circuit 263 uses the ADRC
(Adaptive Dynamic Range Coding) processing circuit 244,
It is composed of a class classification circuit 265, a prediction coefficient ROM 266, and a prediction circuit 267, and performs class classification adaptation processing.
【０１２７】クラス分類適応処理とは、入力信号を、そ
の特徴に基づいて幾つかのクラスに分類し、各クラスの
入力信号に、そのクラスに適切な適応処理を施すもの
で、大きく、クラス分類処理と適応処理とに分かれてい
る。The class classification adaptive process is a process of classifying an input signal into several classes based on its characteristics, and subjecting the input signal of each class to an appropriate adaptive process for that class. It is divided into processing and adaptive processing.
【０１２８】ここで、クラス分類処理および適応処理に
ついて簡単に説明する。Here, the class classification process and the adaptation process will be briefly described.
【０１２９】まず、クラス分類処理について説明する。First, the class classification process will be described.
【０１３０】いま、例えば、図２１に示されるように、
ある注目画素と、それに隣接する３つの画素により、２
×２画素でなるブロック（クラス分類用ブロック）を構
成し、また、各画素は、１ビットで表現される（０また
は１のうちのいずれかのレベルをとる）ものとする。こ
の場合、注目画素を含む２×２の４画素のブロックは、
各画素のレベル分布により、図２２に示されるように、
１６（＝（２1）4）パターンに分類することができる。
従って、いまの場合、注目画素は、１６のパターンに分
類することができ、このようなパターン分けが、クラス
分類処理であり、クラス分類回路２６５において行われ
る。Now, for example, as shown in FIG.
2 by a certain pixel of interest and three adjacent pixels
It is assumed that a block (class classification block) composed of × 2 pixels is formed, and each pixel is represented by 1 bit (takes one level of 0 or 1). In this case, the 2 × 2 4-pixel block including the target pixel is
According to the level distribution of each pixel, as shown in FIG.
It can be classified into 16 (= (2 1 ) 4 ) patterns.
Therefore, in the present case, the pixel of interest can be classified into 16 patterns, and such pattern classification is a class classification process, which is performed in the class classification circuit 265.
【０１３１】なお、クラス分類処理は、画像（ブロック
内の画像）のアクティビティ（画像の複雑さ）（変化の
激しさ）などをも考慮して行うようにすることが可能で
ある。The class classification process can be performed in consideration of the activity (complexity of the image) (the intensity of change) of the image (the image within the block).
【０１３２】ところで、通常、各画素には、例えば８ビ
ット程度が割り当てられる。また、本実施の形態におい
ては、上述したように、クラス分類用ブロック２４２
は、３×３の９個の補正データで構成される。従って、
このようなクラス分類用ブロック２４２を対象にクラス
分類処理を行うものとすると、（２8）9という膨大な数
のクラスが発生することになる。By the way, normally, for example, about 8 bits are assigned to each pixel. Further, in the present embodiment, as described above, the class classification block 242.
Is composed of 3 × 3 9 pieces of correction data. Therefore,
If the class classification processing is performed on such a class classification block 242, a huge number of classes (2 8 ) 9 will be generated.
【０１３３】そこで、本実施の形態においては、ADRC処
理回路２６４において、クラス分類用ブロック２４２に
対して、ADRC処理が施され、これにより、クラス分類用
ブロック２４２を構成する補正データのビット数を小さ
くすることで、クラス数が削減される。Therefore, in the present embodiment, in the ADRC processing circuit 264, the ADRC processing is performed on the class classification block 242, whereby the number of bits of the correction data forming the class classification block 242 is changed. By making it smaller, the number of classes is reduced.
【０１３４】即ち、例えば、いま、説明を簡単にするた
め、図２３に示されるように、４個の画素（補正デー
タ）で構成されるブロックを考えると、ADRC処理におい
ては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出
される。そして、ＤＲ＝ＭＡＸ−ＭＩＮが、そのブロッ
クの局所的なダイナミックレンジとされ、このダイナミ
ックレンジＤＲに基づいて、ブロックを構成する画素の
画素値がＫビットに再量子化される。That is, for example, to simplify the explanation, consider a block composed of four pixels (correction data) as shown in FIG. 23. The maximum value MAX and the minimum value MIN are detected. Then, DR = MAX-MIN is set as the local dynamic range of the block, and the pixel value of the pixels forming the block is requantized into K bits based on the dynamic range DR.
【０１３５】即ち、ブロック内の各画素値から、最小値
ＭＩＮが減算され、その減算された値がＤＲ／２Kで除
算される。そして、各画素値は、その結果得られる除算
値に対応するコード（ADRCコード）に変換される。具体
的には、例えば、Ｋ＝２とした場合、図２４に示される
ように、除算値が、ダイナミックレンジＤＲを４（＝２
2）等分して得られるいずれの範囲に属するかが判定さ
れ、除算値が、最も下のレベルの範囲、下から２番目の
レベルの範囲、下から３番目のレベルの範囲、または最
も上のレベルの範囲に属する場合には、それぞれ、例え
ば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビ
ットにコード化される（Ｂは２進数であることを表
す）。そして、復号側（受信装置４４）において、ADRC
コード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイ
ナミックレンジＤＲを４等分して得られる最も下のレベ
ルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の
中心値Ｌ01、下から３番目のレベルの範囲の中心値
Ｌ10、または最も上のレベルの範囲の中心値Ｌ11にそれ
ぞれ変換され、その値に、最小値ＭＩＮが加算されるこ
とで復号が行われる。That is, the minimum value MIN is subtracted from each pixel value in the block, and the subtracted value is divided by DR / 2 K. Then, each pixel value is converted into a code (ADRC code) corresponding to the division value obtained as a result. Specifically, for example, when K = 2, as shown in FIG. 24, the divided value has a dynamic range DR of 4 (= 2).
2 ) It is determined which of the ranges obtained by dividing into equal parts, and the division value is the range of the lowest level, the range of the second lowest level, the range of the third lowest level, or the highest level. In the range of the level of, each is coded into 2 bits such as 00B, 01B, 10B, or 11B (B represents a binary number). Then, on the decoding side (receiving device 44), ADRC
The code 00B, 01B, 10B, or 11B is the center value L 00 of the range of the lowest level obtained by dividing the dynamic range DR into four, the center value L 01 of the range of the second lowest level, and the bottom Decoding is performed by converting the value to the central value L 10 of the range of the third level or the central value L 11 of the range of the uppermost level, and adding the minimum value MIN to the value.
【０１３６】このようなADRC処理はノンエッジマッチン
グと呼ばれる。Such ADRC processing is called non-edge matching.
【０１３７】なお、ADRC処理については、本件出願人が
先に出願した、例えば、特開平３−５３７７８号公報な
どに、その詳細が開示されている。Details of the ADRC processing are disclosed in, for example, Japanese Patent Application Laid-Open No. 3-53778 filed by the applicant of the present application.
【０１３８】ブロックを構成する画素に割り当てられて
いるビット数より少ないビット数で再量子化を行うADRC
処理を施すことにより、上述したように、クラス数を削
減することができ、このようなADRC処理が、ADRC処理回
路２６４において行われる。ADRC for performing requantization with the number of bits smaller than the number of bits assigned to pixels forming a block
By performing the processing, the number of classes can be reduced as described above, and such ADRC processing is performed in the ADRC processing circuit 264.
【０１３９】なお、本実施の形態では、クラス分類回路
２６５において、ADRC処理回路２６４から出力されるAD
RCコードに基づいて、クラス分類処理が行われるが、ク
ラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号
化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ
（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、ア
ダマール変換などを施したデータを対象に行うようにす
ることも可能である。In this embodiment, in the class classification circuit 265, the AD output from the ADRC processing circuit 264 is output.
Although the class classification process is performed based on the RC code, the class classification process may be performed by other methods such as DPCM (Predictive Coding), BTC (Block Truncation Coding), and VQ.
(Vector quantization), DCT (discrete cosine transform), Hadamard transform, or other data may be performed as a target.
【０１４０】次に、適応処理について説明する。Next, the adaptive processing will be described.
【０１４１】例えば、いま、元の画像の画素値ｙの予測
値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（補正
データの値）（以下、適宜、学習データという）ｘ1，
ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線
形結合により規定される線形１次結合モデルにより求め
ることを考える。この場合、予測値Ｅ［ｙ］は、次式で
表すことができる。For example, now, the predicted value E [y] of the pixel value y of the original image is set to the pixel values (correction data values) (hereinafter, referred to as learning data) x 1 of some pixels around it. ，
It is considered that a linear linear combination model defined by a linear combination of x 2 , ... And predetermined prediction coefficients w 1 , w 2 ,. In this case, the predicted value E [y] can be expressed by the following equation.
【０１４２】 Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・ ・・・（１）E [y] = w 1 x 1 + w 2 x 2 + ... (1)
【０１４３】そこで、一般化するために、予測係数ｗの
集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、お
よび予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、Therefore, for generalization, a matrix W made up of a set of prediction coefficients w, a matrix X made up of a set of learning data, and a matrix Y ′ made up of a set of prediction values E [y] are
【数４】 で定義すると、次のような観測方程式が成立する。[Equation 4] , The following observation equation holds.
【０１４４】 ＸＷ＝Ｙ’ ・・・（２）[0144] XW = Y ' ... (2)
【０１４５】そして、この観測方程式に最小自乗法を適
用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求
めることを考える。この場合、元の画像の画素値（以
下、適宜、教師データという）ｙの集合でなる行列Ｙ、
および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残
差ｅの集合でなる行列Ｅを、Then, it is considered that the least squares method is applied to this observation equation to obtain the prediction value E [y] close to the pixel value y of the original image. In this case, a matrix Y composed of a set of pixel values (hereinafter, appropriately referred to as teacher data) y of the original image,
And a matrix E consisting of a set of residuals e of the prediction value E [y] with respect to the pixel value y of the original image,
【数５】
で定義すると、式（２）から、次のような残差方程式が
成立する。[Equation 5] , The following residual equation is established from the equation (2).
【０１４６】 ＸＷ＝Ｙ＋Ｅ ・・・（３）[0146] XW = Y + E ... (3)
【０１４７】この場合、元の画像の画素値ｙに近い予測
値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差In this case, the prediction coefficient w i for obtaining the prediction value E [y] close to the pixel value y of the original image is the squared error.
【数６】 を最小にすることで求めることができる。[Equation 6] Can be obtained by minimizing.
【０１４８】従って、上述の自乗誤差を予測係数ｗiで
微分したものが０になる場合、即ち、次式を満たす予測
係数ｗiが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］
を求めるため最適値ということになる。Therefore, when the above-mentioned squared error is differentiated by the prediction coefficient w i to be 0, that is, the prediction coefficient w i satisfying the following equation is close to the pixel value y of the original image. ]
Therefore, the optimum value is obtained.
【０１４９】[0149]
【数７】 ・・・（４）[Equation 7] ... (4)
【０１５０】そこで、まず、式（３）を、予測係数ｗi
で微分することにより、次式が成立する。Therefore, first, the prediction coefficient w i is calculated according to the equation (3).
The following formula is established by differentiating with.
【０１５１】[0151]
【数８】 ・・・（５）[Equation 8] ... (5)
【０１５２】式（４）および（５）より、式（６）が得
られる。From equations (4) and (5), equation (6) is obtained.
【０１５３】[0153]
【数９】 ・・・（６）[Equation 9] ... (6)
【０１５４】さらに、式（３）の残差方程式における学
習データｘ、予測係数ｗ、教師データｙ、および残差ｅ
の関係を考慮すると、式（６）から、次のような正規方
程式を得ることができる。Furthermore, the learning data x, the prediction coefficient w, the teacher data y, and the residual e in the residual equation of the equation (3).
Considering the relationship of, the following normal equation can be obtained from the equation (6).
【０１５５】[0155]
【数１０】 ・・・（７）[Equation 10] ... (7)
【０１５６】式（７）の正規方程式は、求めるべき予測
係数ｗの数と同じ数だけたてることができ、従って、式
（７）を解くことで、最適な予測係数ｗを求めることが
できる。なお、式（７）を解くにあたっては、例えば、
掃き出し法（Gauss-Jordanの消去法）などを適用するこ
とが可能である。The normal equation of equation (7) can be set up in the same number as the number of prediction coefficients w to be obtained. Therefore, by solving equation (7), the optimum prediction coefficient w can be obtained. . In solving equation (7), for example,
A sweeping method (Gauss-Jordan elimination method) or the like can be applied.
【０１５７】以上のようにして、クラスごとに最適な予
測係数ｗを求め、さらに、その予測係数ｗを用い、式
（１）により、元の画像の画素値ｙに近い予測値Ｅ
［ｙ］を求めるのが適応処理であり、この適応処理に基
づく予測処理が、予測回路２６７において行われる。As described above, the optimum prediction coefficient w is obtained for each class, and using the prediction coefficient w, the prediction value E close to the pixel value y of the original image is calculated by the equation (1).
The adaptive process determines [y], and the prediction circuit 267 performs the prediction process based on this adaptive process.
【０１５８】なお、適応処理は、間引かれた画像（圧縮
データ）には含まれていない、元の画像に含まれる成分
が再現される点で、単なる補間処理とは異なる。即ち、
適応処理は、式（１）だけを見る限りは、いわゆる補間
フィルタを用いての補間処理と同一であるが、その補間
フィルタのタップ係数に相当する予測係数ｗが、教師デ
ータｙを用いての、いわば学習により求められるため、
元の画像に含まれる成分を再現することができる。この
ことから、適応処理は、いわば画像の創造作用がある処
理ということができる。The adaptive process differs from the simple interpolation process in that the components included in the original image, which are not included in the thinned image (compressed data), are reproduced. That is,
The adaptive process is the same as the interpolation process using a so-called interpolation filter as far as only the equation (1) is seen, but the prediction coefficient w corresponding to the tap coefficient of the interpolation filter is calculated using the teacher data y. , So to speak, because it is required by learning,
The components contained in the original image can be reproduced. From this, it can be said that the adaptive process is, so to speak, a process having an image creating action.
【０１５９】次に、図２５のフローチャートを参照し
て、図１６のローカルデコード部１１４の処理について
説明する。Next, the processing of the local decoding unit 114 of FIG. 16 will be described with reference to the flowchart of FIG.
【０１６０】ローカルデコード部１１４においては、ま
ず最初に、ステップＳ１２１において、補正部１１２か
らの補正データがブロック化される。即ち、クラス分類
用ブロック化回路２６１において、補正データが、注目
補正データ（図１７の補正データＸ33）を中心とする３
×３画素のクラス分類用ブロック２４２（図１７）にブ
ロック化され、クラス分類適応処理回路２６３に供給さ
れるとともに、予測値計算用ブロック化回路２６２にお
いて、現在フレームの補正データが、注目補正データ２
１１（Ｘ33）を中心とする５×５画素の予測値計算用ブ
ロック２５１（図１７、図１９）にブロック化される。In the local decoding unit 114, first, in step S121, the correction data from the correction unit 112 is divided into blocks. That is, in the class classification block circuit 261, the correction data is 3 with the correction data of interest (correction data X 33 in FIG. 17) as the center.
The blocks are divided into 3 × 3 pixel class classification blocks 242 (FIG. 17) and supplied to the class classification adaptive processing circuit 263. At the same time, in the prediction value calculation blocking circuit 262, the correction data of the current frame is the correction data of interest. Two
The blocks are divided into prediction value calculation blocks 251 (FIGS. 17 and 19) of 5 × 5 pixels centered on 11 (X 33 ).
【０１６１】さらにまた、予測値計算用ブロック化回路
２６２は、動き推定部１１３より供給される前フレーム
動きベクトル２２３に対応して求められる前フレーム２
０２の補正データである予測タップ２２２と、後フレー
ム動きベクトル２３３に対応して求められる後フレーム
２０３の補正データである予測タップ２３２を、それぞ
れ予測値計算用ブロック２５１を構成する補正データと
する（図１９）。従って、この例の場合、結局、合計２
７個（＝５×５＋１＋１）の補正データが予測値計算用
ブロック２５１の補正データとしてクラス分類適応処理
回路２６３に供給される。Furthermore, the prediction value calculation blocking circuit 262 determines the previous frame 2 obtained in correspondence with the previous frame motion vector 223 supplied from the motion estimation unit 113.
The prediction tap 222, which is the correction data of No. 02, and the prediction tap 232, which is the correction data of the rear frame 203 that is obtained corresponding to the rear frame motion vector 233, are the correction data that configures the prediction value calculation block 251 ( (Fig. 19). Therefore, in the case of this example, the total is 2
Seven pieces (= 5 × 5 + 1 + 1) of correction data are supplied to the class classification adaptive processing circuit 263 as the correction data of the prediction value calculation block 251.
【０１６２】クラス分類適応処理回路２６３において、
クラス分類用ブロック２４２はADRC処理回路２６４に供
給され、予測値計算用ブロック２５１は予測回路２６７
に供給される。In the class classification adaptive processing circuit 263,
The class classification block 242 is supplied to the ADRC processing circuit 264, and the prediction value calculation block 251 is supplied to the prediction circuit 267.
Is supplied to.
【０１６３】ADRC処理回路２６４は、クラス分類用ブロ
ック２４２を受信すると、ステップＳ１２２において、
そのクラス分類用ブロック２４２に対して、例えば、１
ビットのADRC（１ビットで再量子化を行うADRC）処理を
施し、これにより、補正データを、１ビットに変換（符
号化）して、クラス分類回路２６５に出力する。クラス
分類回路２６５は、ステップＳ１２３において、ADRC処
理が施されたクラス分類用ブロック２４２に基づいて、
クラス分類処理を実行する。即ち、ADRC処理が施された
クラス分類用ブロック２４２を構成する各補正データの
レベル分布の状態を検出し、そのクラス分類用ブロック
が属するクラス（そのクラス分類用ブロック２４２を構
成する注目補正データ２１１（中心に配置された補正デ
ータ）のクラス）を判定する。このクラスの判定結果
は、クラス情報として、予測係数ROM２６６に供給され
る。When the ADRC processing circuit 264 receives the class classification block 242, in step S122,
For the class classification block 242, for example, 1
A bit ADRC (ADRC in which requantization is performed by 1 bit) processing is performed, and thereby the correction data is converted (encoded) into 1 bit and output to the class classification circuit 265. In step S123, the class classification circuit 265 determines, based on the class classification block 242 that has been subjected to the ADRC processing,
Perform class classification processing. That is, the state of the level distribution of each correction data that constitutes the ADRC-processed class classification block 242 is detected, and the class to which the class classification block belongs (the target correction data 211 that constitutes the class classification block 242). (Correction data located in the center) class) is determined. The determination result of this class is supplied to the prediction coefficient ROM 266 as class information.
【０１６４】なお、本実施の形態においては、１ビット
のADRC処理が施された３×３の９個の補正データで構成
されるクラス分類用ブロック２４２に対して、クラス分
類処理が施されるので、各クラス分類用ブロック２４２
は、５１２（＝（２1）9）のクラスのうちのいずれかに
分類されることになる。In the present embodiment, the class classification process is performed on the class classification block 242 composed of 9 3 × 3 pieces of correction data which has been subjected to the 1-bit ADRC process. Therefore, each class classification block 242
Will be classified into one of the 512 (= (2 1 ) 9 ) classes.
【０１６５】そして、ステップＳ１２４に進み、予測係
数ROM２６６において、クラス分類回路２６５からのク
ラス情報に基づいて、予測係数が読み出され、予測回路
２６７に供給される。予測回路２６７は、ステップＳ１
２５において、各クラスごとに適応処理を施し、これに
より、１フレームの元の画像データ（原画像データ）の
予測値を算出する。Then, in step S124, the prediction coefficient is read out from the prediction coefficient ROM 266 based on the class information from the class classification circuit 265 and supplied to the prediction circuit 267. The prediction circuit 267 uses the step S1.
In 25, adaptive processing is performed for each class, and thereby the predicted value of the original image data (original image data) of one frame is calculated.
【０１６６】即ち、本実施の形態においては、例えば、
クラスごとに２７×９個の予測係数が読み出される。さ
らに、ある１つの補正データに注目した場合に、その注
目補正データに対応する元画像の画素と、その画素の周
りに隣接する８個の元画像の画素の、合計９個の画素に
ついての予測値が、注目補正データのクラス情報に対応
する２７×９個の予測係数と、その注目補正データを中
心とする５×５画素でなる予測値計算用ブロックとを用
いて、適応処理が行われることにより算出される。That is, in the present embodiment, for example,
27 × 9 prediction coefficients are read out for each class. Furthermore, when attention is paid to a certain correction data, a prediction of a total of 9 pixels of the pixel of the original image corresponding to the correction data of interest and the pixels of 8 original images adjacent to the pixel Adaptive processing is performed using 27 × 9 prediction coefficients whose values correspond to the class information of the attention correction data and a prediction value calculation block composed of 5 × 5 pixels centered on the attention correction data. It is calculated by
【０１６７】具体的には、例えば、いま、図１７に示し
た補正データ（注目補正データ）Ｘ 33を中心とする３×
３の補正データＸ22，Ｘ23，Ｘ24，Ｘ32，Ｘ33，Ｘ34，
Ｘ42，Ｘ43，Ｘ44でなるクラス分類用ブロック２４２に
ついてのクラス情報Ｃが、クラス分類回路２６５から出
力され、また、そのクラス分類用ブロック２４２に対応
する予測値計算用ブロック２５１として、現在フレーム
の補正データＸ33を中心とする５×５画素の補正データ
Ｘ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ
24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，
Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ
55と、前フレームの予測タップ２２２としての対応する
補正データＸmv1と、後フレームの予測タップ２３２と
しての補正データＸmv2でなる予測値計算用ブロック２
５１が、予測値計算用ブロック化回路２６２から出力さ
れる。Specifically, for example, as shown in FIG.
Corrected data (corrected correction data) X 33Centered on 3 ×
Correction data X of 3twenty two, Xtwenty three, Xtwenty four, X32, X33, X34，
X42, X43, X44In the class classification block 242 consisting of
The class information C about the class information is output from the class classification circuit 265.
And also corresponds to the classification block 242.
As the prediction value calculation block 251
Correction data X335 × 5 pixel correction data centered on
X11, X12, X13, X14, X15, Xtwenty one, Xtwenty two, Xtwenty three, X
twenty four, Xtwenty five, X31, X32, X33, X34, X35, X41，
X42, X43, X44, X45, X51, X52, X53, X54, X
55Corresponds to the prediction tap 222 of the previous frame.
Correction data Xmv1And the prediction tap 232 of the subsequent frame
Correction data Xmv2Prediction value calculation block 2 consisting of
51 is output from the prediction value calculation blocking circuit 262.
Be done.
【０１６８】そして、クラス情報Ｃについての予測係数
ｗ1乃至ｗ27と、予測値計算用ブロック２５１とを用
い、式（１）に対応する次式にしたがって、予測値Ｅ
［Ｙ33（ｋ）］が求められる。Then, using the prediction coefficients w 1 to w 27 for the class information C and the prediction value calculation block 251, the prediction value E is calculated according to the following equation corresponding to the equation (1).
[Y 33 (k)] is required.
【０１６９】 Ｅ［Ｙ33（ｋ）］＝ｗ1（ｋ）Ｘ11＋ｗ2（ｋ）Ｘ12＋ｗ3（ｋ）Ｘ13 ＋ｗ4（ｋ）Ｘ14＋ｗ5（ｋ）Ｘ15＋ｗ6（ｋ）Ｘ21 ＋ｗ7（ｋ）Ｘ22＋ｗ8（ｋ）Ｘ23＋ｗ9（ｋ）Ｘ24 ＋ｗ10（ｋ）Ｘ25＋ｗ11（ｋ）Ｘ31 ＋ｗ12（ｋ）Ｘ32＋ｗ13（ｋ）Ｘ33 ＋ｗ14（ｋ）Ｘ34＋ｗ15（ｋ）Ｘ35 ＋ｗ16（ｋ）Ｘ41＋ｗ17（ｋ）Ｘ42 ＋ｗ18（ｋ）Ｘ43＋ｗ19（ｋ）Ｘ44 ＋ｗ20（ｋ）Ｘ45＋ｗ21（ｋ）Ｘ51 ＋ｗ22（ｋ）Ｘ52＋ｗ23（ｋ）Ｘ53 ＋ｗ24（ｋ）Ｘ54＋ｗ25（ｋ）Ｘ55 ＋ｗ26（ｋ）Ｘmv1 ＋ｗ27（ｋ）Ｘmv2 ・・・（８）[0169] E [Y33(K)] = w1(K) X11+ W2(K) X12+ W3(K) X13 + WFour(K) X14+ WFive(K) X15+ W6(K) Xtwenty one + W7(K) Xtwenty two+ W8(K) Xtwenty three+ W9(K) Xtwenty four + WTen(K) Xtwenty five+ W11(K) X31 + W12(K) X32+ W13(K) X33 + W14(K) X34+ W15(K) X35 + W16(K) X41+ W17(K) X42 + W18(K) X43+ W19(K) X44 + W20(K) X45+ Wtwenty one(K) X51 + Wtwenty two(K) X52+ Wtwenty three(K) X53 + Wtwenty four(K) X54+ Wtwenty five(K) X55 + W26(K) Xmv1 + W27(K) Xmv2 ... (8)
【０１７０】ステップＳ１２５では、以上のようにし
て、２７×９個のクラスごとの予測係数を用いて、注目
補正データを中心とする３×３個の原画像の画素の予測
値が求められる。In step S125, as described above, the prediction values of the pixels of 3 × 3 original images centering on the correction data of interest are obtained using the prediction coefficients of 27 × 9 classes.
【０１７１】その後、ステップＳ１２６に進み、クラス
ごとの２７×９個の予測係数は制御部１１６に供給さ
れ、３×３個の予測値は誤差算出部１１５に供給され
る。そして、ステップＳ１２１に戻り、以下同様の処理
が、例えば、上述したように１フレーム単位で繰り返さ
れる。After that, the process proceeds to step S126, where 27 × 9 prediction coefficients for each class are supplied to the control unit 116, and 3 × 3 prediction values are supplied to the error calculation unit 115. Then, the process returns to step S121, and the same process is repeated, for example, on a frame-by-frame basis as described above.
【０１７２】図２６は、図６の誤差算出部１１５の構成
例を示している。FIG. 26 shows an example of the configuration of the error calculating section 115 shown in FIG.
【０１７３】ブロック化回路３５１には、元の画像デー
タ（縮小される前の原画像の画像データ）が供給されて
いる。ブロック化回路３５１は、その画像データを、ロ
ーカルデコード部１１４から出力される予測値に対応す
る９個単位でブロック化し、その結果得られる３×３画
素のブロック（例えば、図１７に四角形で囲んで示すよ
うな３×３画素のブロック）を、自乗誤差算出回路３５
２に出力する。自乗誤差算出回路３５２には、上述した
ように、ブロック化回路３５１から元の画像データのブ
ロックが供給される他、ローカルデコード部１１４から
予測値が、９個単位（３×３画素のブロック単位）で供
給される。自乗誤差算出回路３５２は、原画像に対す
る、予測値の予測誤差としての自乗誤差を算出し、積算
部３５５に供給する。The original image data (image data of the original image before being reduced) is supplied to the blocking circuit 351. The blocking circuit 351 blocks the image data in units of 9 units corresponding to the prediction value output from the local decoding unit 114, and a block of 3 × 3 pixels obtained as a result (for example, surrounded by a rectangle in FIG. 17). (3 × 3 pixel block) as shown in FIG.
Output to 2. As described above, the square error calculation circuit 352 is supplied with the block of the original image data from the block formation circuit 351, and the local decoding unit 114 outputs the prediction value in units of 9 units (3 × 3 pixel block unit). ). The squared error calculation circuit 352 calculates a squared error as a prediction error of a prediction value for the original image, and supplies the squared error to the integration unit 355.
【０１７４】即ち、自乗誤差算出回路は３５２は、演算
器３５３および３５４で構成されている。演算器３５３
は、ブロック化回路３５１からのブロック化された画像
データそれぞれから、対応する予測値を減算し、その減
算値を、演算器３５４に供給する。演算器３５４は、演
算器３５３の出力（元の画像データと予測値との差分）
を自乗し、積算部３５５に供給する。That is, the squared error calculation circuit 352 is composed of arithmetic units 353 and 354. Calculator 353
Subtracts the corresponding predicted value from each of the blocked image data from the blocking circuit 351 and supplies the subtracted value to the calculator 354. The calculator 354 outputs the difference from the calculator 353 (difference between the original image data and the predicted value).
Is squared and supplied to the integrating unit 355.
【０１７５】積算部３５５は、自乗誤差算出回路３５２
から自乗誤差を受信すると、メモリ３５６の記憶値を読
み出し、その記憶値と自乗誤差とを加算して、再び、メ
モリ３５６に供給して記憶させることを繰り返すこと
で、自乗誤差の積算値（誤差分散）を求める。さらに、
積算部３５５は、所定量（例えば、１フレーム分など）
についての自乗誤差の積算が終了すると、その積算値
を、メモリ３５６から読み出し、誤差情報として、制御
部１１６に供給する。メモリ３５６は、１フレームにつ
いての処理が終了するごとに、その記憶値をクリアしな
がら、積算部３５５の出力値を記憶する。The accumulator 355 has a squared error calculation circuit 352.
When the squared error is received from the memory 356, the stored value in the memory 356 is read, the stored value is added to the squared error, and the summed value of the squared error (error Variance). further,
The integration unit 355 has a predetermined amount (for example, one frame)
When the integration of the squared error of is completed, the integrated value is read from the memory 356 and supplied to the control unit 116 as error information. The memory 356 stores the output value of the integrating unit 355 while clearing the stored value each time the processing for one frame is completed.
【０１７６】次に、その動作について、図２７のフロー
チャートを参照して説明する。誤差算出部１１５では、
まず最初に、ステップＳ１３１において、メモリ３５６
の記憶値が、例えば０にクリア（初期化）され、ステッ
プＳ１３２に進み、ブロック化回路３５１において、画
像データが、上述したようにブロック化され、その結果
得られるブロックが、自乗誤差算出回路３５２に供給さ
れる。自乗誤差算出回路３５２では、ステップＳ１３３
において、ブロック化回路３５１から供給されるブロッ
クを構成する、元の画像（原画像）の画像データと、ロ
ーカルデコード部１１４から供給される予測値との自乗
誤差が算出される。Next, the operation will be described with reference to the flowchart in FIG. In the error calculation unit 115,
First, in step S131, the memory 356
Of the image data is cleared (initialized) to 0, for example, and the process proceeds to step S132. The blocking circuit 351 blocks the image data as described above, and the resulting block is the square error calculation circuit 352. Is supplied to. In the squared error calculation circuit 352, step S133
At, the square error between the image data of the original image (original image) forming the block supplied from the blocking circuit 351 and the predicted value supplied from the local decoding unit 114 is calculated.
【０１７７】即ち、ステップＳ１３３では、演算器３５
３において、ブロック化回路３５１より供給されたブロ
ック化された画像データそれぞれから、対応する予測値
が減算され、演算器３５４に供給される。演算器３５４
は、演算器３５３の出力を自乗し、積算部３５５に供給
する。That is, in step S133, the calculator 35
In 3, the corresponding prediction value is subtracted from each of the blocked image data supplied from the blocking circuit 351 and supplied to the calculator 354. Calculator 354
Outputs the square of the output of the computing unit 353 and supplies it to the integrating unit 355.
【０１７８】積算部３５５は、自乗誤差算出回路３５２
から自乗誤差を受信すると、ステップＳ１３４におい
て、メモリ３５６の記憶値を読み出し、その記憶値と自
乗誤差とを加算することで、自乗誤差の積算値を求め
る。積算部３５５において算出された自乗誤差の積算値
は、メモリ３５６に供給され、前回の記憶値に上書きさ
れることで記憶される。The accumulator 355 has a squared error calculation circuit 352.
When the squared error is received from, the stored value of the memory 356 is read out in step S134, and the stored value and the squared error are added to obtain the integrated value of the squared error. The integrated value of the squared error calculated by the integration unit 355 is supplied to the memory 356 and is stored by overwriting the previously stored value.
【０１７９】そして、積算部３５５では、ステップＳ１
３５において、所定量としての、例えば、１フレーム分
についての自乗誤差の積算が終了したかどうかが判定さ
れる。ステップＳ１３５において、１フレーム分につい
ての自乗誤差の積算が終了していないと判定された場
合、ステップＳ１３２に戻り、再び、ステップＳ１３２
からの処理が繰り返される。また、ステップＳ１３５に
おいて、１フレーム分についての自乗誤差の積算が終了
したと判定された場合、ステップＳ１３６に進み、積算
部３５５は、メモリ３５６に記憶された１フレーム分に
ついての自乗誤差の積算値を読み出し、誤差情報とし
て、制御部１１６に出力する。そして、ステップＳ１３
１に戻り、次のフレームについての原画像および予測値
が供給されるのを待って、再び、ステップＳ１３１から
の処理が繰り返される。Then, in the integrating unit 355, step S1
At 35, it is determined whether or not the accumulation of the squared error for one frame, for example, as a predetermined amount has been completed. If it is determined in step S135 that the sum of squared errors for one frame has not been completed, the process returns to step S132, and again step S132.
The process from is repeated. If it is determined in step S135 that the sum of squared errors for one frame has ended, the process proceeds to step S136, and the accumulator 355 stores the sum of squared errors for one frame stored in the memory 356. Is read out and is output to the control unit 116 as error information. Then, step S13
Returning to 1, waiting for the original image and the predicted value for the next frame to be supplied, the processing from step S131 is repeated again.
【０１８０】従って、誤差算出部１１５では、元の画像
データをＹij（ｋ）とするとともに、その予測値をＥ
［Ｙij（ｋ）］とするとき、次式にしたがった演算が行
われることで、誤差情報Ｑが算出される。Therefore, the error calculation unit 115 sets the original image data as Y ij (k) and the predicted value thereof as E ij (k).
When [Y ij (k)] is set, the error information Q is calculated by performing an operation according to the following equation.
【０１８１】
Ｑ＝Σ（Ｙij（ｋ）−Ｅ［Ｙij（ｋ）］）2
但し、Σは、１フレーム分についてのサメーションを意
味する。Q = Σ (Y ij (k) -E [Y ij (k)]) 2 However, Σ means the summation for one frame.
【０１８２】図２８は、図６の制御部１１６の構成例を
示している。FIG. 28 shows a configuration example of the control unit 116 shown in FIG.
【０１８３】動きベクトルメモリ３６０は、動き推定部
１１３から供給された動きベクトルを記憶する。予測係
数メモリ３６１は、ローカルデコード部１１４から供給
される予測係数を記憶する。補正データメモリ３６２
は、補正部１１２から供給される補正データを記憶す
る。The motion vector memory 360 stores the motion vector supplied from the motion estimator 113. The prediction coefficient memory 361 stores the prediction coefficient supplied from the local decoding unit 114. Correction data memory 362
Stores the correction data supplied from the correction unit 112.
【０１８４】なお、補正データメモリ３６２は、補正部
１１２において、圧縮データが新たに補正され、これに
より、新たな補正データが供給された場合には、既に記
憶している補正データ（前回の補正データ）に代えて、
新たな補正データを記憶する。また、このように補正デ
ータが、新たなものに更新されるタイミングで、ローカ
ルデコード部１１４からは、その新たな補正データに対
応する、新たなクラスごとの予測係数のセットが出力さ
れるが、予測係数メモリ３６１も、このように新たなク
ラスごとの予測係数が供給された場合には、既に記憶し
ているクラスごとの予測係数（前回のクラスごとの予測
係数）に代えて、その新たなクラスごとの予測係数を記
憶する。動きベクトルメモリ３６０も同様に、最初の動
きベクトルに順次更新する処理を行う。In the correction data memory 362, when the correction data is newly corrected by the correction unit 112, and thus new correction data is supplied, the correction data already stored (previous correction Data),
Store new correction data. Further, at this timing when the correction data is updated to a new one, the local decoding unit 114 outputs a new set of prediction coefficients for each class, which corresponds to the new correction data. When the prediction coefficient for each new class is supplied in this way, the prediction coefficient memory 361 also replaces the prediction coefficient for each class (prediction coefficient for the previous class) that has already been stored with the new prediction coefficient. The prediction coefficient for each class is stored. Similarly, the motion vector memory 360 also performs processing for sequentially updating to the first motion vector.
【０１８５】誤差情報メモリ３６３は、誤差算出部１１
５から供給される誤差情報を記憶する。なお、誤差情報
メモリ３６３は、誤差算出部１１５から、今回供給され
た誤差情報の他に、前回供給された誤差情報も記憶する
（新たな誤差情報が供給されても、さらに新たな誤差情
報が供給されるまでは、既に記憶している誤差情報を保
持する）。また、誤差情報メモリ３６３は、新たなフレ
ームについての処理が開始されるごとにクリアされる。The error information memory 363 is used by the error calculation unit 11
The error information supplied from 5 is stored. The error information memory 363 also stores the error information supplied last time in addition to the error information supplied this time from the error calculation unit 115 (even if new error information is supplied, new error information is Until it is supplied, the previously stored error information is retained). Further, the error information memory 363 is cleared each time the processing for a new frame is started.
【０１８６】比較回路３６４は、誤差情報メモリ３６３
に記憶された今回の誤差情報と、予め設定されている所
定の閾値εとを比較し、さらに、必要に応じて、今回の
誤差情報と前回の誤差情報との比較も行う。比較回路３
６４における比較結果は、制御回路３６５に供給され
る。The comparison circuit 364 has an error information memory 363.
This time's error information is compared with the preset predetermined threshold value ε, and, if necessary, this time's error information is compared with the previous error information. Comparison circuit 3
The comparison result at 64 is supplied to the control circuit 365.
【０１８７】制御回路３６５は、比較回路３６４におけ
る比較結果に基づいて、補正データメモリ３６２に記憶
された補正データを、元の画像の符号化結果とすること
の適正（最適）さを判定し、最適でないと認識（判定）
した場合には、新たな補正データの出力を要求する制御
信号を、補正部１１２（補正回路１３１）（図１２）に
供給する。また、制御回路３６５は、補正データメモリ
３６２に記憶された補正データを、元の画像の符号化結
果とすることが最適であると認識した場合には、予測係
数メモリ３６１に記憶されているクラスごとの予測係数
を読み出し、多重化部１１７に出力するとともに、補正
データメモリ３６２に記憶されている補正データを読み
出し、最適圧縮データとして、やはり多重化部１１７に
供給する。さらに、この場合、制御回路３６５は、１フ
レームの画像についての符号化を終了した旨を表す制御
信号を、補正部１１２に出力し、これにより、上述した
ように、補正部１１２に、次のフレームについての処理
を開始させる。The control circuit 365 determines, based on the comparison result in the comparison circuit 364, whether the correction data stored in the correction data memory 362 is the encoding result of the original image (appropriate). Recognized as not optimal (judgment)
In that case, the control signal requesting the output of new correction data is supplied to the correction unit 112 (correction circuit 131) (FIG. 12). Further, when the control circuit 365 recognizes that it is optimal to use the correction data stored in the correction data memory 362 as the encoding result of the original image, the class stored in the prediction coefficient memory 361. The prediction coefficient for each is read and output to the multiplexing unit 117, and the correction data stored in the correction data memory 362 is read and is also supplied to the multiplexing unit 117 as optimum compressed data. Further, in this case, the control circuit 365 outputs a control signal indicating that the encoding of the image of one frame is completed to the correction unit 112, which causes the correction unit 112 to perform the following operation as described above. Start processing for a frame.
【０１８８】次に、図２９を参照して、制御部１１６が
実行する最適化処理について説明する。Next, with reference to FIG. 29, the optimization processing executed by the control unit 116 will be described.
【０１８９】制御部１１６では、まず最初に、ステップ
Ｓ１４１において、誤差算出部１１５から誤差情報を受
信したかどうかが、比較回路３６４によって判定され、
誤差情報を受信していないと判定された場合、ステップ
Ｓ１４１に戻る。また、ステップＳ１４１において、誤
差情報を受信したと判定された場合、即ち、誤差情報メ
モリ３６３に誤差情報が記憶された場合、ステップＳ１
４２に進み、比較回路３６４において、誤差情報メモリ
３６３に、いま記憶された誤差情報（今回の誤差情報）
と、所定の閾値εとが比較され、いずれが大きいかが判
定される。In the control section 116, first, in step S141, the comparison circuit 364 determines whether or not the error information is received from the error calculation section 115.
If it is determined that the error information has not been received, the process returns to step S141. If it is determined in step S141 that the error information is received, that is, if the error information is stored in the error information memory 363, step S1
In step 42, in the comparison circuit 364, the error information currently stored in the error information memory 363 (current error information).
And a predetermined threshold value ε are compared to determine which is larger.
【０１９０】ステップＳ１４２において、今回の誤差情
報が、所定の閾値ε以上であると判定された場合、比較
回路３６４において、誤差情報メモリ３６３に記憶され
ている前回の誤差情報が読み出される。そして、比較回
路３６４は、ステップＳ１４３において、前回の誤差情
報と、今回の誤差情報とを比較し、いずれが大きいかを
判定する。If it is determined in step S142 that the current error information is greater than or equal to the predetermined threshold value ε, the comparison circuit 364 reads the previous error information stored in the error information memory 363. Then, in step S143, the comparison circuit 364 compares the previous error information with the current error information to determine which is larger.
【０１９１】なお、１フレームについての処理が開始さ
れ、最初に誤差情報が供給された場合には、誤差情報メ
モリ３６３には、前回の誤差情報は記憶されていない。
そこで、この場合には、制御部１１６においては、ステ
ップＳ１４３以降の処理は行われず、制御回路３６５に
おいて、所定の初期アドレスを補正値ROM１３２に出力
するように、補正回路１３１（図１２）を制御する制御
信号が出力される。When the processing for one frame is started and the error information is first supplied, the error information memory 363 does not store the previous error information.
Therefore, in this case, the control unit 116 does not perform the processing of step S143 and thereafter, and controls the correction circuit 131 (FIG. 12) so that the control circuit 365 outputs a predetermined initial address to the correction value ROM 132. A control signal to output is output.
【０１９２】ステップＳ１４３において、今回の誤差情
報が、前回の誤差情報以下であると判定された場合、即
ち、圧縮データの補正を行うことにより誤差情報が減少
した場合、ステップＳ１４４に進み、制御回路３６５
は、補正値Δを、前回と同様に変化させるように指示す
る制御信号を、補正回路１３１に出力し、ステップＳ１
４１に戻る。また、ステップＳ１４３において、今回の
誤差情報が、前回の誤差情報より大きいと判定された場
合、即ち、圧縮データの補正を行うことにより誤差情報
が増加した場合、ステップＳ１４５に進み、制御回路３
６５は、補正値Δを、前回と逆に変化させるように指示
する制御信号を、補正回路１３１に出力し、ステップＳ
１４１に戻る。If it is determined in step S143 that the current error information is less than or equal to the previous error information, that is, if the error information is reduced by correcting the compressed data, the process proceeds to step S144, and the control circuit 365
Outputs to the correction circuit 131 a control signal for instructing to change the correction value Δ in the same manner as in the previous time, and step S1
Return to 41. If it is determined in step S143 that the current error information is larger than the previous error information, that is, if the error information is increased by correcting the compressed data, the process proceeds to step S145, and the control circuit 3
65 outputs a control signal for instructing to change the correction value Δ in the opposite manner to the previous time to the correction circuit 131, and the step S
Return to 141.
【０１９３】なお、減少し続けていた誤差情報が、ある
タイミングで上昇するようになったときは、制御回路３
６５は、補正値Δを、いままでの場合の、例えば１／２
の大きさで、前回と逆に変化させるように指示する制御
信号を出力する。When the error information which has been decreasing continues to increase at a certain timing, the control circuit 3
65 is the correction value Δ,
Output a control signal instructing to change the value in the opposite manner.
【０１９４】そして、ステップＳ１４１乃至Ｓ１４５の
処理を繰り返すことにより、誤差情報が減少し、これに
より、ステップＳ１４２において、今回の誤差情報が、
所定の閾値εより小さくなったと判定された場合、ステ
ップＳ１４６に進み、制御回路３６５は、予測係数メモ
リ３６１に記憶されているクラスごとの予測係数を読み
出すとともに、補正データメモリ３６２に記憶されてい
る１フレームの補正データを、最適圧縮データとして読
み出し、多重化部１１７に供給される。また、動きベク
トルメモリ３６０に記憶されている最適圧縮データに対
応する動きベクトルも、読み出され、多重化部１１７に
供給され、処理を終了する。Then, by repeating the processing of steps S141 to S145, the error information is reduced, so that in step S142, the current error information is
When it is determined that the value is smaller than the predetermined threshold value ε, the process proceeds to step S146, and the control circuit 365 reads out the prediction coefficient for each class stored in the prediction coefficient memory 361 and also stores it in the correction data memory 362. The correction data of one frame is read out as optimum compressed data and supplied to the multiplexing unit 117. In addition, the motion vector corresponding to the optimum compressed data stored in the motion vector memory 360 is also read out and supplied to the multiplexing unit 117, and the process ends.
【０１９５】その後は、次のフレームについての誤差情
報が供給されるのを待って、再び、図２９に示すフロー
チャートにしたがった処理が繰り返される。After that, after waiting for the supply of the error information for the next frame, the processing according to the flowchart shown in FIG. 29 is repeated.
【０１９６】なお、補正回路１３１には、圧縮データの
補正は、１フレームすべての圧縮データについて行わせ
るようにすることもできるし、その一部の圧縮データに
ついてだけ行わせるようにすることもできる。一部の圧
縮データについてだけ補正を行う場合においては、制御
回路３６５に、例えば、誤差情報に対する影響の強い画
素を検出させ、そのような画素についての圧縮データだ
けを補正するようにすることができる。誤差情報に対す
る影響の強い画素は、例えば、次のようにして検出する
ことができる。即ち、まず最初に、例えば、間引き後に
残った画素についての圧縮データをそのまま用いて処理
を行うことにより、その誤差情報を得る。そして、間引
き後に残った画素についての圧縮データを、１つずつ、
同一の補正値Δだけ補正するような処理を行わせる制御
信号を、制御回路３６５から補正回路１３１に出力し、
その結果得られる誤差情報を、圧縮データをそのまま用
いた場合に得られた誤差情報と比較し、その差が、所定
値以上となる画素を、誤差情報に対する影響の強い画素
として検出すれば良い。It should be noted that the correction circuit 131 can be made to correct the compressed data for all of the compressed data of one frame, or only for a part of the compressed data. . In the case of correcting only some of the compressed data, the control circuit 365 may be made to detect, for example, a pixel having a strong influence on the error information and correct only the compressed data of such a pixel. . Pixels having a strong influence on the error information can be detected, for example, as follows. That is, first, for example, the error information is obtained by performing the processing using the compressed data of the pixels remaining after the thinning as it is. Then, the compressed data of the pixels remaining after thinning out
The control circuit 365 outputs a control signal for performing a process of correcting the same correction value Δ to the correction circuit 131,
The error information obtained as a result may be compared with the error information obtained when the compressed data is used as it is, and a pixel having a difference of a predetermined value or more may be detected as a pixel having a strong influence on the error information.
【０１９７】以上のように、誤差情報を所定の閾値εよ
り小さくする（以下にする）まで、圧縮データの補正が
繰り返され、誤差情報が所定の閾値εより小さくなった
ときにおける補正データが、画像の符号化結果として出
力されるので、受信装置４４（図２）においては、間引
き後の画像を構成する画素の画素値を、元の画像を復元
するのに最も適当な値にした補正データから、原画像と
同一（ほぼ同一）の復号画像を得ることが可能となる。As described above, the correction of the compressed data is repeated until the error information is made smaller (below) the predetermined threshold value ε, and the correction data when the error information becomes smaller than the predetermined threshold value ε is Since it is output as a result of image encoding, in the receiving device 44 (FIG. 2), the correction data in which the pixel values of the pixels forming the image after thinning are set to the most appropriate values for restoring the original image. Therefore, it is possible to obtain a decoded image that is the same as (or almost the same as) the original image.
【０１９８】また、画像は、間引き処理により圧縮され
る他、ADRC処理およびクラス分類適応処理などによって
も圧縮されるため、非常に高圧縮率の符号化データを得
ることができる。なお、送信装置４１における、以上の
ような符号化処理は、間引きによる圧縮処理と、クラス
分類適応処理とを、いわば有機的に統合して用いること
により、高能率圧縮を実現するものであり、このことか
ら統合符号化処理ということができる。Since the image is compressed not only by the thinning process but also by the ADRC process and the class classification adaptive process, it is possible to obtain encoded data with a very high compression rate. Note that the above-described encoding processing in the transmission device 41 realizes high-efficiency compression by organically integrating and using the compression processing by thinning and the class classification adaptation processing. From this, it can be said that it is an integrated encoding process.
【０１９９】図３０は、図２の受信装置４４のハードウ
ェアの構成例を表している。FIG. 30 shows a hardware configuration example of the receiving apparatus 44 of FIG.
【０２００】受信機／再生装置４６６は、送信装置４１
が符号化データを記録した記録媒体４２を再生したり、
送信装置４１が伝送路４３を介して伝送した符号化デー
タを受信する。I/F４６１は、受信機／再生装置４６６
に対しての符号化データの受信処理を行うとともに、復
号された画像データを図示せぬ装置に出力する処理を実
行する。The receiver / reproducer 466 is connected to the transmitter 41.
Reproduces the recording medium 42 on which the encoded data is recorded,
The transmitter 41 receives the encoded data transmitted via the transmission path 43. The I / F 461 is a receiver / playback device 466.
The receiving process of the encoded data is performed, and the process of outputting the decoded image data to a device (not shown) is performed.
【０２０１】ROM（Read Only Memory）４６２は、IPL
（Initial Program Loading）用のプログラムその他を
記憶している。RAM（Random Access Memory）４６３
は、外部記憶装置４６５に記録されているシステムプロ
グラム（OS（Operating System））やアプリケーション
プログラムを記憶したり、また、CPU（Central Process
ing Unit）４６４の動作上必要なデータを記憶する。CP
U４６４は、ROM４６２に記憶されているIPLプログラム
にしたがい、外部記憶装置４６５からシステムプログラ
ムおよびアプリケーションプログラムを、RAM４６３に
展開し、そのシステムプログラムの制御の下、アプリケ
ーションプログラムを実行することで、Ｉ／Ｆ４６１か
ら供給される符号化データについての、後述するような
復号処理を行う。ROM (Read Only Memory) 462 is an IPL
It stores the program for (Initial Program Loading) and others. RAM (Random Access Memory) 463
Stores a system program (OS (Operating System)) and application programs recorded in the external storage device 465, and a CPU (Central Process).
ing unit) 464 stores data necessary for operation. CP
The U464 expands the system program and the application program from the external storage device 465 to the RAM463 according to the IPL program stored in the ROM462, and executes the application program under the control of the system program to execute the I / F461. Decoding processing as described later is performed on the encoded data supplied from.
【０２０２】外部記憶装置４６５は、例えば、磁気ディ
スク４７１、光ディスク４７２、光磁気ディスク４７
３、または半導体メモリ４７４などでなり、上述したよ
うに、CPU４６４が実行するシステムプログラムやアプ
リケーションプログラムを記憶している他、CPU４６４
の動作上必要なデータも記憶している。The external storage device 465 is, for example, a magnetic disk 471, an optical disk 472, a magneto-optical disk 47.
3 or a semiconductor memory 474, etc., which stores the system programs and application programs executed by the CPU 464 as described above, and the CPU 464.
It also stores data necessary for the operation of.
【０２０３】なお、Ｉ／Ｆ４６１，ROM４６２，RAM４６
３，CPU４６４、および外部記憶装置４６５は、相互に
バスを介して接続されている。The I / F 461, the ROM 462, and the RAM 46
3, the CPU 464 and the external storage device 465 are mutually connected via a bus.
【０２０４】以上のように構成される受信装置４４にお
いては、Ｉ／Ｆ４６１に受信機／再生装置４６６から符
号化データが供給されると、その符号化データは、CPU
４６４に供給される。CPU４６４は、符号化データを復
号し、その結果得られる復号データを、Ｉ／Ｆ４６１に
供給する。Ｉ／Ｆ４６１は、復号データ（画像データ）
を受信すると、それを、図示せぬディスプレイ等に出力
し、表示させる。In the receiving device 44 configured as described above, when the I / F 461 is supplied with the encoded data from the receiver / reproducing device 466, the encoded data is sent to the CPU.
464 is supplied. The CPU 464 decodes the encoded data and supplies the decoded data obtained as a result to the I / F 461. The I / F 461 is decoded data (image data)
When it receives, it outputs it to a display (not shown) or the like and displays it.
【０２０５】図３１は、図３０の受信装置４４の受信機
／再生装置４６６を除く部分の機能的な構成例を示して
いる。FIG. 31 shows an example of the functional configuration of a part of the receiver 44 of FIG. 30 excluding the receiver / reproducer 466.
【０２０６】受信機／再生装置４６６においては、記録
媒体４２に記録された符号化データが再生されるか、ま
たは伝送路４３を介して伝送されてくる符号化データ
（処理対象データ）が受信されるか、分離部５７２に供
給される。分離部５７２では、符号化データから、補正
データ（最適圧縮データ）、クラスごとの予測係数、お
よび動きベクトルが抽出される。補正データは、クラス
分類用ブロック化回路５７３、および予測値計算用ブロ
ック化回路５７７に供給され、クラスごとの予測係数
は、予測回路５７６に供給されて、その内蔵するメモリ
５７６Ａに記憶される。また、動きベクトルは、予測値
計算用ブロック化回路５７７に供給される。In the receiver / reproducing device 466, the encoded data recorded on the recording medium 42 is reproduced or the encoded data (data to be processed) transmitted via the transmission path 43 is received. Or supplied to the separation unit 572. The separation unit 572 extracts the correction data (optimal compression data), the prediction coefficient for each class, and the motion vector from the encoded data. The correction data is supplied to the class classification blocking circuit 573 and the prediction value calculation blocking circuit 577, and the prediction coefficient for each class is supplied to the prediction circuit 576 and stored in the built-in memory 576A thereof. The motion vector is also supplied to the prediction value calculation blocking circuit 577.
【０２０７】クラス分類用ブロック化回路５７３、ADRC
処理回路５７４、クラス分類回路５７５、予測回路５７
６、または予測値計算用ブロック化回路５７７は、図１
６におけるクラス分類用ブロック化回路２６１、ADRC処
理回路２６４、クラス分類回路２６５、予測回路２６
７、または予測値計算用ブロック化回路２６２と、それ
ぞれ同様に構成されている。従って、これらのブロック
においては、図１４と図１６における場合と同様の処理
が行われ、これにより、予測値計算用ブロック化回路５
７７からは予測値計算用ブロックが出力され、また、ク
ラス分類回路５７５からはクラス情報が出力される。こ
れらの予測値計算用ブロックおよびクラス情報は、予測
回路５７６に供給される。Class classification blocking circuit 573, ADRC
Processing circuit 574, class classification circuit 575, prediction circuit 57
6 or the prediction value calculation blocking circuit 577 is shown in FIG.
6. Class classification blocking circuit 261, ADRC processing circuit 264, class classification circuit 265, prediction circuit 26
7 or the prediction value calculation blocking circuit 262, respectively. Therefore, in these blocks, the same processing as in the case of FIG. 14 and FIG. 16 is performed, whereby the prediction value calculation blocking circuit 5
The prediction value calculation block is output from 77, and the class information is output from the class classification circuit 575. The prediction value calculation block and class information are supplied to the prediction circuit 576.
【０２０８】予測回路５７６は、クラス分類回路５７５
から供給されるクラス情報に対応した２７×９個の予測
係数を、メモリ５７６Ａから読み出し、その２７×９個
の予測係数と、予測値計算用ブロック化回路５７７から
供給される５×５画素の予測値計算用ブロック２５１を
構成する補正データとを用い、式（１）にしたがって、
原画像の３×３画素の予測値を算出し、そのような予測
値で構成される画像を、復号画像として、例えば、１フ
レーム単位で出力する。この復号画像は、上述したよう
に、元の画像とほぼ同一の画像となる。The prediction circuit 576 is the class classification circuit 575.
27 × 9 prediction coefficients corresponding to the class information supplied from the memory 576A, and the 27 × 9 prediction coefficients and 5 × 5 pixels supplied from the prediction value calculation blocking circuit 577. Using the correction data forming the prediction value calculation block 251, according to the equation (1),
A prediction value of 3 × 3 pixels of the original image is calculated, and an image configured with such a prediction value is output as a decoded image in, for example, one frame unit. As described above, this decoded image is almost the same as the original image.
【０２０９】次に、図３１の受信装置４４の復号処理に
ついて、図３２のフローチャートを参照して説明する。Next, the decoding process of the receiving apparatus 44 of FIG. 31 will be described with reference to the flowchart of FIG.
【０２１０】最初に、ステップＳ１６０において、受信
機／再生装置４６６は、符号化データを取得し、ステッ
プＳ１６１において、分離部５７２は、受信機／再生装
置４６６より供給された符号化データから、補正データ
と予測係数を分離し、補正データをクラス分類用ブロッ
ク化回路５７３、動き推定部５７７、および予測値計算
用ブロック化回路５７７に供給するとともに、予測係数
を予測回路５７６のメモリ５７６Ａに供給する。First, in step S160, the receiver / reproducer 466 acquires encoded data, and in step S161, the separation unit 572 corrects the encoded data supplied from the receiver / reproducer 466. The data and the prediction coefficient are separated, and the correction data is supplied to the class classification blocking circuit 573, the motion estimation unit 577, and the prediction value calculation blocking circuit 577, and the prediction coefficient is supplied to the memory 576A of the prediction circuit 576. .
【０２１１】ステップＳ１６２において、クラス分類用
ブロック化回路５７３は、クラス分類用ブロック化処理
を行い、クラス分類用ブロックをADRC処理回路５７４に
供給する。In step S162, the class classification blocking circuit 573 performs class classification blocking processing and supplies the class classification block to the ADRC processing circuit 574.
【０２１２】ステップＳ１６３において、ADRC処理回路
５７４は、クラス分類用ブロック化回路５７３より供給
されたクラス分類用ブロックの補正データを１ビットAD
RC処理し、クラス分類回路５７５に出力する。In step S163, the ADRC processing circuit 574 uses the 1-bit AD of the correction data of the class classification block supplied from the class classification blocking circuit 573.
RC process and output to class classification circuit 575.
【０２１３】クラス分類回路５７５は、ステップＳ１６
４において、ADRC処理回路５７４より供給されたデータ
に基づいて、クラス分類処理を行い、クラスコードを予
測回路５７６に出力する。The class classification circuit 575 has the step S16.
In 4, the class classification processing is performed based on the data supplied from the ADRC processing circuit 574, and the class code is output to the prediction circuit 576.
【０２１４】ステップＳ１６５において、予測回路５７
６は、メモリ５７６Ａに記憶されている、クラスコード
に対応する予測係数を読み出す。In step S165, the prediction circuit 57 is used.
6 reads the prediction coefficient corresponding to the class code stored in the memory 576A.
【０２１５】予測値計算用ブロック化回路５７７は、ス
テップＳ１６６において、分離部５７２より供給される
前フレーム動きベクトルと後フレーム動きベクトルに基
づいて、やはり分離部５７２より供給される補正データ
の中から、予測値計算用ブロックを構成する補正データ
を抽出する。The prediction value calculation blocking circuit 577, based on the previous frame motion vector and the subsequent frame motion vector supplied from the separation unit 572, also selects from the correction data supplied from the separation unit 572 in step S166. , Correction data forming a prediction value calculation block is extracted.
【０２１６】ステップＳ１６７において、予測回路５７
６は、ステップＳ１６５の処理で読み出した、クラス分
類回路５７５から供給されるクラス情報に対応した２７
×９個の予測係数と、予測値計算用ブロック化回路５７
７から供給される２７個の予測値計算用ブロックを構成
する補正データとを用い、式（１）に従って、原画像の
３×３画素の予測値を算出する。In step S167, the prediction circuit 57 is used.
6 is 27 corresponding to the class information supplied from the class classification circuit 575 read in the process of step S165.
× 9 prediction coefficients and prediction value calculation blocking circuit 57
Using the correction data forming 27 prediction value calculation blocks supplied from No. 7, the prediction value of 3 × 3 pixels of the original image is calculated according to the equation (1).
【０２１７】その後、ステップＳ１６８に進み、予測回
路５７６は、ステップＳ１６７の処理で算出した予測値
を復号結果として出力する。Thereafter, the processing proceeds to step S168, and the prediction circuit 576 outputs the prediction value calculated in the processing of step S167 as the decoding result.
【０２１８】なお、受信側においては、図３１に示すよ
うな受信装置４４でなくても、間引きされた画像を単純
な補間により復号する装置により、予測係数を用いず
に、復号画像を得ることができる。但し、この場合に得
られる復号画像は、画質（解像度）が劣化したものとな
る。On the receiving side, even if the receiving device 44 as shown in FIG. 31 is not used, a device for decoding a thinned image by simple interpolation can be used to obtain a decoded image without using prediction coefficients. You can However, the decoded image obtained in this case has deteriorated image quality (resolution).
【０２１９】図３３は、図１６の予測係数ROM２６６に
記憶されている予測係数を得るための学習を行う画像処
理装置の構成例を示している。FIG. 33 shows an example of the configuration of an image processing apparatus which performs learning for obtaining the prediction coefficient stored in the prediction coefficient ROM 266 of FIG.
【０２２０】この画像処理装置には、あらゆる画像に適
応可能な予測係数を得るための学習用の画像データ（学
習用画像）が供給される。図１４に示される動き推定部
１１３と同様に構成される動き推定部５９０は、入力さ
れた画像データから、前フレーム動きベクトルと後フレ
ーム動きベクトルを検出し、学習用ブロック化回路５９
１に供給する。This image processing apparatus is supplied with learning image data (learning image) for obtaining prediction coefficients applicable to all images. The motion estimation unit 590 configured similarly to the motion estimation unit 113 illustrated in FIG. 14 detects the preceding frame motion vector and the following frame motion vector from the input image data, and uses the learning blocking circuit 59.
Supply to 1.
【０２２１】学習用ブロック化回路５９１は、動き推定
部５９０から供給される動きベクトルに基づいて、画像
データから学習用ブロックを抽出し、ADRC処理回路５９
３と学習データメモリ５９６に供給する。ADRC処理回路
５９３は、学習用ブロック化回路５９１より供給される
学習用ブロックを１ビットADRC処理し、処理した結果を
クラス分類回路５９４に出力する。The learning blocking circuit 591 extracts a learning block from the image data based on the motion vector supplied from the motion estimation unit 590, and the ADRC processing circuit 59.
3 and learning data memory 596. The ADRC processing circuit 593 performs 1-bit ADRC processing on the learning block supplied from the learning blocking circuit 591 and outputs the processed result to the class classification circuit 594.
【０２２２】クラス分類回路５９４は、ADRC処理回路５
９３より供給されたデータをクラス分類し、得られた結
果をスイッチ５９５の端子ａを介して学習データメモリ
５９６のアドレス端子に供給する。The class classification circuit 594 is the ADRC processing circuit 5.
The data supplied from 93 is classified, and the obtained result is supplied to the address terminal of the learning data memory 596 via the terminal a of the switch 595.
【０２２３】スイッチ５９５はまた、端子ｂからカウン
タ５９７の出力を学習データメモリ５９６のアドレス端
子に供給する。The switch 595 also supplies the output of the counter 597 from the terminal b to the address terminal of the learning data memory 596.
【０２２４】教師用ブロック化回路５９２は、画像デー
タから教師用ブロックを抽出し、教師データメモリ５９
８に出力する。教師データメモリ５９８のアドレス端子
には、スイッチ５９５により、端子ａから取り込まれた
クラス分類回路５９４の出力、または端子ｂから取り込
まれたカウンタ５９７の出力が供給されている。The teacher block formation circuit 592 extracts a teacher block from the image data and outputs it to the teacher data memory 59.
Output to 8. To the address terminal of the teacher data memory 598, the output of the class classification circuit 594 fetched from the terminal a or the output of the counter 597 fetched from the terminal b is supplied by the switch 595.
【０２２５】演算回路５９９は、学習データメモリ５９
６の出力と、教師データメモリ５９８の出力とを演算
し、演算して得られた結果をメモリ６００に供給する。
メモリ６００のアドレス端子には、カウンタ５９７の出
力が供給されている。The arithmetic circuit 599 has a learning data memory 59.
6 and the output of the teacher data memory 598 are calculated, and the result obtained by the calculation is supplied to the memory 600.
The output of the counter 597 is supplied to the address terminal of the memory 600.
【０２２６】次に、図３４のフローチャートを参照し
て、図３３の画像処理装置の学習処理について説明す
る。Next, the learning process of the image processing apparatus of FIG. 33 will be described with reference to the flowchart of FIG.
【０２２７】ステップＳ１８１において、動き推定部５
９０は、入力された画像データから前フレーム動きベク
トルと後フレーム動きベクトルを抽出し、学習量ブロッ
ク化回路５９１に出力する。In step S181, the motion estimation unit 5
90 extracts a front frame motion vector and a rear frame motion vector from the input image data, and outputs them to the learning amount blocking circuit 591.
【０２２８】学習用ブロック化回路５９１は、ステップ
Ｓ１８２において、入力される画像データから、例え
ば、図１７に黒い円形の印で示した位置関係の２５画素
（５×５画素）、並びに、図１９に示される前フレーム
の予測タップ２２２と後フレームの予測タップ２３２に
対応する２個の画素を抽出し、この２７画素で構成され
るブロックを、学習用ブロックとして、ADRC処理５９３
および学習データメモリ５９６に供給する。In step S182, the learning blocking circuit 591 selects from the input image data, for example, 25 pixels (5 × 5 pixels) in the positional relationship indicated by black circles in FIG. 17, and FIG. Two pixels corresponding to the prediction tap 222 of the previous frame and the prediction tap 232 of the subsequent frame shown in are extracted, and the block composed of these 27 pixels is used as a learning block, and the ADRC processing 593 is performed.
And the learning data memory 596.
【０２２９】また、教師用ブロック化回路５９２は、ス
テップＳ１８３において、入力される画像データから、
例えば、３×３個の９画素で構成されるブロックを生成
し、この９画素で構成されるブロックを、教師用ブロッ
クとして、教師データメモリ５９８に供給する。Further, the teacher blocking circuit 592 determines from the input image data in step S183 that
For example, a block composed of 3 × 3 9 pixels is generated, and this block composed of 9 pixels is supplied to the teacher data memory 598 as a teacher block.
【０２３０】なお、学習用ブロック化回路５９１におい
て、例えば、図１７と図１９に黒い円形の印で示した位
置関係の２７画素を含む学習用ブロックが生成されると
き、教師用ブロック化回路５９２では、図１７に四角形
で囲んで示される３×３画素の教師用ブロックが生成さ
れる。When the learning block forming circuit 591 generates a learning block including 27 pixels in the positional relationship shown by the black circles in FIGS. 17 and 19, for example, the teacher block forming circuit 592. Then, a teacher block of 3 × 3 pixels surrounded by a rectangle in FIG. 17 is generated.
【０２３１】ADRC処理回路５９３は、ステップＳ１８４
において、学習用ブロックを構成する２７画素から、例
えば、その中心の９画素（３×３画素）を抽出し、この
９画素でなるブロックに対して、図１６のADRC処理回路
２６４における場合と同様に、１ビットのADRC処理を施
す。ADRC処理の施された３×３画素のブロックは、クラ
ス分類回路５９４に供給される。クラス分類回路５９４
は、ステップＳ１８５において、図１６のクラス分類回
路２６５における場合と同様に、ADRC処理回路５９３か
らのブロックをクラス分類処理し、それにより得られる
クラス情報を、スイッチ５９５の端子ａを介して、学習
データメモリ５９６および教師データメモリ５９８に供
給する。The ADRC processing circuit 593 is in step S184.
In, for example, from the 27 pixels forming the learning block, for example, the central 9 pixels (3 × 3 pixels) are extracted, and for the block of 9 pixels, the same as in the case of the ADRC processing circuit 264 of FIG. Then, 1-bit ADRC processing is performed. The block of 3 × 3 pixels that has been subjected to ADRC processing is supplied to the class classification circuit 594. Class classification circuit 594
In step S185, the block from the ADRC processing circuit 593 is subjected to the class classification process in the same manner as in the class classification circuit 265 of FIG. It is supplied to the data memory 596 and the teacher data memory 598.
【０２３２】学習データメモリ５９６または教師データ
メモリ５９８は、それぞれステップＳ１８６，Ｓ１８７
において、そこに供給されるクラス情報に対応するアド
レスに、学習用ブロック化回路５９１からの学習用ブロ
ックまたは教師用ブロック化回路５９２からの教師用ブ
ロックを、それぞれ記憶する。The learning data memory 596 and the teacher data memory 598 are respectively stored in steps S186 and S187.
In, the learning block from the learning blocking circuit 591 or the teacher block from the teacher blocking circuit 592 is stored at the address corresponding to the class information supplied thereto.
【０２３３】従って、学習データメモリ５９６におい
て、例えば、図１７と図１９に黒い円形の印で示した２
７（＝５×５＋２）個の画素でなるブロックが学習用ブ
ロックとして、あるアドレスに記憶されたとすると、教
師データメモリ５９８においては、そのアドレスと同一
のアドレスに、図１７において、四角形で囲んで示す３
×３画素のブロックが、教師用ブロックとして記憶され
る。Therefore, in the learning data memory 596, for example, 2 indicated by a black circle mark in FIGS.
If a block consisting of 7 (= 5 × 5 + 2) pixels is stored at a certain address as a learning block, in the teacher data memory 598, the same address as that address is surrounded by a rectangle in FIG. Showing 3
A block of × 3 pixels is stored as a teacher block.
【０２３４】以下、同様の処理が、あらかじめ用意され
たすべての学習用の画像について繰り返され、これによ
り、学習用ブロックと、図１６のローカルデコード部１
１４において、その学習用ブロックを構成する２７画素
と同一の位置関係を有する２７個の補正データで構成さ
れる予測値計算用ブロックを用いて予測値が求められる
９画素で構成される教師用ブロックとが、学習用データ
メモリ５９６と、教師用データメモリ５９８とにおい
て、同一のアドレスに記憶される。Thereafter, the same processing is repeated for all the learning images prepared in advance, whereby the learning block and the local decoding unit 1 of FIG.
14, a teacher block composed of 9 pixels whose prediction value is obtained using a prediction value calculation block composed of 27 pieces of correction data having the same positional relationship as the 27 pixels forming the learning block And are stored at the same address in the learning data memory 596 and the teacher data memory 598.
【０２３５】なお、学習用データメモリ５９６と教師用
データメモリ５９８においては、同一アドレスに複数の
情報を記憶することができるようになされており、これ
により、同一アドレスには、複数の学習用ブロックと教
師用ブロックを記憶することができるようになされてい
る。It should be noted that the learning data memory 596 and the teacher data memory 598 can store a plurality of information at the same address, whereby a plurality of learning blocks can be stored at the same address. And is designed to be able to remember the teacher block.
【０２３６】学習用画像すべてについての学習用ブロッ
クと教師用ブロックとが、学習データメモリ５９６と教
師データメモリ５９８に記憶されると、ステップＳ１８
８において、端子ａを選択していたスイッチ５９５が、
端子ｂに切り替わり、これにより、カウンタ５９７の出
力が、アドレスとして、学習データメモリ５９６および
教師データメモリ５９８に供給される。カウンタ５９７
は、所定のクロックをカウントし、そのカウント値を出
力しており、学習データメモリ５９６または教師データ
メモリ５９８では、そのカウント値に対応するアドレス
に記憶された学習用ブロックまたは教師用ブロックが読
み出され、演算回路５９９に供給される。When the learning block and the teacher block for all the learning images are stored in the learning data memory 596 and the teacher data memory 598, step S18 is performed.
8, the switch 595 selecting the terminal a is
The terminal is switched to the terminal b, whereby the output of the counter 597 is supplied to the learning data memory 596 and the teacher data memory 598 as an address. Counter 597
Counts a predetermined clock and outputs the count value. In the learning data memory 596 or the teacher data memory 598, the learning block or the teacher block stored at the address corresponding to the count value is read out. And is supplied to the arithmetic circuit 599.
【０２３７】従って、演算回路５９９には、カウンタ５
９７のカウント値に対応するクラスの学習用ブロックの
セットと、教師用ブロックのセットとが供給される。Therefore, the arithmetic circuit 599 includes the counter 5
A set of learning blocks of a class corresponding to the count value of 97 and a set of teacher blocks are supplied.
【０２３８】演算回路５９９は、あるクラスについての
学習用ブロックのセットと、教師用ブロックのセットと
を受信すると、それらを用いて、最小自乗法により、誤
差を最小とする予測係数を算出する。Upon receiving the set of learning blocks and the set of teacher blocks for a certain class, the arithmetic circuit 599 uses them to calculate a prediction coefficient that minimizes the error by the least square method.
【０２３９】即ち、例えば、いま、学習用ブロックを構
成する画素の画素値を、ｘ1，ｘ2，ｘ3，・・・とし、
求めるべき予測係数をｗ1，ｗ2，ｗ3，・・・とすると
き、これらの線形１次結合により、教師用ブロックを構
成する、ある画素の画素値ｙを求めるには、予測係数ｗ
1，ｗ2，ｗ3，・・・は、次式を満たす必要がある。That is, for example, the pixel values of the pixels forming the learning block are now set to x 1 , x 2 , x 3 , ...
When the prediction coefficients to be obtained are w 1 , w 2 , w 3 , ..., To obtain the pixel value y of a certain pixel forming the teacher block by linear linear combination of these, the prediction coefficient w
1 , w 2 , w 3 , ... Must satisfy the following equation.
【０２４０】ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・Y = w 1 x 1 + w 2 x 2 + w 3 x 3 + ...
【０２４１】そこで、演算回路５９９では、同一クラス
の学習用ブロックと、対応する教師用ブロックとから、
真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・
・の自乗誤差を最小とする予測係数ｗ1，ｗ2，ｗ3，・
・・が、上述した式（７）に示す正規方程式をたてて解
くことにより求められる。従って、この処理をクラスご
とに行うことにより、各クラスごとに、２７×９個の予
測係数が生成される。Therefore, in the arithmetic circuit 599, from the learning block of the same class and the corresponding teacher block,
Predicted value w 1 x 1 + w 2 x 2 + w 3 x 3 + ... for the true value y
・ Prediction coefficients w 1 , w 2 , w 3 , that minimize the square error of
.. is obtained by creating and solving the normal equation shown in the above equation (7). Therefore, by performing this process for each class, 27 × 9 prediction coefficients are generated for each class.
【０２４２】演算回路５９９において求められた、クラ
スごとの予測係数は、ステップＳ１８９において、メモ
リ６００に供給される。メモリ６００には、演算回路５
９９からの予測係数の他、カウンタ５９７からカウント
値が供給されており、これにより、メモリ６００におい
ては、演算回路５９９からの予測係数が、カウンタ５９
７からのカウント値に対応するアドレスに記憶される。The prediction coefficient for each class obtained by the arithmetic circuit 599 is supplied to the memory 600 in step S189. The memory 600 includes an arithmetic circuit 5
The count value is supplied from the counter 597 in addition to the prediction coefficient from the counter 99. Therefore, in the memory 600, the prediction coefficient from the arithmetic circuit 599 is stored in the counter 59.
It is stored in the address corresponding to the count value from 7.
【０２４３】以上のようにして、メモリ６００には、各
クラスに対応するアドレスに、そのクラスのブロックの
３×３画素を予測するのに最適な２７×９個の予測係数
が記憶される。As described above, the memory 600 stores 27 × 9 prediction coefficients optimum for predicting the 3 × 3 pixels of the block of the class at the address corresponding to each class.
【０２４４】図１６の予測係数ROM２６６には、以上の
ようにしてメモリ６００に記憶されたクラスごとの予測
係数が記憶される。The prediction coefficient ROM 266 of FIG. 16 stores the prediction coefficient for each class stored in the memory 600 as described above.
【０２４５】なお、図１９の例においては、現在フレー
ム２０１の１フレーム前の前フレーム２０２と、１フレ
ーム後の後フレーム２０３からも予測タップを抽出する
ようにしたが、例えば、図３５に示されるように、前フ
レーム２０２よりさらに１フレーム前の前フレーム２０
４において、注目補正データ４５１に対して動きベクト
ル４５３に対応する位置の補正データを予測タップ４５
２として抽出し、さらに、後フレーム２０３よりさらに
１フレームだけ後の後フレーム２０５における注目対応
補正データ４６１に対して動きベクトル４６３に対応す
る位置の補正データで構成される予測タップ４６２を抽
出し、それらも予測値計算用ブロックの補正データとす
ることができる。In the example of FIG. 19, prediction taps are also extracted from the previous frame 202 one frame before the current frame 201 and the subsequent frame 203 one frame after the current frame 201. As shown in FIG.
4, the correction data at the position corresponding to the motion vector 453 with respect to the correction data 451 of interest is predicted by the prediction tap 45.
2, and a prediction tap 462 composed of correction data at a position corresponding to the motion vector 463 with respect to the attention corresponding correction data 461 in the rear frame 205 that is one frame further behind the rear frame 203, These can also be used as the correction data of the prediction value calculation block.
【０２４６】また、以上においては、現在フレームより
前のフレームと後のフレームの両方から予測タップを抽
出するようにしたが、少なくとも一方からだけ予測タッ
プを抽出するようにしてもよい。In the above, the prediction taps are extracted from both the frame before the current frame and the frame after the current frame, but the prediction taps may be extracted from at least one of the frames.
【０２４７】但し、時間的により広い範囲から予測タッ
プを抽出するようにした方が、動きが速い動画像が原画
像である場合においても、より、原画像に近い画像を復
号することが可能となる。However, it is possible to decode an image closer to the original image by extracting the prediction taps from a wider range in terms of time, even when the moving image with fast motion is the original image. Become.
【０２４８】以上においては、動き推定部１１３、ロー
カルデコード部１１４、および誤差算出部１１５を別の
構成としたが、これらを一体に構成することも可能であ
る。図３６は、この場合における動き推定部１１３（ロ
ーカルデコード部１１４および誤差算出部１１５）の構
成例を表している。すなわち、この例においては、比較
器１６７より予測誤差に基づく誤差情報が制御部１１６
に供給される。また、予測係数ROM１６４から読み出さ
れた予測係数が、制御部１１６に供給される。In the above, the motion estimating unit 113, the local decoding unit 114, and the error calculating unit 115 have different configurations, but they may be integrated. FIG. 36 shows a configuration example of the motion estimation unit 113 (local decoding unit 114 and error calculation unit 115) in this case. That is, in this example, the error information based on the prediction error is output from the comparator 167 to the controller 116.
Is supplied to. Further, the prediction coefficient read from the prediction coefficient ROM 164 is supplied to the control unit 116.
【０２４９】従って、図６における動き推定部１１３、
ローカルデコード部１１４、および誤差算出部１１５を
一体化した構成とすることができる。Therefore, the motion estimation unit 113 in FIG.
The local decoding unit 114 and the error calculating unit 115 can be integrated.
【０２５０】図３７は、動き推定部１１３の他の構成例
を表している。FIG. 37 shows another configuration example of the motion estimation unit 113.
【０２５１】この動き推定部１１３においては、フレー
ムメモリ７２０乃至７２２に、補正データが１フレーム
分づつ順次転送され、保持される。従って、フレームメ
モリ７２１には現在フレームの補正データが、フレーム
メモリ７２２には前フレームの補正データが、そして、
フレームメモリ７２０には後フレームの補正データが、
それぞれ保持される。In the motion estimation unit 113, the correction data is sequentially transferred and held in the frame memories 720 to 722 for each frame. Therefore, the correction data of the current frame is stored in the frame memory 721, the correction data of the previous frame is stored in the frame memory 722, and
The correction data of the subsequent frame is stored in the frame memory 720,
Retained respectively.
【０２５２】アドレス設定部７２３−１は、フレームメ
モリ７２０，７２２に記憶されている補正データのう
ち、所定の探索範囲（フレームメモリ７２１に記憶され
ている現在フレーム２０１の注目補正データ２１１に対
応する探索範囲）内の第１の位置（動きベクトルｖ０に
対応する位置）の予測タップを構成する任意の数の補正
データのアドレスを設定し、そのアドレスに対応する補
正データ、すなわち、予測タップを構成する補正データ
を読み出し、クラス分類適応処理回路７２４−１に供給
する。アドレス設定部７２３−１は、また、フレームメ
モリ７２１に記憶されている補正データのうち、注目補
正データ２１１を中心とする所定の範囲の予測タップを
構成する補正データを読み出し、クラス分類適応処理回
路７２４−１に供給する。さらに、また、アドレス設定
部７２３−１は、フレームメモリ７２１に記憶されてい
る現在フレームから、クラスタップを構成する補正デー
タを読み出し、クラス分類適応処理回路７２４−１に供
給する。The address setting unit 723-1 corresponds to a predetermined search range (correction data 211 of interest of the current frame 201 stored in the frame memory 721 among the correction data stored in the frame memories 720 and 722). An address of an arbitrary number of correction data forming a prediction tap at a first position (position corresponding to the motion vector v0) within a search range) is set, and correction data corresponding to the address, that is, a prediction tap is formed. The correction data to be read is read and supplied to the class classification adaptive processing circuit 724-1. The address setting unit 723-1 also reads, out of the correction data stored in the frame memory 721, the correction data forming the prediction taps in a predetermined range centered on the correction data 211 of interest, and the class classification adaptive processing circuit. 724-1. Furthermore, the address setting unit 723-1 reads the correction data forming the class tap from the current frame stored in the frame memory 721, and supplies it to the class classification adaptive processing circuit 724-1.
【０２５３】クラス分類適応処理回路７２４−１は、ア
ドレス設定部７２３−１より供給された予測タップとク
ラスタップの補正データに基づいて、クラス分類適応処
理を行い、注目補正データ２１１に対応する注目画素の
予測値を演算する。The class classification adaptation processing circuit 724-1 performs class classification adaptation processing on the basis of the correction data of the prediction tap and the class tap supplied from the address setting section 723-1, and pays attention to the attention correction data 211. Calculate the predicted value of the pixel.
【０２５４】アドレス設定部７２３−２は、探索範囲内
の第２の位置（第２の動きベクトルｖ１に対応する位
置）の予測タップとクラスタップの画素データを抽出
し、クラス分類適応処理回路７２４−２に供給する。ク
ラス分類適応処理回路７２４−２は、アドレス設定部７
２３−２より供給された予測タップとクラスタップの補
正データに基づいて、クラス分類適応処理を行い、予測
値を演算する。The address setting section 723-2 extracts the pixel data of the prediction tap and the class tap at the second position (the position corresponding to the second motion vector v1) within the search range, and the class classification adaptive processing circuit 724. -2. The class classification adaptive processing circuit 724-2 includes the address setting unit 7
Based on the correction data of the prediction tap and the class tap supplied from 23-2, class classification adaptation processing is performed and a prediction value is calculated.
【０２５５】同様の構成が、探索範囲内を探索して得ら
れる動きベクトルの数（ｎ個）だけ設けられている。す
なわち、アドレス設定部とクラス分類適応処理部の組み
合わせがｎ組用意されている。例えば、探索範囲が水平
方向と垂直方向ともにマイナス８からプラス８までであ
るとすると、ｎの数は２８９（＝１７×１７）となる。Similar configurations are provided for the number (n) of motion vectors obtained by searching the search range. That is, n sets of combinations of the address setting unit and the class classification adaptive processing unit are prepared. For example, if the search range is from minus 8 to plus 8 in both the horizontal and vertical directions, the number of n is 289 (= 17 × 17).
【０２５６】比較器７２５は、クラス分類適応処理回路
７２４−１乃至７２４−ｎから供給されるｎ個の予測値
を、入力画像データの注目画素と比較し、その差を予測
残差として検出するとともに、予測残差のうちの最初の
予測残差を評価値として選択する。The comparator 725 compares the n prediction values supplied from the class classification adaptive processing circuits 724-1 to 724-n with the target pixel of the input image data, and detects the difference as a prediction residual. At the same time, the first prediction residual among the prediction residuals is selected as the evaluation value.
【０２５７】閾値判定部７２６は、比較器７２５より供
給される最小の予測残差（評価値）を閾値と比較する。
評価値が閾値と等しいか、それより小さい場合には、閾
値判定部７２６は、動きベクトルを出力する。閾値判定
部７２６は、予測残差が閾値よりも大きい場合には、予
測残差そのものを出力する。The threshold judgment unit 726 compares the minimum prediction residual (evaluation value) supplied from the comparator 725 with the threshold.
When the evaluation value is equal to or smaller than the threshold value, the threshold value determination unit 726 outputs the motion vector. The threshold determination unit 726 outputs the prediction residual itself when the prediction residual is larger than the threshold.
【０２５８】次に、図３７の動き推定部１１３の処理に
ついて、図３８と図３９のフローチャートを参照して説
明する。Next, the processing of the motion estimation unit 113 in FIG. 37 will be described with reference to the flowcharts in FIGS. 38 and 39.
【０２５９】なお、アドレス設定部７２３−１乃至７２
３−ｎは、例えば、図１６におけるクラス分類用ブロッ
ク化回路２６１と予測値計算用ブロック化回路７４２を
内蔵しており、クラス分類適応処理回路７２４−１乃至
７２４−ｎは、それぞれ図１６のクラス分類適応処理回
路２６３と同様に、ADRC処理回路、クラス分類回路、予
測係数ROM、および予測回路を内蔵している。The address setting sections 723-1 to 72-2
3-n incorporates, for example, the class classification blocking circuit 261 and the prediction value calculation blocking circuit 742 in FIG. 16, and the class classification adaptive processing circuits 724-1 to 724-n are respectively shown in FIG. Like the class classification adaptive processing circuit 263, it includes an ADRC processing circuit, a class classification circuit, a prediction coefficient ROM, and a prediction circuit.
【０２６０】最初に、ステップＳ２１０において、閾値
判定部２６は、伝送判定閾値をセットする。この伝送判
定閾値は、後述するステップＳ２２６の処理で利用され
る。First, in step S210, the threshold judgment unit 26 sets a transmission judgment threshold. This transmission determination threshold value is used in the process of step S226 described later.
【０２６１】ステップＳ２１１において、前フレームデ
ータを蓄積する処理が実行され、ステップＳ２１２にお
いて、現在フレームデータを蓄積する処理が実行され、
ステップＳ２１３において、後フレームデータを蓄積す
る処理が実行される。すなわち、例えば、１フレーム分
の画像データが、フレームメモリ７２０に記憶された
後、再びそこから読み出され、フレームメモリ７２１に
転送され、そこからさらにフレームメモリ７２２に転送
され、記憶される。そして、フレームメモリ７２１に
は、それに続く新たな１フレーム分の補正データが記憶
され、さらにフレームメモリ７２０には、その後の１フ
レーム分の補正データが記憶される。このようにして、
フレームメモリ７２２には、前フレームの補正データが
記憶され、フレームメモリ７２１には、現在フレーム
（前フレームより時間的に１フレームだけ後のフレー
ム）の補正データが蓄積され、フレームメモリ７２０に
は、後フレーム（現在フレームより時間的に１フレーム
だけ後のフレーム）の補正データが蓄積される。In step S211, the process of accumulating the previous frame data is executed, and in step S212, the process of accumulating the current frame data is executed.
In step S213, a process of accumulating the subsequent frame data is executed. That is, for example, the image data for one frame is stored in the frame memory 720, then read again therefrom, transferred to the frame memory 721, further transferred to the frame memory 722, and stored therein. Then, the frame memory 721 stores new one-frame correction data subsequent thereto, and the frame memory 720 further stores the subsequent one-frame correction data. In this way
The frame memory 722 stores the correction data of the previous frame, the frame memory 721 stores the correction data of the current frame (the frame that is one frame after the previous frame in time), and the frame memory 720 stores the correction data. The correction data of the subsequent frame (frame that is one frame later than the current frame in time) is accumulated.
【０２６２】ステップＳ２１４において、フレームメモ
リ７２１は、アドレス設定部７２３−１乃至７２３−ｎ
の制御に基づいて、記憶している現在フレームの補正デ
ータの中から注目補正データを抽出し、比較器７２５と
閾値判定部７２６に供給する。In step S214, the frame memory 721 determines whether the address setting units 723-1 to 723-n are available.
Based on the control of 1), the correction data of interest is extracted from the stored correction data of the current frame, and is supplied to the comparator 725 and the threshold value determination unit 726.
【０２６３】ステップＳ２１５において、比較器７２５
は、比較値をセットする。この比較値は、最小の予測残
差としての評価値を求めるために、ステップＳ２２４の
処理で、より小さい予測残差の値に更新されるものであ
り、初期値としては、最大値がセットされる。この比較
値は、ステップＳ２２３の処理で利用される。In step S215, the comparator 725
Sets the comparison value. This comparison value is updated to a smaller value of the prediction residual in the process of step S224 in order to obtain the evaluation value as the minimum prediction residual, and the maximum value is set as the initial value. It This comparison value is used in the process of step S223.
【０２６４】次に、ステップＳ２１６において、アドレ
ス設定部７２３−１乃至７２３−ｎは、それぞれステッ
プＳ２１４の処理で抽出された注目補正データに対応す
るアドレスを設定する。これにより、アドレス設定部７
２３−１乃至７２３−ｎから、注目補正データに対応す
る探索範囲内における、各探索位置（動きベクトル）に
対応するクラスタップと予測タップを含む補正データ
が、対応するクラス分類適応処理回路７２４−１乃至７
２４−ｎに取り込み可能となる。Next, in step S216, the address setting sections 723-1 to 723-n respectively set the addresses corresponding to the correction data of interest extracted in the processing of step S214. As a result, the address setting unit 7
23-1 to 723-n, correction data including a class tap and a prediction tap corresponding to each search position (motion vector) in the search range corresponding to the correction data of interest corresponds to the corresponding class classification adaptive processing circuit 724-. 1 to 7
24-n can be taken in.
【０２６５】そこで、ステップＳ２１７において、アド
レス設定部７２３−１乃至７２３−ｎのクラス分類用ブ
ロック化回路は、供給された補正データの中からクラス
タップを抽出する。Therefore, in step S217, the class classification blocking circuits of the address setting sections 723-1 to 723-n extract class taps from the supplied correction data.
【０２６６】クラス分類適応処理回路７２４−１乃至７
２４−ｎのADRC処理回路は、ステップＳ２１８におい
て、クラスタップを構成する９個の補正データに対し
て、１ビットADRC処理を施す。これにより、９個の補正
データがそれぞれ０または１の値に変換されて、９ビッ
トのデータがクラス分類適応処理回路７２４−１乃至７
２４−ｎのクラス分類回路に供給される。クラス分類回
路は、ADRC処理回路より供給される９ビットのデータに
基づいて、その９個の補正データで構成されるクラスタ
ップに対応するクラスコードを決定し、クラス分類適応
処理回路７２４−１乃至７２４−ｎの予測係数ROMに出
力する。Class classification adaptive processing circuits 724-1 to 72-7
In step S218, the 24-n ADRC processing circuit performs 1-bit ADRC processing on the nine pieces of correction data that form the class tap. As a result, the nine pieces of correction data are each converted into a value of 0 or 1, and the 9-bit data is converted into the class classification adaptive processing circuits 724-1 to 72-7.
It is supplied to a 24-n class classification circuit. The class classification circuit determines the class code corresponding to the class tap composed of the nine correction data based on the 9-bit data supplied from the ADRC processing circuit, and the class classification adaptive processing circuits 724-1 to 724-1. It outputs to the prediction coefficient ROM of 724-n.
【０２６７】クラス分類適応処理回路７２４−１乃至７
２４−ｎの予測係数ROMは、ステップＳ２１９におい
て、クラス分類回路より供給されたクラスコードに対す
る予測係数を読み出し、クラス分類適応処理回路７２４
−１乃至７２４−ｎの予測回路に出力する。Class classification adaptive processing circuits 724-1 to 72-7
In step S219, the 24-n prediction coefficient ROM reads the prediction coefficient for the class code supplied from the class classification circuit, and the class classification adaptive processing circuit 724.
-1 to 724-n of prediction circuits.
【０２６８】ステップＳ２２０において、予測回路は、
アドレス設定部７２３−１乃至７２３−ｎより供給され
る補正データから、クラスタップを構成する補正データ
を取得する。In step S220, the prediction circuit
The correction data forming the class tap is acquired from the correction data supplied from the address setting units 723-1 to 723-n.
【０２６９】予測回路は、ステップＳ２２１において、
予測値計算処理を実行する。すなわち、予測回路は、予
測値計算用ブロック化回路より供給された予測タップを
構成する補正データと、予測係数ROMより供給される予
測係数の線形１次結合を演算して、予測値を算出し、比
較器７２５に出力する。The predicting circuit, in step S221,
Prediction value calculation processing is executed. That is, the prediction circuit calculates the prediction value by calculating the linear linear combination of the correction data supplied from the prediction value calculation blocking circuit and forming the prediction tap and the prediction coefficient supplied from the prediction coefficient ROM. , To the comparator 725.
【０２７０】比較器７２５は、ステップＳ２２２におい
て、予測残差計算処理を実行する。すなわち、比較器７
２５は、クラス分類適応処理回路７２４（いまの場合、
クラス分類適応処理回路７２４−１）より供給される予
測値と、入力画像データを構成する注目画素（真値）と
の差を演算することで、予測残差を計算する。The comparator 725 executes the prediction residual calculation process in step S222. That is, the comparator 7
25 is a class classification adaptive processing circuit 724 (in this case,
The prediction residual is calculated by calculating the difference between the predicted value supplied from the class classification adaptive processing circuit 724-1) and the target pixel (true value) forming the input image data.
【０２７１】ステップＳ２２３において、比較器７２５
は、ステップＳ２２２の処理で求めた予測残差（評価
値）を比較値と比較する。この比較値は、いまの場合、
ステップＳ２１５の処理で最大値に設定されている。従
って、評価値は、比較値より小さいと判定され、ステッ
プＳ２２４に進み、比較器７２５は、ステップＳ２１５
の処理で最大値にセットされた比較値の値を、ステップ
Ｓ２２２の処理で計算された予測残差（評価値）に更新
する。すなわち、比較値として、より小さい値が設定さ
れる。In step S223, the comparator 725
Compares the prediction residual (evaluation value) obtained in the process of step S222 with the comparison value. This comparison value is now
It is set to the maximum value in the process of step S215. Therefore, it is determined that the evaluation value is smaller than the comparison value, the process proceeds to step S224, and the comparator 725 determines that the step S215.
The value of the comparison value set to the maximum value in the process of is updated to the prediction residual (evaluation value) calculated in the process of step S222. That is, a smaller value is set as the comparison value.
【０２７２】ステップＳ２２５において、閾値判定部７
２６は、ステップＳ２２２の処理で求められた評価値に
対応する動きベクトルを内蔵するメモリに保持する（既
に保持されている動きベクトルがある場合には、更新す
る）。いまの場合、クラス分類適応処理回路７２４−１
の出力が処理されているので、この動きベクトルは、ｖ
０となる。In step S225, the threshold judgment unit 7
In step 26, the motion vector corresponding to the evaluation value obtained in the process of step S222 is held in the built-in memory (if there is already held motion vector, it is updated). In the present case, the class classification adaptive processing circuit 724-1
, The motion vector is v
It becomes 0.
【０２７３】ステップＳ２２６において、閾値判定部７
２６は、ステップＳ２２２の処理で得られた予測残差
（評価値）と、ステップＳ２１１の処理でセットされた
伝送判定閾値とを比較する。予測残差（評価値）が伝送
判定閾値と等しいか、それより大きいと判定された場
合、ステップＳ２２７において、閾値判定部７２６は、
ステップＳ２２２の処理で計算された予測残差を評価値
として保持する。At step S226, the threshold value judging section 7
26 compares the prediction residual (evaluation value) obtained in the process of step S222 with the transmission determination threshold value set in the process of step S211. When it is determined that the prediction residual (evaluation value) is equal to or larger than the transmission determination threshold value, the threshold value determination unit 726 determines in step S227.
The prediction residual calculated in the process of step S222 is held as an evaluation value.
【０２７４】予測残差（評価値）が伝送判定閾値より小
さいと判定された場合には、ステップＳ２２７の処理は
スキップされる。If it is determined that the prediction residual (evaluation value) is smaller than the transmission determination threshold value, the process of step S227 is skipped.
【０２７５】ステップＳ２２３において、予測残差（評
価値）が比較値と等しいか、それより大きいと判定され
た場合には、ステップＳ２２４乃至ステップＳ２２７の
処理はスキップされる。If it is determined in step S223 that the prediction residual (evaluation value) is equal to or greater than the comparison value, the processes of steps S224 to S227 are skipped.
【０２７６】ステップＳ２２８において、閾値判定部７
２６は、探索範囲内の全ての位置の処理を終了したか否
かを判定する。すなわち、クラス分類適応処理回路７２
４−１乃至７２４−ｎの全ての出力に対する処理を完了
したか否かがここで判定される。クラス分類適応処理回
路２４−１乃至２４−ｎの出力のうち、まだ処理してい
ないものが残っている場合には、ステップＳ２１６に戻
り、それ以降の処理が繰り返し実行される。In step S228, the threshold value judgment section 7
26 determines whether or not the processing for all the positions within the search range has been completed. That is, the class classification adaptive processing circuit 72
Here, it is determined whether the processing for all the outputs 4-1 to 724-n is completed. If some of the outputs of the class classification adaptive processing circuits 24-1 to 24-n have not been processed yet, the process returns to step S216, and the subsequent processes are repeatedly executed.
【０２７７】以上のようにして、ステップＳ２１６乃至
ステップＳ２２８の処理がクラス分類適応処理回路７２
４−１乃至７２４−ｎが出力するｎ個の予測値の全てに
対して実行される。As described above, the processing of steps S216 to S228 is performed by the class classification adaptive processing circuit 72.
It is executed for all of the n prediction values output from 4-1 to 724-n.
【０２７８】ステップＳ２２８で探索範囲内の全ての位
置の処理が終了したと判定された場合、ステップＳ２２
９に進み、閾値判定部７２６は、伝送判定閾値より小さ
い予測残差（評価値）が保存されているか否かを判定す
る。すなわち、探索範囲内の全ての位置の処理により、
ｎ個の予測残差（評価値）が得られることになるが、そ
のｎ個の予測残差のうち、少なくとも１つ伝送判定閾値
より小さいものがある場合には、その中で最小のものに
対応する動きベクトルがステップＳ２２５の処理で保持
されている。そこで、その場合には、ステップＳ２３０
において、閾値判定部７２６は、ステップＳ２２５の処
理で保持した動きベクトルを読み出し、出力する。If it is determined in step S228 that the processing has been completed for all the positions within the search range, step S22
9, the threshold determination unit 726 determines whether the prediction residual (evaluation value) smaller than the transmission determination threshold is stored. That is, by processing all the positions within the search range,
Although n prediction residuals (evaluation values) will be obtained, if at least one of the n prediction residuals is smaller than the transmission determination threshold, the smallest prediction residual is selected. The corresponding motion vector is held in the process of step S225. Therefore, in that case, step S230
In, the threshold determination unit 726 reads out and outputs the motion vector held in the process of step S225.
【０２７９】ステップＳ２２９において、伝送判定閾値
より小さい評価値が存在しないと判定された場合、閾値
判定部７２６、ステップＳ２３１において、ステップＳ
２２７の処理により保持されている予測残差（評価値）
を出力する処理を実行する。If it is determined in step S229 that there is no evaluation value smaller than the transmission determination threshold value, the threshold value determining unit 726 in step S231 performs step S231.
Prediction residuals (evaluation values) held by the processing of 227
Execute the process to output.
【０２８０】すなわち、ｎ個の予測残差（評価値）が全
て伝送判定閾値と等しいか、それより大きい場合には、
そのうちの最小の値に対応する予測残差がステップＳ２
２７の処理で保持されている。そこで、閾値判定部２２
６は、その予測残差を、いま対象とされている検索範囲
の評価値（最小の予測残差）として、出力する。That is, when all n prediction residuals (evaluation values) are equal to or larger than the transmission determination threshold value,
The prediction residual corresponding to the smallest value is the step S2.
It is held in the process of 27. Therefore, the threshold determination unit 22
6 outputs the prediction residual as an evaluation value (minimum prediction residual) of the search range currently targeted.
【０２８１】ステップＳ２３０，Ｓ２３１の処理の後、
ステップＳ２３２において、閾値判定部７２６は、１フ
レーム内の全ての探索範囲の処理が終了したか否かを判
定し、まだ終了していない探索範囲が残っている場合に
は、ステップＳ２１４に戻り、それ以降の処理が繰り返
し実行される。After the processing of steps S230 and S231,
In step S232, the threshold determination unit 726 determines whether or not the processing of all the search ranges in one frame has ended. If there are any search ranges that have not ended, the process returns to step S214. The subsequent processing is repeatedly executed.
【０２８２】ステップＳ２３２において、全ての探索範
囲の処理が終了したと判定された場合、処理は終了され
る。If it is determined in step S232 that the processing of all search ranges is completed, the processing is completed.
【０２８３】この例の場合、制御部１１６は、閾値判定
部７２６より動きベクトルが供給されてきた場合には、
その動きベクトルに、伝送するデータが、動きベクトル
であることを表すフラグを付加し、閾値判定部７２６よ
り供給されてきたのが、予測残差（評価値）である場合
には、伝送するデータが動きベクトルではないことを表
す（予測残差であることを表す）フラグを付加する。In the case of this example, when the motion vector is supplied from the threshold value judgment unit 726, the control unit 116
If a flag indicating that the data to be transmitted is a motion vector is added to the motion vector and the prediction residual (evaluation value) is supplied from the threshold determination unit 726, the data to be transmitted is A flag indicating that is not a motion vector (representing a prediction residual) is added.
【０２８４】図７のステップＳ２０において、制御部１
１６は、閾値判定部７２６より供給された動きベクトル
とフラグ、または予測残差（評価値）とフラグを多重化
部１１７に供給して量子化し、伝送路に伝させる。At step S20 in FIG. 7, the control unit 1
16 supplies the motion vector and the flag, or the prediction residual (evaluation value) and the flag, which are supplied from the threshold determination unit 726, to the multiplexing unit 117, quantizes them, and transmits them to the transmission path.
【０２８５】図４０は、以上の処理のうち、前フレーム
に対する処理を表している。同図に示されるように、フ
レームメモリ７２１に記憶されている現在フレーム２０
１において、所定の補正データが注目補正データ２１１
として選択される。そして、フレームメモリ７２２に記
憶されている前フレーム２０２の注目補正データ２１１
に対応する補正データが注目対応補正データ２２１とし
て選択され、注目対応補正データ２２１を中心とする所
定の範囲が、探索範囲７８１として設定される。FIG. 40 shows the processing for the previous frame among the above processing. As shown in the figure, the current frame 20 stored in the frame memory 721
1, the predetermined correction data is the correction data 211 of interest.
Is selected as. Then, the attention correction data 211 of the previous frame 202 stored in the frame memory 722
The correction data corresponding to is selected as the attention correspondence correction data 221, and a predetermined range centered on the attention correspondence correction data 221 is set as the search range 781.
【０２８６】探索範囲７８１内において、所定の範囲の
補正データが予測タップ７８２として選択され、予測タ
ップ７８２を構成する補正データに基づいて、上述した
ように、予測値が演算される。そして、その予測値と注
目画素との差が予測残差として算出される。Within the search range 781, correction data within a predetermined range is selected as the prediction tap 782, and the prediction value is calculated as described above based on the correction data forming the prediction tap 782. Then, the difference between the predicted value and the pixel of interest is calculated as the prediction residual.
【０２８７】予測タップ７８２は、探索範囲７８１内
を、予測タップ７８２−１乃至７８２−ｎとして示され
るように、ｎ個の位置に、順次移動される。そして、ｎ
個の予測タップのそれぞれに対応して得られるｎ個の予
測残差の中から最小のものがその探索範囲７８１の評価
値として選択される。The prediction taps 782 are sequentially moved to n positions within the search range 781, as indicated by the prediction taps 782-1 to 782-n. And n
From the n prediction residuals obtained corresponding to each of the prediction taps, the smallest one is selected as the evaluation value of the search range 781.
【０２８８】以上のような処理が、現在フレーム２０１
の中の全ての補正データを注目補正データ２１１として
順次選択することで実行される。The above-mentioned processing is performed by the current frame 201.
This is executed by sequentially selecting all the correction data in the above as the correction data 211 of interest.
【０２８９】以上においては、簡単のため、現在フレー
ム２０１と前フレーム２０２との間の処理についてのみ
説明したが、実際には、同様の処理が後フレーム２０３
と組み合わされて、同時に行われる。In the above, for simplification, only the processing between the current frame 201 and the previous frame 202 has been described, but in reality, the same processing is performed in the subsequent frame 203.
Combined with and done at the same time.
【０２９０】このように、この実施の形態においては、
動きベクトルは、予測残差が閾値より小さい場合にのみ
伝送され、予測残差が閾値より大きい場合には、予測残
差そのものが伝送される。Thus, in this embodiment,
The motion vector is transmitted only when the prediction residual is smaller than the threshold, and when the prediction residual is larger than the threshold, the prediction residual itself is transmitted.
【０２９１】以上、本発明を適用した画像処理装置につ
いて説明したが、このような画像処理装置は、例えば、
ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号
化する場合の他、データ量の多い、いわゆるハイビジョ
ン方式のテレビジョン信号などを符号化する場合に、特
に有効である。The image processing apparatus to which the present invention is applied has been described above.
It is particularly effective for encoding a television signal of a standard system such as the NTSC system and for encoding a so-called high-definition system television signal having a large amount of data.
【０２９２】なお、本実施の形態においては、誤差情報
として、誤差の自乗和を用いるようにしたが、誤差情報
としては、その他、例えば、誤差の絶対値和や、その３
乗以上したものの和などを用いるようにすることが可能
である。いずれを誤差情報として用いるかは、例えば、
その収束性などに基づいて決定するようにすることが可
能である。In this embodiment, the error sum of squares is used as the error information. However, as the error information, for example, the sum of the absolute values of the errors or its 3
It is possible to use the sum of the products that have been raised or multiplied. Which is used as the error information is, for example,
It is possible to make the determination based on the convergence and the like.
【０２９３】また、本実施の形態では、誤差情報が、所
定の閾値ε以下になるまで、圧縮データの補正を繰り返
し行うようする場合において、圧縮データの補正の回数
に、上限を設けるようにすることも可能である。即ち、
例えば、リアルタイムで画像の伝送を行う場合などにお
いては、１フレームについての処理が、所定の期間内に
終了することが必要であるが、誤差情報は、そのような
所定の期間内に収束するとは限らない。そこで、補正の
回数に上限を設けることにより、所定の期間内に、誤差
情報が閾値ε以下に収束しないときは、そのフレームに
ついての処理を終了し（そのときにおける補正データ
を、符号化結果とし）、次のフレームについての処理を
開始するようにすることが可能である。Further, in the present embodiment, when the correction of the compressed data is repeatedly performed until the error information becomes equal to or less than the predetermined threshold value ε, the upper limit is set for the number of times of the correction of the compressed data. It is also possible. That is,
For example, in the case of transmitting an image in real time, the processing for one frame needs to be completed within a predetermined period, but the error information may not converge within such a predetermined period. Not exclusively. Therefore, by setting an upper limit on the number of corrections, if the error information does not converge to the threshold value ε or less within a predetermined period, the process for that frame is terminated (the correction data at that time is set as the encoding result). ), It is possible to start processing for the next frame.
【０２９４】上述した一連の処理は、ハードウェアによ
り実行させることもできるが、ソフトウエアにより実行
させることもできる。一連の処理をソフトウエアにより
実行させる場合には、そのソフトウエアを構成するプロ
グラムが、専用のハードウェアに組み込まれているコン
ピュータ、または、各種のプログラムをインストールす
ることで、各種の機能を実行することが可能な、例えば
汎用のパーソナルコンピュータなどに、ネットワークや
記録媒体からインストールされる。The series of processes described above can be executed by hardware, but can also be executed by software. When a series of processes is executed by software, a program constituting the software executes a variety of functions by installing a computer in which dedicated hardware is installed or various programs. It is installed from a network or a recording medium into a general-purpose personal computer or the like capable of performing the above.
【０２９５】この記録媒体は、図５と図３０に示される
ように、装置本体とは別に、ユーザにプログラムを提供
するために配布される、プログラムが記録されている磁
気ディスク７１，４７１（フロッピディスクを含む）、
光ディスク７２，４７２（CD-ROM(Compact Disk-Read O
nly Memory),DVD(Digital Versatile Disk)を含む）、
光磁気ディスク７３，４７３（ＭＤ（Mini-Disk）を含
む）、もしくは半導体メモリ７４，４７４などよりなる
パッケージメディアにより構成されるだけでなく、装置
本体に予め組み込まれた状態でユーザに提供される、プ
ログラムが記録されているROM６２，４６２や、ハード
ディスクなどで構成される。As shown in FIGS. 5 and 30, this recording medium is distributed in order to provide the program to the user separately from the main body of the apparatus, and the magnetic disks 71 and 471 (the floppy disk) in which the program is recorded. (Including disk),
Optical disks 72, 472 (CD-ROM (Compact Disk-Read O
nly Memory), DVD (including Digital Versatile Disk)),
The magneto-optical disks 73 and 473 (including MD (Mini-Disk)) or the package media including the semiconductor memories 74 and 474 are provided, and are provided to the user in a state of being pre-installed in the apparatus body. , ROMs 62 and 462 in which programs are recorded, a hard disk, and the like.
【０２９６】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。In the present specification, the steps for writing the program recorded on the recording medium are not limited to the processing performed in time series according to the order described, but need not necessarily be performed in time series. It also includes processing executed in parallel or individually.
【０２９７】また、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものであ
る。In this specification, the system means
It represents the entire apparatus composed of a plurality of devices.
【０２９８】[0298]
【発明の効果】本発明によれば、より適正に補正された
補正データを得ることができ、より原画像に近い復号画
像を得ることが可能となる。According to the present invention, it is possible to obtain correction data that has been corrected more properly, and it is possible to obtain a decoded image that is closer to the original image.
【図１】従来の画像圧縮処理を行う装置の構成例を示す
ブロック図である。FIG. 1 is a block diagram illustrating a configuration example of a device that performs conventional image compression processing.
【図２】本発明を適用した画像処理装置の一実施の形態
の構成を示すブロック図である。FIG. 2 is a block diagram showing the configuration of an embodiment of an image processing apparatus to which the present invention has been applied.
【図３】図２の送信装置における圧縮処理を説明する図
である。FIG. 3 is a diagram illustrating compression processing in the transmission device of FIG.
【図４】図２における受信装置の復号処理を説明する図
である。FIG. 4 is a diagram illustrating a decoding process of the receiving device in FIG.
【図５】図２の送信装置の構成例を示すブロック図であ
る。5 is a block diagram illustrating a configuration example of the transmission device of FIG.
【図６】図２の送信装置の機能的構成例を示すブロック
図である。FIG. 6 is a block diagram showing a functional configuration example of the transmission device of FIG.
【図７】図６の送信装置の動作を説明するフローチャー
トである。FIG. 7 is a flowchart illustrating an operation of the transmission device of FIG.
【図８】単純間引き処理を説明するフローチャートであ
る。FIG. 8 is a flowchart illustrating a simple thinning process.
【図９】単純間引き処理を説明する図である。FIG. 9 is a diagram illustrating a simple thinning process.
【図１０】画像平均処理を説明するフローチャートであ
る。FIG. 10 is a flowchart illustrating an image averaging process.
【図１１】画像平均処理を説明する図である。FIG. 11 is a diagram illustrating image averaging processing.
【図１２】図６の補正部の構成例を示すブロック図であ
る。12 is a block diagram illustrating a configuration example of a correction unit in FIG.
【図１３】図１２の補正部の動作を説明するフローチャ
ートである。13 is a flowchart illustrating the operation of the correction unit in FIG.
【図１４】図６の送信装置の動き推定部の構成例を示す
ブロック図である。14 is a block diagram illustrating a configuration example of a motion estimation unit of the transmission device in FIG.
【図１５】図１４の動き推定部の処理を説明するフロー
チャートである。FIG. 15 is a flowchart illustrating a process of a motion estimation unit in FIG.
【図１６】図６のローカルデコード部の構成例を示すブ
ロック図である。16 is a block diagram illustrating a configuration example of a local decoding unit in FIG.
【図１７】クラス分類用ブロックを説明する図である。FIG. 17 is a diagram illustrating a class classification block.
【図１８】クラス分類用ブロックの他の例を説明する図
である。FIG. 18 is a diagram illustrating another example of a class classification block.
【図１９】予測値計算用ブロックを説明する図である。FIG. 19 is a diagram illustrating a predictive value calculation block.
【図２０】予測値計算用ブロックを説明する他の図であ
る。FIG. 20 is another diagram for explaining a predictive value calculation block.
【図２１】クラス分類処理を説明するための図である。FIG. 21 is a diagram for explaining a class classification process.
【図２２】クラス分類処理を説明するための図である。FIG. 22 is a diagram illustrating a class classification process.
【図２３】ADRC処理を説明するための図である。FIG. 23 is a diagram for explaining ADRC processing.
【図２４】ADRC処理を説明するための図である。FIG. 24 is a diagram for explaining ADRC processing.
【図２５】図１６のローカルデコード部の動作を説明す
るフローチャートである。25 is a flowchart illustrating the operation of the local decoding unit in FIG.
【図２６】図６の誤差算出部の構成例を示すブロック図
である。FIG. 26 is a block diagram showing a configuration example of an error calculation unit in FIG.
【図２７】図２６の誤差算出部の動作を説明するフロー
チャートである。FIG. 27 is a flowchart illustrating an operation of the error calculator of FIG. 26.
【図２８】図６の制御部の構成例を示すブロック図であ
る。28 is a block diagram illustrating a configuration example of a control unit in FIG.
【図２９】図２８の制御部の動作を説明するフローチャ
ートである。FIG. 29 is a flowchart illustrating an operation of the control unit of FIG. 28.
【図３０】図２の受信装置の構成例を示すブロック図で
ある。30 is a block diagram illustrating a configuration example of the receiving device in FIG.
【図３１】図２の受信装置の機能的構成例を示すブロッ
ク図である。FIG. 31 is a block diagram showing an example of a functional configuration of the receiving device in FIG. 2.
【図３２】図３１の受信装置の動作を説明するフローチ
ャートである。32 is a flowchart illustrating an operation of the receiving device in FIG. 31. FIG.
【図３３】図１６の予測係数ROMに記憶されている予測
係数を算出する画像処理装置の一実施の形態の構成を示
すブロック図である。33 is a block diagram showing a configuration of an embodiment of an image processing apparatus for calculating a prediction coefficient stored in the prediction coefficient ROM of FIG. 16.
【図３４】図３３の画像処理装置の動作を説明するフロ
ーチャートである。34 is a flowchart illustrating the operation of the image processing apparatus in FIG.
【図３５】予測タップを説明する図である。FIG. 35 is a diagram illustrating a prediction tap.
【図３６】動き推定部の他の構成例を示すブロック図で
ある。[Fig. 36] Fig. 36 is a block diagram illustrating another configuration example of the motion estimation unit.
【図３７】動き推定部のさらに他の構成例を示すブロッ
ク図である。[Fig. 37] Fig. 37 is a block diagram illustrating still another configuration example of the motion estimation unit.
【図３８】図３７の動き推定部の処理を説明するフロー
チャートである。FIG. 38 is a flowchart illustrating the processing of the motion estimation unit in FIG. 37.
【図３９】図３７の動き推定部の処理を説明するフロー
チャートである。[Fig. 39] Fig. 39 is a flowchart illustrating the process of the motion estimation unit in Fig. 37.
【図４０】図３７の動き推定部の処理を説明する図であ
る。[Fig. 40] Fig. 40 is a diagram for describing the processing of the motion estimation unit in Fig. 37.
４１ 送信装置， ４２ 記録媒体， ４３ 伝送路，
４４ 受信装置，１１１ 縮小画像生成部， １１２
補正部， １１３ 動き推定部， １１４ローカルデ
コード部， １１５ 誤差算出部， １１６ 制御部，
１１７多重化部， １３１ 補正回路， １３２ 補
正値ROM， １５１，１５２，１５３ フレームメモ
リ， ２６１ クラス分類用ブロック化回路， ２６２
予測値計算用ブロック化回路， ２６３ クラス分類
適応処理回路， ２６４ ADRC処理回路， ２６５ ク
ラス分類回路， ２６６ 予測係数ROM， ２６７予測
回路， ３５１ ブロック化回路， ３５２ 自乗誤差
算出回路， ３５３，３５４ 演算器， ３５５ 積算
部， ３５６ メモリ， ３６１ 予測係数メモリ，
３６２ 補正データメモリ， ３６３ 誤差情報メモ
リ， ３６４比較回路， ３６５ 制御回路， ５７２
分離部， ５７３ クラス分類用ブロック化回路，
５７４ ADRC処理回路， ５７５ クラス分類回路，
５７６予測回路， ５７６Ａ メモリ， ５７７ 予測
値計算用ブロック化回路，５９０ 動き推定部， ５９
１ 学習用ブロック化回路， ５９２ 教師用ブロック
化回路， ５９３ ADRC処理回路， ５９４ クラス分
類回路， ５９５スイッチ， ５９６ 学習データメモ
リ， ５９７ カウンタ， ５９８ 教師データメモ
リ， ５９９ 演算回路， ６００ メモリ41 transmitter, 42 recording medium, 43 transmission line,
44 receiver, 111 reduced image generation unit, 112
Correction unit, 113 motion estimation unit, 114 local decoding unit, 115 error calculation unit, 116 control unit,
117 Multiplexing Unit, 131 Correction Circuit, 132 Correction Value ROM, 151, 152, 153 Frame Memory, 261 Class Classification Blocking Circuit, 262
Prediction value calculation block circuit, 263 class classification adaptive processing circuit, 264 ADRC processing circuit, 265 class classification circuit, 266 prediction coefficient ROM, 267 prediction circuit, 351 blocking circuit, 352 square error calculation circuit, 353, 354 computing unit , 355 integration unit, 356 memory, 361 prediction coefficient memory,
362 correction data memory, 363 error information memory, 364 comparison circuit, 365 control circuit, 572
Separation unit, 573 class classification blocking circuit,
574 ADRC processing circuit, 575 class classification circuit,
576 prediction circuit, 576A memory, 577 prediction value calculation blocking circuit, 590 motion estimation unit, 59
1 learning block circuit, 592 teacher block circuit, 593 ADRC processing circuit, 594 class classification circuit, 595 switch, 596 learning data memory, 597 counter, 598 teacher data memory, 599 arithmetic circuit, 600 memory
フロントページの続き (72)発明者 中西 崇 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 KK01 LB05 NN01 NN03 NN21 NN28 SS01 SS08 SS11 TA06 TA29 TB08 TC03 TC10 TC12 TC42 TD03 TD11 TD13 UA02 UA33 UA39 5J064 AA01 BA04 BB03 BB12 BC01 BC02 BC14 BC25 BC26 BC29 BD02 BD03 BD04 Continued front page (72) Inventor Takashi Nakanishi 6-735 Kita-Shinagawa, Shinagawa-ku, Tokyo Soni -Inside the corporation F-term (reference) 5C059 KK01 LB05 NN01 NN03 NN21 NN28 SS01 SS08 SS11 TA06 TA29 TB08 TC03 TC10 TC12 TC42 TD03 TD11 TD13 UA02 UA33 UA39 5J064 AA01 BA04 BB03 BB12 BC01 BC02 BC14 BC25 BC26 BC29 BD02 BD03 BD04
Claims (15)
圧縮し、縮小画像データを生成する圧縮手段と、 前記圧縮手段により生成された前記縮小画像データを、
予測誤差に基づいて補正し、補正データを生成する補正
手段と、 前記補正手段により生成された前記補正データであっ
て、前記原画像のうちの第１の原画像に対応する第１の
補正データと、前記第１の原画像より時間的に前の第２
の原画像に対応する第２の補正データ、または前記第１
の原画像より時間的に後の第３の原画像に対応する第３
の補正データの少なくとも一方とを利用して、前記第１
の原画像の動きを推定し、動きベクトルを生成する動き
推定手段と、 前記補正手段により生成された前記第１の補正データ、
および前記第２の補正データまたは前記第３の補正デー
タのうちの少なくとも一方、並びに前記動き推定手段に
より生成された前記動きベクトルに基づいて、前記第１
の原画像を予測し、予測値を生成する予測手段と、 前記予測手段により生成された前記予測値の、前記第１
の原画像に対する前記予測誤差を算出する予測誤差算出
手段と、 前記予測誤差算出手段により算出された前記予測誤差に
基づいて、前記補正手段により生成された前記補正デー
タの適正さを判定する判定手段と、 前記判定手段により、前記補正データの適正さが判定さ
れた場合、前記補正データと、対応する前記動きベクト
ルを出力する出力手段とを備えることを特徴とする画像
処理装置。1. A compression unit that compresses an original image by reducing the number of pixels to generate reduced image data; and the reduced image data generated by the compression unit,
A correction unit that corrects based on a prediction error and generates correction data, and the correction data generated by the correction unit that corresponds to a first original image of the original images. And a second image temporally preceding the first original image.
Second correction data corresponding to the original image of the
Of the third original image temporally after the original image of
Using at least one of the correction data of
Motion estimation means for estimating the motion of the original image and generating a motion vector; and the first correction data generated by the correction means,
Based on at least one of the second correction data and the third correction data, and the motion vector generated by the motion estimating means, the first
Of the original image of the prediction image, and a prediction unit that generates a prediction value;
Prediction error calculation means for calculating the prediction error for the original image, and determination means for determining the appropriateness of the correction data generated by the correction means based on the prediction error calculated by the prediction error calculation means. And an output unit that outputs the correction data and the corresponding motion vector when the determination unit determines the appropriateness of the correction data.
測値を生成するのに用いた予測係数をさらに出力するこ
とを特徴とする請求項１に記載の画像処理装置。2. The image processing apparatus according to claim 1, wherein the output unit further outputs the prediction coefficient used by the prediction unit to generate the predicted value.
圧縮し、縮小画像データを生成する圧縮ステップと、 前記圧縮ステップの処理により生成された前記縮小画像
データを、予測誤差に基づいて補正し、補正データを生
成する補正ステップと、 前記補正ステップの処理により生成された前記補正デー
タであって、前記原画像のうちの第１の原画像に対応す
る第１の補正データと、前記第１の原画像より時間的に
前の第２の原画像に対応する第２の補正データ、または
前記第１の原画像より時間的に後の第３の原画像に対応
する第３の補正データの少なくとも一方とを利用して、
前記第１の原画像の動きを推定し、動きベクトルを生成
する動き推定ステップと、 前記補正ステップの処理により生成された前記第１の補
正データ、および前記第２の補正データまたは前記第３
の補正データのうちの少なくとも一方、並びに前記動き
推定ステップの処理により生成された前記動きベクトル
に基づいて、前記第１の原画像を予測し、予測値を生成
する予測ステップと、 前記予測ステップの処理により生成された前記予測値
の、前記第１の原画像に対する前記予測誤差を算出する
予測誤差算出ステップと、 前記予測誤差算出ステップの処理により算出された前記
予測誤差に基づいて、前記補正ステップの処理により生
成された前記補正データの適正さを判定する判定ステッ
プと、 前記判定ステップの処理により、前記補正データの適正
さが判定された場合、前記補正データと、対応する前記
動きベクトルを出力する出力ステップとを含むことを特
徴とする画像処理方法。3. An original image is compressed by reducing the number of pixels to generate reduced image data, and the reduced image data generated by the process of the compressing step is corrected based on a prediction error. A correction step for generating correction data, first correction data corresponding to a first original image of the original images, which is the correction data generated by the processing of the correction step, Second correction data corresponding to the second original image temporally before the first original image or third correction data corresponding to the third original image temporally later than the first original image. Using at least one
A motion estimation step of estimating a motion of the first original image and generating a motion vector; the first correction data generated by the processing of the correction step; and the second correction data or the third correction data.
Of at least one of the correction data and the motion vector generated by the process of the motion estimation step, the prediction step of predicting the first original image and generating a prediction value; A prediction error calculation step of calculating the prediction error of the prediction value generated by the processing with respect to the first original image; and the correction step based on the prediction error calculated by the processing of the prediction error calculation step. A determination step of determining the appropriateness of the correction data generated by the processing of step (a), and when the appropriateness of the correction data is determined by the processing of the determination step, the correction data and the corresponding motion vector are output. An image processing method comprising:
圧縮し、縮小画像データを生成する圧縮ステップと、 前記圧縮ステップの処理により生成された前記縮小画像
データを、予測誤差に基づいて補正し、補正データを生
成する補正ステップと、 前記補正ステップの処理により生成された前記補正デー
タであって、前記原画像のうちの第１の原画像に対応す
る第１の補正データと、前記第１の原画像より時間的に
前の第２の原画像に対応する第２の補正データ、または
前記第１の原画像より時間的に後の第３の原画像に対応
する第３の補正データの少なくとも一方とを利用して、
前記第１の原画像の動きを推定し、動きベクトルを生成
する動き推定ステップと、 前記補正ステップの処理により生成された前記第１の補
正データ、および前記第２の補正データまたは前記第３
の補正データのうちの少なくとも一方、並びに前記動き
推定ステップの処理により生成された前記動きベクトル
に基づいて、前記第１の原画像を予測し、予測値を生成
する予測ステップと、 前記予測ステップの処理により生成された前記予測値
の、前記第１の原画像に対する前記予測誤差を算出する
予測誤差算出ステップと、 前記予測誤差算出ステップの処理により算出された前記
予測誤差に基づいて、前記補正ステップの処理により生
成された前記補正データの適正さを判定する判定ステッ
プと、 前記判定ステップの処理により、前記補正データの適正
さが判定された場合、前記補正データと、対応する前記
動きベクトルを出力する出力ステップとを含むことを特
徴とするコンピュータが読み取り可能なプログラムが記
録されている記録媒体。4. A compression step of generating reduced image data by compressing an original image by reducing the number of pixels, and correcting the reduced image data generated by the processing of the compression step based on a prediction error. A correction step for generating correction data, first correction data corresponding to a first original image of the original images, which is the correction data generated by the processing of the correction step, Second correction data corresponding to the second original image temporally before the first original image or third correction data corresponding to the third original image temporally later than the first original image. Using at least one
A motion estimation step of estimating a motion of the first original image and generating a motion vector; the first correction data generated by the processing of the correction step; and the second correction data or the third correction data.
Of at least one of the correction data and the motion vector generated by the process of the motion estimation step, the prediction step of predicting the first original image and generating a prediction value; A prediction error calculation step of calculating the prediction error of the prediction value generated by the processing with respect to the first original image; and the correction step based on the prediction error calculated by the processing of the prediction error calculation step. A determination step of determining the appropriateness of the correction data generated by the processing of step (a), and when the appropriateness of the correction data is determined by the processing of the determination step, the correction data and the corresponding motion vector are output. And a computer-readable program recorded thereon, comprising: Body.
圧縮し、縮小画像データを生成する圧縮ステップと、 前記圧縮ステップの処理により生成された前記縮小画像
データを、予測誤差に基づいて補正し、補正データを生
成する補正ステップと、 前記補正ステップの処理により生成された前記補正デー
タであって、前記原画像のうちの第１の原画像に対応す
る第１の補正データと、前記第１の原画像より時間的に
前の第２の原画像に対応する第２の補正データ、または
前記第１の原画像より時間的に後の第３の原画像に対応
する第３の補正データの少なくとも一方とを利用して、
前記第１の原画像の動きを推定し、動きベクトルを生成
する動き推定ステップと、 前記補正ステップの処理により生成された前記第１の補
正データ、および前記第２の補正データまたは前記第３
の補正データのうちの少なくとも一方、並びに前記動き
推定ステップの処理により生成された前記動きベクトル
に基づいて、前記第１の原画像を予測し、予測値を生成
する予測ステップと、 前記予測ステップの処理により生成された前記予測値
の、前記第１の原画像に対する前記予測誤差を算出する
予測誤差算出ステップと、 前記予測誤差算出ステップの処理により算出された前記
予測誤差に基づいて、前記補正ステップの処理により生
成された前記補正データの適正さを判定する判定ステッ
プと、 前記判定ステップの処理により、前記補正データの適正
さが判定された場合、前記補正データと、対応する前記
動きベクトルを出力する出力ステップとをコンピュータ
に実行させるプログラム。5. An original image is compressed by reducing the number of pixels to generate reduced image data, and the reduced image data generated by the process of the compressing step is corrected based on a prediction error. A correction step for generating correction data, first correction data corresponding to a first original image of the original images, which is the correction data generated by the processing of the correction step, Second correction data corresponding to the second original image temporally before the first original image or third correction data corresponding to the third original image temporally later than the first original image. Using at least one
A motion estimation step of estimating a motion of the first original image and generating a motion vector; the first correction data generated by the processing of the correction step; and the second correction data or the third correction data.
Of at least one of the correction data and the motion vector generated by the process of the motion estimation step, the prediction step of predicting the first original image and generating a prediction value; A prediction error calculation step of calculating the prediction error of the prediction value generated by the processing with respect to the first original image; and the correction step based on the prediction error calculated by the processing of the prediction error calculation step. A determination step of determining the appropriateness of the correction data generated by the processing of step (a), and when the appropriateness of the correction data is determined by the processing of the determination step, the correction data and the corresponding motion vector are output. A program that causes a computer to execute the output steps to be performed.
圧縮し、縮小画像データを生成する圧縮手段と、 前記圧縮手段により生成された前記縮小画像データを、
予測誤差に基づいて補正し、補正データを生成する補正
手段と、 前記補正手段により生成された前記補正データであっ
て、前記原画像のうちの第１の原画像に対応する第１の
補正データを保持するとともに、前記第１の原画像より
時間的に前の第２の原画像に対応する第２の補正デー
タ、または前記第１の原画像より時間的に後の第３の原
画像に対応する第３の補正データの少なくとも一方を保
持する補正データ保持手段と、 前記補正データ保持手段により保持されている前記第１
の補正データの注目ブロックを設定する注目ブロック設
定手段と、 前記補正データ保持手段により保持されている前記第２
の補正データまたは前記第３の補正データから、前記注
目ブロック設定手段により設定された前記注目ブロック
に対応する位置の前記第２の補正データまたは前記第３
の補正データを取得する取得手段と、 前記注目ブロック設定手段により設定された前記注目ブ
ロックと、前記取得手段により取得された前記第２の補
正データまたは前記第３の補正データに基づいて、前記
第１の原画像を予測するのに必要な予測補正データを抽
出する抽出手段と、 前記補正データ保持手段により保持されている前記第１
の補正データを、その性質に応じて所定のクラスに分類
するクラス分類手段と、 予測係数を保持し、前記クラス分類手段により分類され
た前記クラスに対応する予測係数を出力する予測係数保
持手段と、 前記クラス分類手段により分類された前記クラスに対応
する前記予測係数と、前記抽出手段により抽出された前
記予測補正データに基づいて予測値を演算する演算手段
と、 前記第１の原画像に対する前記演算手段により演算され
た前記予測値の予測誤差が最小となる場合における、前
記取得手段により取得された前記第２の補正データまた
は前記第３の補正データの前記注目ブロックに対する相
対的位置に基づいて、それに対応する動きベクトルを生
成する生成手段と、 前記予測値の予測誤差が最小となる場合における、前記
補正データと、対応する前記動きベクトルを出力する出
力手段とを備えることを特徴とする画像処理装置。6. A compression unit that compresses an original image by reducing the number of pixels to generate reduced image data, and the reduced image data generated by the compression unit.
A correction unit that corrects based on a prediction error and generates correction data, and the correction data generated by the correction unit that corresponds to a first original image of the original images. And second correction data corresponding to a second original image temporally preceding the first original image, or a third original image temporally later than the first original image. Correction data holding means for holding at least one of the corresponding third correction data, and the first data held by the correction data holding means.
Block of interest setting means for setting the block of interest of the correction data, and the second data held by the correction data holding means.
Correction data or the third correction data, the second correction data or the third correction data at a position corresponding to the target block set by the target block setting means.
Acquisition unit for acquiring the correction data, the attention block set by the attention block setting unit, and the second correction data or the third correction data obtained by the acquisition unit, based on the third correction data. Extraction means for extracting prediction correction data necessary for predicting one original image, and the first correction data holding means holds the correction data.
Classifying means for classifying the correction data of the above into a predetermined class according to the property, and prediction coefficient holding means for holding the prediction coefficient and outputting the prediction coefficient corresponding to the class classified by the class classification means, The prediction coefficient corresponding to the class classified by the class classification means, a calculation means for calculating a prediction value based on the prediction correction data extracted by the extraction means, and the first original image Based on the relative position of the second correction data or the third correction data acquired by the acquisition unit with respect to the target block when the prediction error of the prediction value calculated by the calculation unit is minimum. , A generation unit that generates a motion vector corresponding thereto, and the correction data when the prediction error of the prediction value is minimum. And an output unit that outputs the corresponding motion vector.
出力することを特徴とする請求項６に記載の画像処理装
置。7. The image processing apparatus according to claim 6, wherein the output unit further outputs the prediction coefficient.
圧縮し、縮小画像データを生成する圧縮ステップと、 前記圧縮ステップの処理により生成された前記縮小画像
データを、予測誤差に基づいて補正し、補正データを生
成する補正ステップと、 前記補正ステップの処理により生成された前記補正デー
タであって、前記原画像のうちの第１の原画像に対応す
る第１の補正データの保持を制御するとともに、前記第
１の原画像より時間的に前の第２の原画像に対応する第
２の補正データ、または前記第１の原画像より時間的に
後の第３の原画像に対応する第３の補正データの少なく
とも一方の保持を制御する補正データ保持制御ステップ
と、 前記補正データ保持制御ステップの処理により保持が制
御されている前記第１の補正データの注目ブロックを設
定する注目ブロック設定ステップと、 前記補正データ保持制御ステップの処理により保持が制
御されている前記第２の補正データまたは前記第３の補
正データから、前記注目ブロック設定ステップの処理に
より設定された前記注目ブロックに対応する位置の前記
第２の補正データまたは前記第３の補正データを取得す
る取得ステップと、 前記注目ブロック設定ステップの処理により設定された
前記注目ブロックと、前記取得ステップの処理により取
得された前記第２の補正データまたは前記第３の補正デ
ータに基づいて、前記第１の原画像を予測するのに必要
な予測補正データを抽出する抽出ステップと、 前記補正データ保持制御ステップの処理により保持が制
御されている前記第１の補正データを、その性質に応じ
て所定のクラスに分類するクラス分類ステップと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する予測係数を出力する予測係数出力ステッ
プと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する前記予測係数と、前記抽出ステップの処
理により抽出された前記予測補正データに基づいて予測
値を演算する演算ステップと、 前記第１の原画像に対する前記演算ステップの処理によ
り演算された前記予測値の予測誤差が最小となる場合に
おける、前記取得ステップの処理により取得された前記
第２の補正データまたは前記第３の補正データの前記注
目ブロックに対する相対的位置に基づいて、それに対応
する動きベクトルを生成する生成ステップと、 前記予測値の予測誤差が最小となる場合における、前記
補正データと、対応する前記動きベクトルを出力する出
力ステップとを含むことを特徴とする画像処理方法。8. A compression step of generating reduced image data by compressing the original image by reducing the number of pixels, and correcting the reduced image data generated by the processing of the compression step based on a prediction error. A correction step of generating correction data, and controlling holding of the first correction data which is the correction data generated by the processing of the correction step and which corresponds to a first original image of the original images. At the same time, second correction data corresponding to a second original image temporally preceding the first original image, or a second correction data corresponding to a third original image temporally subsequent to the first original image. Correction data holding control step for controlling holding of at least one of the correction data of No. 3, and the attention block of the first correction data whose holding is controlled by the processing of the correction data holding control step. Block from the target block setting step, and the second correction data or the third correction data whose holding is controlled by the processing of the correction data holding control step, set by the processing of the target block setting step. An acquisition step of acquiring the second correction data or the third correction data at a position corresponding to the noted block of interest; a block of interest set by the process of the block of interest setting step; An extraction step of extracting predictive correction data necessary for predicting the first original image based on the second correction data or the third correction data acquired by processing; and the correction data holding control. The first correction data, the retention of which is controlled by the processing of the step, is stored in a predetermined class according to its property. A class classification step of classifying into a class, a prediction coefficient output step of outputting a prediction coefficient corresponding to the class classified by the processing of the class classification step, and a prediction coefficient output step of outputting the prediction coefficient corresponding to the class classified by the processing of the class classification step. A calculation step for calculating a prediction value based on the prediction coefficient and the prediction correction data extracted by the processing of the extraction step; and a prediction of the prediction value calculated by the processing of the calculation step for the first original image. Based on the relative position of the second correction data or the third correction data acquired by the processing of the acquisition step with respect to the block of interest when the error is the minimum, a motion vector corresponding thereto is generated. Generating step, and the correction in the case where the prediction error of the prediction value is the minimum An image processing method which comprises a chromatography data, and an output step of outputting said corresponding motion vector.
圧縮し、縮小画像データを生成する圧縮ステップと、 前記圧縮ステップの処理により生成された前記縮小画像
データを、予測誤差に基づいて補正し、補正データを生
成する補正ステップと、 前記補正ステップの処理により生成された前記補正デー
タであって、前記原画像のうちの第１の原画像に対応す
る第１の補正データの保持を制御するとともに、前記第
１の原画像より時間的に前の第２の原画像に対応する第
２の補正データ、または前記第１の原画像より時間的に
後の第３の原画像に対応する第３の補正データの少なく
とも一方の保持を制御する補正データ保持制御ステップ
と、 前記補正データ保持制御ステップの処理により保持が制
御されている前記第１の補正データの注目ブロックを設
定する注目ブロック設定ステップと、 前記補正データ保持制御ステップの処理により保持が制
御されている前記第２の補正データまたは前記第３の補
正データから、前記注目ブロック設定ステップの処理に
より設定された前記注目ブロックに対応する位置の前記
第２の補正データまたは前記第３の補正データを取得す
る取得ステップと、 前記注目ブロック設定ステップの処理により設定された
前記注目ブロックと、前記取得ステップの処理により取
得された前記第２の補正データまたは前記第３の補正デ
ータに基づいて、前記第１の原画像を予測するのに必要
な予測補正データを抽出する抽出ステップと、 前記補正データ保持制御ステップの処理により保持が制
御されている前記第１の補正データを、その性質に応じ
て所定のクラスに分類するクラス分類ステップと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する予測係数を出力する予測係数出力ステッ
プと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する前記予測係数と、前記抽出ステップの処
理により抽出された前記予測補正データに基づいて予測
値を演算する演算ステップと、 前記第１の原画像に対する前記演算ステップの処理によ
り演算された前記予測値の予測誤差が最小となる場合に
おける、前記取得ステップの処理により取得された前記
第２の補正データまたは前記第３の補正データの前記注
目ブロックに対する相対的位置に基づいて、それに対応
する動きベクトルを生成する生成ステップと、 前記予測値の予測誤差が最小となる場合における、前記
補正データと、対応する前記動きベクトルを出力する出
力ステップとを含むことを特徴とするコンピュータが読
み取り可能なプログラムが記録されている記録媒体。9. A compression step of generating reduced image data by compressing the original image by reducing the number of pixels, and correcting the reduced image data generated by the processing of the compression step based on a prediction error. A correction step of generating correction data, and controlling holding of the first correction data which is the correction data generated by the processing of the correction step and which corresponds to a first original image of the original images. At the same time, second correction data corresponding to a second original image temporally preceding the first original image, or a second correction data corresponding to a third original image temporally subsequent to the first original image. Correction data holding control step for controlling holding of at least one of the correction data of No. 3, and the attention block of the first correction data whose holding is controlled by the processing of the correction data holding control step. Block from the target block setting step, and the second correction data or the third correction data whose holding is controlled by the processing of the correction data holding control step, set by the processing of the target block setting step. An acquisition step of acquiring the second correction data or the third correction data at a position corresponding to the noted block of interest; a block of interest set by the process of the block of interest setting step; An extraction step of extracting predictive correction data necessary for predicting the first original image based on the second correction data or the third correction data acquired by processing; and the correction data holding control. The first correction data, the retention of which is controlled by the processing of the step, is stored in a predetermined class according to its property. A class classification step of classifying into a class, a prediction coefficient output step of outputting a prediction coefficient corresponding to the class classified by the processing of the class classification step, and a prediction coefficient output step of outputting the prediction coefficient corresponding to the class classified by the processing of the class classification step. A calculation step for calculating a prediction value based on the prediction coefficient and the prediction correction data extracted by the processing of the extraction step; and a prediction of the prediction value calculated by the processing of the calculation step for the first original image. Based on the relative position of the second correction data or the third correction data acquired by the processing of the acquisition step with respect to the block of interest when the error is the minimum, a motion vector corresponding thereto is generated. Generating step, and the correction in the case where the prediction error of the prediction value is the minimum Over data and the corresponding recording medium, wherein the computer-readable program characterized by comprising an output step of outputting the motion vector are recorded.
り圧縮し、縮小画像データを生成する圧縮ステップと、 前記圧縮ステップの処理により生成された前記縮小画像
データを、予測誤差に基づいて補正し、補正データを生
成する補正ステップと、 前記補正ステップの処理により生成された前記補正デー
タであって、前記原画像のうちの第１の原画像に対応す
る第１の補正データの保持を制御するとともに、前記第
１の原画像より時間的に前の第２の原画像に対応する第
２の補正データ、または前記第１の原画像より時間的に
後の第３の原画像に対応する第３の補正データの少なく
とも一方の保持を制御する補正データ保持制御ステップ
と、 前記補正データ保持制御ステップの処理により保持が制
御されている前記第１の補正データの注目ブロックを設
定する注目ブロック設定ステップと、 前記補正データ保持制御ステップの処理により保持が制
御されている前記第２の補正データまたは前記第３の補
正データから、前記注目ブロック設定ステップの処理に
より設定された前記注目ブロックに対応する位置の前記
第２の補正データまたは前記第３の補正データを取得す
る取得ステップと、 前記注目ブロック設定ステップの処理により設定された
前記注目ブロックと、前記取得ステップの処理により取
得された前記第２の補正データまたは前記第３の補正デ
ータに基づいて、前記第１の原画像を予測するのに必要
な予測補正データを抽出する抽出ステップと、 前記補正データ保持制御ステップの処理により保持が制
御されている前記第１の補正データを、その性質に応じ
て所定のクラスに分類するクラス分類ステップと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する予測係数を出力する予測係数出力ステッ
プと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する前記予測係数と、前記抽出ステップの処
理により抽出された前記予測補正データに基づいて予測
値を演算する演算ステップと、 前記第１の原画像に対する前記演算ステップの処理によ
り演算された前記予測値の予測誤差が最小となる場合に
おける、前記取得ステップの処理により取得された前記
第２の補正データまたは前記第３の補正データの前記注
目ブロックに対する相対的位置に基づいて、それに対応
する動きベクトルを生成する生成ステップと、 前記予測値の予測誤差が最小となる場合における、前記
補正データと、対応する前記動きベクトルを出力する出
力ステップとをコンピュータに実行させるプログラム。10. An original image is compressed by reducing the number of pixels to generate reduced image data, and the reduced image data generated by the process of the compressing step is corrected based on a prediction error. A correction step of generating correction data, and controlling holding of the first correction data which is the correction data generated by the processing of the correction step and which corresponds to a first original image of the original images. At the same time, second correction data corresponding to a second original image temporally preceding the first original image, or a second correction data corresponding to a third original image temporally subsequent to the first original image. Correction data holding control step for controlling holding of at least one of the correction data of No. 3, and the first correction data of which holding is controlled by the processing of the correction data holding control step. The target block setting step of setting a lock, and the second correction data or the third correction data whose holding is controlled by the processing of the correction data holding control step, are set by the processing of the target block setting step. An acquisition step of acquiring the second correction data or the third correction data at a position corresponding to the target block, the target block set by the processing of the target block setting step, and the processing of the acquisition step An extraction step of extracting prediction correction data necessary for predicting the first original image based on the second correction data or the third correction data acquired by The first correction data, the retention of which is controlled by Corresponding to the class classified by the processing of the class classification step; a prediction coefficient output step of outputting a prediction coefficient corresponding to the class classified by the processing of the class classification step; A calculation step for calculating a prediction value based on the prediction coefficient and the prediction correction data extracted by the processing of the extraction step; and a prediction value calculated by the processing of the calculation step for the first original image. A motion vector corresponding to the second correction data or the third correction data acquired by the process of the acquisition step is generated based on the relative position with respect to the target block when the prediction error is minimum. And a correction step in the case where the prediction error of the prediction value is minimized. Data and the corresponding said program to execute an output step for outputting the motion vector to the computer.
り圧縮することで生成された縮小画像データを、前記原
画像との予測誤差に基づいて補正することで生成された
補正データを復号する画像処理装置において、 前記補正データを含む処理対象データを取得する取得手
段と、 前記取得手段により取得された前記処理対象データから
前記補正データと動きベクトルを分離する分離手段と、 前記分離手段により分離された前記補正データであっ
て、前記原画像のうちの第１の原画像に対応する第１の
補正データと、前記第１の原画像より時間的に前の第２
の原画像に対応する第２の補正データ、または前記第１
の原画像より時間的に後の第３の原画像に対応する第３
の補正データのうちの少なくとも一方、並びに前記分離
手段により分離された前記動きベクトルに基づいて、前
記第１の原画像を予測するのに用いる前記補正データと
しての予測対象画像データを抽出する予測対象画像デー
タ抽出手段と、 前記分離手段により分離された前記補正データを、その
性質に応じて所定のクラスに分類するクラス分類手段
と、 予測係数を保持し、前記クラス分類手段により分類され
た前記クラスに対応する予測係数を出力する予測係数保
持手段と、 前記クラス分類手段により分類された前記クラスに対応
する前記予測係数と、前記予測対象画像データに基づい
て、前記第１の原画像の予測値を演算する演算手段とを
備えることを特徴とする画像処理装置。11. An image for decoding correction data generated by correcting reduced image data generated by compressing an original image by reducing the number of pixels of the original image, based on a prediction error from the original image. In the processing device, an acquisition unit that acquires processing target data including the correction data, a separation unit that separates the correction data and the motion vector from the processing target data acquired by the acquisition unit, and a separation unit that separates the correction data and the motion vector. The first correction data corresponding to the first original image of the original images, and the second correction data that is before the first original image in time.
Second correction data corresponding to the original image of the
Of the third original image temporally after the original image of
Prediction target for extracting the prediction target image data as the correction data used for predicting the first original image based on at least one of the correction data and the motion vector separated by the separation unit. An image data extraction unit, a class classification unit that classifies the correction data separated by the separation unit into a predetermined class according to the property, and a class that holds a prediction coefficient and is classified by the class classification unit. Prediction coefficient holding means for outputting a prediction coefficient corresponding to, the prediction coefficient corresponding to the class classified by the class classification means, and the prediction value of the first original image based on the prediction target image data. An image processing apparatus comprising: a calculation unit that calculates
から前記予測係数をさらに分離し、 前記予測係数保持手段は、前記分離手段により分離され
た前記予測係数を保持することを特徴とする請求項１１
に記載の画像処理装置。12. The separation means further separates the prediction coefficient from the processing target data, and the prediction coefficient holding means holds the prediction coefficient separated by the separation means. 11
The image processing device according to item 1.
り圧縮することで生成された縮小画像データを、前記原
画像との予測誤差に基づいて補正することで生成された
補正データを復号する画像処理装置の画像処理方法にお
いて、 前記補正データを含む処理対象データを取得する取得ス
テップと、 前記取得ステップの処理により取得された前記処理対象
データから前記補正データと動きベクトルを分離する分
離ステップと、 前記分離ステップの処理により分離された前記補正デー
タであって、前記原画像のうちの第１の原画像に対応す
る第１の補正データと、前記第１の原画像より時間的に
前の第２の原画像に対応する第２の補正データ、または
前記第１の原画像より時間的に後の第３の原画像に対応
する第３の補正データのうちの少なくとも一方、並びに
前記分離ステップの処理により分離された前記動きベク
トルに基づいて、前記第１の原画像を予測するのに用い
る前記補正データとしての予測対象画像データを抽出す
る予測対象画像データ抽出ステップと、 前記分離ステップの処理により分離された前記補正デー
タを、その性質に応じて所定のクラスに分類するクラス
分類ステップと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する予測係数を出力する予測係数出力ステッ
プと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する前記予測係数と、前記予測対象画像デー
タに基づいて、前記第１の原画像の予測値を演算する演
算ステップとを含むことを特徴とする画像処理方法。13. An image for decoding correction data generated by correcting reduced image data generated by compressing an original image by reducing the number of pixels, based on a prediction error from the original image. In the image processing method of the processing device, an acquisition step of acquiring processing target data including the correction data, a separation step of separating the correction data and the motion vector from the processing target data acquired by the processing of the acquisition step, The correction data separated by the process of the separation step, the first correction data corresponding to the first original image of the original images, and the first correction data temporally preceding the first original image. At least the second correction data corresponding to the second original image or the third correction data corresponding to the third original image temporally later than the first original image. On the other hand, a prediction target image data extraction step of extracting prediction target image data as the correction data used for predicting the first original image based on the motion vector separated by the processing of the separation step A class classification step of classifying the correction data separated by the processing of the separation step into a predetermined class according to the property, and a prediction coefficient corresponding to the class classified by the processing of the class classification step. Calculation of calculating a prediction value of the first original image based on the prediction coefficient output step of outputting, the prediction coefficient corresponding to the class classified by the processing of the class classification step, and the prediction target image data. An image processing method comprising:
り圧縮することで生成された縮小画像データを、前記原
画像との予測誤差に基づいて補正することで生成された
補正データを復号する画像処理装置のプログラムであっ
て、 前記補正データを含む処理対象データを取得する取得ス
テップと、 前記取得ステップの処理により取得された前記処理対象
データから前記補正データと動きベクトルを分離する分
離ステップと、 前記分離ステップの処理により分離された前記補正デー
タであって、前記原画像のうちの第１の原画像に対応す
る第１の補正データと、前記第１の原画像より時間的に
前の第２の原画像に対応する第２の補正データ、または
前記第１の原画像より時間的に後の第３の原画像に対応
する第３の補正データのうちの少なくとも一方、並びに
前記分離ステップの処理により分離された前記動きベク
トルに基づいて、前記第１の原画像を予測するのに用い
る前記補正データとしての予測対象画像データを抽出す
る予測対象画像データ抽出ステップと、 前記分離ステップの処理により分離された前記補正デー
タを、その性質に応じて所定のクラスに分類するクラス
分類ステップと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する予測係数を出力する予測係数出力ステッ
プと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する前記予測係数と、前記予測対象画像デー
タに基づいて、前記第１の原画像の予測値を演算する演
算ステップとを含むことを特徴とするコンピュータが読
み取り可能なプログラムが記録されている記録媒体。14. An image for decoding correction data generated by correcting reduced image data generated by compressing an original image by reducing the number of pixels of the original image, based on a prediction error from the original image. A program of a processing device, an acquisition step of acquiring processing target data including the correction data, a separation step of separating the correction data and the motion vector from the processing target data acquired by the processing of the acquisition step, The correction data separated by the process of the separation step, the first correction data corresponding to the first original image of the original images, and the first correction data temporally preceding the first original image. At least the second correction data corresponding to the second original image, or the third correction data corresponding to the third original image temporally after the first original image. On the other hand, a prediction target image data extraction step of extracting prediction target image data as the correction data used for predicting the first original image based on the motion vector separated by the processing of the separation step. A class classification step of classifying the correction data separated by the processing of the separation step into a predetermined class according to the property, and outputting a prediction coefficient corresponding to the class classified by the processing of the class classification step. A prediction coefficient output step, a calculation step of calculating a prediction value of the first original image based on the prediction coefficient corresponding to the class classified by the processing of the class classification step and the prediction target image data. And a recording medium having a computer-readable program recorded thereon. .
り圧縮することで生成された縮小画像データを、前記原
画像との予測誤差に基づいて補正することで生成された
補正データを復号する画像処理装置を制御するコンピュ
ータに、 前記補正データを含む処理対象データを取得する取得ス
テップと、 前記取得ステップの処理により取得された前記処理対象
データから前記補正データと動きベクトルを分離する分
離ステップと、 前記分離ステップの処理により分離された前記補正デー
タであって、前記原画像のうちの第１の原画像に対応す
る第１の補正データと、前記第１の原画像より時間的に
前の第２の原画像に対応する第２の補正データ、または
前記第１の原画像より時間的に後の第３の原画像に対応
する第３の補正データのうちの少なくとも一方、並びに
前記分離ステップの処理により分離された前記動きベク
トルに基づいて、前記第１の原画像を予測するのに用い
る前記補正データとしての予測対象画像データを抽出す
る予測対象画像データ抽出ステップと、 前記分離ステップの処理により分離された前記補正デー
タを、その性質に応じて所定のクラスに分類するクラス
分類ステップと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する予測係数を出力する予測係数出力ステッ
プと、 前記クラス分類ステップの処理により分類された前記ク
ラスに対応する前記予測係数と、前記予測対象画像デー
タに基づいて、前記第１の原画像の予測値を演算する演
算ステップとを実行させることを特徴とするプログラ
ム。15. An image for decoding correction data generated by correcting reduced image data generated by compressing an original image by reducing the number of pixels of the original image, based on a prediction error from the original image. In the computer controlling the processing device, an acquisition step of acquiring the processing target data including the correction data, a separation step of separating the correction data and the motion vector from the processing target data acquired by the processing of the acquisition step, The correction data separated by the process of the separation step, the first correction data corresponding to the first original image of the original images, and the first correction data temporally preceding the first original image. The second correction data corresponding to the second original image or the third correction data corresponding to the third original image temporally later than the first original image, whichever is less. On the other hand, a prediction target image data extraction step of extracting prediction target image data as the correction data used for predicting the first original image based on the motion vector separated by the process of the separation step. A class classification step of classifying the correction data separated by the processing of the separation step into a predetermined class according to the property, and a prediction coefficient corresponding to the class classified by the processing of the class classification step. Calculation of calculating a prediction value of the first original image based on the prediction coefficient output step of outputting, the prediction coefficient corresponding to the class classified by the processing of the class classification step, and the prediction target image data. A program for executing steps and.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002018290A JP4554138B2 (en) | 2002-01-28 | 2002-01-28 | Image encoding apparatus and method, image decoding apparatus and method, image processing system, recording medium, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002018290A JP4554138B2 (en) | 2002-01-28 | 2002-01-28 | Image encoding apparatus and method, image decoding apparatus and method, image processing system, recording medium, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003219429A true JP2003219429A (en) | 2003-07-31 |
| JP4554138B2 JP4554138B2 (en) | 2010-09-29 |
Family
ID=27653702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002018290A Expired - Fee Related JP4554138B2 (en) | 2002-01-28 | 2002-01-28 | Image encoding apparatus and method, image decoding apparatus and method, image processing system, recording medium, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4554138B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004010706A1 (en) * | 2002-07-19 | 2004-01-29 | Sony Corporation | Information signal processing device, information signal processing method, image signal processing device, image displaying device, device and method for producing correction data used in them, device and method for producing coefficient data, programs for executing these methods, and computer-readable medium in which thos |
-
2002
- 2002-01-28 JP JP2002018290A patent/JP4554138B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004010706A1 (en) * | 2002-07-19 | 2004-01-29 | Sony Corporation | Information signal processing device, information signal processing method, image signal processing device, image displaying device, device and method for producing correction data used in them, device and method for producing coefficient data, programs for executing these methods, and computer-readable medium in which thos |
| US7991054B2 (en) | 2002-07-19 | 2011-08-02 | Sony Corporation | Information signal processing device, information signal processing method, image signal processing device, image displaying device, device and method for producing correction data used in them, device and method for producing coefficient data, programs for executing these methods, and computer-readable medium for storing the program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4554138B2 (en) | 2010-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8208551B2 (en) | Method and system for hierarchically layered adaptive median motion vector smoothing | |
| JP4697500B2 (en) | TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEPTION DEVICE, RECEPTION METHOD, AND RECORDING MEDIUM | |
| JP5288214B2 (en) | Data processing apparatus, data processing method, and program | |
| JP5263565B2 (en) | Image processing apparatus, image processing method, and program | |
| JPH1032837A (en) | Image processing device and method and image encoding device and method | |
| JP2001086507A (en) | Image coder, image coding method, image decoder, image decoding method, medium and image processor | |
| WO2017191749A1 (en) | Image processing device, and image processing method | |
| US20220101123A1 (en) | Video quality assessment method and apparatus | |
| JP4362895B2 (en) | Data processing apparatus, data processing method, and recording medium | |
| WO2018131524A1 (en) | Image processing device and image processing method | |
| JP2004173011A (en) | Apparatus and method for processing image signal, apparatus and method for generating coefficient data used therefor, and program for implementing each method | |
| WO2018173873A1 (en) | Coding device and coding method, and decoding device and decoding method | |
| WO2018168484A1 (en) | Coding device, coding method, decoding device, and decoding method | |
| KR100574732B1 (en) | Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium | |
| JPH11187407A (en) | Image coder, and image coding method therefor, served medium, image decoder and image decoding method therefor, and system and method of learning | |
| JP4554138B2 (en) | Image encoding apparatus and method, image decoding apparatus and method, image processing system, recording medium, and program | |
| JP4518727B2 (en) | Image encoding apparatus and method, recording medium, and program | |
| JPH1011583A (en) | Class classification adaptation processor and learning device/method for class classification adaptation processing | |
| JP3747970B2 (en) | Image encoding device, image encoding method, image decoding device, and image decoding method | |
| JP3844031B2 (en) | Image coding apparatus and image coding method, and image decoding apparatus and image decoding method | |
| JP4016249B2 (en) | Image encoding apparatus and encoding method, image decoding apparatus and decoding method, recording medium, program, and image processing system | |
| JP4120916B2 (en) | Information processing apparatus and method, recording medium, and program | |
| JP3912558B2 (en) | Image encoding apparatus, image encoding method, and recording medium | |
| JP4240674B2 (en) | Motion detection device, motion detection method, and recording medium | |
| JP3912628B2 (en) | Image encoding device, image encoding method, image encoding and decoding system, image encoding and decoding method, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070525 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070723 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070822 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100714 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |