JPH0884336A - Image signal transmitter - Google Patents
Image signal transmitterInfo
- Publication number
- JPH0884336A JPH0884336A JP24202494A JP24202494A JPH0884336A JP H0884336 A JPH0884336 A JP H0884336A JP 24202494 A JP24202494 A JP 24202494A JP 24202494 A JP24202494 A JP 24202494A JP H0884336 A JPH0884336 A JP H0884336A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- data
- value
- interest
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【0001】[0001]
【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術(図12及び図13) 発明が解決しようとする課題(図12及び図13) 課題を解決するための手段(図1〜図3及び図6) 作用(図1〜図3及び図6) 実施例 (1)全体構成(図1及び図2) (2)詳細構成(図3〜図11) (3)実施例の動作 (4)実施例の効果 (5)他の実施例 発明の効果[Table of Contents] The present invention will be described in the following order. Industrial Application Conventional Technology (FIGS. 12 and 13) Problems to be Solved by the Invention (FIGS. 12 and 13) Means for Solving the Problems (FIGS. 1 to 3 and 6) Operation (FIG. 1 -FIGS. 3 and 6) Example (1) Overall configuration (FIGS. 1 and 2) (2) Detailed configuration (FIGS. 3-11) (3) Operation of example (4) Effect of example (5) Other Examples Effect of the Invention
【0002】[0002]
【産業上の利用分野】本発明は画像信号伝送装置に関
し、特に原画像データの情報量を間引き処理によつて削
減して伝送する画像信号伝送装置に適用して好適なもの
である。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image signal transmission apparatus, and is particularly suitable for application to an image signal transmission apparatus for reducing the information amount of original image data by thinning processing and transmitting the information.
【0003】[0003]
【従来の技術】従来、例えばテレビ会議システムなどの
ように画像信号を遠隔地に伝送するいわゆる画像信号伝
送システムや、画像信号をデイジタル化してビデオテー
プレコーダやビデオデイスクレコーダに記録し再生する
装置においては、伝送路や記録媒体を効率良く利用する
ため、デイジタル化した画像信号の相関を利用して有意
情報を効率的に符号化することにより伝送情報量や記録
情報量を削減し、伝送効率や記録効率を高めるようにな
されている。2. Description of the Related Art Conventionally, in a so-called image signal transmission system for transmitting an image signal to a remote place such as a video conference system, or an apparatus for recording an image signal into a video tape recorder or a video disc recorder for reproduction. In order to efficiently use the transmission path and the recording medium, the correlation between the digitized image signals is used to efficiently encode the significant information to reduce the transmission information amount and the recording information amount, thereby reducing the transmission efficiency and It is designed to improve recording efficiency.
【0004】具体的には、画像データを高能率圧縮符号
化することにより、伝送するデータ量を削減する手法が
広く用いられている。この高能率符号化では、一般に、
予め原画像データに対して空間内あるいは時空間でのサ
ブサンプリング(間引き)を行うことにより画素数を減
らした後、圧縮符号化処理を施すことにより、伝送する
情報量を一段と削減している。時空間サブサンプリング
の例としては、MUSE(Multiple Sampling Encode)
方式がある。Specifically, a method of reducing the amount of data to be transmitted by highly efficient compression coding of image data is widely used. In this high efficiency encoding, in general,
The amount of information to be transmitted is further reduced by subjecting the original image data to sub-sampling (thinning-out) in space or space-time in advance to reduce the number of pixels and then performing compression encoding processing. An example of spatiotemporal subsampling is MUSE (Multiple Sampling Encode)
There is a method.
【0005】一方、受信側では、伝送されてこない画素
すなわち間引かれた画素を補間によつて求めることによ
り解像度を上げる。一般には、固定タツプ、固定係数の
フイルタによつて補間を行う。ところが、このような補
間方法では、補間画素値を当該補間画素周辺の複数の周
辺画素の画素値の平均により求めるため、画像の種類に
よつては、画質ぼけ、時空間での変動(すなわちジヤー
キネス、エツジビジネス等)が発生し、この結果復元画
像に画質劣化が生じる問題がある。On the other hand, on the receiving side, the resolution is increased by obtaining the pixels that have not been transmitted, that is, the thinned pixels, by interpolation. Generally, interpolation is performed by a fixed tap or a filter having a fixed coefficient. However, in such an interpolation method, the interpolated pixel value is obtained by averaging the pixel values of a plurality of peripheral pixels around the interpolated pixel. Therefore, depending on the type of image, the image quality blurs and the spatio-temporal fluctuation (that is, jerkiness). , Edge business, etc.), resulting in deterioration of image quality of the restored image.
【0006】かかる課題を解決する一つの方法として、
特願平5-201913号に記載されているようなデイジタルデ
ータ変換装置が提案されている。図12(A)に示すよ
うに、このデイジタルデータ変換装置における送信器1
は入力画像データD1をサブサンプリング回路2及びエ
ンコーダ3を通すことにより圧縮符号化データD2を生
成し、これを出力端子4に与える。As one method for solving such a problem,
A digital data converter as described in Japanese Patent Application No. 5-201913 has been proposed. As shown in FIG. 12A, the transmitter 1 in this digital data converter
Generates the compression coded data D2 by passing the input image data D1 through the sub-sampling circuit 2 and the encoder 3, and supplies this to the output terminal 4.
【0007】また送信器1は、圧縮符号化データD2を
ローカルデコーダ5により復号した後、最小二乗法演算
回路6に供給する。最小二乗法演算回路6は、復号デー
タD3及び入力画像データD1を入力し、サブサンプリ
ングにより間引かれた画素(取り除かれた画素)を注目
画素とし、入力画像データD1に含まれる当該注目画素
の画素値と復号データD3に含まれるその周辺の画素の
画素値とで線形一次結合モデルを立て、この線形一次結
合モデルの係数を最小二乗法の演算を行うことにより求
める。この結果最小二乗法演算回路6からは、サブサン
プリング回路2によつて間引かれた画素に対応した係数
データD4が出力され、当該係数データD4が出力端子
7に与えられる。Further, the transmitter 1 decodes the compression coded data D2 by the local decoder 5 and then supplies it to the least square method arithmetic circuit 6. The least squares method operation circuit 6 inputs the decoded data D3 and the input image data D1, sets the pixel (thus removed pixel) decimated by sub-sampling as the pixel of interest, and sets the pixel of interest included in the input image data D1. A linear linear combination model is established with the pixel value and the pixel values of the peripheral pixels included in the decoded data D3, and the coefficient of the linear linear combination model is calculated by the least squares method. As a result, the least squares method arithmetic circuit 6 outputs coefficient data D4 corresponding to the pixels thinned out by the sub-sampling circuit 2, and the coefficient data D4 is given to the output terminal 7.
【0008】このように送信器1においては、サブサン
プリング後の画像データを圧縮符号化して得た圧縮符号
化データD2と共に、間引かれた画素とその周辺の伝送
画素との相関関係を表わす係数データD4を伝送するよ
うになされている。As described above, in the transmitter 1, the compressed coded data D2 obtained by compressing and coding the image data after the sub-sampling as well as the coefficient representing the correlation between the thinned pixels and the transmission pixels in the vicinity thereof are obtained. The data D4 is transmitted.
【0009】デイジタルデータ変換装置の受信器10
は、図12(B)に示すように構成されており、圧縮符
号化データD2を入力端子11を介してデコーダ12に
入力する。デコーダ12によつて復号された復号データ
D5は時系列変換回路13及び補間演算回路14に供給
される。また受信器10は係数データD4を入力端子1
5を介して補間演算回路14に入力する。The receiver 10 of the digital data converter.
12 is configured as shown in FIG. 12B, and the compression coded data D2 is input to the decoder 12 via the input terminal 11. The decoded data D5 decoded by the decoder 12 is supplied to the time series conversion circuit 13 and the interpolation calculation circuit 14. Further, the receiver 10 receives the coefficient data D4 at the input terminal 1
It is input to the interpolation calculation circuit 14 via 5.
【0010】補間演算回路14は復号データD5及び係
数データD4を用いて、線形一次結合式から補間データ
D6を求め、これを時系列変換回路13に送出する。時
系列変換回路13は、復号データD5と補間データD6
を原画像(すなわち入力画像データD1)と同一に配列
し、復元画像データD7を得る。The interpolation calculation circuit 14 uses the decoded data D5 and the coefficient data D4 to obtain the interpolation data D6 from the linear linear combination equation and sends it to the time series conversion circuit 13. The time series conversion circuit 13 uses the decoded data D5 and the interpolation data D6.
Are arranged in the same manner as the original image (that is, the input image data D1) to obtain the restored image data D7.
【0011】かくして、送信器1及び受信器10で構成
されたデイジタルデータ変換装置においては、送信器1
側において、高能率符号化して得た圧縮符号化データD
2のみを伝送するのではなく、間引かれた画素とその周
辺の伝送画素との相関関係を表わす係数データD4を共
に伝送し、受信器10側において、その係数データD4
を用いて実際には伝送されない間引かれた画素を生成す
るようにしたことにより、間引きにより伝送情報量を削
減した場合でも、受信器10側での画質劣化を低減し得
るようになされている。Thus, in the digital data conversion device composed of the transmitter 1 and the receiver 10, the transmitter 1
Side, compression-encoded data D obtained by high-efficiency encoding
Instead of transmitting only 2, the coefficient data D4 representing the correlation between the thinned pixels and the transmission pixels in the vicinity thereof is transmitted together, and the coefficient data D4 is transmitted on the receiver 10 side.
By generating thinned pixels that are not actually transmitted by using, the image quality deterioration on the receiver 10 side can be reduced even when the amount of transmission information is reduced by thinning. .
【0012】また別の方法として、特開平5-328185号公
報に開示されているように、受信側に予め学習によつて
求めた予測係数又は予測値を格納するメモリを設け、間
引き処理が施された伝送画像データに応じて当該メモリ
から読み出される予測係数に基づき補間画素値を生成
し、又は伝送画像データに応じて当該メモリから読み出
される予測値を補間画素値とすることにより、間引きに
基づく画質劣化を低減するデイジタルデータ変換装置が
提案されている。As another method, as disclosed in Japanese Patent Laid-Open No. 5-328185, the receiving side is provided with a memory for storing a prediction coefficient or a prediction value previously obtained by learning, and thinning processing is performed. The interpolation pixel value is generated based on the prediction coefficient read from the memory according to the transmitted transmission image data, or the prediction value read from the memory according to the transmission image data is set as the interpolation pixel value. A digital data conversion device that reduces image quality deterioration has been proposed.
【0013】このデイジタルデータ変換装置は、図13
に示すように、送信器20において、サブサンプリング
回路21、エンコーダ22及び送信処理回路23を通し
て得た圧縮符号化データD10を出力端子24を介して
伝送路25に送出する。受信器30は入力端子31を介
して入力した圧縮符号化データD10を受信処理回路3
2及びデコーダ33を通すことにより復号データD11
を得、これを同時化回路34に送出する。同時化回路3
4は間引かれた画素を注目画素とし、各注目画素毎に周
辺の複数の伝送画素を同時化してクラスタリング回路3
5に送出する。This digital data converter is shown in FIG.
In the transmitter 20, the compression coded data D10 obtained through the sub-sampling circuit 21, the encoder 22 and the transmission processing circuit 23 is sent to the transmission line 25 via the output terminal 24 as shown in FIG. The receiver 30 receives the compression coded data D10 input through the input terminal 31 from the reception processing circuit 3
2 and the decoder 33 to pass the decoded data D11
And sends it to the synchronization circuit 34. Synchronization circuit 3
Reference numeral 4 designates a thinned pixel as a target pixel, and simultaneously synchronizes a plurality of peripheral transmission pixels for each target pixel to cluster the clustering circuit 3
5
【0014】クラスタリング回路35は入力した伝送画
素データを階調やパターンに応じてクラス分類し、この
クラス分類結果を各注目画素のクラスを表わすクラス情
報D12としてメモリ36に送出する。メモリ36はク
ラス情報D12をアドレスとして、予め学習により各ク
ラス毎に求められて格納されている予測係数のうち、入
力したクラス情報D12に対応した予測係数D13を出
力する。The clustering circuit 35 classifies the input transmission pixel data into classes according to gradations and patterns, and sends the class classification result to the memory 36 as class information D12 representing the class of each pixel of interest. The memory 36 outputs the prediction coefficient D13 corresponding to the input class information D12 among the prediction coefficients that are obtained and stored for each class in advance by learning using the class information D12 as an address.
【0015】補間データ作成回路37は予測係数D13
と同時化された周辺画素値とを使つて線形一次結合によ
る演算を施すことにより、補間画素データD14を作成
する。この補間画素データD14と復号データD11が
続く合成回路38によつて合成されることにより、復元
画像データD15が生成される。The interpolation data creating circuit 37 uses the prediction coefficient D13.
Interpolation pixel data D14 is created by performing an operation by linear linear combination using the peripheral pixel values synchronized with. The interpolated pixel data D14 and the decoded data D11 are combined by the subsequent combining circuit 38 to generate restored image data D15.
【0016】かくして、受信器30によれば、伝送画素
データに存在しないような高周波成分をも復元すること
ができ、この結果間引き処理に基づく画質劣化を抑制し
得、高解像度の復元画像を得ることができる。Thus, the receiver 30 can restore high frequency components that do not exist in the transmitted pixel data. As a result, it is possible to suppress image quality deterioration due to thinning processing and obtain a high resolution restored image. be able to.
【0017】[0017]
【発明が解決しようとする課題】ところで、特願平5-20
1913号で提案されている方法では、最小二乗法演算回路
6において、補間対象画素(注目画素)と、当該補間対
象画素に対して空間的及び時間的に周辺の伝送画素との
線形一次結合モデルを立て、当該線形一次結合モデルか
ら最小二乗法により係数データD4を算出している。[Problems to be Solved by the Invention] By the way, Japanese Patent Application No. 5-20
In the method proposed in 1913, the linear least-squares combined model of the interpolation target pixel (pixel of interest) and the transmission pixels spatially and temporally peripheral to the interpolation target pixel in the least squares arithmetic circuit 6 And the coefficient data D4 is calculated from the linear linear combination model by the method of least squares.
【0018】ところが、これは一種の統計的処理である
ため、入力画像データD1に含まれる実際の画素値に対
して必然的にある程度の誤差のある係数データD4が算
出されてしまう。このため受信器10側では、この係数
の誤差分だけ実際の画素値に対して誤差のある補間画素
値が作成され、画質が劣化する問題がある。ここで線形
一次結合モデルに用いる周辺画素数を多くする程、係数
データD4の誤差は小さくなると考えられるが、このよ
うにすると係数データD4を算出する際の演算量が増大
することにより、実際上実現が困難になる問題がある。However, since this is a kind of statistical processing, the coefficient data D4 inevitably has a certain degree of error with respect to the actual pixel value included in the input image data D1. Therefore, on the receiver 10 side, an interpolated pixel value having an error with respect to the actual pixel value by the error of this coefficient is created, and there is a problem that the image quality deteriorates. It is considered that the larger the number of peripheral pixels used in the linear linear combination model, the smaller the error of the coefficient data D4. However, in this case, the amount of calculation for calculating the coefficient data D4 increases, so There is a problem that it is difficult to realize.
【0019】また特開平5-328185号公報で開示されてい
るように、予め学習により求めた補間画素の予測係数又
は予測値をクラス毎にメモリ36に格納する方法では、
クラス数を多くすればする程、また学習に用いる周辺画
素数を多くする程より真値に近い補間画素値を生成し得
ると考えられるが、このようにすると予測係数又は予測
値を求める際の演算量が増大すると共に、メモリ36に
格納しなければならないデータ量が増大し、この結果構
成が大型化する問題がある。またクラス数や学習に用い
る画素数を増やしたとしても、補間画素値の真値に対す
る誤差を完全に除くことはできなかつた。Further, as disclosed in Japanese Patent Laid-Open No. 5-328185, in the method of storing the prediction coefficient or prediction value of the interpolated pixel obtained by learning in advance in the memory 36 for each class,
It is considered that an interpolated pixel value closer to a true value can be generated as the number of classes is increased or the number of peripheral pixels used for learning is increased. As the amount of calculation increases, the amount of data that must be stored in the memory 36 also increases, resulting in a problem that the configuration becomes large. Further, even if the number of classes and the number of pixels used for learning are increased, it is impossible to completely eliminate the error with respect to the true value of the interpolated pixel value.
【0020】本発明は以上の点を考慮してなされたもの
で、入力画像データに間引き処理を施して伝送データ量
を削減する場合に、送信側で間引かれた画素を受信側で
正確に補間することにより復元画像の解像度を向上し得
る画像信号伝送装置を提案しようとするものである。The present invention has been made in consideration of the above points, and when performing thinning processing on input image data to reduce the amount of transmission data, pixels thinned on the transmitting side can be accurately detected on the receiving side. It is intended to propose an image signal transmission device capable of improving the resolution of a restored image by interpolating.
【0021】[0021]
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、入力画像データD1の所定画素を
間引くことにより画素数の低減した伝送画素データを生
成する間引き手段43と、間引き手段43により間引か
れた画素を注目画素ym とし、当該注目画素ym と、当
該注目画素ym の空間的及び又は時間的に周辺の複数の
伝送画素xm1、xm2、……、xmnとの相関関係を表すパ
ラメータD4を算出するパラメータ算出手段48と、パ
ラメータ算出手段48により得たパラメータD4と伝送
画素xm1、xm2、……、xmnとに基づいて注目画素の推
定画素値D23を算出する推定値算出手段50と、当該
推定画素値D23と入力画像データD1に含まれる真の
画素値との差分値D24を算出する差分値算出手段53
とを設け、差分値情報D20を伝送画素データD2及び
パラメータ情報D4(w1 、w2 、……、wn )と共に
伝送するようにする。In order to solve such a problem, according to the present invention, thinning-out means 43 and thinning-out means 43 for thinning out predetermined pixels of input image data D1 to generate transmission pixel data having a reduced number of pixels. and the pixel of interest y m decimated by, the target pixel y m and, the target pixel y m spatially and or temporally a plurality of transmission pixels around x of m1, x m @ 2, ......, x mn Parameter calculating means 48 for calculating a parameter D4 representing the correlation with the parameter D4 obtained by the parameter calculating means 48 and the estimated pixel value of the pixel of interest based on the transmission pixels x m1 , x m2 , ..., X mn. An estimated value calculation means 50 for calculating D23 and a difference value calculation means 53 for calculating a difference value D24 between the estimated pixel value D23 and a true pixel value included in the input image data D1.
And the difference value information D20 is transmitted together with the transmission pixel data D2 and the parameter information D4 (w 1 , w 2 , ..., W n ).
【0022】また本発明においては、間引き手段43に
より間引かれた画素を注目画素ymとし、当該注目画素
ym の空間的及び又は時間的に周辺の複数の伝送画素X
1〜X14の分布状態に応じて、各注目画素ym をクラ
ス分類するクラス分類手段47を設け、パラメータ算出
手段48は、クラス分類手段47により得た各クラス毎
にパラメータD4(w1 、w2 、……、wn )を算出す
るようにする。Further, in the present invention, a pixel thinned out by the thinning means 43 is set as a target pixel y m, and a plurality of transmission pixels X spatially and / or temporally surrounding the target pixel y m.
A class classification unit 47 for classifying each of the target pixels y m according to the distribution state of 1 to X14 is provided, and the parameter calculation unit 48 calculates the parameter D4 (w 1 , w for each class obtained by the class classification unit 47. 2 , ..., W n ) should be calculated.
【0023】さらに本発明においては、間引きにより画
素数が低減された伝送画素データD2と、間引かれた画
素を注目画素ym としたとき、当該注目画素ym を、当
該注目画素ym の空間的及び又は時間的に周辺の複数の
伝送画素X1〜X14の分布状態に応じてクラス分類
し、当該各クラス毎に求めた注目画素ym と伝送画素x
m1、xm2、……、xmnとの相関関係を表すパラメータD
4と、伝送画素データD2とパラメータD4とから算出
された注目画素ym の推定画素値と真の画素値との差分
値情報D20とを受信して復号化する画像信号伝送装置
60において、間引かれた画素を注目画素ym とし、当
該注目画素ym の空間的及び又は時間的に周辺の複数の
伝送画素X1〜X14の状態に応じて、各注目画素ym
をクラス分類するクラス分類手段62と、伝送画素デー
タD2と各注目画素ym のクラスに対応したパラメータ
D4とを用いて、各注目画素ym の推定画素値D32を
算出する補間画素値推定手段63と、差分値情報D20
を、当該推定画素値D32に加算する加算手段64とを
設けるようにする。Further, according to the present invention, when the transmission pixel data D2 in which the number of pixels is reduced by thinning out and the thinned out pixel are the target pixel y m , the target pixel y m is set to the target pixel y m . The pixel of interest y m and the transmission pixel x obtained by classifying each of the classes are classified according to the distribution state of the plurality of transmission pixels X1 to X14 that are spatially and / or temporally peripheral.
Parameter D representing the correlation with m1 , x m2 , ..., x mn
4 and the difference value information D20 between the estimated pixel value and the true pixel value of the pixel of interest y m calculated from the transmission pixel data D2 and the parameter D4. the drawn pixel and the target pixel y m, according to the state of the spatial and or temporal plurality of transmission pixels around X1~X14 of the target pixel y m, each pixel of interest y m
And classification means 62 for class classifying, using a parameter D4 corresponding the transmission pixel data D2 to the class of the subject pixel y m, the interpolation pixel value estimating means for calculating an estimated pixel value D32 of each pixel of interest y m 63 and difference value information D20
Is added to the estimated pixel value D32.
【0024】[0024]
【作用】推定値算出手段50によつて、受信側60にお
いて伝送画素データD2とパラメータD4とにより求め
られるであろう補間推定画素値D23を予め算出する。
次に差分値算出手段53によつて、推定値算出手段50
により得た補間推定画素値D23と入力画像データD1
に含まれる真の画素値との差分値D24を算出し、この
差分値D24を、伝送画素データD2及びパラメータD
4と共に伝送するようにする。この結果、受信側60で
は、差分値D24によつて誤差分をキヤンセルすること
でほぼ真値に等しい補間画素値D33を得ることがで
き、復元画像の解像度を向上させることができる。The estimated value calculating means 50 preliminarily calculates the interpolated estimated pixel value D23 which will be obtained from the transmission pixel data D2 and the parameter D4 on the receiving side 60.
Next, the estimated value calculation means 50 is calculated by the difference value calculation means 53.
Interpolation estimated pixel value D23 and input image data D1 obtained by
The difference value D24 with respect to the true pixel value included in is calculated, and this difference value D24 is used as the transmission pixel data D2 and the parameter D.
4 to be transmitted. As a result, the receiving side 60 can obtain the interpolated pixel value D33 that is substantially equal to the true value by canceling the error amount using the difference value D24, and can improve the resolution of the restored image.
【0025】[0025]
【実施例】以下図面について、本発明の一実施例を詳述
する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described in detail below with reference to the drawings.
【0026】(1)全体構成 図1において、40は全体として本発明を適用した画像
符号化装置を示し、符号化データ形成部41と誤差デー
タ形成部42により構成されている。符号化データ形成
部41は入力画像データD1から圧縮符号化データD
2、及び伝送画素と間引かれた画素との相関関係を表わ
す係数データD4を生成する。誤差データ形成部42
は、符号化データ形成部41から出力される圧縮符号化
データD2及び係数データD4に基づき受信側で生成さ
れるであろう補間画素値の、真値からの誤差を表わす誤
差データD20を生成する。(1) Overall Structure In FIG. 1, reference numeral 40 denotes an image coding apparatus to which the present invention is applied as a whole, which is composed of a coded data forming section 41 and an error data forming section 42. The encoded data forming unit 41 converts the input image data D1 to the compressed encoded data D1.
2, and coefficient data D4 representing the correlation between the transmission pixel and the thinned pixel is generated. Error data forming unit 42
Generates error data D20 that represents an error from the true value of the interpolated pixel value that will be generated on the receiving side, based on the compression encoded data D2 and the coefficient data D4 output from the encoded data forming unit 41. .
【0027】実際上、画像符号化装置40は入力画像デ
ータD1を符号化データ形成部41のサブサンプリング
回路43に入力し、ここで入力画像データD1の所定画
素を間引くことにより情報量を削減した後、圧縮エンコ
ーダ44に送出する。圧縮エンコーダ44は間引き後に
残つた画素を圧縮符号化することにより圧縮符号化デー
タD2を生成し、これを遅延回路45を介して伝送す
る。In practice, the image coding apparatus 40 inputs the input image data D1 to the sub-sampling circuit 43 of the coded data forming section 41, and the information amount is reduced by thinning out predetermined pixels of the input image data D1. After that, the data is sent to the compression encoder 44. The compression encoder 44 compression-encodes the pixels remaining after thinning to generate compression-encoded data D2, and transmits this through the delay circuit 45.
【0028】また圧縮エンコーダ44の出力はローカル
デコーダ46を介して圧縮符号化前のデータに復号さ
れ、当該復号データD21がクラス分類回路47に与え
られる。クラス分類回路47は補間対象画素(すなわち
間引かれた画素)を注目画素とし、当該注目画素の空間
的及び又は時間的に周囲の画素の状態に応じて各注目画
素をクラス分類し、当該分類結果をその注目画素のクラ
ス情報(以下これをインデツクスデータと呼ぶ)D22
として係数選定回路48に送出する。例えばクラス分類
回路47は注目画素の周辺の伝送画素の階調やパターン
に応じて各注目画素をクラス分類する。The output of the compression encoder 44 is decoded into data before compression encoding via the local decoder 46, and the decoded data D21 is given to the class classification circuit 47. The class classification circuit 47 regards a pixel to be interpolated (that is, a thinned pixel) as a pixel of interest, classifies each pixel of interest according to the state of pixels surrounding the pixel of interest spatially and / or temporally, and classifies the pixel of interest. The result is the class information of the pixel of interest (hereinafter referred to as index data) D22.
To the coefficient selection circuit 48. For example, the class classification circuit 47 classifies each pixel of interest according to the gradation or pattern of the transmission pixels around the pixel of interest.
【0029】係数選定回路48は遅延回路49を介して
入力した入力画像データD1及び復号データD21に基
づき、各クラス毎に、入力画像データD1に含まれる注
目画素の画素値とその周辺の復号データD2の画素値と
の相関関係を学習により求め、この学習結果を係数デー
タD4として出力する。因に遅延回路49はサブサンプ
リング回路43、圧縮エンコーダ44及びローカルデコ
ーダ46で要する処理時間分だけ入力画像データD1を
遅延させるものである。The coefficient selection circuit 48, based on the input image data D1 and the decoded data D21 input through the delay circuit 49, for each class, the pixel value of the pixel of interest included in the input image data D1 and the decoded data around it. The correlation with the pixel value of D2 is obtained by learning, and the learning result is output as coefficient data D4. The delay circuit 49 delays the input image data D1 by the processing time required by the sub-sampling circuit 43, the compression encoder 44, and the local decoder 46.
【0030】誤差データ形成部42は補間データ推定回
路50を有し、当該補間データ推定回路50にローカル
デコーダ46から出力される復号データD21を遅延回
路51を介して受けると共に、係数選定回路48から出
力される係数データD4を受ける。また補間データ推定
回路50はクラス分類回路47から出力されるインデツ
クスデータD22を遅延回路52を介して受ける。因に
遅延回路51は復号データD21をクラス分類回路47
の処理分遅延させるものであり、遅延回路52はインデ
ツクスデータD22を係数選定回路48の処理分遅延さ
せるものである。The error data forming section 42 has an interpolation data estimating circuit 50, receives the decoded data D21 output from the local decoder 46 via the delay circuit 51, and outputs from the coefficient selecting circuit 48 to the interpolation data estimating circuit 50. The coefficient data D4 to be output is received. Further, the interpolation data estimation circuit 50 receives the index data D22 output from the class classification circuit 47 via the delay circuit 52. The delay circuit 51 causes the decoded data D21 to be classified by the class classification circuit 47.
The delay circuit 52 delays the index data D22 by the processing of the coefficient selecting circuit 48.
【0031】補間データ推定回路50は、受信側におい
て圧縮符号化データD2、係数データD4及びインデツ
クスデータD22を用いて生成されるであろう補間画素
値を前もつて生成し、これにより得た推定補間データD
23を差分回路53に送出する。差分回路53は推定補
間データD23を入力すると共に、入力画像データD1
を遅延回路49及び54を介して入力することにより、
推定補間画素値とこれに対応する真の補間画素値との差
分演算を行う。この結果差分回路53では、推定補間画
素値の真の補間画素値からの誤差を表わす誤差値D24
が算出される。この誤差値D24は続く量子化回路55
によつて量子化及び符号化されて誤差データD20とし
て伝送される。The interpolated data estimation circuit 50 preliminarily generates an interpolated pixel value which will be generated on the receiving side by using the compression coded data D2, the coefficient data D4 and the index data D22, and obtains the interpolated pixel value. Estimated interpolation data D
23 is sent to the difference circuit 53. The difference circuit 53 inputs the estimated interpolation data D23 and inputs the input image data D1.
Is input via the delay circuits 49 and 54,
The difference between the estimated interpolation pixel value and the corresponding true interpolation pixel value is calculated. As a result, in the difference circuit 53, an error value D24 representing an error of the estimated interpolation pixel value from the true interpolation pixel value.
Is calculated. This error value D24 is the quantization circuit 55 that follows.
Is quantized and coded by and is transmitted as error data D20.
【0032】因に遅延回路54の遅延時間は、遅延回路
49の遅延時間との合計遅延時間が推定補間画素値が生
成されるまでに要する時間と等しくなるように選定され
ている。また量子化回路55は例えばADRC(Adapti
ve Dynamic Range Coding )回路により構成されてお
り、誤差値D24を適応量子化することにより誤差デー
タD20を生成する。このように画像符号化装置40
は、符号化データ形成回路41からの圧縮符号化データ
D2及び係数データD4と共に、誤差データ形成回路4
2からの誤差データD20を伝送するようになされてい
る。Incidentally, the delay time of the delay circuit 54 is selected so that the total delay time together with the delay time of the delay circuit 49 becomes equal to the time required until the estimated interpolated pixel value is generated. The quantizing circuit 55 is, for example, ADRC (Adapti).
ve Dynamic Range Coding) circuit, and generates error data D20 by adaptively quantizing the error value D24. In this way, the image encoding device 40
Is the error data forming circuit 4 together with the compression coded data D2 and the coefficient data D4 from the coded data forming circuit 41.
The error data D20 from 2 is transmitted.
【0033】画像符号化装置40から送出された伝送デ
ータは、図2に示すような構成でなる画像復号化装置6
0により受信されて復号される。画像復号化装置60
は、圧縮符号化データD2を圧縮デコーダ61により復
号し、これにより得た復号データD30をクラス分類回
路62に送出する。クラス分類回路62は図1について
上述したクラス分類回路47と同様の構成でなり、実際
には伝送されてこない補間対象画素を注目画素とし、当
該注目画素の空間的及び又は時間的に周辺の画素の状態
に応じて当該補間対象画素をクラス分類する。これによ
りクラス分類回路62は各注目画素毎にインデツクスデ
ータD31を発生し、これを補間データ推定回路63に
送出する。The transmission data sent from the image coding device 40 has a structure as shown in FIG.
0 received and decoded. Image decoding device 60
Compresses the compressed coded data D2 by the compression decoder 61 and sends the decoded data D30 thus obtained to the class classification circuit 62. The class classification circuit 62 has a configuration similar to that of the class classification circuit 47 described above with reference to FIG. 1. The interpolation target pixel that is not actually transmitted is set as a pixel of interest, and pixels spatially and / or temporally peripheral to the pixel of interest are used. The interpolation target pixel is classified into classes according to the state of. As a result, the class classification circuit 62 generates index data D31 for each pixel of interest and sends it to the interpolation data estimation circuit 63.
【0034】補間データ推定回路63も上述した補間デ
ータ推定回路50と同様の構成でなり、各補間対象画素
(注目画素)のインデツクスデータD31、復号データ
D30及び係数データD4に基づいて推定補間データD
32を求める。実際上、補間データ推定回路63はイン
デツクスデータD31に対応した係数データD4を選択
し、選択した係数データD4と補間対象画素の周辺の復
号データD30とを用いて線形一次結合式を立てること
により推定補間データD32を求める。The interpolation data estimation circuit 63 also has the same structure as the above-mentioned interpolation data estimation circuit 50, and it estimates the interpolation data based on the index data D31, the decoded data D30 and the coefficient data D4 of each interpolation target pixel (target pixel). D
32 is requested. In practice, the interpolation data estimation circuit 63 selects the coefficient data D4 corresponding to the index data D31, and uses the selected coefficient data D4 and the decoded data D30 around the pixel to be interpolated to form a linear linear combination equation. The estimated interpolation data D32 is obtained.
【0035】このようにして求められた推定補間データ
D32は加算回路64に送出される。加算回路64には
また誤差データD20が遅延回路65及び逆量子化回路
66を介して入力される。この結果加算回路64では、
推定補間データD32に含まれる誤差分がキヤンセルさ
れ、入力画像データD1(図1)含まれていた真の画素
値と等しい補間データD33が生成される。時系列変換
回路67では、復号データD30と補間データD33を
原画像(すなわち入力画像データD1)と同一に配列す
ることにより、復元画像データD34を生成する。かく
して画像復号化装置60では、真値にほぼ等しい補間画
素を得ることができることにより画質劣化の無い復元画
像を得ることができる。The estimated interpolation data D32 thus obtained is sent to the adder circuit 64. The error data D20 is also input to the adder circuit 64 via the delay circuit 65 and the inverse quantization circuit 66. As a result, in the addition circuit 64,
The error component included in the estimated interpolation data D32 is canceled to generate the interpolation data D33 that is equal to the true pixel value included in the input image data D1 (FIG. 1). The time series conversion circuit 67 arranges the decoded data D30 and the interpolation data D33 in the same arrangement as the original image (that is, the input image data D1) to generate the restored image data D34. In this way, the image decoding device 60 can obtain the interpolated pixel that is substantially equal to the true value, and thus can obtain the restored image without image quality deterioration.
【0036】(2)詳細構成 次に実施例におけるサブサンプリング回路43、圧縮エ
ンコーダ44、圧縮デコーダ61、クラス分類回路4
7、62、係数選定回路48及び補間データ推定回路5
0、63の詳細構成を説明する。(2) Detailed Configuration Next, the sub-sampling circuit 43, the compression encoder 44, the compression decoder 61, and the class classification circuit 4 in the embodiment.
7, 62, coefficient selection circuit 48 and interpolation data estimation circuit 5
The detailed configuration of 0 and 63 will be described.
【0037】この実施例の場合、サブサンプリング回路
43は、図3に示すように、各時点T0、T1、T2、
……でのフレーム画像に対して伝送画素数が1/2 になる
ような間引き処理を施す。このときサブサンプリング回
路43は、連続する時点間で、前の時点でサンプリング
した位置と同様の位置の画素を次の時点ではサンプリン
グしないというように交互に間引く画素位置を選択する
所謂1/2 時空間オフセツトサブサンプリングを行うこと
により、画像の特徴量をできるだけ残しながら伝送情報
量を1/2 に削減する。因に、図3における○印は間引き
後に残つた画素(すなわち伝送画素)を表し、+印は補
間対象画素(注目画素)を表わす。また下段のw1 〜w
38は、後述する係数選定回路48によつて求められる線
形一次結合モデルの係数を表わす。In the case of this embodiment, the sub-sampling circuit 43, as shown in FIG. 3, has time points T0, T1, T2,
The thinning process is applied to the frame image in ... so that the number of transmitted pixels is halved. At this time, the sub-sampling circuit 43 alternately selects the pixel positions where the pixels at the same positions as the positions sampled at the previous time point are not sampled at the next time point between successive time points, so-called 1/2 time. By performing spatial offset sub-sampling, the amount of transmitted information is reduced by half while preserving image feature amounts as much as possible. Incidentally, a circle mark in FIG. 3 represents a pixel left after the thinning (that is, a transmission pixel), and a + mark represents an interpolation target pixel (a target pixel). Also, w 1 ~ w in the lower row
38 represents the coefficient of the linear linear combination model obtained by the coefficient selecting circuit 48 described later.
【0038】圧縮エンコーダ44は、ADRC(Adapti
ve Dynamic Range Coding )回路により構成されてお
り、例えば1画素当り8ビツトの情報量でなる画素デー
タを、所定ブロツク内での最大画素値と最小画素値との
差分を表わすダイナミツクレンジ情報と、最小画素情報
と、各画素値と最小画素値との差分を例えば1ビツト量
子化した際の量子化情報とで表わすことにより、伝送情
報量を有効に削減する。The compression encoder 44 is an ADRC (Adapti
ve Dynamic Range Coding) circuit, and, for example, pixel data having an information amount of 8 bits per pixel, dynamic range information representing the difference between the maximum pixel value and the minimum pixel value within a predetermined block, By expressing the minimum pixel information and the difference between each pixel value and the minimum pixel value by, for example, the quantization information when one-bit quantization is performed, the transmission information amount is effectively reduced.
【0039】すなわち図4(A)に示すように、ADR
C回路(圧縮エンコーダ)44は入力データをブロツク
化回路70によつて微小ブロツクに分割し、当該微小ブ
ロツク毎にブロツク内の画素データを最大値・最小値算
出回路71に送出する。最大値・最小値算出回路71は
微小ブロツクに含まれる画素値の最大値及び最小値を算
出し、これにより得た最小画素値MINを伝送データと
して出力する。また最大値及び最小値は減算回路72に
より減算され、これにより得られたダイナミツクレンジ
情報DRが伝送データとして出力される。That is, as shown in FIG.
The C circuit (compression encoder) 44 divides the input data into minute blocks by the block converting circuit 70, and sends the pixel data in each block to the maximum value / minimum value calculation circuit 71 for each minute block. The maximum value / minimum value calculation circuit 71 calculates the maximum value and the minimum value of the pixel values included in the minute block, and outputs the minimum pixel value MIN thus obtained as transmission data. Further, the maximum value and the minimum value are subtracted by the subtraction circuit 72, and the dynamic range information DR obtained by this is output as transmission data.
【0040】また各画素値と当該画素値が含まれる微小
ブロツクでの最小画素値との差分値が減算回路73によ
つて算出され、当該減算結果が適応量子化回路74に送
出される。適応量子化回路74は、量子化ビツト数がn
ビツトである場合には、ダイナミツクレンジDRを2n
で割り算することにより量子化ステツプ幅を計算し、減
算回路73からの減算結果を当該量子化ステツプ幅で割
り算し、この結果得た除算結果を整数に丸めることで量
子化コードQを発生する。このようにしてADRC回路
(圧縮エンコーダ)44からは、微小ブロツク毎のダイ
ナミツクレンジ情報DR、最小値情報MIN及び量子化
コードQが圧縮符号化データD2として出力される。Further, the difference value between each pixel value and the minimum pixel value in the minute block including the pixel value is calculated by the subtraction circuit 73, and the subtraction result is sent to the adaptive quantization circuit 74. The adaptive quantizing circuit 74 has a quantization bit number of n.
If it is a bit, set the dynamic range DR to 2 n.
The quantization step width is calculated by dividing by., The subtraction result from the subtraction circuit 73 is divided by the quantization step width, and the resulting division result is rounded to an integer to generate a quantization code Q. In this way, the ADRC circuit (compression encoder) 44 outputs the dynamic range information DR, the minimum value information MIN and the quantized code Q for each minute block as the compressed coded data D2.
【0041】この圧縮エンコーダ44に対応する圧縮デ
コーダ61(図2)は、図4(B)に示すように構成さ
れており、ダイナミツクレンジ情報DR及び量子化コー
ドQを適応逆量子化回路75に入力し、ここで各ブロツ
ク毎にダイナミツクレンジDRを2n で割り算すること
により量子化ステツプ幅を計算し、この量子化ステツプ
幅に量子化コードQを掛け合わせる。圧縮デコーダ61
は、加算回路76によつてこの乗算結果に最小値情報M
INを加算し、続くブロツク分解回路77によつてブロ
ツク分解することにより復号データD30を得る。因
に、画像符号化装置40に設けられているローカルデコ
ーダ46(図1)も、圧縮デコーダ61と同様に構成さ
れている。The compression decoder 61 (FIG. 2) corresponding to the compression encoder 44 is constructed as shown in FIG. 4B, and the dynamic range information DR and the quantized code Q are adapted to the adaptive dequantization circuit 75. , And the quantization step width is calculated by dividing the dynamic range DR for each block by 2 n , and this quantization step width is multiplied by the quantization code Q. Compression decoder 61
Is the minimum value information M added to this multiplication result by the adder circuit 76.
IN is added, and the block is decomposed by the subsequent block decomposition circuit 77 to obtain the decoded data D30. Incidentally, the local decoder 46 (FIG. 1) provided in the image encoding device 40 is also configured similarly to the compression decoder 61.
【0042】クラス分類回路47及び62は図5に示す
ように構成されており、復号データD21(又はD3
0)を時系列変換回路80に入力する。時系列変換回路
80は例えば3フレームメモリ構成でなり、時間的に連
続する3フレーム分の復号データD21(又はD30)
を格納し、各注目画素(すなわち補間対象画素)毎にそ
の周辺の画素値X1〜X14を続く減算回路81A〜8
1Fに送出する。The class classification circuits 47 and 62 are configured as shown in FIG. 5, and the decoded data D21 (or D3)
0) is input to the time series conversion circuit 80. The time series conversion circuit 80 has, for example, a three-frame memory configuration, and the decoded data D21 (or D30) for three frames that are temporally continuous.
For each pixel of interest (that is, interpolation target pixel), and the pixel values X1 to X14 around the pixel
Send to 1F.
【0043】このとき各減算回路81A〜81Fには、
注目画素を中心として、上下方向、左右方向及び斜め方
向、さらには時間方向に配列した画素同士で差分が取ら
れるように周辺画素値X1〜X14が入力される。具体
的には、図6に示すように、上下方向に配列した画素X
1、X2間の差分値が減算回路81Aにより、左右方向
の画素X3、X4間の差分値が減算回路81Bにより、
斜め方向の画素X5、X6間の差分値が減算回路81C
により、同じく斜め方向の画素X11、X12間の差分
値が減算回路81Eにより、さらには時間方向の画素X
13、X14間の差分値が減算回路81Fにより算出さ
れる。因に、図6における○印及び◎印は間引き後に残
つた画素(伝送画素)を表し、このうち◎印はクラス分
類に用いる画素を表し、×印は間引かれた画素(非伝送
画素)を表わす。At this time, each of the subtraction circuits 81A to 81F has
The peripheral pixel values X1 to X14 are input so that the pixels arranged in the vertical direction, the horizontal direction, the diagonal direction, and the time direction with the pixel of interest as the center can be differentiated. Specifically, as shown in FIG. 6, the pixels X arranged in the vertical direction are arranged.
The subtraction circuit 81A calculates the difference value between 1 and X2, and the subtraction circuit 81B calculates the difference value between the pixels X3 and X4 in the left-right direction.
The difference value between the diagonal pixels X5 and X6 is the subtraction circuit 81C.
Accordingly, the difference value between the pixels X11 and X12 in the oblique direction is also calculated by the subtraction circuit 81E, and further, the pixel X in the time direction.
The difference value between 13 and X14 is calculated by the subtraction circuit 81F. Incidentally, the circles and the circles in FIG. 6 represent the pixels (transmission pixels) remaining after the thinning out, of which the circles represent the pixels used for the class classification, and the crosses represent the thinned pixels (non-transmission pixels). Represents
【0044】この結果得られた各方向の差分値はコード
化回路82に与えられ、当該コード化回路82によつて
差分値に応じてコード化されてインデツクスデータD2
2(又はD31)として出力される。実際上コード化回
路82は図7に示すように構成されており、絶対値算出
回路83により各差分値の絶対値を算出し、これを閾値
判定回路84に送出する。閾値判定回路84では、各差
分絶対値を所定の閾値と比較し、全ての差分絶対値が閾
値未満の場合にはコード割当回路86にこのことを示す
指令信号S1を送出する。これに対して閾値判定回路8
4は、1つ以上閾値以上の差分絶対値があつた場合、全
ての差分絶対値を最小値検出回路85に送出する。The difference value in each direction obtained as a result of this is given to the coding circuit 82, and is coded by the coding circuit 82 according to the difference value to obtain the index data D2.
2 (or D31) is output. In practice, the coding circuit 82 is configured as shown in FIG. 7, the absolute value calculating circuit 83 calculates the absolute value of each difference value, and sends this to the threshold value judging circuit 84. The threshold value judgment circuit 84 compares each difference absolute value with a predetermined threshold value, and when all the difference absolute values are less than the threshold value, sends a command signal S1 indicating this to the code allocation circuit 86. On the other hand, the threshold value judgment circuit 8
4 outputs all the difference absolute values to the minimum value detection circuit 85 when there is one or more difference absolute values equal to or more than the threshold value.
【0045】最小値検出回路85は差分絶対値のうちの
最小値を検出し、当該検出結果をコード割当回路86に
送出する。コード割当回路86は最小値の検出された方
向に応じたコードを出力する。例えば図6の下段に示す
ように、上下方向の画素間の差分絶対値が最小であつた
場合にはコード0を割り当て、左右方向の画素間の差分
絶対値が最小であつた場合にはコード1を割り当て、時
間方向の画素間の差分絶対値が最小であつた場合にはコ
ード6を割り当てるというように、空間方向及び時間方
向での差分絶対値に応じて7種類のコードを出力する。The minimum value detection circuit 85 detects the minimum value of the absolute difference values and sends the detection result to the code allocation circuit 86. The code assignment circuit 86 outputs a code according to the direction in which the minimum value is detected. For example, as shown in the lower part of FIG. 6, code 0 is assigned when the absolute difference value between the pixels in the vertical direction is minimum, and code 0 is assigned when the absolute difference value between the pixels in the horizontal direction is minimum. 1 is assigned, and code 6 is assigned when the absolute difference value between pixels in the time direction is the minimum. Seven types of codes are output according to the absolute difference values in the spatial direction and the time direction.
【0046】またコード割当回路86は閾値判定回路8
4から指令信号S1が与えられた場合には、コード7を
出力する。ここでコード割当回路86がコード7を出力
するということは、補間対象画素(注目画素)の周辺は
静止平坦部であることを意味する。このように実施例の
クラス分類回路47及び62では、注目画素の周辺画素
の平坦度を検出し、平坦度の最も大きい方向をインデツ
クスデータD22(又はD31)として出力することに
より、注目画素をクラス分類するようになされている。The code assigning circuit 86 is the threshold value judging circuit 8
When the command signal S1 is given from 4, the code 7 is output. Here, the code assignment circuit 86 outputting the code 7 means that the periphery of the pixel to be interpolated (pixel of interest) is a static flat portion. As described above, in the class classification circuits 47 and 62 of the embodiment, the flatness of the peripheral pixel of the pixel of interest is detected, and the direction having the largest flatness is output as the index data D22 (or D31). It is designed to be classified into classes.
【0047】係数選定回路48は、補間対象画素を、当
該補間対象画素と当該補間対象画素の周辺の伝送画素と
の線形一次結合モデルによつて表し、このとき用いた係
数を各クラス毎に最小二乗法の演算によつて求める。こ
の係数選定の原理について説明する。図3に示すよう
に、補間対象画素ymの存在するフレームをT1とする
と、このフレームT1から補間対象画素ym を中心とし
てその周囲の領域を切り出すと共に、一つ前の時点のフ
レームT0及び一つ後の時点のフレームT2からフレー
ムT1で切り出した領域と空間的に同じ位置の領域を切
り出す。また補間対象画素ym の画素値は入力画像デー
タD1から抽出する。The coefficient selection circuit 48 represents the interpolation target pixel by a linear linear combination model of the interpolation target pixel and the transmission pixels around the interpolation target pixel, and the coefficient used at this time is the minimum for each class. It is calculated by the square method. The principle of selecting the coefficient will be described. As shown in FIG. 3, assuming that the frame in which the interpolation target pixel y m exists is T1, a peripheral region around the interpolation target pixel y m is cut out from this frame T1, and the frame T0 and the frame T0 at the immediately preceding time point are extracted. A region at the same position as the region cut out in the frame T1 from the frame T2 at the immediately subsequent time point is cut out. The pixel value of the interpolation target pixel y m is extracted from the input image data D1.
【0048】ここで先ずフレームT0〜T2から切り出
した領域内の伝送画素それぞれに係数wi を掛けること
により、補間対象画素ym を空間的及び時間的に周辺の
伝送画素による線形一次結合によつて表わす。この結果
補間対象画素ym の行列式Yと周辺の伝送画素xmiの行
列式Xは、係数wi の行列式Wを用いて、次式、First, by multiplying each transmission pixel in the area cut out from the frames T0 to T2 by a coefficient w i , the interpolation target pixel y m is linearly linearly combined by spatially and temporally surrounding transmission pixels. Express As a result, the determinant Y of the interpolation target pixel y m and the determinant X of the surrounding transmission pixel x mi are calculated using the determinant W of the coefficient w i as follows:
【数1】 でなる観測方程式の形で表わすことができる。但し、
(1)式における、nは1つの補間対象画素ym を線形
一次結合式によつて表わす際の空間的及び時間的に周辺
の伝送画素数を表し(実施例の場合、1つの補間対象画
素ym を38タツプの線形一次結合モデルによつて表わ
すため、n=38である)、mは1フレーム内に存在す
る補間対象画素数を表わす。[Equation 1] Can be expressed in the form of an observation equation. However,
In the equation (1), n represents the number of spatially and temporally surrounding transmission pixels when one interpolation target pixel y m is expressed by a linear linear combination equation (in the case of the embodiment, one interpolation target pixel Since y m is represented by the linear linear combination model of 38 taps, n = 38), and m represents the number of interpolation target pixels existing in one frame.
【0049】ここで(1)式に基づき、1フレームに対
して1個の係数組を求めようとすると、(1)式から1
フレームの補間対象画素数分の連立方程式を作ることに
なる。基本的には、この連立方程式を解いて係数を求め
ればよい。実施例では、最小二乗法を用いてこの連立方
程式を解く。すなわち先ず、(1)式を残差行列Eを用
いて次式、Here, if one coefficient set is to be obtained for one frame based on the equation (1), the following equation is obtained from the equation (1).
Simultaneous equations for the number of pixels to be interpolated in the frame are created. Basically, it suffices to solve this simultaneous equation and obtain the coefficient. In the embodiment, the simultaneous equations are solved by using the least squares method. That is, first, using the residual matrix E, the equation (1) is transformed into the following equation,
【数2】 のように残差方程式の形に表現し直す。[Equation 2] It is re-expressed in the form of residual equation like.
【0050】ここで(2)式から各係数値wi の最確値
を求めるためには、e1 2+e2 2+……+em-1 2+em 2
を最小にする条件、すなわち次式、Here, in order to obtain the most probable value of each coefficient value w i from the equation (2), e 1 2 + e 2 2 + ... + e m-1 2 + e m 2
The condition that minimizes
【数3】 となるn個の条件を入れてこれを満足するw1 、w2 、
……、wn を見つければよい。ここで(2)式より、次
式、(Equation 3) W 1 , w 2 , which satisfy the following condition by entering n conditions
......, just find w n . Here, from the equation (2), the following equation,
【数4】 を得、(3)式の条件をi=1、2、……、nについて
立てればそれぞれ、次式[Equation 4] And the condition of equation (3) is established for i = 1, 2, ..., N,
【数5】 が得られる。ここで(2)式及び(5)式から次式の正
規方程式が得られる。(Equation 5) Is obtained. Here, the following normal equation is obtained from the equations (2) and (5).
【数6】 (Equation 6)
【0051】ここで(6)式で表わされる正規方程式は
未知数の数がn個の連立方程式であるから、これにより
最確値である各係数wi を求めることができる。正確に
は(6)式でwi に掛かる(Σxjnxjn)(但し、j=
1……m)のマトリクスが正則であれば解くことができ
る。実際には、Gauss-Jordanの消去法(掃き出し法)を
用いて連立方程式を解く。Since the normal equation represented by the equation (6) is a simultaneous equation in which the number of unknowns is n, each coefficient w i which is the most probable value can be obtained. To be precise, in equation (6), w i is multiplied (Σx jn x jn ) (where j =
If the matrix of 1 ... m) is regular, it can be solved. In reality, the simultaneous equations are solved using the Gauss-Jordan elimination method (sweep method).
【0052】実施例の場合には、クラス分類回路47に
よつて求めた各クラス毎に上述した最小二乗法を用いて
係数値wi を求める。この結果各クラス毎に1フレーム
につき1組の係数を伝送すればよいことになり、全ての
補間対象画素についての係数値wi を求めて伝送する場
合に比して、格段に伝送情報量及び演算量を低減し得
る。実際に、係数の情報量はフレーム当りの画素情報量
に比べて無視できるくらいのオーダーである。In the case of the embodiment, the coefficient value w i is obtained for each class obtained by the class classification circuit 47 by using the above-mentioned least square method. As a result, it is sufficient to transmit one set of coefficients for each frame for each class, which is far more significant than the case where coefficient values w i for all interpolation target pixels are obtained and transmitted. The amount of calculation can be reduced. In fact, the information amount of the coefficient is of a negligible order as compared with the pixel information amount per frame.
【0053】具体的には、係数選定回路48は、図8に
示すように構成されている。すなわち係数選定回路48
はローカルデコードされた復号データD21(xi )及
び入力画像データD1に含まれる補間対象画素データy
m を時系列変換メモリ90に入力する。時系列変換メモ
リ90は、図3について上述したように線形一次結合モ
デルを形成するための画素(x1 〜xn 、ym )を同時
化して出力する。時系列変換メモリ90から出力された
データは、正規化方程式生成回路91に与えられ、当該
正規化方程式生成回路91によつて各クラス毎に(6)
式で表わされるような正規化方程式が生成され、続くC
PU演算回路92によつて掃き出し法によつて各クラス
毎の係数組が求められる。Specifically, the coefficient selection circuit 48 is constructed as shown in FIG. That is, the coefficient selection circuit 48
Is the locally decoded decoded data D21 (x i ) and the interpolation target pixel data y included in the input image data D1.
Input m into the time series conversion memory 90. Time series conversion memory 90, the pixel for forming a linear combination model (x 1 ~x n, y m ) by synchronizing the outputs as described above for FIG. The data output from the time-series conversion memory 90 is given to the normalization equation generation circuit 91, and by the normalization equation generation circuit 91, (6)
A normalized equation as represented by the equation is generated, followed by C
A coefficient set for each class is obtained by the PU arithmetic circuit 92 by the sweep method.
【0054】正規化方程式生成回路91は、先ず乗算器
アレイ93によつて各画素同士の乗算を行う。乗算器ア
レイ93は、図9に示すように構成されており、四角で
表わす各セル毎に画素同士の乗算を行い、これにより得
た各乗算結果を続く加算器メモリ94に与える。The normalization equation generating circuit 91 first multiplies each pixel by the multiplier array 93. The multiplier array 93 is configured as shown in FIG. 9, performs pixel-by-pixel multiplication for each cell represented by a square, and gives each multiplication result obtained thereby to the subsequent adder memory 94.
【0055】加算器メモリ94は、図10に示すよう
に、乗算器アレイ93と同様に配列されたセルでなる加
算器アレイ95とメモリ(またはレジスタ)アレイ96
A〜96Gとにより構成されている。メモリアレイ96
A〜96Gはクラス数分(実施例の場合、静止平坦部を
表わすクラス7を除く7個のクラス分)だけ設けられて
おり、インデツクスデータD22をデコードするインデ
ツクスデコーダ97の出力(クラス)に応答して一つの
メモリアレイ96A〜96F又は96Gが選択され、選
択されたメモリアレイ96A〜96F又は96Gの格納
値が加算器アレイ95に帰還される。このとき加算器ア
レイ95によつて得られる加算結果が、再び対応するメ
モリアレイ96A〜96F又は96Gに格納される。As shown in FIG. 10, the adder memory 94 includes an adder array 95 and a memory (or register) array 96 which are cells arranged in the same manner as the multiplier array 93.
A to 96G. Memory array 96
A to 96G are provided by the number of classes (in the case of the embodiment, seven classes excluding the class 7 representing the stationary flat portion), and the output (class) of the index decoder 97 for decoding the index data D22. In response to one of the memory arrays 96A to 96F or 96G, the value stored in the selected memory array 96A to 96F or 96G is fed back to the adder array 95. At this time, the addition result obtained by the adder array 95 is stored again in the corresponding memory array 96A to 96F or 96G.
【0056】このようにして乗算器アレイ93、加算器
アレイ95及びメモリアレイ96A〜96Gによつて積
和演算が行われ、インデツクスによつて決定されるクラ
ス毎にメモリアレイ96A〜96F又は96Gが選択さ
れて、積和演算の結果によつてメモリアレイ96A〜9
6Gの内容が更新される。In this way, the product array operation is performed by the multiplier array 93, the adder array 95, and the memory arrays 96A to 96G, and the memory array 96A to 96F or 96G is generated for each class determined by the index. The memory arrays 96A to 9A are selected according to the result of the product-sum operation.
The content of 6G is updated.
【0057】なお、各々のアレイの位置は、(6)式で
表わされる正規化方程式のwi にかかる(Σxjnxjn)
(但し、j=1……m)の位置に対応する。(6)式の
正規化方程式を見れば明らかなように右上の項を反転す
れば左下と同じものになるため、各アレイは三角形の形
状をしている。The position of each array depends on w i of the normalization equation represented by the equation (6) (Σx jn x jn )
(However, it corresponds to the position of j = 1 ... m). As is clear from the normalization equation (6), if the upper right term is inverted, the result will be the same as the lower left term, so that each array has a triangular shape.
【0058】このようにして、1フレームの間にクラス
毎に積和演算が行われて各クラス毎の正規化方程式が生
成される。クラス毎の正規化方程式の各項の結果は、そ
れぞれのクラスに対応するメモリアレイ96A〜96G
に記憶されており、次にそれらのクラス毎の正規化方程
式の各項が掃き出し法演算を実現するCPU演算回路9
2によつて計算される。この結果各クラス毎の係数wi
の組が求められ、これが係数データD4として送出され
る。In this way, the product-sum operation is performed for each class during one frame, and the normalization equation for each class is generated. The result of each term of the normalization equation for each class is the memory array 96A to 96G corresponding to each class.
CPU arithmetic circuit 9 for storing each term of the normalization equation for each class for realizing the sweep-out method arithmetic operation.
Calculated by 2. As a result, the coefficient w i for each class
Is obtained, and this is sent as coefficient data D4.
【0059】補間データ推定回路50及び63は、図1
1に示すように、1フレーム毎に各クラスの係数組を記
憶する係数メモリ100を有し、この係数メモリ100
は各クラス毎の係数組w1 〜wn を格納すると共に、イ
ンデツクスデコーダ101の出力(クラス)に応答して
クラスに応じた係数組w1 〜wn を出力する。この係数
組w1 〜wn がそれぞれレジスタ102A1 、102A
2 、……、102Anを介して乗算器103A1 、10
3A2 、……、103An に与えられる。また乗算器1
03A1 〜103An には、時系列変換回路104によ
り選択された復号データx1 〜xn が与えられる。従つ
て乗算器103A1 〜103An の出力が加算回路10
5により加算されることにより、補間対象画素の推定値
y(=x1 w1 +x2 w2 +……+xn wn )が得られ
る。Interpolation data estimation circuits 50 and 63 are shown in FIG.
As shown in FIG. 1, the coefficient memory 100 stores a coefficient set of each class for each frame.
Stores the coefficient sets w 1 to w n for each class, and outputs the coefficient sets w 1 to w n corresponding to the classes in response to the output (class) of the index decoder 101. The coefficient sets w 1 to w n are registered in the registers 102A 1 and 102A, respectively.
2 , ..., 102A n via multipliers 103A 1 , 10
3A 2 , ..., 103A n . Also multiplier 1
03A 1 to 103A n are given the decoded data x 1 to x n selected by the time series conversion circuit 104. Therefore, the outputs of the multipliers 103A 1 to 103A n are added by the adder circuit 10
By being added by 5, the estimated value y of the interpolation target pixel (= x 1 w 1 + x 2 w 2 + ...... + x n w n) is obtained.
【0060】(3)実施例の動作 以上の構成において、画像符号化装置40は入力画像デ
ータD1に対して間引き処理を施すことによりデータ量
を削減した後、圧縮符号化データD2を生成する。また
画像符号化装置40は、間引かれた画素を注目画素と
し、当該注目画素の周辺の伝送画素の状態に応じて各注
目画素をクラス分類し、次にこのクラス毎の係数組を求
め、これを係数データD4として出力する。(3) Operation of the Embodiment With the above configuration, the image encoding device 40 reduces the data amount by performing the thinning process on the input image data D1 and then generates the compression encoded data D2. Further, the image encoding device 40 sets the thinned pixel as a pixel of interest, classifies each pixel of interest according to the state of transmission pixels around the pixel of interest, and then obtains a coefficient set for each class. This is output as coefficient data D4.
【0061】さらに画像符号化装置40は、誤差データ
形成部42において、画像復号化装置60側で圧縮符号
化データD2、係数データD4に基づいて得られるであ
ろう推定補間データD23を予め算出すると共に、この
推定補間データD23の真値からの差分値D24を算出
し、当該差分値を誤差データD20として出力する。Further, in the image coding device 40, the error data forming section 42 pre-calculates the estimated interpolation data D23 which will be obtained on the image decoding device 60 side based on the compression coded data D2 and the coefficient data D4. At the same time, a difference value D24 from the true value of the estimated interpolation data D23 is calculated, and the difference value is output as error data D20.
【0062】ここで画像符号化装置40の係数選定回路
48では、一種の統計的処理により係数データD4を生
成するため、この係数データD4に基づいて補間値を生
成すると必然的に補間値と真の画素値との間にはある程
度の誤差が生じることになる。このためこの誤差のある
補間値を用いて復元画像を生成すると、この誤差分だけ
画質が劣化することになる。これを回避するため、画像
符号化装置40では、圧縮符号化データD2及び係数デ
ータD4に加えて、誤差データD20を伝送する。Since the coefficient selection circuit 48 of the image coding device 40 generates the coefficient data D4 by a kind of statistical processing, if the interpolation value is generated based on this coefficient data D4, the interpolation value is inevitably the true value. There will be a certain amount of error between the pixel value and. Therefore, if a restored image is generated using the interpolation value having this error, the image quality is deteriorated by this error. In order to avoid this, the image encoding device 40 transmits the error data D20 in addition to the compression encoded data D2 and the coefficient data D4.
【0063】画像復号化装置60では、圧縮符号化デー
タD2を復号した復号データD30に基づき、画像符号
化装置40でしたのと同様のクラス分類処理を施し、こ
れにより得たインデツクスデータD31に応じて選択し
た係数データD4と復号化データD30とを線形一次結
合させることにより、推定補間データD32を求める。The image decoding apparatus 60 performs the same class classification processing as that performed by the image coding apparatus 40 on the basis of the decoded data D30 obtained by decoding the compressed coded data D2, and the index data D31 thus obtained is obtained. Estimated interpolation data D32 is obtained by linearly combining the coefficient data D4 selected accordingly and the decoded data D30.
【0064】次に、画像復号化装置60は、推定補間デ
ータD32に、伝送された誤差コードD20を逆量子化
したものを加算することにより、推定補間データD32
に含まれる誤差分をキヤンセルする。かくして入力画像
データD1に含まれる実際の値にほぼ等しい値の補間デ
ータD33を得ることができることにより画質の向上し
た復元画像を得ることができる。Next, the image decoding device 60 adds the inversely quantized version of the transmitted error code D20 to the estimated interpolated data D32 to obtain the estimated interpolated data D32.
Cancel the error included in. Thus, the interpolated data D33 having a value substantially equal to the actual value included in the input image data D1 can be obtained, so that a restored image with improved image quality can be obtained.
【0065】(4)実施例の効果 以上の構成によれば、画像符号化装置40において、ク
ラス分類処理を行い、画像データD2と共に各クラス毎
の係数データD4を伝送し、画像復号化装置60におい
て伝送された画像データD2と係数データD4に基づき
補間画素を生成する場合に、画像符号化装置40におい
て予め推定補間画素値D23と真値D1との差分値D2
0を求め、当該差分値D20を、伝送画像データD2及
び係数データD4と共に伝送するようにしたことによ
り、画像復号化装置60において画質劣化の少ない復元
画像D34を得ることができる。またこれによりクラス
数を増やしたり、係数選定の際の演算量を増加させるこ
となく復元画像D34の画質を向上させることができ
る。(4) Effects of the Embodiments According to the above configuration, the image coding device 40 performs the class classification process, transmits the coefficient data D4 for each class together with the image data D2, and the image decoding device 60. In the case of generating an interpolation pixel based on the image data D2 and the coefficient data D4 transmitted in step S1, the image encoding device 40 previously calculates a difference value D2 between the estimated interpolation pixel value D23 and the true value D1.
By obtaining 0 and transmitting the difference value D20 together with the transmission image data D2 and the coefficient data D4, the restored image D34 with less image quality deterioration can be obtained in the image decoding device 60. In addition, this makes it possible to improve the image quality of the restored image D34 without increasing the number of classes or increasing the amount of calculation when selecting coefficients.
【0066】(5)他の実施例 なお上述の実施例においては、圧縮エンコーダ44とし
てADRC回路を用いた場合について述べたが、本発明
はこれに限らず、圧縮エンコーダ44として例えばDC
T(Discrete Cosine Transform )変換符号化、DPC
M、ベクトル量子化、サブバンド符号化、ウエーブレツ
ト変換等圧縮手法を用いた場合にも、上述の実施例と同
様の効果を得ることができる。(5) Other Embodiments In the above-described embodiments, the ADRC circuit is used as the compression encoder 44, but the present invention is not limited to this, and the compression encoder 44 may be, for example, a DC circuit.
T (Discrete Cosine Transform) transform coding, DPC
Even when a compression method such as M, vector quantization, subband coding, or wavelet transform is used, the same effect as that of the above-described embodiment can be obtained.
【0067】また上述の実施例においては、間引き後に
残つた伝送画素を圧縮エンコーダ44により圧縮符号化
して伝送する場合について述べたが、本発明はこれに限
らず、圧縮符号化せずに間引き後に残つた間引きデータ
をそのまま伝送する場合にも適用することができる。こ
の場合には、画像符号化装置40側で圧縮エンコーダ4
4及びローカルデコーダ46を省略すると共に、画像復
号化装置60側で圧縮デコーダ61を省略するようにす
ればよい。Further, in the above-described embodiment, the case where the transmission pixels remaining after the thinning-out are compression-encoded by the compression encoder 44 and transmitted is described. It can also be applied when transmitting the remaining thinned-out data as it is. In this case, the compression encoder 4 on the image encoding device 40 side
4 and the local decoder 46 may be omitted, and the compression decoder 61 may be omitted on the image decoding device 60 side.
【0068】また上述の実施例においては、補間対象画
素(注目画素)ym の周辺の伝送画素X1〜X14間で
差分絶対値を求め、当該差分絶対値が最も小さい方向を
その補間対象画素のクラスとするようなクラス分類を用
いた場合について述べたが、本発明はこれに限らず、要
は補間対象画素の周辺の伝送画素の状態に応じて各補間
対象画素をクラス分類するようにすればよく、種々のク
ラス分類処理を適用することができ、またクラス数も種
々の個数を用いることができる。Further, in the above embodiment, the difference absolute value is obtained between the transmission pixels X1 to X14 around the interpolation target pixel (target pixel) y m , and the direction in which the difference absolute value is the smallest is the interpolation target pixel. Although the case where the class classification such as the class is used has been described, the present invention is not limited to this, and the point is that each interpolation target pixel may be classified according to the state of the transmission pixel around the interpolation target pixel. However, various class classification processes can be applied, and various numbers of classes can be used.
【0069】さらにクラス分類に用いる伝送画素を一旦
ADRC符号化した後、クラス分類処理を行うようにす
れば、クラス情報数を削減することができる。またこの
ようにADRC回路の出力に基づいてクラス分類を行う
ようにすれば、画面全体の画素レベルが変動したような
場合にも、画像の特徴のみに基づいた正確なクラス分類
を行うことができる。Furthermore, if the transmission pixels used for class classification are once ADRC encoded and then the class classification process is performed, the number of class information can be reduced. Further, if the classification is performed based on the output of the ADRC circuit as described above, even if the pixel level of the entire screen changes, accurate classification can be performed based on only the image feature. .
【0070】また上述の実施例においては、クラス分類
回路47を設け、補間対象画素をその周辺の伝送画素の
状態に応じてクラス分類し、係数選定回路48において
各クラス毎の係数組を求めるようにした場合について述
べたが、本発明はクラス毎の係数組を求める場合に限ら
ず、例えば画像の局所的な特徴に応じて画像を空間内で
細分化し、細分化した領域毎に係数組を求めるようにし
た場合にも適用でき、この場合クラス分類回路47及び
62を省略するようにすれば良い。これにより例えば図
12に示すような構成の画像符号化装置1及び画像復号
化装置10にも本発明を適用することができる。Further, in the above-mentioned embodiment, the class classification circuit 47 is provided, the interpolation target pixel is classified into classes according to the states of the transmission pixels in the vicinity thereof, and the coefficient selection circuit 48 obtains the coefficient set for each class. However, the present invention is not limited to the case of obtaining the coefficient set for each class, and for example, the image is subdivided in the space according to the local feature of the image, and the coefficient set is obtained for each subdivided region. The present invention can be applied to the case where it is determined, and in this case, the class classification circuits 47 and 62 may be omitted. As a result, the present invention can be applied to, for example, the image coding device 1 and the image decoding device 10 configured as shown in FIG.
【0071】また上述の実施例においては、注目画素と
この注目画素の空間的及び又は時間的に周辺の伝送画素
との相関関係を表すパラメータとして、線形一次結合モ
デルを最小二乗法により解いて得た係数データD4を伝
送する場合について述べたが、本発明はこれに限らず、
パラメータとしては例えば各クラス毎に求めた注目画素
の周辺の伝送画素値の平均値を代表値として伝送するよ
うにしても良い。この場合平均演算に重心法を用いるよ
うにすれば、クラス毎に誤差の少ない代表値を容易に求
めることができる。またこれに限らず、要は伝送されな
い注目画素と伝送画素との相関関係を表すような種々の
パラメータを用いることができる。Further, in the above-described embodiment, the linear linear combination model is obtained by solving the linear first-order coupling model as a parameter indicating the correlation between the pixel of interest and the transmission pixels spatially and / or temporally surrounding the pixel of interest. Although the case of transmitting the coefficient data D4 described above has been described, the present invention is not limited to this.
As the parameter, for example, an average value of transmission pixel values around the pixel of interest obtained for each class may be transmitted as a representative value. In this case, if the center of gravity method is used for the average calculation, a representative value with less error can be easily obtained for each class. Not limited to this, it is possible to use various parameters that represent the correlation between the pixel of interest that is not transmitted and the transmitted pixel.
【0072】さらに上述の実施例においては、サブサン
プリング回路43によつて入力画像データD1に対して
1/2の間引き処理を行う場合について述べたが、本発
明はこれに限らず、例えば1/4の間引き処理等他の間
引き処理を行つた場合でも上述の実施例と同様の効果を
得ることができる。Further, in the above-mentioned embodiment, the case where the sub-sampling circuit 43 performs the decimating process on the input image data D1 by ½ has been described, but the present invention is not limited to this and, for example, 1 / Even when another thinning-out process such as No. 4 thinning-out process is performed, the same effect as that of the above-described embodiment can be obtained.
【0073】[0073]
【発明の効果】上述のように本発明によれば、入力画像
データの所定画素を間引くことにより画素数の低減した
伝送画素データを生成する間引き手段と、間引き手段に
より間引かれた画素を注目画素とし、当該注目画素と、
当該注目画素の空間的及び又は時間的に周辺の複数の伝
送画素との相関関係を表すパラメータを算出するパラメ
ータ算出手段と、パラメータ算出手段により得たパラメ
ータと伝送画素とに基づいて注目画素の推定画素値を算
出する推定値算出手段と、当該推定画素値と入力画像デ
ータに含まれる真の画素値との差分値を算出する差分値
算出手段とを具え、差分値情報を伝送画素データ及びパ
ラメータ情報と共に伝送するようにしたことにより、送
信側で間引かれた画素を受信側で正確に補間でき、この
結果復元画像の解像度を一段と向上し得る。As described above, according to the present invention, the thinning-out means for thinning out the predetermined pixels of the input image data to generate the transmission pixel data in which the number of pixels is reduced, and the pixels thinned out by the thinning-out means are noted. And a pixel of interest,
Parameter calculation means for calculating a parameter representing a correlation with a plurality of transmission pixels spatially and / or temporally surrounding the attention pixel, and estimation of the attention pixel based on the parameter and the transmission pixel obtained by the parameter calculation means Estimated value calculating means for calculating the pixel value and difference value calculating means for calculating the difference value between the estimated pixel value and the true pixel value included in the input image data are provided, and the difference value information is transmitted pixel data and parameters. By transmitting the information together with the information, the pixels thinned out on the transmitting side can be accurately interpolated on the receiving side, and as a result, the resolution of the restored image can be further improved.
【図1】本発明を適用した画像符号化装置の全体構成を
示すブロツク図である。FIG. 1 is a block diagram showing the overall configuration of an image encoding device to which the present invention has been applied.
【図2】本発明を適用した画像復号化装置の全体構成を
示すブロツク図である。FIG. 2 is a block diagram showing the overall configuration of an image decoding apparatus to which the present invention has been applied.
【図3】サブサンプリング回路による間引き処理の説
明、並びに線形一次係合モデルに用いる画素及び係数の
説明に供する略線図である。FIG. 3 is a schematic diagram for explaining a thinning process by a sub-sampling circuit and a pixel and a coefficient used for a linear primary engagement model.
【図4】圧縮エンコーダに用いたADRC回路、並びに
圧縮デコーダ及びローカルデコーダに用いたADRC復
号化回路の説明に供するブロツク図である。FIG. 4 is a block diagram provided for explaining an ADRC circuit used for a compression encoder and an ADRC decoding circuit used for a compression decoder and a local decoder.
【図5】クラス分類回路の構成を示すブロツク図であ
る。FIG. 5 is a block diagram showing a configuration of a class classification circuit.
【図6】クラス分類の説明に供する略線図である。FIG. 6 is a schematic diagram for explaining class classification.
【図7】コード化回路の構成を示すブロツク図である。FIG. 7 is a block diagram showing a configuration of an encoding circuit.
【図8】係数選定回路の構成を示すブロツク図である。FIG. 8 is a block diagram showing the configuration of a coefficient selection circuit.
【図9】乗算器アレイの構成を示す略線図である。FIG. 9 is a schematic diagram showing a configuration of a multiplier array.
【図10】加算器メモリの構成を示す略線図である。FIG. 10 is a schematic diagram showing a configuration of an adder memory.
【図11】補間データ推定回路の構成を示すブロツク図
である。FIG. 11 is a block diagram showing the configuration of an interpolation data estimation circuit.
【図12】従来のデイジタルデータ変換装置の構成を示
すブロツク図である。FIG. 12 is a block diagram showing a configuration of a conventional digital data converter.
【図13】従来のデイジタルデータ変換装置の構成を示
すブロツク図である。FIG. 13 is a block diagram showing a configuration of a conventional digital data converter.
40……画像符号化装置、41……符号化データ形成
部、42……誤差データ形成部、43……サブサンプリ
ング回路、44……圧縮エンコーダ、46……ローカル
デコーダ、47、62……クラス分類回路、48……係
数選定回路、50、63……補間データ推定回路、53
……差分回路、60……画像復号化装置、64……加算
回路、D1……入力画像データ、D2……圧縮符号化デ
ータ、D4……係数データ、D20……誤差データ、D
22、D31……インデツクスデータ、D23、D32
……推定補間データ、D24……誤差値、D33……補
間データ、D34……復元画像データ、W1 〜W38……
係数。40 ... Image encoding device, 41 ... Encoded data forming unit, 42 ... Error data forming unit, 43 ... Sub-sampling circuit, 44 ... Compression encoder, 46 ... Local decoder, 47, 62 ... Class Classification circuit, 48 ... Coefficient selection circuit, 50, 63 ... Interpolation data estimation circuit, 53
...... Differential circuit, 60 …… Image decoding device, 64 …… Addition circuit, D1 …… Input image data, D2 …… Compressed coded data, D4 …… Coefficient data, D20 …… Error data, D
22, D31 ... Index data, D23, D32
...... Estimated interpolation data, D24 …… Error value, D33 …… Interpolation data, D34 …… Reconstructed image data, W 1 to W 38 ……
coefficient.
Claims (7)
より画素数の低減した伝送画素データを生成する間引き
手段と、 上記間引き手段により間引かれた画素を注目画素とし、
当該注目画素と、当該注目画素の空間的及び又は時間的
に周辺の複数の上記伝送画素との相関関係を表すパラメ
ータを算出するパラメータ算出手段と、 上記パラメータ算出手段により得た上記パラメータと上
記伝送画素とに基づいて上記注目画素の推定画素値を算
出する推定値算出手段と、 上記推定画素値と上記入力画像データに含まれる真の画
素値との差分値を算出する差分値算出手段とを具え、上
記差分値情報を上記伝送画素データ及び上記パラメータ
情報と共に伝送することを特徴とする画像信号伝送装
置。1. A decimating unit for decimating a predetermined number of pixels of input image data to generate transmission pixel data with a reduced number of pixels; and a pixel decimated by the decimating unit as a pixel of interest,
Parameter calculation means for calculating a parameter indicating a correlation between the pixel of interest and a plurality of transmission pixels spatially and / or temporally surrounding the pixel of interest, the parameter obtained by the parameter calculation means, and the transmission Estimated value calculation means for calculating an estimated pixel value of the pixel of interest based on the pixel, and difference value calculation means for calculating a difference value between the estimated pixel value and a true pixel value included in the input image data. An image signal transmission device, comprising: transmitting the difference value information together with the transmission pixel data and the parameter information.
目画素とし、当該注目画素の空間的及び又は時間的に周
辺の複数の上記伝送画素の分布状態に応じて、各注目画
素をクラス分類するクラス分類手段を具え、 上記パラメータ算出手段は、 上記クラス分類手段により得た各クラス毎に上記パラメ
ータを算出することを特徴とする請求項1に記載の画像
信号伝送装置。2. A pixel decimated by the decimating means is set as a pixel of interest, and each pixel of interest is classified according to a distribution state of a plurality of transmission pixels spatially and / or temporally surrounding the pixel of interest. 2. The image signal transmission device according to claim 1, wherein the parameter calculation unit calculates the parameter for each class obtained by the class classification unit.
周辺の複数の上記伝送画素とから線形一次結合モデルを
立て、最小二乗法の演算により解いた当該線形一次結合
モデルの係数を上記パラメータとしたことを特徴とする
請求項1又は請求項2に記載の画像信号伝送装置。3. The parameter calculating means establishes a linear linear combination model from the pixel of interest and a plurality of transmission pixels spatially and / or temporally surrounding the pixel of interest, and solves it by a least squares method. The image signal transmission device according to claim 1 or 2, wherein a coefficient of the linear linear combination model is used as the parameter.
を符号化する符号化手段を具え、上記差分値を符号化し
て伝送することを特徴とする請求項1、請求項2又は請
求項3に記載の画像信号伝送装置。4. The encoding means for encoding the difference value obtained by the difference value calculating means, and encoding and transmitting the difference value. The image signal transmission device according to item 3.
化手段を具えることを特徴とする請求項1、請求項2、
請求項3又は請求項4に記載の画像信号伝送装置。5. An encoding means for compressing and encoding the transmission pixel data, comprising:
The image signal transmission device according to claim 3 or 4.
データと、 間引かれた画素を注目画素としたとき、当該注目画素
を、当該注目画素の空間的及び又は時間的に周辺の複数
の上記伝送画素の分布状態に応じてクラス分類し、当該
各クラス毎に求めた上記注目画素と上記伝送画素との相
関関係を表すパラメータと、 上記伝送画素データと上記パラメータとから算出された
上記注目画素の推定画素値と真の画素値との差分値情報
とを受信して復号化する画像信号伝送装置において、 間引かれた画素を注目画素とし、当該注目画素の空間的
及び又は時間的に周辺の複数の上記伝送画素の分布状態
に応じて、各注目画素をクラス分類するクラス分類手段
と、 上記伝送画素データと各注目画素のクラスに対応した上
記パラメータとを用いて、各注目画素の推定画素値を算
出する推定値算出手段と、 上記差分値情報を、当該推定画素値に加算する加算手段
とを具えることを特徴とする画像信号伝送装置。6. When the transmission pixel data in which the number of pixels is reduced by thinning out and the thinned out pixel is set as a target pixel, the target pixel is a plurality of spatially and / or temporally surrounding the target pixel. The parameters are classified according to the distribution state of the transmission pixels, the parameters representing the correlation between the pixel of interest and the transmission pixel obtained for each class, and the attention calculated from the transmission pixel data and the parameter. In an image signal transmission device that receives and decodes difference value information between an estimated pixel value of a pixel and a true pixel value, a thinned pixel is set as a target pixel, and the target pixel is spatially and / or temporally Using the class classification means for classifying each pixel of interest according to the distribution state of the plurality of surrounding transmission pixels, and the parameters corresponding to the class of each pixel of interest and the transmission pixel data, An image signal transmission device comprising: an estimated value calculation unit that calculates an estimated pixel value of an eye pixel; and an addition unit that adds the difference value information to the estimated pixel value.
り、 圧縮符号化された差分値情報を復号する復号手段を具え
ることを特徴とする請求項6に記載の画像信号伝送装
置。7. The image signal transmitting apparatus according to claim 6, wherein the difference value information is compression-encoded data, and a decoding means for decoding the compression-encoded difference value information is provided.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24202494A JP3759537B2 (en) | 1994-09-09 | 1994-09-09 | Image signal transmission apparatus and image signal transmission method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24202494A JP3759537B2 (en) | 1994-09-09 | 1994-09-09 | Image signal transmission apparatus and image signal transmission method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0884336A true JPH0884336A (en) | 1996-03-26 |
JP3759537B2 JP3759537B2 (en) | 2006-03-29 |
Family
ID=17083140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24202494A Expired - Lifetime JP3759537B2 (en) | 1994-09-09 | 1994-09-09 | Image signal transmission apparatus and image signal transmission method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3759537B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998030028A1 (en) * | 1996-12-26 | 1998-07-09 | Sony Corporation | Picture coding device, picture coding method, picture decoding device, picture decoding method, and recording medium |
WO1998030027A1 (en) * | 1996-12-26 | 1998-07-09 | Sony Corporation | Picture signal coding device, picture signal coding method, picture signal decoding device, picture signal decoding method, and recording medium |
US5912708A (en) * | 1996-12-26 | 1999-06-15 | Sony Corporation | Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium |
US6160845A (en) * | 1996-12-26 | 2000-12-12 | Sony Corporation | Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium |
JP2007295618A (en) * | 2007-06-26 | 2007-11-08 | Sony Corp | Receiving apparatus and method, program, and recording medium |
JP2008268725A (en) * | 2007-04-24 | 2008-11-06 | Toshiba Corp | Information processing apparatus and method of increasing resolution of image data |
US7453936B2 (en) | 2001-11-09 | 2008-11-18 | Sony Corporation | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
-
1994
- 1994-09-09 JP JP24202494A patent/JP3759537B2/en not_active Expired - Lifetime
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998030028A1 (en) * | 1996-12-26 | 1998-07-09 | Sony Corporation | Picture coding device, picture coding method, picture decoding device, picture decoding method, and recording medium |
WO1998030027A1 (en) * | 1996-12-26 | 1998-07-09 | Sony Corporation | Picture signal coding device, picture signal coding method, picture signal decoding device, picture signal decoding method, and recording medium |
US5912708A (en) * | 1996-12-26 | 1999-06-15 | Sony Corporation | Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium |
US6160845A (en) * | 1996-12-26 | 2000-12-12 | Sony Corporation | Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium |
US6339615B1 (en) | 1996-12-26 | 2002-01-15 | Sony Corporation | Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium |
US7453936B2 (en) | 2001-11-09 | 2008-11-18 | Sony Corporation | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
US7817863B2 (en) | 2001-11-09 | 2010-10-19 | Sony Corporation | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
US8014635B2 (en) | 2001-11-09 | 2011-09-06 | Sony Corporation | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
JP2008268725A (en) * | 2007-04-24 | 2008-11-06 | Toshiba Corp | Information processing apparatus and method of increasing resolution of image data |
JP2007295618A (en) * | 2007-06-26 | 2007-11-08 | Sony Corp | Receiving apparatus and method, program, and recording medium |
JP4735610B2 (en) * | 2007-06-26 | 2011-07-27 | ソニー株式会社 | Receiving apparatus and method, program, and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP3759537B2 (en) | 2006-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7283678B2 (en) | Data processing apparatus and method and recording medium | |
US5786856A (en) | Method for adaptive quantization by multiplication of luminance pixel blocks by a modified, frequency ordered hadamard matrix | |
US6148027A (en) | Method and apparatus for performing hierarchical motion estimation using nonlinear pyramid | |
EP0734165A2 (en) | Image processing system using pixel-by-pixel motion estimation and frame decimation | |
WO1994014278A1 (en) | Image signal converter | |
JPH08154251A (en) | Image signal interpolation device | |
EP0721284B1 (en) | An image processing system using pixel-by-pixel motion estimation and frame decimation | |
EP1499114A2 (en) | Noise reduction apparatus | |
JP3759537B2 (en) | Image signal transmission apparatus and image signal transmission method | |
JP3348318B2 (en) | Digital image signal processing apparatus and processing method | |
JP3271095B2 (en) | High-efficiency encoder and decoder for digital image signal | |
JP3946781B2 (en) | Image information conversion apparatus and method | |
JP3703034B2 (en) | Image signal processing method and image signal transmission apparatus | |
JP3759538B2 (en) | Image signal processing method and image signal transmission apparatus | |
JP3271096B2 (en) | Digital image signal processing device | |
JP3371159B2 (en) | Digital image signal processing apparatus and processing method | |
JPH07193789A (en) | Picture information converter | |
JP3543339B2 (en) | Encoding device and its decoding device | |
JP3480015B2 (en) | Apparatus and method for generating image data | |
JP3653287B2 (en) | Image information conversion apparatus and image information conversion method | |
JP3627258B2 (en) | High-efficiency encoding and decoding apparatus for digital image signals | |
JP4001143B2 (en) | Coefficient generation apparatus and method | |
EP0734179A2 (en) | Method and apparatus for selectively encoding/decoding a video signal | |
JP4042121B2 (en) | Image information processing apparatus and image information processing method | |
JP2002199393A (en) | Digital picture signal processor and its method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050107 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050401 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051229 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120113 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130113 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |