JPH0884336A - Image signal transmitter - Google Patents
Image signal transmitterInfo
- Publication number
- JPH0884336A JPH0884336A JP24202494A JP24202494A JPH0884336A JP H0884336 A JPH0884336 A JP H0884336A JP 24202494 A JP24202494 A JP 24202494A JP 24202494 A JP24202494 A JP 24202494A JP H0884336 A JPH0884336 A JP H0884336A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- data
- value
- interest
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【０００１】[0001]
【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術（図１２及び図１３） 発明が解決しようとする課題（図１２及び図１３） 課題を解決するための手段（図１〜図３及び図６） 作用（図１〜図３及び図６） 実施例 （１）全体構成（図１及び図２） （２）詳細構成（図３〜図１１） （３）実施例の動作 （４）実施例の効果 （５）他の実施例 発明の効果[Table of Contents] The present invention will be described in the following order. Industrial Application Conventional Technology (FIGS. 12 and 13) Problems to be Solved by the Invention (FIGS. 12 and 13) Means for Solving the Problems (FIGS. 1 to 3 and 6) Operation (FIG. 1 -FIGS. 3 and 6) Example (1) Overall configuration (FIGS. 1 and 2) (2) Detailed configuration (FIGS. 3-11) (3) Operation of example (4) Effect of example (5) Other Examples Effect of the Invention
【０００２】[0002]
【産業上の利用分野】本発明は画像信号伝送装置に関
し、特に原画像データの情報量を間引き処理によつて削
減して伝送する画像信号伝送装置に適用して好適なもの
である。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image signal transmission apparatus, and is particularly suitable for application to an image signal transmission apparatus for reducing the information amount of original image data by thinning processing and transmitting the information.
【０００３】[0003]
【従来の技術】従来、例えばテレビ会議システムなどの
ように画像信号を遠隔地に伝送するいわゆる画像信号伝
送システムや、画像信号をデイジタル化してビデオテー
プレコーダやビデオデイスクレコーダに記録し再生する
装置においては、伝送路や記録媒体を効率良く利用する
ため、デイジタル化した画像信号の相関を利用して有意
情報を効率的に符号化することにより伝送情報量や記録
情報量を削減し、伝送効率や記録効率を高めるようにな
されている。2. Description of the Related Art Conventionally, in a so-called image signal transmission system for transmitting an image signal to a remote place such as a video conference system, or an apparatus for recording an image signal into a video tape recorder or a video disc recorder for reproduction. In order to efficiently use the transmission path and the recording medium, the correlation between the digitized image signals is used to efficiently encode the significant information to reduce the transmission information amount and the recording information amount, thereby reducing the transmission efficiency and It is designed to improve recording efficiency.
【０００４】具体的には、画像データを高能率圧縮符号
化することにより、伝送するデータ量を削減する手法が
広く用いられている。この高能率符号化では、一般に、
予め原画像データに対して空間内あるいは時空間でのサ
ブサンプリング（間引き）を行うことにより画素数を減
らした後、圧縮符号化処理を施すことにより、伝送する
情報量を一段と削減している。時空間サブサンプリング
の例としては、ＭＵＳＥ（Multiple Sampling Encode）
方式がある。Specifically, a method of reducing the amount of data to be transmitted by highly efficient compression coding of image data is widely used. In this high efficiency encoding, in general,
The amount of information to be transmitted is further reduced by subjecting the original image data to sub-sampling (thinning-out) in space or space-time in advance to reduce the number of pixels and then performing compression encoding processing. An example of spatiotemporal subsampling is MUSE (Multiple Sampling Encode)
There is a method.
【０００５】一方、受信側では、伝送されてこない画素
すなわち間引かれた画素を補間によつて求めることによ
り解像度を上げる。一般には、固定タツプ、固定係数の
フイルタによつて補間を行う。ところが、このような補
間方法では、補間画素値を当該補間画素周辺の複数の周
辺画素の画素値の平均により求めるため、画像の種類に
よつては、画質ぼけ、時空間での変動（すなわちジヤー
キネス、エツジビジネス等）が発生し、この結果復元画
像に画質劣化が生じる問題がある。On the other hand, on the receiving side, the resolution is increased by obtaining the pixels that have not been transmitted, that is, the thinned pixels, by interpolation. Generally, interpolation is performed by a fixed tap or a filter having a fixed coefficient. However, in such an interpolation method, the interpolated pixel value is obtained by averaging the pixel values of a plurality of peripheral pixels around the interpolated pixel. Therefore, depending on the type of image, the image quality blurs and the spatio-temporal fluctuation (that is, jerkiness). , Edge business, etc.), resulting in deterioration of image quality of the restored image.
【０００６】かかる課題を解決する一つの方法として、
特願平5-201913号に記載されているようなデイジタルデ
ータ変換装置が提案されている。図１２（Ａ）に示すよ
うに、このデイジタルデータ変換装置における送信器１
は入力画像データＤ１をサブサンプリング回路２及びエ
ンコーダ３を通すことにより圧縮符号化データＤ２を生
成し、これを出力端子４に与える。As one method for solving such a problem,
A digital data converter as described in Japanese Patent Application No. 5-201913 has been proposed. As shown in FIG. 12A, the transmitter 1 in this digital data converter
Generates the compression coded data D2 by passing the input image data D1 through the sub-sampling circuit 2 and the encoder 3, and supplies this to the output terminal 4.
【０００７】また送信器１は、圧縮符号化データＤ２を
ローカルデコーダ５により復号した後、最小二乗法演算
回路６に供給する。最小二乗法演算回路６は、復号デー
タＤ３及び入力画像データＤ１を入力し、サブサンプリ
ングにより間引かれた画素（取り除かれた画素）を注目
画素とし、入力画像データＤ１に含まれる当該注目画素
の画素値と復号データＤ３に含まれるその周辺の画素の
画素値とで線形一次結合モデルを立て、この線形一次結
合モデルの係数を最小二乗法の演算を行うことにより求
める。この結果最小二乗法演算回路６からは、サブサン
プリング回路２によつて間引かれた画素に対応した係数
データＤ４が出力され、当該係数データＤ４が出力端子
７に与えられる。Further, the transmitter 1 decodes the compression coded data D2 by the local decoder 5 and then supplies it to the least square method arithmetic circuit 6. The least squares method operation circuit 6 inputs the decoded data D3 and the input image data D1, sets the pixel (thus removed pixel) decimated by sub-sampling as the pixel of interest, and sets the pixel of interest included in the input image data D1. A linear linear combination model is established with the pixel value and the pixel values of the peripheral pixels included in the decoded data D3, and the coefficient of the linear linear combination model is calculated by the least squares method. As a result, the least squares method arithmetic circuit 6 outputs coefficient data D4 corresponding to the pixels thinned out by the sub-sampling circuit 2, and the coefficient data D4 is given to the output terminal 7.
【０００８】このように送信器１においては、サブサン
プリング後の画像データを圧縮符号化して得た圧縮符号
化データＤ２と共に、間引かれた画素とその周辺の伝送
画素との相関関係を表わす係数データＤ４を伝送するよ
うになされている。As described above, in the transmitter 1, the compressed coded data D2 obtained by compressing and coding the image data after the sub-sampling as well as the coefficient representing the correlation between the thinned pixels and the transmission pixels in the vicinity thereof are obtained. The data D4 is transmitted.
【０００９】デイジタルデータ変換装置の受信器１０
は、図１２（Ｂ）に示すように構成されており、圧縮符
号化データＤ２を入力端子１１を介してデコーダ１２に
入力する。デコーダ１２によつて復号された復号データ
Ｄ５は時系列変換回路１３及び補間演算回路１４に供給
される。また受信器１０は係数データＤ４を入力端子１
５を介して補間演算回路１４に入力する。The receiver 10 of the digital data converter.
12 is configured as shown in FIG. 12B, and the compression coded data D2 is input to the decoder 12 via the input terminal 11. The decoded data D5 decoded by the decoder 12 is supplied to the time series conversion circuit 13 and the interpolation calculation circuit 14. Further, the receiver 10 receives the coefficient data D4 at the input terminal 1
It is input to the interpolation calculation circuit 14 via 5.
【００１０】補間演算回路１４は復号データＤ５及び係
数データＤ４を用いて、線形一次結合式から補間データ
Ｄ６を求め、これを時系列変換回路１３に送出する。時
系列変換回路１３は、復号データＤ５と補間データＤ６
を原画像（すなわち入力画像データＤ１）と同一に配列
し、復元画像データＤ７を得る。The interpolation calculation circuit 14 uses the decoded data D5 and the coefficient data D4 to obtain the interpolation data D6 from the linear linear combination equation and sends it to the time series conversion circuit 13. The time series conversion circuit 13 uses the decoded data D5 and the interpolation data D6.
Are arranged in the same manner as the original image (that is, the input image data D1) to obtain the restored image data D7.
【００１１】かくして、送信器１及び受信器１０で構成
されたデイジタルデータ変換装置においては、送信器１
側において、高能率符号化して得た圧縮符号化データＤ
２のみを伝送するのではなく、間引かれた画素とその周
辺の伝送画素との相関関係を表わす係数データＤ４を共
に伝送し、受信器１０側において、その係数データＤ４
を用いて実際には伝送されない間引かれた画素を生成す
るようにしたことにより、間引きにより伝送情報量を削
減した場合でも、受信器１０側での画質劣化を低減し得
るようになされている。Thus, in the digital data conversion device composed of the transmitter 1 and the receiver 10, the transmitter 1
Side, compression-encoded data D obtained by high-efficiency encoding
Instead of transmitting only 2, the coefficient data D4 representing the correlation between the thinned pixels and the transmission pixels in the vicinity thereof is transmitted together, and the coefficient data D4 is transmitted on the receiver 10 side.
By generating thinned pixels that are not actually transmitted by using, the image quality deterioration on the receiver 10 side can be reduced even when the amount of transmission information is reduced by thinning. .
【００１２】また別の方法として、特開平5-328185号公
報に開示されているように、受信側に予め学習によつて
求めた予測係数又は予測値を格納するメモリを設け、間
引き処理が施された伝送画像データに応じて当該メモリ
から読み出される予測係数に基づき補間画素値を生成
し、又は伝送画像データに応じて当該メモリから読み出
される予測値を補間画素値とすることにより、間引きに
基づく画質劣化を低減するデイジタルデータ変換装置が
提案されている。As another method, as disclosed in Japanese Patent Laid-Open No. 5-328185, the receiving side is provided with a memory for storing a prediction coefficient or a prediction value previously obtained by learning, and thinning processing is performed. The interpolation pixel value is generated based on the prediction coefficient read from the memory according to the transmitted transmission image data, or the prediction value read from the memory according to the transmission image data is set as the interpolation pixel value. A digital data conversion device that reduces image quality deterioration has been proposed.
【００１３】このデイジタルデータ変換装置は、図１３
に示すように、送信器２０において、サブサンプリング
回路２１、エンコーダ２２及び送信処理回路２３を通し
て得た圧縮符号化データＤ１０を出力端子２４を介して
伝送路２５に送出する。受信器３０は入力端子３１を介
して入力した圧縮符号化データＤ１０を受信処理回路３
２及びデコーダ３３を通すことにより復号データＤ１１
を得、これを同時化回路３４に送出する。同時化回路３
４は間引かれた画素を注目画素とし、各注目画素毎に周
辺の複数の伝送画素を同時化してクラスタリング回路３
５に送出する。This digital data converter is shown in FIG.
In the transmitter 20, the compression coded data D10 obtained through the sub-sampling circuit 21, the encoder 22 and the transmission processing circuit 23 is sent to the transmission line 25 via the output terminal 24 as shown in FIG. The receiver 30 receives the compression coded data D10 input through the input terminal 31 from the reception processing circuit 3
2 and the decoder 33 to pass the decoded data D11
And sends it to the synchronization circuit 34. Synchronization circuit 3
Reference numeral 4 designates a thinned pixel as a target pixel, and simultaneously synchronizes a plurality of peripheral transmission pixels for each target pixel to cluster the clustering circuit 3
5
【００１４】クラスタリング回路３５は入力した伝送画
素データを階調やパターンに応じてクラス分類し、この
クラス分類結果を各注目画素のクラスを表わすクラス情
報Ｄ１２としてメモリ３６に送出する。メモリ３６はク
ラス情報Ｄ１２をアドレスとして、予め学習により各ク
ラス毎に求められて格納されている予測係数のうち、入
力したクラス情報Ｄ１２に対応した予測係数Ｄ１３を出
力する。The clustering circuit 35 classifies the input transmission pixel data into classes according to gradations and patterns, and sends the class classification result to the memory 36 as class information D12 representing the class of each pixel of interest. The memory 36 outputs the prediction coefficient D13 corresponding to the input class information D12 among the prediction coefficients that are obtained and stored for each class in advance by learning using the class information D12 as an address.
【００１５】補間データ作成回路３７は予測係数Ｄ１３
と同時化された周辺画素値とを使つて線形一次結合によ
る演算を施すことにより、補間画素データＤ１４を作成
する。この補間画素データＤ１４と復号データＤ１１が
続く合成回路３８によつて合成されることにより、復元
画像データＤ１５が生成される。The interpolation data creating circuit 37 uses the prediction coefficient D13.
Interpolation pixel data D14 is created by performing an operation by linear linear combination using the peripheral pixel values synchronized with. The interpolated pixel data D14 and the decoded data D11 are combined by the subsequent combining circuit 38 to generate restored image data D15.
【００１６】かくして、受信器３０によれば、伝送画素
データに存在しないような高周波成分をも復元すること
ができ、この結果間引き処理に基づく画質劣化を抑制し
得、高解像度の復元画像を得ることができる。Thus, the receiver 30 can restore high frequency components that do not exist in the transmitted pixel data. As a result, it is possible to suppress image quality deterioration due to thinning processing and obtain a high resolution restored image. be able to.
【００１７】[0017]
【発明が解決しようとする課題】ところで、特願平5-20
1913号で提案されている方法では、最小二乗法演算回路
６において、補間対象画素（注目画素）と、当該補間対
象画素に対して空間的及び時間的に周辺の伝送画素との
線形一次結合モデルを立て、当該線形一次結合モデルか
ら最小二乗法により係数データＤ４を算出している。[Problems to be Solved by the Invention] By the way, Japanese Patent Application No. 5-20
In the method proposed in 1913, the linear least-squares combined model of the interpolation target pixel (pixel of interest) and the transmission pixels spatially and temporally peripheral to the interpolation target pixel in the least squares arithmetic circuit 6 And the coefficient data D4 is calculated from the linear linear combination model by the method of least squares.
【００１８】ところが、これは一種の統計的処理である
ため、入力画像データＤ１に含まれる実際の画素値に対
して必然的にある程度の誤差のある係数データＤ４が算
出されてしまう。このため受信器１０側では、この係数
の誤差分だけ実際の画素値に対して誤差のある補間画素
値が作成され、画質が劣化する問題がある。ここで線形
一次結合モデルに用いる周辺画素数を多くする程、係数
データＤ４の誤差は小さくなると考えられるが、このよ
うにすると係数データＤ４を算出する際の演算量が増大
することにより、実際上実現が困難になる問題がある。However, since this is a kind of statistical processing, the coefficient data D4 inevitably has a certain degree of error with respect to the actual pixel value included in the input image data D1. Therefore, on the receiver 10 side, an interpolated pixel value having an error with respect to the actual pixel value by the error of this coefficient is created, and there is a problem that the image quality deteriorates. It is considered that the larger the number of peripheral pixels used in the linear linear combination model, the smaller the error of the coefficient data D4. However, in this case, the amount of calculation for calculating the coefficient data D4 increases, so There is a problem that it is difficult to realize.
【００１９】また特開平5-328185号公報で開示されてい
るように、予め学習により求めた補間画素の予測係数又
は予測値をクラス毎にメモリ３６に格納する方法では、
クラス数を多くすればする程、また学習に用いる周辺画
素数を多くする程より真値に近い補間画素値を生成し得
ると考えられるが、このようにすると予測係数又は予測
値を求める際の演算量が増大すると共に、メモリ３６に
格納しなければならないデータ量が増大し、この結果構
成が大型化する問題がある。またクラス数や学習に用い
る画素数を増やしたとしても、補間画素値の真値に対す
る誤差を完全に除くことはできなかつた。Further, as disclosed in Japanese Patent Laid-Open No. 5-328185, in the method of storing the prediction coefficient or prediction value of the interpolated pixel obtained by learning in advance in the memory 36 for each class,
It is considered that an interpolated pixel value closer to a true value can be generated as the number of classes is increased or the number of peripheral pixels used for learning is increased. As the amount of calculation increases, the amount of data that must be stored in the memory 36 also increases, resulting in a problem that the configuration becomes large. Further, even if the number of classes and the number of pixels used for learning are increased, it is impossible to completely eliminate the error with respect to the true value of the interpolated pixel value.
【００２０】本発明は以上の点を考慮してなされたもの
で、入力画像データに間引き処理を施して伝送データ量
を削減する場合に、送信側で間引かれた画素を受信側で
正確に補間することにより復元画像の解像度を向上し得
る画像信号伝送装置を提案しようとするものである。The present invention has been made in consideration of the above points, and when performing thinning processing on input image data to reduce the amount of transmission data, pixels thinned on the transmitting side can be accurately detected on the receiving side. It is intended to propose an image signal transmission device capable of improving the resolution of a restored image by interpolating.
【００２１】[0021]
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、入力画像データＤ１の所定画素を
間引くことにより画素数の低減した伝送画素データを生
成する間引き手段４３と、間引き手段４３により間引か
れた画素を注目画素ｙm とし、当該注目画素ｙm と、当
該注目画素ｙm の空間的及び又は時間的に周辺の複数の
伝送画素ｘm1、ｘm2、……、ｘmnとの相関関係を表すパ
ラメータＤ４を算出するパラメータ算出手段４８と、パ
ラメータ算出手段４８により得たパラメータＤ４と伝送
画素ｘm1、ｘm2、……、ｘmnとに基づいて注目画素の推
定画素値Ｄ２３を算出する推定値算出手段５０と、当該
推定画素値Ｄ２３と入力画像データＤ１に含まれる真の
画素値との差分値Ｄ２４を算出する差分値算出手段５３
とを設け、差分値情報Ｄ２０を伝送画素データＤ２及び
パラメータ情報Ｄ４（ｗ1 、ｗ2 、……、ｗn ）と共に
伝送するようにする。In order to solve such a problem, according to the present invention, thinning-out means 43 and thinning-out means 43 for thinning out predetermined pixels of input image data D1 to generate transmission pixel data having a reduced number of pixels. and the pixel of interest y m decimated by, the target pixel y m and, the target pixel y m spatially and or temporally a plurality of transmission pixels around x of m1, x m @ 2, ......, x mn Parameter calculating means 48 for calculating a parameter D4 representing the correlation with the parameter D4 obtained by the parameter calculating means 48 and the estimated pixel value of the pixel of interest based on the transmission pixels x m1 , x m2 , ..., X mn. An estimated value calculation means 50 for calculating D23 and a difference value calculation means 53 for calculating a difference value D24 between the estimated pixel value D23 and a true pixel value included in the input image data D1.
And the difference value information D20 is transmitted together with the transmission pixel data D2 and the parameter information D4 (w 1 , w 2 , ..., W n ).
【００２２】また本発明においては、間引き手段４３に
より間引かれた画素を注目画素ｙmとし、当該注目画素
ｙm の空間的及び又は時間的に周辺の複数の伝送画素Ｘ
１〜Ｘ１４の分布状態に応じて、各注目画素ｙm をクラ
ス分類するクラス分類手段４７を設け、パラメータ算出
手段４８は、クラス分類手段４７により得た各クラス毎
にパラメータＤ４（ｗ1 、ｗ2 、……、ｗn ）を算出す
るようにする。Further, in the present invention, a pixel thinned out by the thinning means 43 is set as a target pixel y m, and a plurality of transmission pixels X spatially and / or temporally surrounding the target pixel y m.
A class classification unit 47 for classifying each of the target pixels y m according to the distribution state of 1 to X14 is provided, and the parameter calculation unit 48 calculates the parameter D4 (w 1 , w for each class obtained by the class classification unit 47. 2 , ..., W n ) should be calculated.
【００２３】さらに本発明においては、間引きにより画
素数が低減された伝送画素データＤ２と、間引かれた画
素を注目画素ｙm としたとき、当該注目画素ｙm を、当
該注目画素ｙm の空間的及び又は時間的に周辺の複数の
伝送画素Ｘ１〜Ｘ１４の分布状態に応じてクラス分類
し、当該各クラス毎に求めた注目画素ｙm と伝送画素ｘ
m1、ｘm2、……、ｘmnとの相関関係を表すパラメータＤ
４と、伝送画素データＤ２とパラメータＤ４とから算出
された注目画素ｙm の推定画素値と真の画素値との差分
値情報Ｄ２０とを受信して復号化する画像信号伝送装置
６０において、間引かれた画素を注目画素ｙm とし、当
該注目画素ｙm の空間的及び又は時間的に周辺の複数の
伝送画素Ｘ１〜Ｘ１４の状態に応じて、各注目画素ｙm
をクラス分類するクラス分類手段６２と、伝送画素デー
タＤ２と各注目画素ｙm のクラスに対応したパラメータ
Ｄ４とを用いて、各注目画素ｙm の推定画素値Ｄ３２を
算出する補間画素値推定手段６３と、差分値情報Ｄ２０
を、当該推定画素値Ｄ３２に加算する加算手段６４とを
設けるようにする。Further, according to the present invention, when the transmission pixel data D2 in which the number of pixels is reduced by thinning out and the thinned out pixel are the target pixel y m , the target pixel y m is set to the target pixel y m . The pixel of interest y m and the transmission pixel x obtained by classifying each of the classes are classified according to the distribution state of the plurality of transmission pixels X1 to X14 that are spatially and / or temporally peripheral.
Parameter D representing the correlation with m1 , x m2 , ..., x mn
4 and the difference value information D20 between the estimated pixel value and the true pixel value of the pixel of interest y m calculated from the transmission pixel data D2 and the parameter D4. the drawn pixel and the target pixel y m, according to the state of the spatial and or temporal plurality of transmission pixels around X1~X14 of the target pixel y m, each pixel of interest y m
And classification means 62 for class classifying, using a parameter D4 corresponding the transmission pixel data D2 to the class of the subject pixel y m, the interpolation pixel value estimating means for calculating an estimated pixel value D32 of each pixel of interest y m 63 and difference value information D20
Is added to the estimated pixel value D32.
【００２４】[0024]
【作用】推定値算出手段５０によつて、受信側６０にお
いて伝送画素データＤ２とパラメータＤ４とにより求め
られるであろう補間推定画素値Ｄ２３を予め算出する。
次に差分値算出手段５３によつて、推定値算出手段５０
により得た補間推定画素値Ｄ２３と入力画像データＤ１
に含まれる真の画素値との差分値Ｄ２４を算出し、この
差分値Ｄ２４を、伝送画素データＤ２及びパラメータＤ
４と共に伝送するようにする。この結果、受信側６０で
は、差分値Ｄ２４によつて誤差分をキヤンセルすること
でほぼ真値に等しい補間画素値Ｄ３３を得ることがで
き、復元画像の解像度を向上させることができる。The estimated value calculating means 50 preliminarily calculates the interpolated estimated pixel value D23 which will be obtained from the transmission pixel data D2 and the parameter D4 on the receiving side 60.
Next, the estimated value calculation means 50 is calculated by the difference value calculation means 53.
Interpolation estimated pixel value D23 and input image data D1 obtained by
The difference value D24 with respect to the true pixel value included in is calculated, and this difference value D24 is used as the transmission pixel data D2 and the parameter D.
4 to be transmitted. As a result, the receiving side 60 can obtain the interpolated pixel value D33 that is substantially equal to the true value by canceling the error amount using the difference value D24, and can improve the resolution of the restored image.
【００２５】[0025]
【実施例】以下図面について、本発明の一実施例を詳述
する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described in detail below with reference to the drawings.
【００２６】（１）全体構成 図１において、４０は全体として本発明を適用した画像
符号化装置を示し、符号化データ形成部４１と誤差デー
タ形成部４２により構成されている。符号化データ形成
部４１は入力画像データＤ１から圧縮符号化データＤ
２、及び伝送画素と間引かれた画素との相関関係を表わ
す係数データＤ４を生成する。誤差データ形成部４２
は、符号化データ形成部４１から出力される圧縮符号化
データＤ２及び係数データＤ４に基づき受信側で生成さ
れるであろう補間画素値の、真値からの誤差を表わす誤
差データＤ２０を生成する。(1) Overall Structure In FIG. 1, reference numeral 40 denotes an image coding apparatus to which the present invention is applied as a whole, which is composed of a coded data forming section 41 and an error data forming section 42. The encoded data forming unit 41 converts the input image data D1 to the compressed encoded data D1.
2, and coefficient data D4 representing the correlation between the transmission pixel and the thinned pixel is generated. Error data forming unit 42
Generates error data D20 that represents an error from the true value of the interpolated pixel value that will be generated on the receiving side, based on the compression encoded data D2 and the coefficient data D4 output from the encoded data forming unit 41. .
【００２７】実際上、画像符号化装置４０は入力画像デ
ータＤ１を符号化データ形成部４１のサブサンプリング
回路４３に入力し、ここで入力画像データＤ１の所定画
素を間引くことにより情報量を削減した後、圧縮エンコ
ーダ４４に送出する。圧縮エンコーダ４４は間引き後に
残つた画素を圧縮符号化することにより圧縮符号化デー
タＤ２を生成し、これを遅延回路４５を介して伝送す
る。In practice, the image coding apparatus 40 inputs the input image data D1 to the sub-sampling circuit 43 of the coded data forming section 41, and the information amount is reduced by thinning out predetermined pixels of the input image data D1. After that, the data is sent to the compression encoder 44. The compression encoder 44 compression-encodes the pixels remaining after thinning to generate compression-encoded data D2, and transmits this through the delay circuit 45.
【００２８】また圧縮エンコーダ４４の出力はローカル
デコーダ４６を介して圧縮符号化前のデータに復号さ
れ、当該復号データＤ２１がクラス分類回路４７に与え
られる。クラス分類回路４７は補間対象画素（すなわち
間引かれた画素）を注目画素とし、当該注目画素の空間
的及び又は時間的に周囲の画素の状態に応じて各注目画
素をクラス分類し、当該分類結果をその注目画素のクラ
ス情報（以下これをインデツクスデータと呼ぶ）Ｄ２２
として係数選定回路４８に送出する。例えばクラス分類
回路４７は注目画素の周辺の伝送画素の階調やパターン
に応じて各注目画素をクラス分類する。The output of the compression encoder 44 is decoded into data before compression encoding via the local decoder 46, and the decoded data D21 is given to the class classification circuit 47. The class classification circuit 47 regards a pixel to be interpolated (that is, a thinned pixel) as a pixel of interest, classifies each pixel of interest according to the state of pixels surrounding the pixel of interest spatially and / or temporally, and classifies the pixel of interest. The result is the class information of the pixel of interest (hereinafter referred to as index data) D22.
To the coefficient selection circuit 48. For example, the class classification circuit 47 classifies each pixel of interest according to the gradation or pattern of the transmission pixels around the pixel of interest.
【００２９】係数選定回路４８は遅延回路４９を介して
入力した入力画像データＤ１及び復号データＤ２１に基
づき、各クラス毎に、入力画像データＤ１に含まれる注
目画素の画素値とその周辺の復号データＤ２の画素値と
の相関関係を学習により求め、この学習結果を係数デー
タＤ４として出力する。因に遅延回路４９はサブサンプ
リング回路４３、圧縮エンコーダ４４及びローカルデコ
ーダ４６で要する処理時間分だけ入力画像データＤ１を
遅延させるものである。The coefficient selection circuit 48, based on the input image data D1 and the decoded data D21 input through the delay circuit 49, for each class, the pixel value of the pixel of interest included in the input image data D1 and the decoded data around it. The correlation with the pixel value of D2 is obtained by learning, and the learning result is output as coefficient data D4. The delay circuit 49 delays the input image data D1 by the processing time required by the sub-sampling circuit 43, the compression encoder 44, and the local decoder 46.
【００３０】誤差データ形成部４２は補間データ推定回
路５０を有し、当該補間データ推定回路５０にローカル
デコーダ４６から出力される復号データＤ２１を遅延回
路５１を介して受けると共に、係数選定回路４８から出
力される係数データＤ４を受ける。また補間データ推定
回路５０はクラス分類回路４７から出力されるインデツ
クスデータＤ２２を遅延回路５２を介して受ける。因に
遅延回路５１は復号データＤ２１をクラス分類回路４７
の処理分遅延させるものであり、遅延回路５２はインデ
ツクスデータＤ２２を係数選定回路４８の処理分遅延さ
せるものである。The error data forming section 42 has an interpolation data estimating circuit 50, receives the decoded data D21 output from the local decoder 46 via the delay circuit 51, and outputs from the coefficient selecting circuit 48 to the interpolation data estimating circuit 50. The coefficient data D4 to be output is received. Further, the interpolation data estimation circuit 50 receives the index data D22 output from the class classification circuit 47 via the delay circuit 52. The delay circuit 51 causes the decoded data D21 to be classified by the class classification circuit 47.
The delay circuit 52 delays the index data D22 by the processing of the coefficient selecting circuit 48.
【００３１】補間データ推定回路５０は、受信側におい
て圧縮符号化データＤ２、係数データＤ４及びインデツ
クスデータＤ２２を用いて生成されるであろう補間画素
値を前もつて生成し、これにより得た推定補間データＤ
２３を差分回路５３に送出する。差分回路５３は推定補
間データＤ２３を入力すると共に、入力画像データＤ１
を遅延回路４９及び５４を介して入力することにより、
推定補間画素値とこれに対応する真の補間画素値との差
分演算を行う。この結果差分回路５３では、推定補間画
素値の真の補間画素値からの誤差を表わす誤差値Ｄ２４
が算出される。この誤差値Ｄ２４は続く量子化回路５５
によつて量子化及び符号化されて誤差データＤ２０とし
て伝送される。The interpolated data estimation circuit 50 preliminarily generates an interpolated pixel value which will be generated on the receiving side by using the compression coded data D2, the coefficient data D4 and the index data D22, and obtains the interpolated pixel value. Estimated interpolation data D
23 is sent to the difference circuit 53. The difference circuit 53 inputs the estimated interpolation data D23 and inputs the input image data D1.
Is input via the delay circuits 49 and 54,
The difference between the estimated interpolation pixel value and the corresponding true interpolation pixel value is calculated. As a result, in the difference circuit 53, an error value D24 representing an error of the estimated interpolation pixel value from the true interpolation pixel value.
Is calculated. This error value D24 is the quantization circuit 55 that follows.
Is quantized and coded by and is transmitted as error data D20.
【００３２】因に遅延回路５４の遅延時間は、遅延回路
４９の遅延時間との合計遅延時間が推定補間画素値が生
成されるまでに要する時間と等しくなるように選定され
ている。また量子化回路５５は例えばＡＤＲＣ（Adapti
ve Dynamic Range Coding ）回路により構成されてお
り、誤差値Ｄ２４を適応量子化することにより誤差デー
タＤ２０を生成する。このように画像符号化装置４０
は、符号化データ形成回路４１からの圧縮符号化データ
Ｄ２及び係数データＤ４と共に、誤差データ形成回路４
２からの誤差データＤ２０を伝送するようになされてい
る。Incidentally, the delay time of the delay circuit 54 is selected so that the total delay time together with the delay time of the delay circuit 49 becomes equal to the time required until the estimated interpolated pixel value is generated. The quantizing circuit 55 is, for example, ADRC (Adapti).
ve Dynamic Range Coding) circuit, and generates error data D20 by adaptively quantizing the error value D24. In this way, the image encoding device 40
Is the error data forming circuit 4 together with the compression coded data D2 and the coefficient data D4 from the coded data forming circuit 41.
The error data D20 from 2 is transmitted.
【００３３】画像符号化装置４０から送出された伝送デ
ータは、図２に示すような構成でなる画像復号化装置６
０により受信されて復号される。画像復号化装置６０
は、圧縮符号化データＤ２を圧縮デコーダ６１により復
号し、これにより得た復号データＤ３０をクラス分類回
路６２に送出する。クラス分類回路６２は図１について
上述したクラス分類回路４７と同様の構成でなり、実際
には伝送されてこない補間対象画素を注目画素とし、当
該注目画素の空間的及び又は時間的に周辺の画素の状態
に応じて当該補間対象画素をクラス分類する。これによ
りクラス分類回路６２は各注目画素毎にインデツクスデ
ータＤ３１を発生し、これを補間データ推定回路６３に
送出する。The transmission data sent from the image coding device 40 has a structure as shown in FIG.
0 received and decoded. Image decoding device 60
Compresses the compressed coded data D2 by the compression decoder 61 and sends the decoded data D30 thus obtained to the class classification circuit 62. The class classification circuit 62 has a configuration similar to that of the class classification circuit 47 described above with reference to FIG. 1. The interpolation target pixel that is not actually transmitted is set as a pixel of interest, and pixels spatially and / or temporally peripheral to the pixel of interest are used. The interpolation target pixel is classified into classes according to the state of. As a result, the class classification circuit 62 generates index data D31 for each pixel of interest and sends it to the interpolation data estimation circuit 63.
【００３４】補間データ推定回路６３も上述した補間デ
ータ推定回路５０と同様の構成でなり、各補間対象画素
（注目画素）のインデツクスデータＤ３１、復号データ
Ｄ３０及び係数データＤ４に基づいて推定補間データＤ
３２を求める。実際上、補間データ推定回路６３はイン
デツクスデータＤ３１に対応した係数データＤ４を選択
し、選択した係数データＤ４と補間対象画素の周辺の復
号データＤ３０とを用いて線形一次結合式を立てること
により推定補間データＤ３２を求める。The interpolation data estimation circuit 63 also has the same structure as the above-mentioned interpolation data estimation circuit 50, and it estimates the interpolation data based on the index data D31, the decoded data D30 and the coefficient data D4 of each interpolation target pixel (target pixel). D
32 is requested. In practice, the interpolation data estimation circuit 63 selects the coefficient data D4 corresponding to the index data D31, and uses the selected coefficient data D4 and the decoded data D30 around the pixel to be interpolated to form a linear linear combination equation. The estimated interpolation data D32 is obtained.
【００３５】このようにして求められた推定補間データ
Ｄ３２は加算回路６４に送出される。加算回路６４には
また誤差データＤ２０が遅延回路６５及び逆量子化回路
６６を介して入力される。この結果加算回路６４では、
推定補間データＤ３２に含まれる誤差分がキヤンセルさ
れ、入力画像データＤ１（図１）含まれていた真の画素
値と等しい補間データＤ３３が生成される。時系列変換
回路６７では、復号データＤ３０と補間データＤ３３を
原画像（すなわち入力画像データＤ１）と同一に配列す
ることにより、復元画像データＤ３４を生成する。かく
して画像復号化装置６０では、真値にほぼ等しい補間画
素を得ることができることにより画質劣化の無い復元画
像を得ることができる。The estimated interpolation data D32 thus obtained is sent to the adder circuit 64. The error data D20 is also input to the adder circuit 64 via the delay circuit 65 and the inverse quantization circuit 66. As a result, in the addition circuit 64,
The error component included in the estimated interpolation data D32 is canceled to generate the interpolation data D33 that is equal to the true pixel value included in the input image data D1 (FIG. 1). The time series conversion circuit 67 arranges the decoded data D30 and the interpolation data D33 in the same arrangement as the original image (that is, the input image data D1) to generate the restored image data D34. In this way, the image decoding device 60 can obtain the interpolated pixel that is substantially equal to the true value, and thus can obtain the restored image without image quality deterioration.
【００３６】（２）詳細構成 次に実施例におけるサブサンプリング回路４３、圧縮エ
ンコーダ４４、圧縮デコーダ６１、クラス分類回路４
７、６２、係数選定回路４８及び補間データ推定回路５
０、６３の詳細構成を説明する。(2) Detailed Configuration Next, the sub-sampling circuit 43, the compression encoder 44, the compression decoder 61, and the class classification circuit 4 in the embodiment.
7, 62, coefficient selection circuit 48 and interpolation data estimation circuit 5
The detailed configuration of 0 and 63 will be described.
【００３７】この実施例の場合、サブサンプリング回路
４３は、図３に示すように、各時点Ｔ０、Ｔ１、Ｔ２、
……でのフレーム画像に対して伝送画素数が1/2 になる
ような間引き処理を施す。このときサブサンプリング回
路４３は、連続する時点間で、前の時点でサンプリング
した位置と同様の位置の画素を次の時点ではサンプリン
グしないというように交互に間引く画素位置を選択する
所謂1/2 時空間オフセツトサブサンプリングを行うこと
により、画像の特徴量をできるだけ残しながら伝送情報
量を1/2 に削減する。因に、図３における○印は間引き
後に残つた画素（すなわち伝送画素）を表し、＋印は補
間対象画素（注目画素）を表わす。また下段のｗ1 〜ｗ
38は、後述する係数選定回路４８によつて求められる線
形一次結合モデルの係数を表わす。In the case of this embodiment, the sub-sampling circuit 43, as shown in FIG. 3, has time points T0, T1, T2,
The thinning process is applied to the frame image in ... so that the number of transmitted pixels is halved. At this time, the sub-sampling circuit 43 alternately selects the pixel positions where the pixels at the same positions as the positions sampled at the previous time point are not sampled at the next time point between successive time points, so-called 1/2 time. By performing spatial offset sub-sampling, the amount of transmitted information is reduced by half while preserving image feature amounts as much as possible. Incidentally, a circle mark in FIG. 3 represents a pixel left after the thinning (that is, a transmission pixel), and a + mark represents an interpolation target pixel (a target pixel). Also, w 1 ~ w in the lower row
38 represents the coefficient of the linear linear combination model obtained by the coefficient selecting circuit 48 described later.
【００３８】圧縮エンコーダ４４は、ＡＤＲＣ（Adapti
ve Dynamic Range Coding ）回路により構成されてお
り、例えば１画素当り８ビツトの情報量でなる画素デー
タを、所定ブロツク内での最大画素値と最小画素値との
差分を表わすダイナミツクレンジ情報と、最小画素情報
と、各画素値と最小画素値との差分を例えば１ビツト量
子化した際の量子化情報とで表わすことにより、伝送情
報量を有効に削減する。The compression encoder 44 is an ADRC (Adapti
ve Dynamic Range Coding) circuit, and, for example, pixel data having an information amount of 8 bits per pixel, dynamic range information representing the difference between the maximum pixel value and the minimum pixel value within a predetermined block, By expressing the minimum pixel information and the difference between each pixel value and the minimum pixel value by, for example, the quantization information when one-bit quantization is performed, the transmission information amount is effectively reduced.
【００３９】すなわち図４（Ａ）に示すように、ＡＤＲ
Ｃ回路（圧縮エンコーダ）４４は入力データをブロツク
化回路７０によつて微小ブロツクに分割し、当該微小ブ
ロツク毎にブロツク内の画素データを最大値・最小値算
出回路７１に送出する。最大値・最小値算出回路７１は
微小ブロツクに含まれる画素値の最大値及び最小値を算
出し、これにより得た最小画素値ＭＩＮを伝送データと
して出力する。また最大値及び最小値は減算回路７２に
より減算され、これにより得られたダイナミツクレンジ
情報ＤＲが伝送データとして出力される。That is, as shown in FIG.
The C circuit (compression encoder) 44 divides the input data into minute blocks by the block converting circuit 70, and sends the pixel data in each block to the maximum value / minimum value calculation circuit 71 for each minute block. The maximum value / minimum value calculation circuit 71 calculates the maximum value and the minimum value of the pixel values included in the minute block, and outputs the minimum pixel value MIN thus obtained as transmission data. Further, the maximum value and the minimum value are subtracted by the subtraction circuit 72, and the dynamic range information DR obtained by this is output as transmission data.
【００４０】また各画素値と当該画素値が含まれる微小
ブロツクでの最小画素値との差分値が減算回路７３によ
つて算出され、当該減算結果が適応量子化回路７４に送
出される。適応量子化回路７４は、量子化ビツト数がｎ
ビツトである場合には、ダイナミツクレンジＤＲを２n
で割り算することにより量子化ステツプ幅を計算し、減
算回路７３からの減算結果を当該量子化ステツプ幅で割
り算し、この結果得た除算結果を整数に丸めることで量
子化コードＱを発生する。このようにしてＡＤＲＣ回路
（圧縮エンコーダ）４４からは、微小ブロツク毎のダイ
ナミツクレンジ情報ＤＲ、最小値情報ＭＩＮ及び量子化
コードＱが圧縮符号化データＤ２として出力される。Further, the difference value between each pixel value and the minimum pixel value in the minute block including the pixel value is calculated by the subtraction circuit 73, and the subtraction result is sent to the adaptive quantization circuit 74. The adaptive quantizing circuit 74 has a quantization bit number of n.
If it is a bit, set the dynamic range DR to 2 n.
The quantization step width is calculated by dividing by., The subtraction result from the subtraction circuit 73 is divided by the quantization step width, and the resulting division result is rounded to an integer to generate a quantization code Q. In this way, the ADRC circuit (compression encoder) 44 outputs the dynamic range information DR, the minimum value information MIN and the quantized code Q for each minute block as the compressed coded data D2.
【００４１】この圧縮エンコーダ４４に対応する圧縮デ
コーダ６１（図２）は、図４（Ｂ）に示すように構成さ
れており、ダイナミツクレンジ情報ＤＲ及び量子化コー
ドＱを適応逆量子化回路７５に入力し、ここで各ブロツ
ク毎にダイナミツクレンジＤＲを２n で割り算すること
により量子化ステツプ幅を計算し、この量子化ステツプ
幅に量子化コードＱを掛け合わせる。圧縮デコーダ６１
は、加算回路７６によつてこの乗算結果に最小値情報Ｍ
ＩＮを加算し、続くブロツク分解回路７７によつてブロ
ツク分解することにより復号データＤ３０を得る。因
に、画像符号化装置４０に設けられているローカルデコ
ーダ４６（図１）も、圧縮デコーダ６１と同様に構成さ
れている。The compression decoder 61 (FIG. 2) corresponding to the compression encoder 44 is constructed as shown in FIG. 4B, and the dynamic range information DR and the quantized code Q are adapted to the adaptive dequantization circuit 75. , And the quantization step width is calculated by dividing the dynamic range DR for each block by 2 n , and this quantization step width is multiplied by the quantization code Q. Compression decoder 61
Is the minimum value information M added to this multiplication result by the adder circuit 76.
IN is added, and the block is decomposed by the subsequent block decomposition circuit 77 to obtain the decoded data D30. Incidentally, the local decoder 46 (FIG. 1) provided in the image encoding device 40 is also configured similarly to the compression decoder 61.
【００４２】クラス分類回路４７及び６２は図５に示す
ように構成されており、復号データＤ２１（又はＤ３
０）を時系列変換回路８０に入力する。時系列変換回路
８０は例えば３フレームメモリ構成でなり、時間的に連
続する３フレーム分の復号データＤ２１（又はＤ３０）
を格納し、各注目画素（すなわち補間対象画素）毎にそ
の周辺の画素値Ｘ１〜Ｘ１４を続く減算回路８１Ａ〜８
１Ｆに送出する。The class classification circuits 47 and 62 are configured as shown in FIG. 5, and the decoded data D21 (or D3)
0) is input to the time series conversion circuit 80. The time series conversion circuit 80 has, for example, a three-frame memory configuration, and the decoded data D21 (or D30) for three frames that are temporally continuous.
For each pixel of interest (that is, interpolation target pixel), and the pixel values X1 to X14 around the pixel
Send to 1F.
【００４３】このとき各減算回路８１Ａ〜８１Ｆには、
注目画素を中心として、上下方向、左右方向及び斜め方
向、さらには時間方向に配列した画素同士で差分が取ら
れるように周辺画素値Ｘ１〜Ｘ１４が入力される。具体
的には、図６に示すように、上下方向に配列した画素Ｘ
１、Ｘ２間の差分値が減算回路８１Ａにより、左右方向
の画素Ｘ３、Ｘ４間の差分値が減算回路８１Ｂにより、
斜め方向の画素Ｘ５、Ｘ６間の差分値が減算回路８１Ｃ
により、同じく斜め方向の画素Ｘ１１、Ｘ１２間の差分
値が減算回路８１Ｅにより、さらには時間方向の画素Ｘ
１３、Ｘ１４間の差分値が減算回路８１Ｆにより算出さ
れる。因に、図６における○印及び◎印は間引き後に残
つた画素（伝送画素）を表し、このうち◎印はクラス分
類に用いる画素を表し、×印は間引かれた画素（非伝送
画素）を表わす。At this time, each of the subtraction circuits 81A to 81F has
The peripheral pixel values X1 to X14 are input so that the pixels arranged in the vertical direction, the horizontal direction, the diagonal direction, and the time direction with the pixel of interest as the center can be differentiated. Specifically, as shown in FIG. 6, the pixels X arranged in the vertical direction are arranged.
The subtraction circuit 81A calculates the difference value between 1 and X2, and the subtraction circuit 81B calculates the difference value between the pixels X3 and X4 in the left-right direction.
The difference value between the diagonal pixels X5 and X6 is the subtraction circuit 81C.
Accordingly, the difference value between the pixels X11 and X12 in the oblique direction is also calculated by the subtraction circuit 81E, and further, the pixel X in the time direction.
The difference value between 13 and X14 is calculated by the subtraction circuit 81F. Incidentally, the circles and the circles in FIG. 6 represent the pixels (transmission pixels) remaining after the thinning out, of which the circles represent the pixels used for the class classification, and the crosses represent the thinned pixels (non-transmission pixels). Represents
【００４４】この結果得られた各方向の差分値はコード
化回路８２に与えられ、当該コード化回路８２によつて
差分値に応じてコード化されてインデツクスデータＤ２
２（又はＤ３１）として出力される。実際上コード化回
路８２は図７に示すように構成されており、絶対値算出
回路８３により各差分値の絶対値を算出し、これを閾値
判定回路８４に送出する。閾値判定回路８４では、各差
分絶対値を所定の閾値と比較し、全ての差分絶対値が閾
値未満の場合にはコード割当回路８６にこのことを示す
指令信号Ｓ１を送出する。これに対して閾値判定回路８
４は、１つ以上閾値以上の差分絶対値があつた場合、全
ての差分絶対値を最小値検出回路８５に送出する。The difference value in each direction obtained as a result of this is given to the coding circuit 82, and is coded by the coding circuit 82 according to the difference value to obtain the index data D2.
2 (or D31) is output. In practice, the coding circuit 82 is configured as shown in FIG. 7, the absolute value calculating circuit 83 calculates the absolute value of each difference value, and sends this to the threshold value judging circuit 84. The threshold value judgment circuit 84 compares each difference absolute value with a predetermined threshold value, and when all the difference absolute values are less than the threshold value, sends a command signal S1 indicating this to the code allocation circuit 86. On the other hand, the threshold value judgment circuit 8
4 outputs all the difference absolute values to the minimum value detection circuit 85 when there is one or more difference absolute values equal to or more than the threshold value.
【００４５】最小値検出回路８５は差分絶対値のうちの
最小値を検出し、当該検出結果をコード割当回路８６に
送出する。コード割当回路８６は最小値の検出された方
向に応じたコードを出力する。例えば図６の下段に示す
ように、上下方向の画素間の差分絶対値が最小であつた
場合にはコード０を割り当て、左右方向の画素間の差分
絶対値が最小であつた場合にはコード１を割り当て、時
間方向の画素間の差分絶対値が最小であつた場合にはコ
ード６を割り当てるというように、空間方向及び時間方
向での差分絶対値に応じて７種類のコードを出力する。The minimum value detection circuit 85 detects the minimum value of the absolute difference values and sends the detection result to the code allocation circuit 86. The code assignment circuit 86 outputs a code according to the direction in which the minimum value is detected. For example, as shown in the lower part of FIG. 6, code 0 is assigned when the absolute difference value between the pixels in the vertical direction is minimum, and code 0 is assigned when the absolute difference value between the pixels in the horizontal direction is minimum. 1 is assigned, and code 6 is assigned when the absolute difference value between pixels in the time direction is the minimum. Seven types of codes are output according to the absolute difference values in the spatial direction and the time direction.
【００４６】またコード割当回路８６は閾値判定回路８
４から指令信号Ｓ１が与えられた場合には、コード７を
出力する。ここでコード割当回路８６がコード７を出力
するということは、補間対象画素（注目画素）の周辺は
静止平坦部であることを意味する。このように実施例の
クラス分類回路４７及び６２では、注目画素の周辺画素
の平坦度を検出し、平坦度の最も大きい方向をインデツ
クスデータＤ２２（又はＤ３１）として出力することに
より、注目画素をクラス分類するようになされている。The code assigning circuit 86 is the threshold value judging circuit 8
When the command signal S1 is given from 4, the code 7 is output. Here, the code assignment circuit 86 outputting the code 7 means that the periphery of the pixel to be interpolated (pixel of interest) is a static flat portion. As described above, in the class classification circuits 47 and 62 of the embodiment, the flatness of the peripheral pixel of the pixel of interest is detected, and the direction having the largest flatness is output as the index data D22 (or D31). It is designed to be classified into classes.
【００４７】係数選定回路４８は、補間対象画素を、当
該補間対象画素と当該補間対象画素の周辺の伝送画素と
の線形一次結合モデルによつて表し、このとき用いた係
数を各クラス毎に最小二乗法の演算によつて求める。こ
の係数選定の原理について説明する。図３に示すよう
に、補間対象画素ｙmの存在するフレームをＴ１とする
と、このフレームＴ１から補間対象画素ｙm を中心とし
てその周囲の領域を切り出すと共に、一つ前の時点のフ
レームＴ０及び一つ後の時点のフレームＴ２からフレー
ムＴ１で切り出した領域と空間的に同じ位置の領域を切
り出す。また補間対象画素ｙm の画素値は入力画像デー
タＤ１から抽出する。The coefficient selection circuit 48 represents the interpolation target pixel by a linear linear combination model of the interpolation target pixel and the transmission pixels around the interpolation target pixel, and the coefficient used at this time is the minimum for each class. It is calculated by the square method. The principle of selecting the coefficient will be described. As shown in FIG. 3, assuming that the frame in which the interpolation target pixel y m exists is T1, a peripheral region around the interpolation target pixel y m is cut out from this frame T1, and the frame T0 and the frame T0 at the immediately preceding time point are extracted. A region at the same position as the region cut out in the frame T1 from the frame T2 at the immediately subsequent time point is cut out. The pixel value of the interpolation target pixel y m is extracted from the input image data D1.
【００４８】ここで先ずフレームＴ０〜Ｔ２から切り出
した領域内の伝送画素それぞれに係数ｗi を掛けること
により、補間対象画素ｙm を空間的及び時間的に周辺の
伝送画素による線形一次結合によつて表わす。この結果
補間対象画素ｙm の行列式Ｙと周辺の伝送画素ｘmiの行
列式Ｘは、係数ｗi の行列式Ｗを用いて、次式、First, by multiplying each transmission pixel in the area cut out from the frames T0 to T2 by a coefficient w i , the interpolation target pixel y m is linearly linearly combined by spatially and temporally surrounding transmission pixels. Express As a result, the determinant Y of the interpolation target pixel y m and the determinant X of the surrounding transmission pixel x mi are calculated using the determinant W of the coefficient w i as follows:
【数１】 でなる観測方程式の形で表わすことができる。但し、
（１）式における、ｎは１つの補間対象画素ｙm を線形
一次結合式によつて表わす際の空間的及び時間的に周辺
の伝送画素数を表し（実施例の場合、１つの補間対象画
素ｙm を３８タツプの線形一次結合モデルによつて表わ
すため、ｎ＝３８である）、ｍは１フレーム内に存在す
る補間対象画素数を表わす。[Equation 1] Can be expressed in the form of an observation equation. However,
In the equation (1), n represents the number of spatially and temporally surrounding transmission pixels when one interpolation target pixel y m is expressed by a linear linear combination equation (in the case of the embodiment, one interpolation target pixel Since y m is represented by the linear linear combination model of 38 taps, n = 38), and m represents the number of interpolation target pixels existing in one frame.
【００４９】ここで（１）式に基づき、１フレームに対
して１個の係数組を求めようとすると、（１）式から１
フレームの補間対象画素数分の連立方程式を作ることに
なる。基本的には、この連立方程式を解いて係数を求め
ればよい。実施例では、最小二乗法を用いてこの連立方
程式を解く。すなわち先ず、（１）式を残差行列Ｅを用
いて次式、Here, if one coefficient set is to be obtained for one frame based on the equation (1), the following equation is obtained from the equation (1).
Simultaneous equations for the number of pixels to be interpolated in the frame are created. Basically, it suffices to solve this simultaneous equation and obtain the coefficient. In the embodiment, the simultaneous equations are solved by using the least squares method. That is, first, using the residual matrix E, the equation (1) is transformed into the following equation,
【数２】 のように残差方程式の形に表現し直す。[Equation 2] It is re-expressed in the form of residual equation like.
【００５０】ここで（２）式から各係数値ｗi の最確値
を求めるためには、ｅ1 2＋ｅ2 2＋……＋ｅm-1 2＋ｅm 2
を最小にする条件、すなわち次式、Here, in order to obtain the most probable value of each coefficient value w i from the equation (2), e 1 2 + e 2 2 + ... + e m-1 2 + e m 2
The condition that minimizes
【数３】 となるｎ個の条件を入れてこれを満足するｗ1 、ｗ2 、
……、ｗn を見つければよい。ここで（２）式より、次
式、(Equation 3) W 1 , w 2 , which satisfy the following condition by entering n conditions
......, just find w n . Here, from the equation (2), the following equation,
【数４】 を得、（３）式の条件をｉ＝１、２、……、ｎについて
立てればそれぞれ、次式[Equation 4] And the condition of equation (3) is established for i = 1, 2, ..., N,
【数５】 が得られる。ここで（２）式及び（５）式から次式の正
規方程式が得られる。(Equation 5) Is obtained. Here, the following normal equation is obtained from the equations (2) and (5).
【数６】 (Equation 6)
【００５１】ここで（６）式で表わされる正規方程式は
未知数の数がｎ個の連立方程式であるから、これにより
最確値である各係数ｗi を求めることができる。正確に
は（６）式でｗi に掛かる（Σｘjnｘjn）（但し、ｊ＝
１……ｍ）のマトリクスが正則であれば解くことができ
る。実際には、Gauss-Jordanの消去法（掃き出し法）を
用いて連立方程式を解く。Since the normal equation represented by the equation (6) is a simultaneous equation in which the number of unknowns is n, each coefficient w i which is the most probable value can be obtained. To be precise, in equation (6), w i is multiplied (Σx jn x jn ) (where j =
If the matrix of 1 ... m) is regular, it can be solved. In reality, the simultaneous equations are solved using the Gauss-Jordan elimination method (sweep method).
【００５２】実施例の場合には、クラス分類回路４７に
よつて求めた各クラス毎に上述した最小二乗法を用いて
係数値ｗi を求める。この結果各クラス毎に１フレーム
につき１組の係数を伝送すればよいことになり、全ての
補間対象画素についての係数値ｗi を求めて伝送する場
合に比して、格段に伝送情報量及び演算量を低減し得
る。実際に、係数の情報量はフレーム当りの画素情報量
に比べて無視できるくらいのオーダーである。In the case of the embodiment, the coefficient value w i is obtained for each class obtained by the class classification circuit 47 by using the above-mentioned least square method. As a result, it is sufficient to transmit one set of coefficients for each frame for each class, which is far more significant than the case where coefficient values w i for all interpolation target pixels are obtained and transmitted. The amount of calculation can be reduced. In fact, the information amount of the coefficient is of a negligible order as compared with the pixel information amount per frame.
【００５３】具体的には、係数選定回路４８は、図８に
示すように構成されている。すなわち係数選定回路４８
はローカルデコードされた復号データＤ２１（ｘi ）及
び入力画像データＤ１に含まれる補間対象画素データｙ
m を時系列変換メモリ９０に入力する。時系列変換メモ
リ９０は、図３について上述したように線形一次結合モ
デルを形成するための画素（ｘ1 〜ｘn 、ｙm ）を同時
化して出力する。時系列変換メモリ９０から出力された
データは、正規化方程式生成回路９１に与えられ、当該
正規化方程式生成回路９１によつて各クラス毎に（６）
式で表わされるような正規化方程式が生成され、続くＣ
ＰＵ演算回路９２によつて掃き出し法によつて各クラス
毎の係数組が求められる。Specifically, the coefficient selection circuit 48 is constructed as shown in FIG. That is, the coefficient selection circuit 48
Is the locally decoded decoded data D21 (x i ) and the interpolation target pixel data y included in the input image data D1.
Input m into the time series conversion memory 90. Time series conversion memory 90, the pixel for forming a linear combination model (x 1 ~x n, y m ) by synchronizing the outputs as described above for FIG. The data output from the time-series conversion memory 90 is given to the normalization equation generation circuit 91, and by the normalization equation generation circuit 91, (6)
A normalized equation as represented by the equation is generated, followed by C
A coefficient set for each class is obtained by the PU arithmetic circuit 92 by the sweep method.
【００５４】正規化方程式生成回路９１は、先ず乗算器
アレイ９３によつて各画素同士の乗算を行う。乗算器ア
レイ９３は、図９に示すように構成されており、四角で
表わす各セル毎に画素同士の乗算を行い、これにより得
た各乗算結果を続く加算器メモリ９４に与える。The normalization equation generating circuit 91 first multiplies each pixel by the multiplier array 93. The multiplier array 93 is configured as shown in FIG. 9, performs pixel-by-pixel multiplication for each cell represented by a square, and gives each multiplication result obtained thereby to the subsequent adder memory 94.
【００５５】加算器メモリ９４は、図１０に示すよう
に、乗算器アレイ９３と同様に配列されたセルでなる加
算器アレイ９５とメモリ（またはレジスタ）アレイ９６
Ａ〜９６Ｇとにより構成されている。メモリアレイ９６
Ａ〜９６Ｇはクラス数分（実施例の場合、静止平坦部を
表わすクラス７を除く７個のクラス分）だけ設けられて
おり、インデツクスデータＤ２２をデコードするインデ
ツクスデコーダ９７の出力（クラス）に応答して一つの
メモリアレイ９６Ａ〜９６Ｆ又は９６Ｇが選択され、選
択されたメモリアレイ９６Ａ〜９６Ｆ又は９６Ｇの格納
値が加算器アレイ９５に帰還される。このとき加算器ア
レイ９５によつて得られる加算結果が、再び対応するメ
モリアレイ９６Ａ〜９６Ｆ又は９６Ｇに格納される。As shown in FIG. 10, the adder memory 94 includes an adder array 95 and a memory (or register) array 96 which are cells arranged in the same manner as the multiplier array 93.
A to 96G. Memory array 96
A to 96G are provided by the number of classes (in the case of the embodiment, seven classes excluding the class 7 representing the stationary flat portion), and the output (class) of the index decoder 97 for decoding the index data D22. In response to one of the memory arrays 96A to 96F or 96G, the value stored in the selected memory array 96A to 96F or 96G is fed back to the adder array 95. At this time, the addition result obtained by the adder array 95 is stored again in the corresponding memory array 96A to 96F or 96G.
【００５６】このようにして乗算器アレイ９３、加算器
アレイ９５及びメモリアレイ９６Ａ〜９６Ｇによつて積
和演算が行われ、インデツクスによつて決定されるクラ
ス毎にメモリアレイ９６Ａ〜９６Ｆ又は９６Ｇが選択さ
れて、積和演算の結果によつてメモリアレイ９６Ａ〜９
６Ｇの内容が更新される。In this way, the product array operation is performed by the multiplier array 93, the adder array 95, and the memory arrays 96A to 96G, and the memory array 96A to 96F or 96G is generated for each class determined by the index. The memory arrays 96A to 9A are selected according to the result of the product-sum operation.
The content of 6G is updated.
【００５７】なお、各々のアレイの位置は、（６）式で
表わされる正規化方程式のｗi にかかる（Σｘjnｘjn）
（但し、ｊ＝１……ｍ）の位置に対応する。（６）式の
正規化方程式を見れば明らかなように右上の項を反転す
れば左下と同じものになるため、各アレイは三角形の形
状をしている。The position of each array depends on w i of the normalization equation represented by the equation (6) (Σx jn x jn )
(However, it corresponds to the position of j = 1 ... m). As is clear from the normalization equation (6), if the upper right term is inverted, the result will be the same as the lower left term, so that each array has a triangular shape.
【００５８】このようにして、１フレームの間にクラス
毎に積和演算が行われて各クラス毎の正規化方程式が生
成される。クラス毎の正規化方程式の各項の結果は、そ
れぞれのクラスに対応するメモリアレイ９６Ａ〜９６Ｇ
に記憶されており、次にそれらのクラス毎の正規化方程
式の各項が掃き出し法演算を実現するＣＰＵ演算回路９
２によつて計算される。この結果各クラス毎の係数ｗi
の組が求められ、これが係数データＤ４として送出され
る。In this way, the product-sum operation is performed for each class during one frame, and the normalization equation for each class is generated. The result of each term of the normalization equation for each class is the memory array 96A to 96G corresponding to each class.
CPU arithmetic circuit 9 for storing each term of the normalization equation for each class for realizing the sweep-out method arithmetic operation.
Calculated by 2. As a result, the coefficient w i for each class
Is obtained, and this is sent as coefficient data D4.
【００５９】補間データ推定回路５０及び６３は、図１
１に示すように、１フレーム毎に各クラスの係数組を記
憶する係数メモリ１００を有し、この係数メモリ１００
は各クラス毎の係数組ｗ1 〜ｗn を格納すると共に、イ
ンデツクスデコーダ１０１の出力（クラス）に応答して
クラスに応じた係数組ｗ1 〜ｗn を出力する。この係数
組ｗ1 〜ｗn がそれぞれレジスタ１０２Ａ1 、１０２Ａ
2 、……、１０２Ａnを介して乗算器１０３Ａ1 、１０
３Ａ2 、……、１０３Ａn に与えられる。また乗算器１
０３Ａ1 〜１０３Ａn には、時系列変換回路１０４によ
り選択された復号データｘ1 〜ｘn が与えられる。従つ
て乗算器１０３Ａ1 〜１０３Ａn の出力が加算回路１０
５により加算されることにより、補間対象画素の推定値
ｙ（＝ｘ1 ｗ1 ＋ｘ2 ｗ2 ＋……＋ｘn ｗn ）が得られ
る。Interpolation data estimation circuits 50 and 63 are shown in FIG.
As shown in FIG. 1, the coefficient memory 100 stores a coefficient set of each class for each frame.
Stores the coefficient sets w 1 to w n for each class, and outputs the coefficient sets w 1 to w n corresponding to the classes in response to the output (class) of the index decoder 101. The coefficient sets w 1 to w n are registered in the registers 102A 1 and 102A, respectively.
2 , ..., 102A n via multipliers 103A 1 , 10
3A 2 , ..., 103A n . Also multiplier 1
03A 1 to 103A n are given the decoded data x 1 to x n selected by the time series conversion circuit 104. Therefore, the outputs of the multipliers 103A 1 to 103A n are added by the adder circuit 10
By being added by 5, the estimated value y of the interpolation target pixel (= x 1 w 1 + x 2 w 2 + ...... + x n w n) is obtained.
【００６０】（３）実施例の動作 以上の構成において、画像符号化装置４０は入力画像デ
ータＤ１に対して間引き処理を施すことによりデータ量
を削減した後、圧縮符号化データＤ２を生成する。また
画像符号化装置４０は、間引かれた画素を注目画素と
し、当該注目画素の周辺の伝送画素の状態に応じて各注
目画素をクラス分類し、次にこのクラス毎の係数組を求
め、これを係数データＤ４として出力する。(3) Operation of the Embodiment With the above configuration, the image encoding device 40 reduces the data amount by performing the thinning process on the input image data D1 and then generates the compression encoded data D2. Further, the image encoding device 40 sets the thinned pixel as a pixel of interest, classifies each pixel of interest according to the state of transmission pixels around the pixel of interest, and then obtains a coefficient set for each class. This is output as coefficient data D4.
【００６１】さらに画像符号化装置４０は、誤差データ
形成部４２において、画像復号化装置６０側で圧縮符号
化データＤ２、係数データＤ４に基づいて得られるであ
ろう推定補間データＤ２３を予め算出すると共に、この
推定補間データＤ２３の真値からの差分値Ｄ２４を算出
し、当該差分値を誤差データＤ２０として出力する。Further, in the image coding device 40, the error data forming section 42 pre-calculates the estimated interpolation data D23 which will be obtained on the image decoding device 60 side based on the compression coded data D2 and the coefficient data D4. At the same time, a difference value D24 from the true value of the estimated interpolation data D23 is calculated, and the difference value is output as error data D20.
【００６２】ここで画像符号化装置４０の係数選定回路
４８では、一種の統計的処理により係数データＤ４を生
成するため、この係数データＤ４に基づいて補間値を生
成すると必然的に補間値と真の画素値との間にはある程
度の誤差が生じることになる。このためこの誤差のある
補間値を用いて復元画像を生成すると、この誤差分だけ
画質が劣化することになる。これを回避するため、画像
符号化装置４０では、圧縮符号化データＤ２及び係数デ
ータＤ４に加えて、誤差データＤ２０を伝送する。Since the coefficient selection circuit 48 of the image coding device 40 generates the coefficient data D4 by a kind of statistical processing, if the interpolation value is generated based on this coefficient data D4, the interpolation value is inevitably the true value. There will be a certain amount of error between the pixel value and. Therefore, if a restored image is generated using the interpolation value having this error, the image quality is deteriorated by this error. In order to avoid this, the image encoding device 40 transmits the error data D20 in addition to the compression encoded data D2 and the coefficient data D4.
【００６３】画像復号化装置６０では、圧縮符号化デー
タＤ２を復号した復号データＤ３０に基づき、画像符号
化装置４０でしたのと同様のクラス分類処理を施し、こ
れにより得たインデツクスデータＤ３１に応じて選択し
た係数データＤ４と復号化データＤ３０とを線形一次結
合させることにより、推定補間データＤ３２を求める。The image decoding apparatus 60 performs the same class classification processing as that performed by the image coding apparatus 40 on the basis of the decoded data D30 obtained by decoding the compressed coded data D2, and the index data D31 thus obtained is obtained. Estimated interpolation data D32 is obtained by linearly combining the coefficient data D4 selected accordingly and the decoded data D30.
【００６４】次に、画像復号化装置６０は、推定補間デ
ータＤ３２に、伝送された誤差コードＤ２０を逆量子化
したものを加算することにより、推定補間データＤ３２
に含まれる誤差分をキヤンセルする。かくして入力画像
データＤ１に含まれる実際の値にほぼ等しい値の補間デ
ータＤ３３を得ることができることにより画質の向上し
た復元画像を得ることができる。Next, the image decoding device 60 adds the inversely quantized version of the transmitted error code D20 to the estimated interpolated data D32 to obtain the estimated interpolated data D32.
Cancel the error included in. Thus, the interpolated data D33 having a value substantially equal to the actual value included in the input image data D1 can be obtained, so that a restored image with improved image quality can be obtained.
【００６５】（４）実施例の効果 以上の構成によれば、画像符号化装置４０において、ク
ラス分類処理を行い、画像データＤ２と共に各クラス毎
の係数データＤ４を伝送し、画像復号化装置６０におい
て伝送された画像データＤ２と係数データＤ４に基づき
補間画素を生成する場合に、画像符号化装置４０におい
て予め推定補間画素値Ｄ２３と真値Ｄ１との差分値Ｄ２
０を求め、当該差分値Ｄ２０を、伝送画像データＤ２及
び係数データＤ４と共に伝送するようにしたことによ
り、画像復号化装置６０において画質劣化の少ない復元
画像Ｄ３４を得ることができる。またこれによりクラス
数を増やしたり、係数選定の際の演算量を増加させるこ
となく復元画像Ｄ３４の画質を向上させることができ
る。(4) Effects of the Embodiments According to the above configuration, the image coding device 40 performs the class classification process, transmits the coefficient data D4 for each class together with the image data D2, and the image decoding device 60. In the case of generating an interpolation pixel based on the image data D2 and the coefficient data D4 transmitted in step S1, the image encoding device 40 previously calculates a difference value D2 between the estimated interpolation pixel value D23 and the true value D1.
By obtaining 0 and transmitting the difference value D20 together with the transmission image data D2 and the coefficient data D4, the restored image D34 with less image quality deterioration can be obtained in the image decoding device 60. In addition, this makes it possible to improve the image quality of the restored image D34 without increasing the number of classes or increasing the amount of calculation when selecting coefficients.
【００６６】（５）他の実施例 なお上述の実施例においては、圧縮エンコーダ４４とし
てＡＤＲＣ回路を用いた場合について述べたが、本発明
はこれに限らず、圧縮エンコーダ４４として例えばＤＣ
Ｔ（Discrete Cosine Transform ）変換符号化、ＤＰＣ
Ｍ、ベクトル量子化、サブバンド符号化、ウエーブレツ
ト変換等圧縮手法を用いた場合にも、上述の実施例と同
様の効果を得ることができる。(5) Other Embodiments In the above-described embodiments, the ADRC circuit is used as the compression encoder 44, but the present invention is not limited to this, and the compression encoder 44 may be, for example, a DC circuit.
T (Discrete Cosine Transform) transform coding, DPC
Even when a compression method such as M, vector quantization, subband coding, or wavelet transform is used, the same effect as that of the above-described embodiment can be obtained.
【００６７】また上述の実施例においては、間引き後に
残つた伝送画素を圧縮エンコーダ４４により圧縮符号化
して伝送する場合について述べたが、本発明はこれに限
らず、圧縮符号化せずに間引き後に残つた間引きデータ
をそのまま伝送する場合にも適用することができる。こ
の場合には、画像符号化装置４０側で圧縮エンコーダ４
４及びローカルデコーダ４６を省略すると共に、画像復
号化装置６０側で圧縮デコーダ６１を省略するようにす
ればよい。Further, in the above-described embodiment, the case where the transmission pixels remaining after the thinning-out are compression-encoded by the compression encoder 44 and transmitted is described. It can also be applied when transmitting the remaining thinned-out data as it is. In this case, the compression encoder 4 on the image encoding device 40 side
4 and the local decoder 46 may be omitted, and the compression decoder 61 may be omitted on the image decoding device 60 side.
【００６８】また上述の実施例においては、補間対象画
素（注目画素）ｙm の周辺の伝送画素Ｘ１〜Ｘ１４間で
差分絶対値を求め、当該差分絶対値が最も小さい方向を
その補間対象画素のクラスとするようなクラス分類を用
いた場合について述べたが、本発明はこれに限らず、要
は補間対象画素の周辺の伝送画素の状態に応じて各補間
対象画素をクラス分類するようにすればよく、種々のク
ラス分類処理を適用することができ、またクラス数も種
々の個数を用いることができる。Further, in the above embodiment, the difference absolute value is obtained between the transmission pixels X1 to X14 around the interpolation target pixel (target pixel) y m , and the direction in which the difference absolute value is the smallest is the interpolation target pixel. Although the case where the class classification such as the class is used has been described, the present invention is not limited to this, and the point is that each interpolation target pixel may be classified according to the state of the transmission pixel around the interpolation target pixel. However, various class classification processes can be applied, and various numbers of classes can be used.
【００６９】さらにクラス分類に用いる伝送画素を一旦
ＡＤＲＣ符号化した後、クラス分類処理を行うようにす
れば、クラス情報数を削減することができる。またこの
ようにＡＤＲＣ回路の出力に基づいてクラス分類を行う
ようにすれば、画面全体の画素レベルが変動したような
場合にも、画像の特徴のみに基づいた正確なクラス分類
を行うことができる。Furthermore, if the transmission pixels used for class classification are once ADRC encoded and then the class classification process is performed, the number of class information can be reduced. Further, if the classification is performed based on the output of the ADRC circuit as described above, even if the pixel level of the entire screen changes, accurate classification can be performed based on only the image feature. .
【００７０】また上述の実施例においては、クラス分類
回路４７を設け、補間対象画素をその周辺の伝送画素の
状態に応じてクラス分類し、係数選定回路４８において
各クラス毎の係数組を求めるようにした場合について述
べたが、本発明はクラス毎の係数組を求める場合に限ら
ず、例えば画像の局所的な特徴に応じて画像を空間内で
細分化し、細分化した領域毎に係数組を求めるようにし
た場合にも適用でき、この場合クラス分類回路４７及び
６２を省略するようにすれば良い。これにより例えば図
１２に示すような構成の画像符号化装置１及び画像復号
化装置１０にも本発明を適用することができる。Further, in the above-mentioned embodiment, the class classification circuit 47 is provided, the interpolation target pixel is classified into classes according to the states of the transmission pixels in the vicinity thereof, and the coefficient selection circuit 48 obtains the coefficient set for each class. However, the present invention is not limited to the case of obtaining the coefficient set for each class, and for example, the image is subdivided in the space according to the local feature of the image, and the coefficient set is obtained for each subdivided region. The present invention can be applied to the case where it is determined, and in this case, the class classification circuits 47 and 62 may be omitted. As a result, the present invention can be applied to, for example, the image coding device 1 and the image decoding device 10 configured as shown in FIG.
【００７１】また上述の実施例においては、注目画素と
この注目画素の空間的及び又は時間的に周辺の伝送画素
との相関関係を表すパラメータとして、線形一次結合モ
デルを最小二乗法により解いて得た係数データＤ４を伝
送する場合について述べたが、本発明はこれに限らず、
パラメータとしては例えば各クラス毎に求めた注目画素
の周辺の伝送画素値の平均値を代表値として伝送するよ
うにしても良い。この場合平均演算に重心法を用いるよ
うにすれば、クラス毎に誤差の少ない代表値を容易に求
めることができる。またこれに限らず、要は伝送されな
い注目画素と伝送画素との相関関係を表すような種々の
パラメータを用いることができる。Further, in the above-described embodiment, the linear linear combination model is obtained by solving the linear first-order coupling model as a parameter indicating the correlation between the pixel of interest and the transmission pixels spatially and / or temporally surrounding the pixel of interest. Although the case of transmitting the coefficient data D4 described above has been described, the present invention is not limited to this.
As the parameter, for example, an average value of transmission pixel values around the pixel of interest obtained for each class may be transmitted as a representative value. In this case, if the center of gravity method is used for the average calculation, a representative value with less error can be easily obtained for each class. Not limited to this, it is possible to use various parameters that represent the correlation between the pixel of interest that is not transmitted and the transmitted pixel.
【００７２】さらに上述の実施例においては、サブサン
プリング回路４３によつて入力画像データＤ１に対して
１／２の間引き処理を行う場合について述べたが、本発
明はこれに限らず、例えば１／４の間引き処理等他の間
引き処理を行つた場合でも上述の実施例と同様の効果を
得ることができる。Further, in the above-mentioned embodiment, the case where the sub-sampling circuit 43 performs the decimating process on the input image data D1 by ½ has been described, but the present invention is not limited to this and, for example, 1 / Even when another thinning-out process such as No. 4 thinning-out process is performed, the same effect as that of the above-described embodiment can be obtained.
【００７３】[0073]
【発明の効果】上述のように本発明によれば、入力画像
データの所定画素を間引くことにより画素数の低減した
伝送画素データを生成する間引き手段と、間引き手段に
より間引かれた画素を注目画素とし、当該注目画素と、
当該注目画素の空間的及び又は時間的に周辺の複数の伝
送画素との相関関係を表すパラメータを算出するパラメ
ータ算出手段と、パラメータ算出手段により得たパラメ
ータと伝送画素とに基づいて注目画素の推定画素値を算
出する推定値算出手段と、当該推定画素値と入力画像デ
ータに含まれる真の画素値との差分値を算出する差分値
算出手段とを具え、差分値情報を伝送画素データ及びパ
ラメータ情報と共に伝送するようにしたことにより、送
信側で間引かれた画素を受信側で正確に補間でき、この
結果復元画像の解像度を一段と向上し得る。As described above, according to the present invention, the thinning-out means for thinning out the predetermined pixels of the input image data to generate the transmission pixel data in which the number of pixels is reduced, and the pixels thinned out by the thinning-out means are noted. And a pixel of interest,
Parameter calculation means for calculating a parameter representing a correlation with a plurality of transmission pixels spatially and / or temporally surrounding the attention pixel, and estimation of the attention pixel based on the parameter and the transmission pixel obtained by the parameter calculation means Estimated value calculating means for calculating the pixel value and difference value calculating means for calculating the difference value between the estimated pixel value and the true pixel value included in the input image data are provided, and the difference value information is transmitted pixel data and parameters. By transmitting the information together with the information, the pixels thinned out on the transmitting side can be accurately interpolated on the receiving side, and as a result, the resolution of the restored image can be further improved.
【図１】本発明を適用した画像符号化装置の全体構成を
示すブロツク図である。FIG. 1 is a block diagram showing the overall configuration of an image encoding device to which the present invention has been applied.
【図２】本発明を適用した画像復号化装置の全体構成を
示すブロツク図である。FIG. 2 is a block diagram showing the overall configuration of an image decoding apparatus to which the present invention has been applied.
【図３】サブサンプリング回路による間引き処理の説
明、並びに線形一次係合モデルに用いる画素及び係数の
説明に供する略線図である。FIG. 3 is a schematic diagram for explaining a thinning process by a sub-sampling circuit and a pixel and a coefficient used for a linear primary engagement model.
【図４】圧縮エンコーダに用いたＡＤＲＣ回路、並びに
圧縮デコーダ及びローカルデコーダに用いたＡＤＲＣ復
号化回路の説明に供するブロツク図である。FIG. 4 is a block diagram provided for explaining an ADRC circuit used for a compression encoder and an ADRC decoding circuit used for a compression decoder and a local decoder.
【図５】クラス分類回路の構成を示すブロツク図であ
る。FIG. 5 is a block diagram showing a configuration of a class classification circuit.
【図６】クラス分類の説明に供する略線図である。FIG. 6 is a schematic diagram for explaining class classification.
【図７】コード化回路の構成を示すブロツク図である。FIG. 7 is a block diagram showing a configuration of an encoding circuit.
【図８】係数選定回路の構成を示すブロツク図である。FIG. 8 is a block diagram showing the configuration of a coefficient selection circuit.
【図９】乗算器アレイの構成を示す略線図である。FIG. 9 is a schematic diagram showing a configuration of a multiplier array.
【図１０】加算器メモリの構成を示す略線図である。FIG. 10 is a schematic diagram showing a configuration of an adder memory.
【図１１】補間データ推定回路の構成を示すブロツク図
である。FIG. 11 is a block diagram showing the configuration of an interpolation data estimation circuit.
【図１２】従来のデイジタルデータ変換装置の構成を示
すブロツク図である。FIG. 12 is a block diagram showing a configuration of a conventional digital data converter.
【図１３】従来のデイジタルデータ変換装置の構成を示
すブロツク図である。FIG. 13 is a block diagram showing a configuration of a conventional digital data converter.
４０……画像符号化装置、４１……符号化データ形成
部、４２……誤差データ形成部、４３……サブサンプリ
ング回路、４４……圧縮エンコーダ、４６……ローカル
デコーダ、４７、６２……クラス分類回路、４８……係
数選定回路、５０、６３……補間データ推定回路、５３
……差分回路、６０……画像復号化装置、６４……加算
回路、Ｄ１……入力画像データ、Ｄ２……圧縮符号化デ
ータ、Ｄ４……係数データ、Ｄ２０……誤差データ、Ｄ
２２、Ｄ３１……インデツクスデータ、Ｄ２３、Ｄ３２
……推定補間データ、Ｄ２４……誤差値、Ｄ３３……補
間データ、Ｄ３４……復元画像データ、Ｗ1 〜Ｗ38……
係数。40 ... Image encoding device, 41 ... Encoded data forming unit, 42 ... Error data forming unit, 43 ... Sub-sampling circuit, 44 ... Compression encoder, 46 ... Local decoder, 47, 62 ... Class Classification circuit, 48 ... Coefficient selection circuit, 50, 63 ... Interpolation data estimation circuit, 53
...... Differential circuit, 60 …… Image decoding device, 64 …… Addition circuit, D1 …… Input image data, D2 …… Compressed coded data, D4 …… Coefficient data, D20 …… Error data, D
22, D31 ... Index data, D23, D32
...... Estimated interpolation data, D24 …… Error value, D33 …… Interpolation data, D34 …… Reconstructed image data, W 1 to W 38 ……
coefficient.
Claims (7)
より画素数の低減した伝送画素データを生成する間引き
手段と、 上記間引き手段により間引かれた画素を注目画素とし、
当該注目画素と、当該注目画素の空間的及び又は時間的
に周辺の複数の上記伝送画素との相関関係を表すパラメ
ータを算出するパラメータ算出手段と、 上記パラメータ算出手段により得た上記パラメータと上
記伝送画素とに基づいて上記注目画素の推定画素値を算
出する推定値算出手段と、 上記推定画素値と上記入力画像データに含まれる真の画
素値との差分値を算出する差分値算出手段とを具え、上
記差分値情報を上記伝送画素データ及び上記パラメータ
情報と共に伝送することを特徴とする画像信号伝送装
置。1. A decimating unit for decimating a predetermined number of pixels of input image data to generate transmission pixel data with a reduced number of pixels; and a pixel decimated by the decimating unit as a pixel of interest,
Parameter calculation means for calculating a parameter indicating a correlation between the pixel of interest and a plurality of transmission pixels spatially and / or temporally surrounding the pixel of interest, the parameter obtained by the parameter calculation means, and the transmission Estimated value calculation means for calculating an estimated pixel value of the pixel of interest based on the pixel, and difference value calculation means for calculating a difference value between the estimated pixel value and a true pixel value included in the input image data. An image signal transmission device, comprising: transmitting the difference value information together with the transmission pixel data and the parameter information.
目画素とし、当該注目画素の空間的及び又は時間的に周
辺の複数の上記伝送画素の分布状態に応じて、各注目画
素をクラス分類するクラス分類手段を具え、 上記パラメータ算出手段は、 上記クラス分類手段により得た各クラス毎に上記パラメ
ータを算出することを特徴とする請求項１に記載の画像
信号伝送装置。2. A pixel decimated by the decimating means is set as a pixel of interest, and each pixel of interest is classified according to a distribution state of a plurality of transmission pixels spatially and / or temporally surrounding the pixel of interest. 2. The image signal transmission device according to claim 1, wherein the parameter calculation unit calculates the parameter for each class obtained by the class classification unit.
周辺の複数の上記伝送画素とから線形一次結合モデルを
立て、最小二乗法の演算により解いた当該線形一次結合
モデルの係数を上記パラメータとしたことを特徴とする
請求項１又は請求項２に記載の画像信号伝送装置。3. The parameter calculating means establishes a linear linear combination model from the pixel of interest and a plurality of transmission pixels spatially and / or temporally surrounding the pixel of interest, and solves it by a least squares method. The image signal transmission device according to claim 1 or 2, wherein a coefficient of the linear linear combination model is used as the parameter.
を符号化する符号化手段を具え、上記差分値を符号化し
て伝送することを特徴とする請求項１、請求項２又は請
求項３に記載の画像信号伝送装置。4. The encoding means for encoding the difference value obtained by the difference value calculating means, and encoding and transmitting the difference value. The image signal transmission device according to item 3.
化手段を具えることを特徴とする請求項１、請求項２、
請求項３又は請求項４に記載の画像信号伝送装置。5. An encoding means for compressing and encoding the transmission pixel data, comprising:
The image signal transmission device according to claim 3 or 4.
データと、 間引かれた画素を注目画素としたとき、当該注目画素
を、当該注目画素の空間的及び又は時間的に周辺の複数
の上記伝送画素の分布状態に応じてクラス分類し、当該
各クラス毎に求めた上記注目画素と上記伝送画素との相
関関係を表すパラメータと、 上記伝送画素データと上記パラメータとから算出された
上記注目画素の推定画素値と真の画素値との差分値情報
とを受信して復号化する画像信号伝送装置において、 間引かれた画素を注目画素とし、当該注目画素の空間的
及び又は時間的に周辺の複数の上記伝送画素の分布状態
に応じて、各注目画素をクラス分類するクラス分類手段
と、 上記伝送画素データと各注目画素のクラスに対応した上
記パラメータとを用いて、各注目画素の推定画素値を算
出する推定値算出手段と、 上記差分値情報を、当該推定画素値に加算する加算手段
とを具えることを特徴とする画像信号伝送装置。6. When the transmission pixel data in which the number of pixels is reduced by thinning out and the thinned out pixel is set as a target pixel, the target pixel is a plurality of spatially and / or temporally surrounding the target pixel. The parameters are classified according to the distribution state of the transmission pixels, the parameters representing the correlation between the pixel of interest and the transmission pixel obtained for each class, and the attention calculated from the transmission pixel data and the parameter. In an image signal transmission device that receives and decodes difference value information between an estimated pixel value of a pixel and a true pixel value, a thinned pixel is set as a target pixel, and the target pixel is spatially and / or temporally Using the class classification means for classifying each pixel of interest according to the distribution state of the plurality of surrounding transmission pixels, and the parameters corresponding to the class of each pixel of interest and the transmission pixel data, An image signal transmission device comprising: an estimated value calculation unit that calculates an estimated pixel value of an eye pixel; and an addition unit that adds the difference value information to the estimated pixel value.
り、 圧縮符号化された差分値情報を復号する復号手段を具え
ることを特徴とする請求項６に記載の画像信号伝送装
置。7. The image signal transmitting apparatus according to claim 6, wherein the difference value information is compression-encoded data, and a decoding means for decoding the compression-encoded difference value information is provided.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24202494A JP3759537B2 (en) | 1994-09-09 | 1994-09-09 | Image signal transmission apparatus and image signal transmission method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24202494A JP3759537B2 (en) | 1994-09-09 | 1994-09-09 | Image signal transmission apparatus and image signal transmission method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0884336A true JPH0884336A (en) | 1996-03-26 |
| JP3759537B2 JP3759537B2 (en) | 2006-03-29 |
Family
ID=17083140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24202494A Expired - Lifetime JP3759537B2 (en) | 1994-09-09 | 1994-09-09 | Image signal transmission apparatus and image signal transmission method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3759537B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998030028A1 (en) * | 1996-12-26 | 1998-07-09 | Sony Corporation | Picture coding device, picture coding method, picture decoding device, picture decoding method, and recording medium |
| WO1998030027A1 (en) * | 1996-12-26 | 1998-07-09 | Sony Corporation | Picture signal coding device, picture signal coding method, picture signal decoding device, picture signal decoding method, and recording medium |
| US5912708A (en) * | 1996-12-26 | 1999-06-15 | Sony Corporation | Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium |
| US6160845A (en) * | 1996-12-26 | 2000-12-12 | Sony Corporation | Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium |
| JP2007295618A (en) * | 2007-06-26 | 2007-11-08 | Sony Corp | Receiving apparatus and method, program, and recording medium |
| JP2008268725A (en) * | 2007-04-24 | 2008-11-06 | Toshiba Corp | Information processing apparatus and method of increasing resolution of image data |
| US7453936B2 (en) | 2001-11-09 | 2008-11-18 | Sony Corporation | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
-
1994
- 1994-09-09 JP JP24202494A patent/JP3759537B2/en not_active Expired - Lifetime
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998030028A1 (en) * | 1996-12-26 | 1998-07-09 | Sony Corporation | Picture coding device, picture coding method, picture decoding device, picture decoding method, and recording medium |
| WO1998030027A1 (en) * | 1996-12-26 | 1998-07-09 | Sony Corporation | Picture signal coding device, picture signal coding method, picture signal decoding device, picture signal decoding method, and recording medium |
| US5912708A (en) * | 1996-12-26 | 1999-06-15 | Sony Corporation | Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium |
| US6160845A (en) * | 1996-12-26 | 2000-12-12 | Sony Corporation | Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium |
| US6339615B1 (en) | 1996-12-26 | 2002-01-15 | Sony Corporation | Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium |
| US7453936B2 (en) | 2001-11-09 | 2008-11-18 | Sony Corporation | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
| US7817863B2 (en) | 2001-11-09 | 2010-10-19 | Sony Corporation | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
| US8014635B2 (en) | 2001-11-09 | 2011-09-06 | Sony Corporation | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
| JP2008268725A (en) * | 2007-04-24 | 2008-11-06 | Toshiba Corp | Information processing apparatus and method of increasing resolution of image data |
| JP2007295618A (en) * | 2007-06-26 | 2007-11-08 | Sony Corp | Receiving apparatus and method, program, and recording medium |
| JP4735610B2 (en) * | 2007-06-26 | 2011-07-27 | ソニー株式会社 | Receiving apparatus and method, program, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3759537B2 (en) | 2006-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7283678B2 (en) | Data processing apparatus and method and recording medium | |
| US5786856A (en) | Method for adaptive quantization by multiplication of luminance pixel blocks by a modified, frequency ordered hadamard matrix | |
| US6148027A (en) | Method and apparatus for performing hierarchical motion estimation using nonlinear pyramid | |
| EP0734165A2 (en) | Image processing system using pixel-by-pixel motion estimation and frame decimation | |
| WO1994014278A1 (en) | Image signal converter | |
| JPH08154251A (en) | Image signal interpolation device | |
| EP0721284B1 (en) | An image processing system using pixel-by-pixel motion estimation and frame decimation | |
| EP1499114A2 (en) | Noise reduction apparatus | |
| JP3759537B2 (en) | Image signal transmission apparatus and image signal transmission method | |
| JP3348318B2 (en) | Digital image signal processing apparatus and processing method | |
| JP3271095B2 (en) | High-efficiency encoder and decoder for digital image signal | |
| JP3946781B2 (en) | Image information conversion apparatus and method | |
| JP3703034B2 (en) | Image signal processing method and image signal transmission apparatus | |
| JP3759538B2 (en) | Image signal processing method and image signal transmission apparatus | |
| JP3271096B2 (en) | Digital image signal processing device | |
| JP3371159B2 (en) | Digital image signal processing apparatus and processing method | |
| JPH07193789A (en) | Picture information converter | |
| JP3543339B2 (en) | Encoding device and its decoding device | |
| JP3480015B2 (en) | Apparatus and method for generating image data | |
| JP3653287B2 (en) | Image information conversion apparatus and image information conversion method | |
| JP3627258B2 (en) | High-efficiency encoding and decoding apparatus for digital image signals | |
| JP4001143B2 (en) | Coefficient generation apparatus and method | |
| EP0734179A2 (en) | Method and apparatus for selectively encoding/decoding a video signal | |
| JP4042121B2 (en) | Image information processing apparatus and image information processing method | |
| JP2002199393A (en) | Digital picture signal processor and its method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050107 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050401 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050530 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051229 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120113 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130113 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |